Inkling — lokalny model AI od Thinking Machines
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
ZAPOWIEDŹ (lipiec 2026). Pierwszy model o otwartych wagach od Thinking Machines Lab — i pierwszy otwarty model klasy ~1 biliona parametrów, który natywnie przyjmuje wejście tekstowe, obrazowe i dźwiękowe przy oknie kontekstu 1 mln tokenów. Inkling to rzadki multimodalny transformer Mixture-of-Experts: 975B parametrów łącznie, ale tylko ~41B aktywnych na token (256 ekspertów, 6 wybieranych przez routing plus 2 stale aktywne współdzielone). Wytrenowano go na 45 bilionach tokenów tekstu, obrazów, dźwięku i wideo; rozumuje natywnie w wielu modalnościach, z siedmioma poziomami wysiłku do wyboru (od żadnego po maksymalny). Dostępny w pełnym BF16 (~2 TB VRAM, Hopper i nowsze) oraz w dobrze skalibrowanym 4-bitowym buildzie NVFP4 (~600 GB, Blackwell), oba z warstwami MTP do dekodowania spekulatywnego dla szybszego wnioskowania. Wydany na licencji Apache 2.0 i pozycjonowany jako baza do personalizacji poprzez fine-tuning na firmowej platformie Tinker — „zbudowany do personalizacji, nie do dominacji w tabelach liderów”. Wymaga sprzętu klasy centrum danych; większość użytkowników sięgnie po niego przez hostowane API. Specyfikacja pochodzi z materiałów premierowych i karty modelu na Hugging Face — zweryfikuj ją, zanim na niej polegniesz.
Warianty
Najmniejszy wariant Inkling potrzebuje około 589 GB VRAM przy NVFP4 (4-bit) — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV.
| Model | VRAM przy Q4 | VRAM | Kontekst | Uruchom |
|---|---|---|---|---|
| Inkling (NVFP4) → 1T | ~589.5 GB | 1,000,000 | tag hostowany w chmurze | |
| Inkling (BF16) → 1T | ~589.5 GB | 1,000,000 | tag hostowany w chmurze |
Pamięć to skwantyzowane wagi plus narzut przy Q4_K_M, liczone tym samym silnikiem co sprawdzarka GPU i VRAM.
Jak uruchomić Inkling lokalnie
Zainstaluj Ollama, a potem pobierz tag.
No Ollama library entry. Thinking Machines' documented serving routes are SGLang and vLLM.
Wybierz rozmiar powyżej, aby zobaczyć jego VRAM, szacowaną szybkość i polecenie instalacji.
Licencja
Commercial use permitted. No usage restrictions beyond attribution.
Dotyczy: Inkling (NVFP4), Inkling (BF16)Czy uruchomię Inkling na moim GPU?
Inkling — najczęściej zadawane pytania
How much VRAM does Inkling need?
Inkling needs about 589 GB VRAM at NVFP4 (4-bit) quantization for its smallest variant. Variants: Inkling (NVFP4) (589 GB, NVFP4 (4-bit)); Inkling (BF16) (589 GB, BF16 (full precision)). On Apple Silicon, unified memory counts toward this requirement.
Can I run Inkling on an RTX 4090 (24 GB)?
Inkling's smallest variant needs about 589 GB, which exceeds a single RTX 4090 (24 GB). Use multiple GPUs, a higher-VRAM card, or Apple Silicon with large unified memory.
What quantization should I use for Inkling?
Q4_K_M is the best balance of quality and VRAM for Inkling in most cases. Choose Q8_0 for near-lossless quality if you have spare VRAM, or smaller quants (Q3/Q2) only when memory is tight.
How do I run Inkling with Ollama?
Inkling has no local Ollama tag — the published tag is cloud-hosted, so running it sends your prompts to a hosted GPU rather than your own machine.