K2 Horizon — lokalny model AI od MBZUAI Institute of Foundation Models
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
W pełni otwarta rodzina modeli z Institute of Foundation Models przy MBZUAI — wagi, dane treningowe, przepis i kod opublikowane na licencji Apache 2.0, razem z checkpointami pośrednimi. Trzy rozmiary: gęste modele 3.7B i 7B na mniejsze komputery oraz model mixture-of-experts 36B, który aktywuje około 4B parametrów na token. Wszystkie mają natywny kontekst 512K. W niezależnym indeksie Artificial Analysis Intelligence Index uzyskują 16, 21 i 25 punktów — najlepsze wyniki w swoich klasach rozmiaru w dniu sprawdzenia.
Warianty
Najmniejszy wariant K2 Horizon potrzebuje około 4 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV.
| Model | VRAM przy Q4 | VRAM | Kontekst | Uruchom |
|---|---|---|---|---|
| K2 Horizon 3.7B → 3.7B | ~3.9 GB | 524,288 | tag hostowany w chmurze | |
| K2 Horizon 7B → 7B | ~6.2 GB | 524,288 | tag hostowany w chmurze | |
| K2 Horizon MoVA 36B-A4B → 36B (4B active) | ~23.4 GB | 524,288 | tag hostowany w chmurze | |
| K2 Horizon 375B-A23B → 375B (23B active) | ~229.7 GB | 524,288 | tag hostowany w chmurze |
Pamięć to skwantyzowane wagi plus narzut przy Q4_K_M, liczone tym samym silnikiem co sprawdzarka GPU i VRAM.
Jak uruchomić K2 Horizon lokalnie
Zainstaluj Ollama, a potem pobierz tag.
Brak tagu w bibliotece Ollama. Uruchom oficjalny plik GGUF w llama.cpp: pliki deklarują architekturę k2-horizon, którą obsługuje główna gałąź llama.cpp; starsza wersja Ollama lub LM Studio może go nie wczytać. Karta modelu podaje też vLLM i SGLang.
Wybierz rozmiar powyżej, aby zobaczyć jego VRAM, szacowaną szybkość i polecenie instalacji.
Licencja
Commercial use permitted. No usage restrictions beyond attribution.
Dotyczy: K2 Horizon 3.7B, K2 Horizon 7B, K2 Horizon MoVA 36B-A4B, K2 Horizon 375B-A23BPolecane GPU
Najtańsze GPU z naszego katalogu, które uruchomi K2 Horizon lokalnie (min. 4 GB VRAM), to Intel Arc B570 (10 GB).
K2 Horizon — najczęściej zadawane pytania
How much VRAM does K2 Horizon need?
K2 Horizon needs about 4 GB VRAM at Q4_K_M quantization for its smallest variant. Variants: K2 Horizon 3.7B (4 GB, Q4_K_M); K2 Horizon 7B (6 GB, Q4_K_M); K2 Horizon MoVA 36B-A4B (23 GB, Q4_K_M); K2 Horizon 375B-A23B (230 GB, Q4_K_M). On Apple Silicon, unified memory counts toward this requirement.
Can I run K2 Horizon on an RTX 4090 (24 GB)?
Yes — K2 Horizon runs on an RTX 4090 (24 GB) and other 24 GB cards such as the RTX 3090. Smaller variants also fit comfortably on 8–16 GB GPUs at Q4_K_M.
What quantization should I use for K2 Horizon?
Q4_K_M is the best balance of quality and VRAM for K2 Horizon in most cases. Choose Q8_0 for near-lossless quality if you have spare VRAM, or smaller quants (Q3/Q2) only when memory is tight.
How do I run K2 Horizon with Ollama?
K2 Horizon has no local Ollama tag — the published tag is cloud-hosted, so running it sends your prompts to a hosted GPU rather than your own machine.