K2 Horizon MoVA 36B-A4B — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
A mixture-of-experts model with Mixture-of-Values attention: 37.4B parameters stored (the card rounds to 36B), about 4B active per token, so it generates quickly for its size. It scores 25 on the Artificial Analysis Intelligence Index, second only to Qwen3.8-27B among models that fit one consumer GPU when checked. Its card reports Terminal-Bench 2.1 58.6 against 44.9 for Qwen3.6-35B-A3B. The official Q4_K_M GGUF is 22.4 GB, and its plain grouped-query cache adds about 6.4 GB at 32K context, so this is a 32 GB-card model; a 24 GB card does not hold it at useful context. Apache 2.0, 512K native context.
K2 Horizon MoVA 36B-A4B potrzebuje około 23 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Obejmuje pamięć podręczną KV przy kontekście 8K, więc wartości są wyższe niż główna liczba.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| Q2_K 2.63 bpw | 14.7 GB | ~198 tok/s | Mieści się | |
| Q3_K_M 3.41 bpw | 18.4 GB | ~180 tok/s | Mieści się | |
| Q4_K_M 4.83 bpw | 25 GB | ~23 tok/s | Częściowo w RAM | |
| Q5_K_M 5.67 bpw | 28.9 GB | ~21 tok/s | Częściowo w RAM | |
| Q6_K 6.56 bpw | 33.1 GB | ~20 tok/s | Częściowo w RAM | |
| Q8_0 8.50 bpw | 42.1 GB | ~17 tok/s | Częściowo w RAM | |
| F16 16.00 bpw | 77.2 GB | — | Za duży |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla K2 Horizon MoVA 36B-A4B →
Uruchom K2 Horizon MoVA 36B-A4B
Najtańsze GPU z naszego katalogu, które uruchomi K2 Horizon MoVA 36B-A4B, to NVIDIA GeForce RTX 5090 (32 GB).
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić K2 Horizon MoVA 36B-A4B
Brak tagu w bibliotece Ollama. Uruchom oficjalny plik GGUF w llama.cpp: pliki deklarują architekturę k2-horizon, którą obsługuje główna gałąź llama.cpp; starsza wersja Ollama lub LM Studio może go nie wczytać. Karta modelu podaje też vLLM i SGLang.
Specyfikacja
Verified — Checked against the primary source — the model card or the vendor spec page — and corroborated by a second independent source.
- Parametry
- 37.4 Billion (4B active)
- Okno kontekstu
- 524,288
- Architektura
- Mixture-of-Experts (100 routed + 1 shared) with Mixture-of-Values attention
- Dostawca
- MBZUAI Institute of Foundation Models
- Licencja
- Apache 2.0
- Practical deployment
- Single consumer GPU
- Określono przy
- Q4_K_M
- RAM systemowy
- 64 GB
- Rekord zaktualizowany
- 2026-10-08
Commercial use permitted. No usage restrictions beyond attribution.
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
| Benchmark | Wynik | Źródło |
|---|---|---|
| Terminal-Bench 2.1 | 58.6 / 100 % | opublikowane · https://huggingface.co/IFM/K2-Horizon-MoVA-36B-A4B |
Inne rozmiary K2 Horizon
K2 Horizon MoVA 36B-A4B — najczęściej zadawane pytania
How much VRAM does K2 Horizon MoVA 36B-A4B need?
About 23 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does K2 Horizon MoVA 36B-A4B run on an RTX 4090 (24 GB)?
Yes. K2 Horizon MoVA 36B-A4B needs about 23 GB at Q4_K_M, inside a 24 GB card, at an estimated 23 tokens/sec.
How do I run K2 Horizon MoVA 36B-A4B locally?
Brak tagu w bibliotece Ollama. Uruchom oficjalny plik GGUF w llama.cpp: pliki deklarują architekturę k2-horizon, którą obsługuje główna gałąź llama.cpp; starsza wersja Ollama lub LM Studio może go nie wczytać. Karta modelu podaje też vLLM i SGLang. Running the published tag would send your prompts to a hosted GPU rather than your own machine.
What other sizes does K2 Horizon come in?
K2 Horizon 3.7B (4 GB), K2 Horizon 7B (6 GB), K2 Horizon MoVA 36B-A4B (23 GB), K2 Horizon 375B-A23B (230 GB). Every size shares the family's training and licence; the larger ones score higher and need proportionally more memory.