K2 Horizon 375B-A23B — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
The flagship of the K2 Horizon family: a sparse MoE that stores 375B parameters and runs 23B per token (192 experts, 8 routed), with a native 524,288-token context. Apache-2.0, released with its data, training code and intermediate checkpoints. The checkpoint holds 379.2B tensors, which is what must be resident. The model card's serving routes are vLLM and SGLang, validated on 8× H200.
K2 Horizon 375B-A23B potrzebuje około 230 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Obejmuje pamięć podręczną KV przy kontekście 8K, więc wartości są wyższe niż główna liczba.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| Q2_K 2.63 bpw | 127.5 GB | — | Za duży | |
| Q3_K_M 3.41 bpw | 164.5 GB | — | Za duży | |
| Q4_K_M 4.83 bpw | 231.8 GB | — | Za duży | |
| Q5_K_M 5.67 bpw | 271.6 GB | — | Za duży | |
| Q6_K 6.56 bpw | 313.8 GB | — | Za duży | |
| Q8_0 8.50 bpw | 405.7 GB | — | Za duży | |
| F16 16.00 bpw | 761.2 GB | — | Za duży |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla K2 Horizon 375B-A23B →
Uruchom K2 Horizon 375B-A23B
Najtańsze GPU z naszego katalogu, które uruchomi K2 Horizon 375B-A23B, to Apple M3 Ultra (512 GB).
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić K2 Horizon 375B-A23B
No Ollama library tag and no published GGUF for this size. The model card's serving routes are vLLM and SGLang.
Specyfikacja
Verified — Checked against the primary source — the model card or the vendor spec page — and corroborated by a second independent source.
- Parametry
- 375 Billion (23B active)
- Okno kontekstu
- 524,288
- Architektura
- Sparse MoE (192 experts, 8 active), GQA
- Dostawca
- MBZUAI Institute of Foundation Models
- Licencja
- Apache 2.0
- Availability
- Weights downloadable
- Practical deployment
- Workstation (large unified memory or pro GPU)
- Określono przy
- Q4_K_M
- RAM systemowy
- 256 GB
- Rekord zaktualizowany
- 2026-10-13
Commercial use permitted. No usage restrictions beyond attribution.
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
Independent evaluation — not vendor-claimed and not measured by us
| Benchmark | Wynik | Źródło |
|---|---|---|
| AA Intelligence Index v4.3.2 | 31 | independent · Artificial Analysis · snapshot 2026-10-13 |
Inne rozmiary K2 Horizon
K2 Horizon 375B-A23B — najczęściej zadawane pytania
How much VRAM does K2 Horizon 375B-A23B need?
About 230 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does K2 Horizon 375B-A23B run on an RTX 4090 (24 GB)?
No. K2 Horizon 375B-A23B needs about 230 GB at Q4_K_M, more than a single RTX 4090's 24 GB. It needs a larger card, several GPUs, or Apple Silicon with enough unified memory — or it runs with part of the weights offloaded to system RAM, which is much slower.
How do I run K2 Horizon 375B-A23B locally?
No Ollama library tag and no published GGUF for this size. The model card's serving routes are vLLM and SGLang. Running the published tag would send your prompts to a hosted GPU rather than your own machine.
What other sizes does K2 Horizon come in?
K2 Horizon 3.7B (4 GB), K2 Horizon 7B (6 GB), K2 Horizon MoVA 36B-A4B (23 GB), K2 Horizon 375B-A23B (230 GB). Every size shares the family's training and licence; the larger ones score higher and need proportionally more memory.