K2 Horizon 3.7B — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
The small dense K2 Horizon: a 3.7B core plus a large 250K-token vocabulary, 5.1B parameters stored in all, so the official Q4_K_M GGUF is 3.2 GB. It scores 16 on the Artificial Analysis Intelligence Index. Its makers report 68.6 on SWE-bench Verified against 41.2 for Qwen3.5-4B, and level with it on Terminal-Bench 2.1 (25.1 against 25.8). The KV cache is a plain grouped-query cache, so long context is expensive on a small card: an 8 GB GPU holds it comfortably at 16K, not at 32K. Apache 2.0, 512K native context.
K2 Horizon 3.7B potrzebuje około 4 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Obejmuje pamięć podręczną KV przy kontekście 8K, więc wartości są wyższe niż główna liczba.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| Q2_K 2.63 bpw | 3.7 GB | ~190 tok/s | Mieści się | |
| Q3_K_M 3.41 bpw | 4.2 GB | ~169 tok/s | Mieści się | |
| Q4_K_M 4.83 bpw | 5.1 GB | ~140 tok/s | Mieści się | |
| Q5_K_M 5.67 bpw | 5.6 GB | ~128 tok/s | Mieści się | |
| Q6_K 6.56 bpw | 6.2 GB | ~117 tok/s | Mieści się | |
| Q8_0 8.50 bpw | 7.4 GB | ~98 tok/s | Mieści się | |
| F16 16.00 bpw | 12.2 GB | ~60 tok/s | Mieści się |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla K2 Horizon 3.7B →
Uruchom K2 Horizon 3.7B
Najtańsze GPU z naszego katalogu, które uruchomi K2 Horizon 3.7B, to Intel Arc B570 (10 GB).
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić K2 Horizon 3.7B
Brak tagu w bibliotece Ollama. Uruchom oficjalny plik GGUF w llama.cpp: pliki deklarują architekturę k2-horizon, którą obsługuje główna gałąź llama.cpp; starsza wersja Ollama lub LM Studio może go nie wczytać. Karta modelu podaje też vLLM i SGLang.
Specyfikacja
Verified — Checked against the primary source — the model card or the vendor spec page — and corroborated by a second independent source.
- Parametry
- 5.1 Billion (3.7B core + embeddings)
- Okno kontekstu
- 524,288
- Architektura
- Dense Transformer (GQA)
- Dostawca
- MBZUAI Institute of Foundation Models
- Licencja
- Apache 2.0
- Practical deployment
- Edge device (phone, SBC)
- Określono przy
- Q4_K_M
- RAM systemowy
- 16 GB
- Rekord zaktualizowany
- 2026-10-08
Commercial use permitted. No usage restrictions beyond attribution.
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
| Benchmark | Wynik | Źródło |
|---|---|---|
| SWE-bench Verified | 68.6 / 100 % | opublikowane · https://huggingface.co/IFM/K2-Horizon-3.7B |
| Terminal-Bench 2.1 | 25.1 / 100 % | opublikowane · https://huggingface.co/IFM/K2-Horizon-3.7B |
Inne rozmiary K2 Horizon
K2 Horizon 3.7B — najczęściej zadawane pytania
How much VRAM does K2 Horizon 3.7B need?
About 4 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does K2 Horizon 3.7B run on an RTX 4090 (24 GB)?
Yes. K2 Horizon 3.7B needs about 4 GB at Q4_K_M, inside a 24 GB card, at an estimated 140 tokens/sec.
How do I run K2 Horizon 3.7B locally?
Brak tagu w bibliotece Ollama. Uruchom oficjalny plik GGUF w llama.cpp: pliki deklarują architekturę k2-horizon, którą obsługuje główna gałąź llama.cpp; starsza wersja Ollama lub LM Studio może go nie wczytać. Karta modelu podaje też vLLM i SGLang. Running the published tag would send your prompts to a hosted GPU rather than your own machine.
What other sizes does K2 Horizon come in?
K2 Horizon 3.7B (4 GB), K2 Horizon 7B (6 GB), K2 Horizon MoVA 36B-A4B (23 GB), K2 Horizon 375B-A23B (230 GB). Every size shares the family's training and licence; the larger ones score higher and need proportionally more memory.