K2 Horizon 7B — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
The best independently scored model of its size when checked: 21 on the Artificial Analysis Intelligence Index, against 11 for Qwen3.5-9B. A 7B dense core plus a 250K-token vocabulary, 9.0B parameters stored, so the official Q4_K_M GGUF is 5.6 GB; with a 16K context it needs about 8.8 GB, so a 12 GB card is the practical minimum. Its makers report SWE-bench Verified 70.6 and Terminal-Bench 2.1 39.1, against 50.8 and 29.2 for Qwen3.5-9B on the same card — vendor-reported, so the independent score is the one to lean on. Apache 2.0, 512K native context.
K2 Horizon 7B potrzebuje około 6 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Obejmuje pamięć podręczną KV przy kontekście 8K, więc wartości są wyższe niż główna liczba.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| Q2_K 2.63 bpw | 5 GB | ~144 tok/s | Mieści się | |
| Q3_K_M 3.41 bpw | 5.8 GB | ~123 tok/s | Mieści się | |
| Q4_K_M 4.83 bpw | 7.4 GB | ~98 tok/s | Mieści się | |
| Q5_K_M 5.67 bpw | 8.4 GB | ~87 tok/s | Mieści się | |
| Q6_K 6.56 bpw | 9.4 GB | ~78 tok/s | Mieści się | |
| Q8_0 8.50 bpw | 11.6 GB | ~64 tok/s | Mieści się | |
| F16 16.00 bpw | 20 GB | ~37 tok/s | Mieści się |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla K2 Horizon 7B →
Uruchom K2 Horizon 7B
Najtańsze GPU z naszego katalogu, które uruchomi K2 Horizon 7B, to Intel Arc B570 (10 GB).
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić K2 Horizon 7B
Brak tagu w bibliotece Ollama. Uruchom oficjalny plik GGUF w llama.cpp: pliki deklarują architekturę k2-horizon, którą obsługuje główna gałąź llama.cpp; starsza wersja Ollama lub LM Studio może go nie wczytać. Karta modelu podaje też vLLM i SGLang.
Specyfikacja
Verified — Checked against the primary source — the model card or the vendor spec page — and corroborated by a second independent source.
- Parametry
- 9.0 Billion (7B core + embeddings)
- Okno kontekstu
- 524,288
- Architektura
- Dense Transformer (GQA)
- Dostawca
- MBZUAI Institute of Foundation Models
- Licencja
- Apache 2.0
- Practical deployment
- Laptop
- Określono przy
- Q4_K_M
- RAM systemowy
- 16 GB
- Rekord zaktualizowany
- 2026-10-08
Commercial use permitted. No usage restrictions beyond attribution.
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
| Benchmark | Wynik | Źródło |
|---|---|---|
| SWE-bench Verified | 70.6 / 100 % | opublikowane · https://huggingface.co/IFM/K2-Horizon-7B |
| Terminal-Bench 2.1 | 39.1 / 100 % | opublikowane · https://huggingface.co/IFM/K2-Horizon-7B |
Inne rozmiary K2 Horizon
K2 Horizon 7B — najczęściej zadawane pytania
How much VRAM does K2 Horizon 7B need?
About 6 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does K2 Horizon 7B run on an RTX 4090 (24 GB)?
Yes. K2 Horizon 7B needs about 6 GB at Q4_K_M, inside a 24 GB card, at an estimated 98 tokens/sec.
How do I run K2 Horizon 7B locally?
Brak tagu w bibliotece Ollama. Uruchom oficjalny plik GGUF w llama.cpp: pliki deklarują architekturę k2-horizon, którą obsługuje główna gałąź llama.cpp; starsza wersja Ollama lub LM Studio może go nie wczytać. Karta modelu podaje też vLLM i SGLang. Running the published tag would send your prompts to a hosted GPU rather than your own machine.
What other sizes does K2 Horizon come in?
K2 Horizon 3.7B (4 GB), K2 Horizon 7B (6 GB), K2 Horizon MoVA 36B-A4B (23 GB), K2 Horizon 375B-A23B (230 GB). Every size shares the family's training and licence; the larger ones score higher and need proportionally more memory.