Mellum2.1 12B Thinking — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
12,15B parametrów, 2,5B aktywnych na token: 28 warstw, 64 ekspertów z 8 aktywnymi, uwaga grouped-query z 4 głowami KV i okno przesuwne 1 024 tokenów w trzech na cztery warstwy, co utrzymuje mały KV cache. Kontekst 131 072 tokenów. JetBrains podaje SWE-bench Verified 47,0 i LiveCodeBench v6 82,0 na własnym zestawie testowym. Karta opisuje serwowanie w vLLM; JetBrains publikuje teraz także oficjalne pliki GGUF (Q4_K_M 8,1 GB), choć karta wciąż nazywa GGUF „wkrótce”.
Mellum2.1 12B Thinking potrzebuje około 9 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Obejmuje pamięć podręczną KV przy kontekście 8K, więc wartości są wyższe niż główna liczba.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| Q2_K 2.63 bpw | 4.9 GB | ~293 tok/s | Mieści się | |
| Q3_K_M 3.41 bpw | 6.1 GB | ~268 tok/s | Mieści się | |
| Q4_K_M 4.83 bpw | 9 GB | ~231 tok/s | Mieści się | |
| Q5_K_M 5.67 bpw | 9.5 GB | ~214 tok/s | Mieści się | |
| Q6_K 6.56 bpw | 11.8 GB | ~199 tok/s | Mieści się | |
| Q8_0 8.50 bpw | 13.8 GB | ~171 tok/s | Mieści się | |
| F16 16.00 bpw | 25.2 GB | ~17 tok/s | Częściowo w RAM |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla Mellum2.1 12B Thinking →
Uruchom Mellum2.1 12B Thinking
Najtańsze GPU z naszego katalogu, które uruchomi Mellum2.1 12B Thinking, to Intel Arc B570 (10 GB).
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić Mellum2.1 12B Thinking
No Ollama library entry yet. JetBrains' official GGUF files are the local route; the card's own serving recipe is vLLM.
Specyfikacja
Verified — Checked against the primary source — the model card or the vendor spec page — and corroborated by a second independent source. Jeszcze niepotwierdzone: releaseDate (Hugging Face repository date; trackers also give 8 October).
- Parametry
- 12.15 Billion (2.5B active)
- Okno kontekstu
- 131,072
- Architektura
- Mixture-of-Experts (64 experts, 8 active), GQA with sliding window on 3 of 4 layers
- Dostawca
- JetBrains
- Licencja
- Apache 2.0
- Availability
- Weights downloadable
- Practical deployment
- Laptop
- Określono przy
- Q4_K_M
- RAM systemowy
- 16 GB
- Rekord zaktualizowany
- 2026-10-15
Commercial use permitted. No usage restrictions beyond attribution.
Ograniczenia i zastrzeżenia
- Benchmark figures are JetBrains' own, run on one agent harness (Pi v0.73.1).
- Mainline llama.cpp support for the 'mellum' architecture could not be confirmed from source; treat the official GGUF as experimental until it is.
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
| Benchmark | Wynik | Źródło |
|---|---|---|
| SWE-bench Verified | 47 % | deklaracja producenta · JetBrains model card |
| LiveCodeBench v6 | 82 % | deklaracja producenta · JetBrains model card |
Mellum2.1 12B Thinking — najczęściej zadawane pytania
How much VRAM does Mellum2.1 12B Thinking need?
About 9 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does Mellum2.1 12B Thinking run on an RTX 4090 (24 GB)?
Yes. Mellum2.1 12B Thinking needs about 9 GB at Q4_K_M, inside a 24 GB card, at an estimated 231 tokens/sec.
How do I run Mellum2.1 12B Thinking locally?
No Ollama library entry yet. JetBrains' official GGUF files are the local route; the card's own serving recipe is vLLM. Running the published tag would send your prompts to a hosted GPU rather than your own machine.