Mistral Small 3.2 24B — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
23.6B dense with vision, 128K context, Apache 2.0. Mistral describes it explicitly as surgical: no architecture change from 3.1, just better instruction adherence, tool use and structured output, plus HumanEval Plus at 92.90%. 15.0 GB at Q4_K_M.
Mistral Small 3.2 24B potrzebuje około 15 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Tylko wagi i narzut: architektura tego modelu nie jest opublikowana, więc nie doliczamy pamięci KV.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| Q2_K 2.63 bpw | 8.6 GB | ~74 tok/s | Mieści się | |
| Q3_K_M 3.41 bpw | 10.9 GB | ~60 tok/s | Mieści się | |
| Q4_K_M 4.83 bpw | 15 GB | ~45 tok/s | Mieści się | |
| Q5_K_M 5.67 bpw | 17.5 GB | ~39 tok/s | Mieści się | |
| Q6_K 6.56 bpw | 20.2 GB | ~35 tok/s | Mieści się | |
| Q8_0 8.50 bpw | 25.9 GB | ~4 tok/s | Częściowo w RAM | |
| F16 16.00 bpw | 48 GB | ~2 tok/s | Częściowo w RAM |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla Mistral Small 3.2 24B →
Uruchom Mistral Small 3.2 24B
Najtańsze GPU z naszego katalogu, które uruchomi Mistral Small 3.2 24B, to AMD Radeon RX 7900 XT (20 GB).
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić Mistral Small 3.2 24B
Zainstaluj Ollama, a potem uruchom:
ollama run mistral-small:24bSpecyfikacja
Verified — Checked against the primary source — the model card or the vendor spec page — and corroborated by a second independent source.
- Parametry
- 23.6 Billion
- Okno kontekstu
- 131,072
- Architektura
- Dense Transformer (vision)
- Dostawca
- Mistral AI
- Licencja
- Apache 2.0
- Practical deployment
- Single consumer GPU
- Określono przy
- Q4_K_M
- RAM systemowy
- 32 GB
- Rekord zaktualizowany
- 2026-09-06
Commercial use permitted. No usage restrictions beyond attribution.
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
| Benchmark | Wynik | Źródło |
|---|---|---|
| HumanEval Plus | 92.9 / 100 % | opublikowane · https://docs.mistral.ai/models/mistral-small-3-2-25-06 |
| Arena Hard | 43.1 / 100 % | opublikowane · https://venturebeat.com/ai/mistral-just-updated-its-open-source-small-model-from-3-1-to-3-2-heres-why |
Czy uruchomię Mistral Small 3.2 24B na moim GPU?
- Mistral Small 3.2 na AMD Radeon RX 7800 XT
- Mistral Small 3.2 na AMD Radeon RX 7900 XT
- Mistral Small 3.2 na AMD Radeon RX 7900 XTX
- Mistral Small 3.2 na AMD Radeon RX 9060 XT 16GB
- Mistral Small 3.2 na AMD Radeon RX 9060 XT 8GB
- Mistral Small 3.2 na AMD Radeon RX 9070
- Mistral Small 3.2 na AMD Radeon RX 9070 XT
- Mistral Small 3.2 na Apple M1
- Mistral Small 3.2 na Apple M1 Pro
- Mistral Small 3.2 na Apple M2
- Mistral Small 3.2 na Apple M2 Pro
- Mistral Small 3.2 na Apple M3
- Mistral Small 3.2 na Apple M4
- Mistral Small 3.2 na Apple M4 Pro
- Mistral Small 3.2 na Apple M5
- Mistral Small 3.2 na Intel Arc B570
- Mistral Small 3.2 na Intel Arc B580
- Mistral Small 3.2 na NVIDIA GeForce RTX 3060 (12GB)
- Mistral Small 3.2 na NVIDIA GeForce RTX 3070
- Mistral Small 3.2 na NVIDIA GeForce RTX 3070 Ti
- Mistral Small 3.2 na NVIDIA GeForce RTX 3080 (10GB)
- Mistral Small 3.2 na NVIDIA GeForce RTX 3090
- Mistral Small 3.2 na NVIDIA GeForce RTX 4060
- Mistral Small 3.2 na NVIDIA GeForce RTX 4060 Ti 16GB
- Mistral Small 3.2 na NVIDIA GeForce RTX 4070
- Mistral Small 3.2 na NVIDIA GeForce RTX 4070 Super
- Mistral Small 3.2 na NVIDIA GeForce RTX 4070 Ti
- Mistral Small 3.2 na NVIDIA GeForce RTX 4070 Ti Super
- Mistral Small 3.2 na NVIDIA GeForce RTX 4080
- Mistral Small 3.2 na NVIDIA GeForce RTX 4080 Super
- Mistral Small 3.2 na NVIDIA GeForce RTX 4090
- Mistral Small 3.2 na NVIDIA GeForce RTX 5060
- Mistral Small 3.2 na NVIDIA GeForce RTX 5060 Ti 16GB
- Mistral Small 3.2 na NVIDIA GeForce RTX 5060 Ti 8GB
- Mistral Small 3.2 na NVIDIA GeForce RTX 5070
- Mistral Small 3.2 na NVIDIA GeForce RTX 5070 Ti
- Mistral Small 3.2 na NVIDIA GeForce RTX 5080
- Mistral Small 3.2 na NVIDIA GeForce RTX 5090
Mistral Small 3.2 24B — najczęściej zadawane pytania
How much VRAM does Mistral Small 3.2 24B need?
About 15 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does Mistral Small 3.2 24B run on an RTX 4090 (24 GB)?
Yes. Mistral Small 3.2 24B needs about 15 GB at Q4_K_M, inside a 24 GB card, at an estimated 45 tokens/sec.
How do I run Mistral Small 3.2 24B locally?
Install Ollama and run `ollama run mistral-small:24b`. That pulls the weights and starts a local OpenAI-compatible endpoint; after the download nothing leaves the machine.