Dowody: wyniki benchmarków podane przez dostawcę
Mistral Large 4 1T-A52B — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
Około 1T parametrów łącznie i 52B aktywnych na token (49B bez warstw embeddingów i wyjścia): 128 ekspertów routowanych, z czego 4 aktywnych, plus jeden współdzielony, uwaga latentna z indeksatorem rzadkiej uwagi, kontekst 1M tokenów i enkoder obrazu 1,6B. Poziom rozumowania to low, medium lub high i nie da się go wyłączyć. Mistral podaje, że wytrenował model od zera na 3800 GPU NVIDIA Grace Blackwell we własnych europejskich centrach danych. Oficjalne wagi to FP8 i NVFP4; opiekunowie llama.cpp publikują pliki GGUF od 298 GB (IQ2_XXS) do 2099 GB (BF16).
Mistral Large 4 1T-A52B potrzebuje około 636 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
Uruchom Mistral Large 4 1T-A52B
Mistral Large 4 1T-A52B is not practical on a single consumer GPU: it needs about 635.6 GB at Q4_K_M, more than any single device in our catalogue holds with headroom. How multi-GPU inference works, or rent a multi-GPU server by the hour:
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić Mistral Large 4 1T-A52B
Ollama lists Mistral Large 4 only as the cloud tag mistral-large-4:cloud, which runs on Ollama's servers, not your machine. Locally, use llama.cpp (mainline since 29 October 2026) with the ggml-org GGUFs, or vLLM / SGLang on a multi-GPU server.
Specyfikacja
Verified — Checked against the primary source — the model card or the vendor spec page — and corroborated by a second independent source.
- Parametry
- ~1 Trillion (52B active)
- Okno kontekstu
- 1,048,576
- Architektura
- Mixture-of-Experts (128 routed + 1 shared, 4 active), MLA with sparse-attention indexer
- Dostawca
- Mistral AI
- Licencja
- Mistral Ecosystem Open-Weight License
- Availability
- Weights downloadable
- Practical deployment
- Private cloud / datacenter cluster
- Określono przy
- Q4_K_M
- Vision projector
- +3.4 GB when you send images (not included above)
- RAM systemowy
- 1024 GB
- Rekord zaktualizowany
- 2026-11-03
Weights are downloadable and commercial use is permitted, subject to the licence’s acceptable-use terms.
Ograniczenia i zastrzeżenia
- Datacentre-only in practice: every expert must be resident. The one single-machine route is a 2-bit GGUF (IQ2_XXS 297.7 GB or Q2_K 380.7 GB), which the llama.cpp maintainers say fits 512 GB of unified memory; on Apple Silicon that is close to the default GPU memory limit.
- No KV-cache or speed estimate here: the cache is shared across layers and a sparse-attention index adds its own, which our model does not yet express. Hugging Face measured about 15 tokens/s generation with Q2_K on one Mac Studio M3 Ultra (512 GB).
- On Mistral's API the model is still labelled Public Preview (docs version 26.10).
- Every benchmark in the launch material is vendor-reported; preview and final numbers differ and must not be mixed.
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
Mistral Large 4 1T-A52B — najczęściej zadawane pytania
How much VRAM does Mistral Large 4 1T-A52B need?
About 636 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. We publish no context-length figure or speed for it: its attention shares the KV cache across layers and adds a sparse-attention index cache, which our memory and speed model cannot yet express, so we state the published weights only. Apple Silicon counts unified memory toward the same figure.
Does Mistral Large 4 1T-A52B run on an RTX 4090 (24 GB)?
Its weights and overhead come to about 636 GB at Q4_K_M, but we do not publish a fit verdict or a speed for it: its attention shares the KV cache across layers and adds a sparse-attention index cache, which our memory and speed model cannot yet express, so we state the published weights only.
How do I run Mistral Large 4 1T-A52B locally?
Ollama lists Mistral Large 4 only as the cloud tag mistral-large-4:cloud, which runs on Ollama's servers, not your machine. Locally, use llama.cpp (mainline since 29 October 2026) with the ggml-org GGUFs, or vLLM / SGLang on a multi-GPU server. Running the published tag would send your prompts to a hosted GPU rather than your own machine.