Dowody: wyniki benchmarków podane przez dostawcę
Shieldstral 1.0 3B — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
Klasyfikator bezpieczeństwa 3,8B w układzie Ministral 3. Każde żądanie zawiera politykę w formie pytania; model odpowiada wynikiem bezpieczeństwa, który można progować lub szeregować. Trenowany na sekwencjach do 32K tokenów. Apache-2.0; według Mistrala działa na jednym GPU 16 GB w BF16.
Shieldstral 1.0 3B potrzebuje około 3 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Obejmuje pamięć podręczną KV przy kontekście 8K, więc wartości są wyższe niż główna liczba.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| Q2_K 2.63 bpw | 2.9 GB | ~222 tok/s | Mieści się | |
| Q3_K_M 3.41 bpw | 3.3 GB | ~200 tok/s | Mieści się | |
| Q4_K_M 4.83 bpw | 4 GB | ~170 tok/s | Mieści się | |
| Q5_K_M 5.67 bpw | 4.4 GB | ~155 tok/s | Mieści się | |
| Q6_K 6.56 bpw | 4.8 GB | ~143 tok/s | Mieści się | |
| Q8_0 8.50 bpw | 5.8 GB | ~121 tok/s | Mieści się | |
| F16 16.00 bpw | 9.4 GB | ~77 tok/s | Mieści się |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla Shieldstral 1.0 3B →
Uruchom Shieldstral 1.0 3B
Najtańsze GPU z naszego katalogu, które uruchomi Shieldstral 1.0 3B, to Intel Arc B570 (10 GB).
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić Shieldstral 1.0 3B
No Ollama tag. Mistral documents vLLM and llama.cpp builds on the model card.
Specyfikacja
Verified — Checked against the primary source — the model card or the vendor spec page — and corroborated by a second independent source.
- Parametry
- 3.8 Billion
- Okno kontekstu
- 32,768
- Architektura
- Dense Transformer (GQA), image input
- Dostawca
- Mistral AI
- Licencja
- Apache-2.0
- Practical deployment
- Edge device (phone, SBC)
- Określono przy
- Q4_K_M
- RAM systemowy
- 16 GB
- Rekord zaktualizowany
- 2026-11-03
Commercial use permitted. No usage restrictions beyond attribution.
Ograniczenia i zastrzeżenia
- A classifier, not a chat model: it scores content against the policy you pass in.
- Trained on sequences up to 32K tokens; the card advises staying inside that range.
Zobacz też Ministral 3 3B
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
Shieldstral 1.0 3B — najczęściej zadawane pytania
How much VRAM does Shieldstral 1.0 3B need?
About 3 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does Shieldstral 1.0 3B run on an RTX 4090 (24 GB)?
Yes. Shieldstral 1.0 3B needs about 3 GB at Q4_K_M, inside a 24 GB card, at an estimated 170 tokens/sec.
How do I run Shieldstral 1.0 3B locally?
No Ollama tag. Mistral documents vLLM and llama.cpp builds on the model card. Running the published tag would send your prompts to a hosted GPU rather than your own machine.