Dowody: wyniki benchmarków podane przez dostawcę
Granite Switch 4.1 30B — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
Ten sam złożony układ na bazie Granite 4.1 30B: 30,0B parametrów w jednym checkpoincie, 66 warstw, kontekst 128K. Oficjalny GGUF.
Granite Switch 4.1 30B potrzebuje około 19 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Obejmuje pamięć podręczną KV przy kontekście 8K, więc wartości są wyższe niż główna liczba.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| Q2_K 2.63 bpw | 12.9 GB | ~60 tok/s | Mieści się | |
| Q3_K_M 3.41 bpw | 15.8 GB | ~48 tok/s | Mieści się | |
| Q4_K_M 4.83 bpw | 21.1 GB | ~36 tok/s | Mieści się | |
| Q5_K_M 5.67 bpw | 24.3 GB | ~5 tok/s | Częściowo w RAM | |
| Q6_K 6.56 bpw | 27.6 GB | ~4 tok/s | Częściowo w RAM | |
| Q8_0 8.50 bpw | 34.9 GB | ~3 tok/s | Częściowo w RAM | |
| F16 16.00 bpw | 63 GB | — | Za duży |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla Granite Switch 4.1 30B →
Uruchom Granite Switch 4.1 30B
Najtańsze GPU z naszego katalogu, które uruchomi Granite Switch 4.1 30B, to AMD Radeon RX 7900 XTX (24 GB).
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić Granite Switch 4.1 30B
No Ollama tag. Use IBM's official GGUF with llama.cpp.
Specyfikacja
Verified — Checked against the primary source — the model card or the vendor spec page — and corroborated by a second independent source.
- Parametry
- 30.0 Billion (base + adapters + encoder)
- Okno kontekstu
- 131,072
- Architektura
- Dense Transformer (GQA) with aLoRA adapters
- Dostawca
- IBM
- Licencja
- Apache-2.0
- Practical deployment
- Single consumer GPU
- Określono przy
- Q4_K_M
- RAM systemowy
- 32 GB
- Rekord zaktualizowany
- 2026-11-03
Commercial use permitted. No usage restrictions beyond attribution.
Ograniczenia i zastrzeżenia
- A composed checkpoint: the adapters are reached through control tokens.
- Kept out of general chat rankings; compare it with Granite 4.1 30B for plain chat.
Zobacz też Granite 4.1 30B
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
Inne rozmiary IBM Granite Switch 4.1
Granite Switch 4.1 30B — najczęściej zadawane pytania
How much VRAM does Granite Switch 4.1 30B need?
About 19 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does Granite Switch 4.1 30B run on an RTX 4090 (24 GB)?
Yes. Granite Switch 4.1 30B needs about 19 GB at Q4_K_M, inside a 24 GB card, at an estimated 36 tokens/sec.
How do I run Granite Switch 4.1 30B locally?
No Ollama tag. Use IBM's official GGUF with llama.cpp. Running the published tag would send your prompts to a hosted GPU rather than your own machine.
What other sizes does IBM Granite Switch 4.1 come in?
Granite Switch 4.1 8B (6 GB), Granite Switch 4.1 30B (19 GB). Every size shares the family's training and licence; the larger ones score higher and need proportionally more memory.