Dowody: wyniki benchmarków podane przez dostawcę
Granite Switch 4.1 8B — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
Granite 4.1 8B połączony z dwoma adapterami aLoRA (decision i guardian-core) oraz enkoderem: 8,8B parametrów w jednym checkpoincie, kontekst 128K. Tokeny sterujące w szablonie czatu wybierają adapter dla każdego żądania. Rewizja 4.1.1 (27 października 2026) zaktualizowała adapter decyzyjny. Oficjalny GGUF; llama.cpp obsługuje adapter decyzyjny od 16 października 2026.
Granite Switch 4.1 8B potrzebuje około 6 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Obejmuje pamięć podręczną KV przy kontekście 8K, więc wartości są wyższe niż główna liczba.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| Q2_K 2.63 bpw | 5.1 GB | ~143 tok/s | Mieści się | |
| Q3_K_M 3.41 bpw | 6 GB | ~123 tok/s | Mieści się | |
| Q4_K_M 4.83 bpw | 7.5 GB | ~98 tok/s | Mieści się | |
| Q5_K_M 5.67 bpw | 8.4 GB | ~88 tok/s | Mieści się | |
| Q6_K 6.56 bpw | 9.4 GB | ~79 tok/s | Mieści się | |
| Q8_0 8.50 bpw | 11.5 GB | ~64 tok/s | Mieści się | |
| F16 16.00 bpw | 19.8 GB | ~38 tok/s | Mieści się |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla Granite Switch 4.1 8B →
Uruchom Granite Switch 4.1 8B
Najtańsze GPU z naszego katalogu, które uruchomi Granite Switch 4.1 8B, to Intel Arc B570 (10 GB).
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić Granite Switch 4.1 8B
No Ollama tag. Use IBM's official GGUF with llama.cpp.
Specyfikacja
Verified — Checked against the primary source — the model card or the vendor spec page — and corroborated by a second independent source.
- Parametry
- 8.8 Billion (base + adapters + encoder)
- Okno kontekstu
- 131,072
- Architektura
- Dense Transformer (GQA) with aLoRA adapters
- Dostawca
- IBM
- Licencja
- Apache-2.0
- Practical deployment
- Laptop
- Określono przy
- Q4_K_M
- RAM systemowy
- 16 GB
- Rekord zaktualizowany
- 2026-11-03
Commercial use permitted. No usage restrictions beyond attribution.
Ograniczenia i zastrzeżenia
- A composed checkpoint: the adapters are reached through control tokens, so a plain chat client uses only the base model.
- Kept out of general chat rankings; compare it with Granite 4.1 8B for plain chat.
Zobacz też Granite 4.1 8B
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
Inne rozmiary IBM Granite Switch 4.1
Granite Switch 4.1 8B — najczęściej zadawane pytania
How much VRAM does Granite Switch 4.1 8B need?
About 6 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does Granite Switch 4.1 8B run on an RTX 4090 (24 GB)?
Yes. Granite Switch 4.1 8B needs about 6 GB at Q4_K_M, inside a 24 GB card, at an estimated 98 tokens/sec.
How do I run Granite Switch 4.1 8B locally?
No Ollama tag. Use IBM's official GGUF with llama.cpp. Running the published tag would send your prompts to a hosted GPU rather than your own machine.
What other sizes does IBM Granite Switch 4.1 come in?
Granite Switch 4.1 8B (6 GB), Granite Switch 4.1 30B (19 GB). Every size shares the family's training and licence; the larger ones score higher and need proportionally more memory.