IBM Granite Switch 4.1 — lokalny model AI od IBM
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
Złożone checkpointy Granite 4.1: model bazowy, adaptery aLoRA do decyzji i kontroli typu guardian oraz enkoder mowy w jednym pliku. Tokeny sterujące przełączają tryb w każdym żądaniu, więc jeden endpoint może prowadzić czat, podejmować decyzje i filtrować treści. Apache-2.0, oficjalne pliki GGUF.
Warianty
Najmniejszy wariant IBM Granite Switch 4.1 potrzebuje około 6 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV.
| Model | VRAM przy Q4 | VRAM | Kontekst | Uruchom |
|---|---|---|---|---|
| Granite Switch 4.1 8B → 8.8B | ~6.1 GB | 131,072 | tag hostowany w chmurze | |
| Granite Switch 4.1 30B → 30B | ~18.9 GB | 131,072 | tag hostowany w chmurze |
Pamięć to skwantyzowane wagi plus narzut przy Q4_K_M, liczone tym samym silnikiem co sprawdzarka GPU i VRAM.
Jak uruchomić IBM Granite Switch 4.1 lokalnie
Zainstaluj Ollama, a potem pobierz tag.
No Ollama tag. Use IBM's official GGUF with llama.cpp.
Wybierz rozmiar powyżej, aby zobaczyć jego VRAM, szacowaną szybkość i polecenie instalacji.
Licencja
Commercial use permitted. No usage restrictions beyond attribution.
Dotyczy: Granite Switch 4.1 8B, Granite Switch 4.1 30BPolecane GPU
Najtańsze GPU z naszego katalogu, które uruchomi IBM Granite Switch 4.1 lokalnie (min. 6 GB VRAM), to Intel Arc B570 (10 GB).
IBM Granite Switch 4.1 — najczęściej zadawane pytania
How much VRAM does IBM Granite Switch 4.1 need?
IBM Granite Switch 4.1 needs about 6 GB VRAM at Q4_K_M quantization for its smallest variant. Variants: Granite Switch 4.1 8B (6 GB, Q4_K_M); Granite Switch 4.1 30B (19 GB, Q4_K_M). On Apple Silicon, unified memory counts toward this requirement.
Can I run IBM Granite Switch 4.1 on an RTX 4090 (24 GB)?
Yes — IBM Granite Switch 4.1 runs on an RTX 4090 (24 GB) and other 24 GB cards such as the RTX 3090. Smaller variants also fit comfortably on 8–16 GB GPUs at Q4_K_M.
What quantization should I use for IBM Granite Switch 4.1?
Q4_K_M is the best balance of quality and VRAM for IBM Granite Switch 4.1 in most cases. Choose Q8_0 for near-lossless quality if you have spare VRAM, or smaller quants (Q3/Q2) only when memory is tight.
How do I run IBM Granite Switch 4.1 with Ollama?
IBM Granite Switch 4.1 has no local Ollama tag — the published tag is cloud-hosted, so running it sends your prompts to a hosted GPU rather than your own machine.