Bonsai 27B — lokalny model AI od PrismML
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
ZAPOWIEDŹ (lipiec 2026). Pierwszy model klasy 27B, który działa na telefonie. Bonsai 27B to ekstremalnie niskobitowa przebudowa Qwen3.6-27B wykonana przez PrismML: architektura pozostaje bez zmian, ale wagi ściśnięto do mniej więcej 1–1,7 bita każda. Build 1-bitowy waży zaledwie 3,9 GB — dość mało, by zmieścić się w iPhonie — natomiast build trójwartościowy ma 5,9 GB i celuje w laptopy. Oba są multimodalne (tekst + obrazy), mają kontekst 262K tokenów i licencję Apache 2.0. PrismML podaje, że build trójwartościowy zachowuje ponad 95% wyników wersji pełnej precyzji (FP16) w zestawie 15 benchmarków, a build 1-bitowy ponad 90%, osiągając około 11 tok/s na iPhonie 17 Pro. Specyfikacja pochodzi z materiałów premierowych — zweryfikuj ją na kartach modeli na Hugging Face.
Warianty
Najmniejszy wariant Bonsai 27B potrzebuje około 5 GB VRAM przy 1-bit (binary, ~1.125 bpw) — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV.
| Model | VRAM przy Q4 | VRAM | Kontekst | Uruchom |
|---|---|---|---|---|
| 1-bit Bonsai 27B → 27B | ~4.6 GB | 262,144 | ollama run bonsai-27b | |
| Ternary Bonsai 27B → 27B | ~6.6 GB | 262,144 | ollama run bonsai-27b |
Pamięć to skwantyzowane wagi plus narzut przy Q4_K_M, liczone tym samym silnikiem co sprawdzarka GPU i VRAM.
Jak uruchomić Bonsai 27B lokalnie
Zainstaluj Ollama, a potem pobierz tag.
ollama run bonsai-27bWybierz rozmiar powyżej, aby zobaczyć jego VRAM, szacowaną szybkość i polecenie instalacji.
Licencja
Commercial use permitted. No usage restrictions beyond attribution.
Dotyczy: 1-bit Bonsai 27B, Ternary Bonsai 27BPolecane GPU
Najtańsze GPU z naszego katalogu, które uruchomi Bonsai 27B lokalnie (min. 5 GB VRAM), to Intel Arc B570 (10 GB).
Czy uruchomię Bonsai 27B na moim GPU?
- Bonsai 27B na AMD Radeon RX 9060 XT 8GB
- Bonsai 27B na Intel Arc B570
- Bonsai 27B na Intel Arc B580
- Bonsai 27B na NVIDIA GeForce RTX 3060 (12GB)
- Bonsai 27B na NVIDIA GeForce RTX 3070
- Bonsai 27B na NVIDIA GeForce RTX 3070 Ti
- Bonsai 27B na NVIDIA GeForce RTX 3080 (10GB)
- Bonsai 27B na NVIDIA GeForce RTX 4060
- Bonsai 27B na NVIDIA GeForce RTX 4070
- Bonsai 27B na NVIDIA GeForce RTX 4070 Super
- Bonsai 27B na NVIDIA GeForce RTX 4070 Ti
- Bonsai 27B na NVIDIA GeForce RTX 5060
- Bonsai 27B na NVIDIA GeForce RTX 5060 Ti 8GB
- Bonsai 27B na NVIDIA GeForce RTX 5070
Bonsai 27B — najczęściej zadawane pytania
How much VRAM does Bonsai 27B need?
Bonsai 27B needs about 5 GB VRAM at 1-bit (binary, ~1.125 bpw) quantization for its smallest variant. Variants: 1-bit Bonsai 27B (5 GB, 1-bit (binary, ~1.125 bpw)); Ternary Bonsai 27B (7 GB, Ternary (1.58-bit, ~1.71 bpw)). On Apple Silicon, unified memory counts toward this requirement.
Can I run Bonsai 27B on an RTX 4090 (24 GB)?
Yes — Bonsai 27B runs on an RTX 4090 (24 GB) and other 24 GB cards such as the RTX 3090. Smaller variants also fit comfortably on 8–16 GB GPUs at 1-bit (binary, ~1.125 bpw).
What quantization should I use for Bonsai 27B?
Bonsai 27B is published only pre-quantised, so there is no Q4_K_M or Q8_0 build to choose between: each variant ships in the format listed beside it above (1-bit (binary, ~1.125 bpw)). Use the vendor's runtime for that format, as the variant pages describe.
How do I run Bonsai 27B with Ollama?
Bonsai 27B has no local Ollama tag — the published tag is cloud-hosted, so running it sends your prompts to a hosted GPU rather than your own machine.