Ternary Bonsai 2 — lokalny model AI od PrismML
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
Druga rodzina ternarnych modeli PrismML: cztery modele wizyjno-językowe, których wagi przyjmują tylko wartości −1, 0 lub +1, zapisane w spakowanych formatach około dziewięć razy mniejszych niż FP16. Wersje 2B, 4B i 9B powstały z Qwen3.5, a 27B z Qwen3.8-27B, więc wszystkie zachowują kontekst 262 144 tokenów i hybrydową uwagę (trzy warstwy uwagi liniowej na każdą warstwę pełnej uwagi), co utrzymuje mały KV cache. Są dostępne WYŁĄCZNIE w tych formatach — nie ma wersji Q4_K_M ani Q8_0 — a najmniejsze pliki wymagają forka llama.cpp od PrismML albo mlx-vlm. Apache 2.0. Model 27B zastępuje lipcowy Bonsai 27B, zbudowany na Qwen3.6.
Warianty
Najmniejszy wariant Ternary Bonsai 2 potrzebuje około 1 GB VRAM przy PTQ1_0 ternary — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV.
| Model | VRAM przy Q4 | VRAM | Kontekst | Uruchom |
|---|---|---|---|---|
| Ternary Bonsai 2 2B → 2B | ~1.2 GB | 262,144 | tag hostowany w chmurze | |
| Ternary Bonsai 2 4B → 4B | ~1.8 GB | 262,144 | tag hostowany w chmurze | |
| Ternary Bonsai 2 9B → 9B | ~2.8 GB | 262,144 | tag hostowany w chmurze | |
| Ternary Bonsai 2 27B → 27B | ~6.7 GB | 262,144 | tag hostowany w chmurze |
Pamięć to skwantyzowane wagi plus narzut przy Q4_K_M, liczone tym samym silnikiem co sprawdzarka GPU i VRAM.
Jak uruchomić Ternary Bonsai 2 lokalnie
Zainstaluj Ollama, a potem pobierz tag.
No Ollama library entry. The packed ternary formats need PrismML's llama.cpp fork (or upstream llama.cpp for the Q2_0 file only); on Apple devices use the MLX build with mlx-vlm 0.7.8 or newer.
Wybierz rozmiar powyżej, aby zobaczyć jego VRAM, szacowaną szybkość i polecenie instalacji.
Licencja
Commercial use permitted. No usage restrictions beyond attribution.
Dotyczy: Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B, Ternary Bonsai 2 27BPolecane GPU
Najtańsze GPU z naszego katalogu, które uruchomi Ternary Bonsai 2 lokalnie (min. 1 GB VRAM), to Intel Arc B570 (10 GB).
Czy uruchomię Ternary Bonsai 2 na moim GPU?
Ternary Bonsai 2 — najczęściej zadawane pytania
How much VRAM does Ternary Bonsai 2 need?
Ternary Bonsai 2 needs about 1 GB VRAM at PTQ1_0 ternary quantization for its smallest variant. Variants: Ternary Bonsai 2 2B (1 GB, PTQ1_0 ternary); Ternary Bonsai 2 4B (2 GB, PTQ1_0 ternary); Ternary Bonsai 2 9B (3 GB, PTQ1_0 ternary); Ternary Bonsai 2 27B (7 GB, PTQ1_0 ternary). On Apple Silicon, unified memory counts toward this requirement.
Can I run Ternary Bonsai 2 on an RTX 4090 (24 GB)?
Yes — Ternary Bonsai 2 runs on an RTX 4090 (24 GB) and other 24 GB cards such as the RTX 3090. Smaller variants also fit comfortably on 8–16 GB GPUs at PTQ1_0 ternary.
What quantization should I use for Ternary Bonsai 2?
Ternary Bonsai 2 is published only pre-quantised, so there is no Q4_K_M or Q8_0 build to choose between: each variant ships in the format listed beside it above (PTQ1_0 ternary). Use the vendor's runtime for that format, as the variant pages describe.
How do I run Ternary Bonsai 2 with Ollama?
Ternary Bonsai 2 has no local Ollama tag — the published tag is cloud-hosted, so running it sends your prompts to a hosted GPU rather than your own machine.