Ternary Bonsai 27B — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
The laptop build and recommended pick when you have the memory. Ternary {−1, 0, +1} weights at ~1.71 bits/weight land at 5.9 GB while keeping more than 95% of the FP16 baseline. PrismML reports MATH-500 99.20, AIME 2025 90.84, HumanEval+ 93.90 and LiveCodeBench 82.8, with tool-use and agentic ability largely intact (~74). Multimodal, 262K context, Apache 2.0. Ships as GGUF and MLX; also hosted on Together AI. Specs from launch coverage — verify on the Hugging Face model card.
Ternary Bonsai 27B potrzebuje około 7 GB VRAM przy Ternary (1.58-bit, ~1.71 bpw) — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Tylko wagi i narzut: architektura tego modelu nie jest opublikowana, więc nie doliczamy pamięci KV.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| Ternary (1.58-bit, ~1.71 bpw) 1.71 bpw | 6.6 GB | ~91 tok/s | Mieści się |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla Ternary Bonsai 27B →
Uruchom Ternary Bonsai 27B
Najtańsze GPU z naszego katalogu, które uruchomi Ternary Bonsai 27B, to Intel Arc B570 (10 GB).
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić Ternary Bonsai 27B
Zainstaluj Ollama, a potem uruchom:
ollama run bonsai-27bSpecyfikacja
Preview — The model is released, but these specs are thin or rest on a single source. Individual fields may be wrong.
Preview — The model is released, but these specs are thin or rest on a single source. Individual fields may be wrong.
- Parametry
- 27 Billion
- Okno kontekstu
- 262,144
- Architektura
- Qwen3.6-27B (multimodal), ternary weights
- Dostawca
- PrismML
- Licencja
- Apache 2.0
- Practical deployment
- Laptop
- Określono przy
- Ternary (1.58-bit, ~1.71 bpw)
- RAM systemowy
- 16 GB
- Rekord zaktualizowany
- 2026-07-15
Commercial use permitted. No usage restrictions beyond attribution.
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
| Benchmark | Wynik | Źródło |
|---|---|---|
| MATH-500 | 99.2 % | deklaracja producenta · PrismML (launch) |
| AIME 2025 | 90.84 % | deklaracja producenta · PrismML (launch) |
| HumanEval+ | 93.9 % | deklaracja producenta · PrismML (launch) |
| LiveCodeBench | 82.8 % | deklaracja producenta · PrismML (launch) |
| Tool-use (agentic) | 74.01 % | deklaracja producenta · PrismML (launch) |
| Vision | 65.19 % | deklaracja producenta · PrismML (launch) |
Czy uruchomię Ternary Bonsai 27B na moim GPU?
- Ternary Bonsai 27B na AMD Radeon RX 9060 XT 8GB
- Ternary Bonsai 27B na Intel Arc B570
- Ternary Bonsai 27B na Intel Arc B580
- Ternary Bonsai 27B na NVIDIA GeForce RTX 3060 (12GB)
- Ternary Bonsai 27B na NVIDIA GeForce RTX 3070
- Ternary Bonsai 27B na NVIDIA GeForce RTX 3070 Ti
- Ternary Bonsai 27B na NVIDIA GeForce RTX 3080 (10GB)
- Ternary Bonsai 27B na NVIDIA GeForce RTX 4060
- Ternary Bonsai 27B na NVIDIA GeForce RTX 4070
- Ternary Bonsai 27B na NVIDIA GeForce RTX 4070 Super
- Ternary Bonsai 27B na NVIDIA GeForce RTX 4070 Ti
- Ternary Bonsai 27B na NVIDIA GeForce RTX 5060
- Ternary Bonsai 27B na NVIDIA GeForce RTX 5060 Ti 8GB
- Ternary Bonsai 27B na NVIDIA GeForce RTX 5070
Inne rozmiary Bonsai 27B
Ternary Bonsai 27B — najczęściej zadawane pytania
How much VRAM does Ternary Bonsai 27B need?
About 7 GB at Ternary (1.58-bit, ~1.71 bpw) — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does Ternary Bonsai 27B run on an RTX 4090 (24 GB)?
Yes. Ternary Bonsai 27B needs about 7 GB at Ternary (1.58-bit, ~1.71 bpw), inside a 24 GB card, at an estimated 91 tokens/sec.
How do I run Ternary Bonsai 27B locally?
Install Ollama and run `ollama run bonsai-27b`. That pulls the weights and starts a local OpenAI-compatible endpoint; after the download nothing leaves the machine.
What other sizes does Bonsai 27B come in?
1-bit Bonsai 27B (5 GB), Ternary Bonsai 27B (7 GB). Every size shares the family's training and licence; the larger ones score higher and need proportionally more memory.