Ternary Bonsai 2 — PrismML 的本地 AI 模型
作者： Jakub Rusinowski · 最后更新：
PrismML 的第二代三值模型系列：四个视觉语言模型，权重只取 −1、0 或 +1，以打包格式存储，体积约为 FP16 的九分之一。2B、4B 和 9B 由 Qwen3.5 重建，27B 由 Qwen3.8-27B 重建，因此都保留 262,144 token 上下文和混合注意力结构（每三层线性注意力配一层全注意力），KV 缓存也因此很小。它们只以这些打包格式发布——没有 Q4_K_M 或 Q8_0 版本——最小的文件需要 PrismML 自己的 llama.cpp 分支或 mlx-vlm 才能加载。Apache 2.0。27B 取代了 7 月基于 Qwen3.6 的 Bonsai 27B。
变体
Ternary Bonsai 2 最小的变体在 PTQ1_0 ternary 下约需 1 GB 显存——量化权重加框架开销，不含 KV 缓存。
| 模型 | Q4 下显存 | 显存 | 上下文 | 运行 |
|---|---|---|---|---|
| Ternary Bonsai 2 2B → 2B | ~1.2 GB | 262,144 | 云端托管标签 | |
| Ternary Bonsai 2 4B → 4B | ~1.8 GB | 262,144 | 云端托管标签 | |
| Ternary Bonsai 2 9B → 9B | ~2.8 GB | 262,144 | 云端托管标签 | |
| Ternary Bonsai 2 27B → 27B | ~6.7 GB | 262,144 | 云端托管标签 |
显存为 Q4_K_M 下的量化权重加开销，与 GPU 与显存检测器使用同一引擎计算。
如何在本地运行 Ternary Bonsai 2
安装 Ollama，然后拉取标签。
No Ollama library entry. The packed ternary formats need PrismML's llama.cpp fork (or upstream llama.cpp for the Q2_0 file only); on Apple devices use the MLX build with mlx-vlm 0.7.8 or newer.
在上方选择一个尺寸，查看它自己的显存、速度估算和安装命令。
许可证
Commercial use permitted. No usage restrictions beyond attribution.
适用于: Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B, Ternary Bonsai 2 27B推荐 GPU
目录中能在本地运行 Ternary Bonsai 2（至少 1 GB 显存）的最便宜 GPU 是 Intel Arc B570 (10 GB).
我的 GPU 能运行 Ternary Bonsai 2 吗？
Ternary Bonsai 2 — 常见问题
How much VRAM does Ternary Bonsai 2 need?
Ternary Bonsai 2 needs about 1 GB VRAM at PTQ1_0 ternary quantization for its smallest variant. Variants: Ternary Bonsai 2 2B (1 GB, PTQ1_0 ternary); Ternary Bonsai 2 4B (2 GB, PTQ1_0 ternary); Ternary Bonsai 2 9B (3 GB, PTQ1_0 ternary); Ternary Bonsai 2 27B (7 GB, PTQ1_0 ternary). On Apple Silicon, unified memory counts toward this requirement.
Can I run Ternary Bonsai 2 on an RTX 4090 (24 GB)?
Yes — Ternary Bonsai 2 runs on an RTX 4090 (24 GB) and other 24 GB cards such as the RTX 3090. Smaller variants also fit comfortably on 8–16 GB GPUs at PTQ1_0 ternary.
What quantization should I use for Ternary Bonsai 2?
Ternary Bonsai 2 is published only pre-quantised, so there is no Q4_K_M or Q8_0 build to choose between: each variant ships in the format listed beside it above (PTQ1_0 ternary). Use the vendor's runtime for that format, as the variant pages describe.
How do I run Ternary Bonsai 2 with Ollama?
Ternary Bonsai 2 has no local Ollama tag — the published tag is cloud-hosted, so running it sends your prompts to a hosted GPU rather than your own machine.