教程 17：1-bit LLM 时代与 BitNet b1.58

作者： Jakub Rusinowski · 最后更新： 2026年7月10日

传统 LLM 的权重使用 16 位浮点数（FP16），这需要海量显存和繁重的矩阵乘法运算——GPU 擅长这类运算，而 CPU 则力不从心。

本指南内容

• 1. 什么是 1-bit LLM？
• 2. 如何运行（BitNet.cpp）
• 3. 性能预期
• 4. 未来展望

传统 LLM 的权重使用 16 位浮点数（FP16），这需要海量显存和繁重的矩阵乘法运算——GPU 擅长这类运算，而 CPU 则力不从心。

BitNet b1.58 是微软的一项研究突破，改变了游戏规则。

1. 什么是 1-bit LLM？

BitNet 不再为神经网络中的每个权重使用成千上万种可能取值，而是将权重限制为仅三个值：{-1, 0, 1}。

从数学上讲，这大约是 1.58 位（log2(3)）。

这为什么意义重大？ 1. 无需矩阵乘法： 繁重的"MatMul"运算变成简单的加法/减法。 2. 极致高效： 内存和能耗都大幅降低。 3. CPU 速度： 由于它依赖加法而非浮点乘法，因此在标准 CPU（如你的笔记本处理器）上运行速度极快，减少了对昂贵 NVIDIA GPU 的需求。

2. 如何运行（BitNet.cpp）

标准的 Ollama 目前尚未完全支持 1-bit 推理所需的自定义内核，但你可以使用专门的 bitnet.cpp 推理引擎（基于 llama.cpp）来运行它。

步骤 A：前置条件

你需要 git、cmake 和一个 C++ 编译器（clang 或 gcc）。

步骤 B：克隆并构建

# 1. Clone the repo
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet

# 2. Build via Python setup (Easiest)
pip install -r requirements.txt
python setup.py install

步骤 C：下载模型

从 Hugging Face 下载量化后的 b1.58 GGUF 或专用格式。

# Example using huggingface-cli
huggingface-cli download 1bitLLM/bitnet_b1_58-3B --local-dir models/bitnet-3b

步骤 D：运行推理

# Run using the python wrapper
python run_inference.py --model models/bitnet-3b --prompt "Explain quantum computing"

3. 性能预期

• 质量： 3B 模型在困惑度上可与标准的 Llama 3B/7B 模型媲美，但在创意写作方面细腻程度略逊一筹。
• 速度： 在 Apple M1/M2/M3 CPU 上，你可以获得极高的每秒 token 数，且设备不会发热。

4. 未来展望

BitNet 证明了智能并不需要高精度运算。这为在手机、手表和物联网设备上高效运行强大的 AI 铺平了道路。

← 所有指南 | 检查 GPU 兼容性