传统 LLM 的权重使用 16 位浮点数（FP16），这需要海量显存和繁重的矩阵乘法运算——GPU 擅长这类运算，而 CPU 则力不从心。
BitNet b1.58 是微软的一项研究突破，改变了游戏规则。
1. 什么是 1-bit LLM？
BitNet 不再为神经网络中的每个权重使用成千上万种可能取值，而是将权重限制为仅三个值：{-1, 0, 1}。
从数学上讲，这大约是 1.58 位（log2(3)）。
这为什么意义重大？
- 无需矩阵乘法： 繁重的"MatMul"运算变成简单的加法/减法。
- 极致高效： 内存和能耗都大幅降低。
- CPU 速度： 由于它依赖加法而非浮点乘法，因此在标准 CPU（如你的笔记本处理器）上运行速度极快，减少了对昂贵 NVIDIA GPU 的需求。
2. 如何运行（BitNet.cpp）
标准的 Ollama 目前尚未完全支持 1-bit 推理所需的自定义内核，但你可以使用专门的 bitnet.cpp 推理引擎（基于 llama.cpp）来运行它。
步骤 A：前置条件
你需要 git、cmake 和一个 C++ 编译器（clang 或 gcc）。
步骤 B：克隆并构建
# 1. Clone the repo
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet
# 2. Build via Python setup (Easiest)
pip install -r requirements.txt
python setup.py install步骤 C：下载模型
从 Hugging Face 下载量化后的 b1.58 GGUF 或专用格式。
# Example using huggingface-cli
huggingface-cli download 1bitLLM/bitnet_b1_58-3B --local-dir models/bitnet-3b步骤 D：运行推理
# Run using the python wrapper
python run_inference.py --model models/bitnet-3b --prompt "Explain quantum computing"3. 性能预期
- 质量： 3B 模型在困惑度上可与标准的 Llama 3B/7B 模型媲美，但在创意写作方面细腻程度略逊一筹。
- 速度： 在 Apple M1/M2/M3 CPU 上，你可以获得极高的每秒 token 数，且设备不会发热。
4. 未来展望
BitNet 证明了智能并不需要高精度运算。这为在手机、手表和物联网设备上高效运行强大的 AI 铺平了道路。