教程 7：在笔记本和树莓派上运行 LLM

作者： Jakub Rusinowski · 最后更新： 2026年7月10日

运行 AI 并不需要 2000 美元的 GPU。小语言模型（SLM）足够高效，适合边缘设备。

本指南内容

• 推荐模型
• 树莓派 5 配置
• 笔记本优化（续航）

运行 AI 并不需要 2000 美元的 GPU。小语言模型（SLM）足够高效，适合边缘设备。

推荐模型

• Phi-3.5 Mini（3.8B）： 微软的杰作，几乎在任何设备上都能运行。
• Qwen 2.5 1.5B/3B： 相对于其体量，编程性能惊人。
• Gemma 2 2B： 谷歌的轻量级模型。

树莓派 5 配置

1. 安装 64 位操作系统（Ubuntu 或 Raspberry Pi OS）。 2. 安装 Ollama：curl -fsSL https://ollama.com/install.sh | sh 3. 运行一个微型模型：ollama run qwen2.5:1.5b 4. 预期表现： 每秒 3–5 个 token。可用于简单指令。

笔记本优化（续航）

运行 LLM 会快速消耗电量。

• 使用 GGUF 格式： 它针对 CPU 效率做了优化。
• 限制线程数： 在 Ollama 中，你可以设置 OMP_NUM_THREADS=4，避免它占用所有核心，从而省电。

← 所有指南 | 检查 GPU 兼容性