运行 AI 并不需要 2000 美元的 GPU。小语言模型（SLM）足够高效，适合边缘设备。
推荐模型
- Phi-3.5 Mini（3.8B）： 微软的杰作，几乎在任何设备上都能运行。
- Qwen 2.5 1.5B/3B： 相对于其体量，编程性能惊人。
- Gemma 2 2B： 谷歌的轻量级模型。
树莓派 5 配置
- 安装 64 位操作系统（Ubuntu 或 Raspberry Pi OS）。
- 安装 Ollama：
curl -fsSL https://ollama.com/install.sh | sh - 运行一个微型模型：
ollama run qwen2.5:1.5b - 预期表现： 每秒 3–5 个 token。可用于简单指令。
笔记本优化（续航）
运行 LLM 会快速消耗电量。
- 使用 GGUF 格式： 它针对 CPU 效率做了优化。
- 限制线程数： 在 Ollama 中，你可以设置
OMP_NUM_THREADS=4，避免它占用所有核心，从而省电。
要估算某个具体模型，请使用VRAM 计算器：查看每种量化和上下文长度所需的显存。