作者： Jakub Rusinowski · 最后更新： 2026年7月10日
你的智能手机比你想象的更强大。现代旗舰手机能在设备端完整运行 1B–3B 参数的 LLM，无需联网、无需 API 密钥、完全私密。本指南涵盖你上手所需的一切。
你的智能手机比你想象的更强大。现代旗舰手机能在设备端完整运行 1B–3B 参数的 LLM，无需联网、无需 API 密钥、完全私密。本指南涵盖你上手所需的一切。
| 手机内存 | 你能运行的模型 | 实用速度 |
|---|---|---|
| 6GB | SmolLM2 1.7B、Phi-3 Mini（受限） | 5–10 token/秒 |
| 8GB | Llama 3.2 1B、SmolLM2 1.7B、Gemma 3 1B | 8–15 token/秒 |
| 12GB | Llama 3.2 3B、Phi-3 Mini 3.8B、Gemma 2 2B | 10–20 token/秒 |
| 16GB | Llama 3.2 3B（Q8）、Phi-3.5 Mini、Qwen2.5 3B | 12–25 token/秒 |
> 现实预期： 手机以聊天速度运行小型（1B–4B）模型。它们比不上带 RTX 4090 的台式机，但对随身任务确实有用——而且 100% 离线工作。
| 应用 | 免费？ | 最适合 | 支持的模型 |
|---|---|---|---|
| PocketPal AI | 免费 | 通用聊天、模型丰富 | GGUF（Llama、Phi、Gemma、Qwen） |
| LLM Farm | 免费 | 注重隐私、本地优先 | GGUF 格式 |
| Enchanted | 免费 | 界面简洁、Ollama 远程或本地 | Llama、Mistral、Gemma |
| AI Chat — Local Models | 免费/内购 | 对新手友好 | 精选模型列表 |
| 应用 | 免费？ | 最适合 | 支持的模型 |
|---|---|---|---|
| PocketPal AI | 免费 | 跨平台、最佳模型库 | GGUF（所有热门模型） |
| MLC Chat | 免费 | GPU 加速（Vulkan）、最快 | MLC 转换的模型 |
| Ollama（Android 测试版） | 免费 | 高级用户、API 访问 | 所有 Ollama 模型 |
| Jan Mobile | 免费 | 开源、OpenAI 兼容 API | GGUF 格式 |
推荐： 在两个平台上都从 PocketPal AI 开始——它免费、跨平台、维护活跃，且模型兼容性最广。
| 模型 | 体积 | 最低内存 | 最适合 | 下载 |
|---|---|---|---|---|
| Llama 3.2 1B Instruct | ~0.8GB | 4GB | 快速聊天、简单任务 | PocketPal 内置 |
| Llama 3.2 3B Instruct | ~2GB | 8GB | 手机上的最佳平衡 | PocketPal 内置 |
| Gemma 3 1B Instruct | ~0.7GB | 4GB | 多语言、谷歌品质 | PocketPal 内置 |
| Phi-3 Mini 3.8B | ~2.4GB | 8GB | 推理、编程任务 | PocketPal / MLC |
| SmolLM2 1.7B Instruct | ~1GB | 4GB | 极速、高效 | PocketPal 内置 |
| Qwen2.5 3B Instruct | ~2GB | 8GB | 多语言、代码 | PocketPal / MLC |
PocketPal AI 是两个平台上最简单、最强大的本地 AI 应用。
第 1 步：安装
第 2 步：下载模型 1. 打开 PocketPal → 点击 Models 标签页 2. 你会看到一份为手机优化的精选模型列表 3. 首次使用：点击 Llama 3.2 3B Instruct Q4 → Download 4. 等待下载（通过 WiFi 通常为 2–4GB）
第 3 步：开始聊天 1. 点击 Chat → 选择你下载的模型 2. 等待约 5 秒，模型加载进内存 3. 输入消息并发送
第 4 步：（可选）加载自定义 GGUF 模型 1. 从 Hugging Face 下载任意 .gguf 文件到你的"文件"应用（iOS）或"下载"（Android） 2. 在 PocketPal → Models → Add Custom Model → 选择该文件 3. 设置上下文大小（手机建议 512–2048）
LLM Farm 是一款注重隐私的开源应用，控制粒度精细。
安装： GitHub — LLM Farm 或在 App Store 搜索 "LLM Farm"
设置： 1. 打开 LLM Farm → 点击 + 添加模型 2. 选择 Download from HuggingFace 或 Import from Files 3. 新手推荐的模型字符串： `` https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf `` 4. 设置 Context Size：2048（8GB 手机安全）、4096（12GB+ 手机） 5. 设置 Threads：4–6（与你的 CPU 核心数匹配） 6. 点击 Save → 选择模型 → Chat
MLC Chat 使用 Vulkan GPU 加速，在 Android 上比纯 CPU 应用快 2–3 倍。
安装： GitHub — MLC-LLM Android（从 GitHub releases 获取 APK）
设置： 1. 安装 APK（在 Android 设置中启用"安装未知应用"） 2. 打开 MLC Chat → 点击 + 浏览内置模型 3. 选择 Llama-3.2-3B-Instruct-q4f16_1（最适合大多数 Android 手机） 4. 下载模型（~2GB）→ 点击加载 → Chat
MLC 为何更快： MLC 用 TVM 将模型预编译为 GPU 原生代码，通过 Vulkan 使用你的 Adreno 或 Mali GPU，而非 CPU。在骁龙 8 Elite 上，预计 15–25 token/秒，而纯 CPU 应用为 8–12。
iPhone 拥有专用的神经引擎（Neural Engine），算力最高达 38 TOPS（A18 Pro）。PocketPal 和 LLM Farm 等应用会通过苹果的 Core ML 框架自动使用它：
骁龙 8 Gen 3 / 8 Elite 手机通过 Hexagon NPU 拥有出色的 AI 加速：
| 手机 | 应用 | 模型 | 速度 | 耗电 |
|---|---|---|---|---|
| iPhone 16 Pro | PocketPal | Llama 3.2 3B Q4 | ~15 t/s | ~6%/小时 |
| iPhone 15 Pro | LLM Farm | Phi-3 Mini Q4 | ~12 t/s | ~8%/小时 |
| Samsung S25 Ultra | MLC Chat | Llama 3.2 3B | ~22 t/s | ~10%/小时 |
| Pixel 9 Pro XL | PocketPal | Llama 3.2 3B Q4 | ~14 t/s | ~9%/小时 |
| OnePlus 13 | MLC Chat | Phi-3 Mini | ~20 t/s | ~10%/小时 |
理解手机做不到什么，有助于设定正确的预期：