在手机上运行 LLM —— 完全离线指南（2026）

你的智能手机比你想象的更强大。现代旗舰手机能在设备端完整运行 1B–3B 参数的 LLM，无需联网、无需 API 密钥、完全私密。本指南涵盖你上手所需的一切。

2026 年到底能做到什么？

现实预期： 手机以聊天速度运行小型（1B–4B）模型。它们比不上带 RTX 4090 的台式机，但对随身任务确实有用——而且 100% 离线工作。

各平台最佳应用

iOS（iPhone）

Android

推荐： 在两个平台上都从 PocketPal AI 开始——它免费、跨平台、维护活跃，且模型兼容性最广。

手机推荐模型

分步教程：PocketPal AI（iOS 与 Android）

PocketPal AI 是两个平台上最简单、最强大的本地 AI 应用。

第 1 步：安装

• iOS：App Store — PocketPal AI
• Android：Google Play — PocketPal AI

第 2 步：下载模型

1. 打开 PocketPal → 点击 Models 标签页
2. 你会看到一份为手机优化的精选模型列表
3. 首次使用：点击 Llama 3.2 3B Instruct Q4 → Download
4. 等待下载（通过 WiFi 通常为 2–4GB）

第 3 步：开始聊天

1. 点击 Chat → 选择你下载的模型
2. 等待约 5 秒，模型加载进内存
3. 输入消息并发送

第 4 步：（可选）加载自定义 GGUF 模型

1. 从 Hugging Face 下载任意 .gguf 文件到你的"文件"应用（iOS）或"下载"（Android）
2. 在 PocketPal → Models → Add Custom Model → 选择该文件
3. 设置上下文大小（手机建议 512–2048）

分步教程：LLM Farm（仅 iOS）

LLM Farm 是一款注重隐私的开源应用，控制粒度精细。

安装： GitHub — LLM Farm 或在 App Store 搜索 "LLM Farm"

设置：

1. 打开 LLM Farm → 点击 + 添加模型
2. 选择 Download from HuggingFace 或 Import from Files
3. 新手推荐的模型字符串：

`` https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf ``

1. 设置 Context Size：2048（8GB 手机安全）、4096（12GB+ 手机）
2. 设置 Threads：4–6（与你的 CPU 核心数匹配）
3. 点击 Save → 选择模型 → Chat

分步教程：MLC Chat（Android —— 最快）

MLC Chat 使用 Vulkan GPU 加速，在 Android 上比纯 CPU 应用快 2–3 倍。

安装： GitHub — MLC-LLM Android（从 GitHub releases 获取 APK）

设置：

1. 安装 APK（在 Android 设置中启用"安装未知应用"）
2. 打开 MLC Chat → 点击 + 浏览内置模型
3. 选择 Llama-3.2-3B-Instruct-q4f16_1（最适合大多数 Android 手机）
4. 下载模型（~2GB）→ 点击加载 → Chat

MLC 为何更快： MLC 用 TVM 将模型预编译为 GPU 原生代码，通过 Vulkan 使用你的 Adreno 或 Mali GPU，而非 CPU。在骁龙 8 Elite 上，预计 15–25 token/秒，而纯 CPU 应用为 8–12。

iPhone 专属提示（神经引擎）

iPhone 拥有专用的神经引擎（Neural Engine），算力最高达 38 TOPS（A18 Pro）。PocketPal 和 LLM Farm 等应用会通过苹果的 Core ML 框架自动使用它：

• 神经引擎对量化模型（Q4、Q8）最有效
• iOS 上为获得最佳性能：使用 Q4_K_M 量化
• 建议上下文窗口：8GB iPhone 上 1024–2048 token
• 生成时保持屏幕常亮——iOS 会激进地限制后台应用
• 在 iPhone 设置 → 电池中启用性能模式（如你的设备支持）

Android 专属提示（骁龙 Adreno）

骁龙 8 Gen 3 / 8 Elite 手机通过 Hexagon NPU 拥有出色的 AI 加速：

• 用 MLC Chat 获得 Vulkan GPU 加速（最快选项）
• 用 PocketPal 获得更广的模型兼容性
• 推理时在手机设置中启用游戏模式或性能模式
• 长时间会话请让手机保持充电——持续 AI 推理耗电很快（满载时约每小时 8–12%）
• 三星 Galaxy 手机：用 Game Booster → 添加你的 AI 应用，以获得优先的 CPU/GPU 分配

电池与性能指南

相比台式机的局限

理解手机做不到什么，有助于设定正确的预期：

• 上下文窗口： 手机通常上限为 2k–4k token（台式机：8k–128k）
• 模型体量： 大多数手机的实用上限是 4B 参数；7B 需要 12GB+ 内存且非常慢
• 无法微调： 手机内存不足以训练——仅能推理
• 热降频： 重度生成 15–20 分钟后，手机会为保护温度而降频（速度下降 30–50%）
• 暂无多模态： 截至 2026 年，大多数手机应用尚不支持图文模型

效果良好的离线用例

• 写作辅助 —— 旅途中起草邮件、编辑文本、构思点子
• 语言翻译 —— 用 Qwen2.5（中/日/韩）或 Llama 多语言模型离线翻译
• 编程帮助 —— 用 Phi-3 Mini 或 Qwen2.5 Coder 快速写代码片段和调试
• 学习助手 —— 讲解概念、自测，而不把数据发送到任何地方
• 私密日记 —— 一个在没有任何云连接下处理你想法的 AI
• 飞行模式 AI —— 完全离线工作，无需 WiFi 或蜂窝网络

→ 在硬件分析器中检查你手机的兼容性 | → 浏览适合手机的微型模型