本地 LLM 完全新手指南（2026）

作者： Jakub Rusinowski · 最后更新： 2026年7月10日

最后更新：2026 年 5 月 —— 你听说过 ChatGPT 和 Claude，现在你想在自己的电脑上私密地运行 AI。本指南将从零开始带你走完全部流程——无需任何经验。

本指南内容

• 什么是本地 LLM？
• 你需要什么硬件？
• 关键概念：显存
• 第 1 步：安装 Ollama（5 分钟）
• 第 2 步：下载并运行你的第一个模型
• 第 3 步：选择一个聊天界面
• 第 4 步：为你的任务挑选合适的模型
• 理解模型名称

最后更新：2026 年 5 月 —— 你听说过 ChatGPT 和 Claude，现在你想在自己的电脑上私密地运行 AI。本指南将从零开始带你走完全部流程——无需任何经验。

什么是本地 LLM？

本地 LLM（大语言模型）是一种完全在你自己的硬件上运行的 AI——无需联网、无需订阅费、不会把数据发送到服务器。它与 ChatGPT 是同样的技术，只是私密地运行在你的 PC 或 Mac 上。

为什么要在本地运行？

• 隐私： 你的对话永远不会离开你的机器。默认符合 GDPR。
• 成本： 除硬件外，推理是免费的。没有每月 20 美元的订阅或 API 账单。
• 掌控： 可修改行为、使用任何模型、没有内容限制。
• 速度： 没有速率限制、无需排队、即时响应。
• 可靠： 离线也能用，没有服务中断，没有 API 宕机。

2026 年的本地 AI 确实很好用。运行在 300 美元 GPU 上的现代 8B 模型足以与 GPT-3.5-Turbo 竞争，而 1600 美元配置上的 70B 模型在大多数任务上可媲美 GPT-4 级别的质量。

你需要什么硬件？

简短的答案：你很可能已经有足够的硬件来上手了。

硬件	你能运行什么	体验
任何 8GB 内存的 PC（无 GPU）	TinyLlama、Phi-3.5 Mini	能用，但慢（约 2–5 t/s）
4GB 显存 GPU 的 PC	Phi-3.5 Mini、Gemma 3 4B	速度不错（约 20–30 t/s）
8GB 显存的 PC（RTX 3070/4060）	Llama 3.1 8B、Gemma 3 12B	出色（约 50–70 t/s）
16GB 显存的 PC（RTX 4060 Ti）	Qwen 2.5 14B、Gemma 3 27B	很棒（约 40–60 t/s）
24GB 显存的 PC（RTX 4090）	Llama 3.3 70B Q4、Llama 4 Maverick	旗舰级（约 30–50 t/s）
MacBook Air M2/M3 16GB	Llama 3.1 8B、Gemma 3 12B	出色——为 Apple Silicon 优化
32GB+ 统一内存的 Mac	DeepSeek R1 32B、Gemma 3 27B	卓越
Mac Studio M4 Max 128GB	Llama 3.3 70B、DeepSeek R1 671B	专业级

不确定你的 GPU 是什么？使用硬件检查器 →

关键概念：显存

显存（VRAM，Video RAM） 是你显卡上的内存。它决定了你能以全速运行哪些 AI 模型。

可以这样理解：模型的权重就像一本书——整本书必须装进显存，AI 才能全速"阅读"它。如果装不下，模型就会溢出到普通的系统内存，而后者要慢 10–50 倍。

• 8GB 显存 → 从容运行 7–9B 模型
• 12–16GB 显存 → 运行 12–27B 模型
• 24GB 显存 → 运行 32–70B 模型（量化后）
• Apple Silicon → 你的整个内存都算作显存（16GB Mac ≈ 11–12GB 可用于 AI）

第 1 步：安装 Ollama（5 分钟）

Ollama 是运行本地 LLM 最简单的方式。它免费、开源，并支持 Windows、Mac 和 Linux。可以把它看作本地 AI 模型的"应用商店 + 运行时"。

Windows

1. 访问 ollama.com/download，点击 Download for Windows 2. 运行 .exe 安装程序（无需管理员权限） 3. Ollama 会静默安装并出现在系统托盘中

macOS

1. 访问 ollama.com/download，点击 Download for macOS 2. 打开下载的 .zip，将 Ollama 拖入"应用程序"文件夹 3. 打开 Ollama——在"系统设置 → 隐私与安全性"中批准任何安全提示

Linux

curl -fsSL https://ollama.com/install.sh | sh

验证安装：

ollama --version
# Should output: ollama version 0.x.x

第 2 步：下载并运行你的第一个模型

打开终端（Mac/Linux）或 PowerShell（Windows）。为你的硬件选择合适的模型：

8GB 显存或 16GB Apple Silicon —— 最佳的入门模型：

ollama run llama3.1

较旧/较弱的硬件（4GB 显存或更少）：

ollama run gemma3:4b

16GB+ 显存 —— 试试更大的模型：

ollama run gemma3:27b

高级推理（如果你有 20GB+ 显存）：

ollama run deepseek-r1:32b

Ollama 会下载模型（视大小 4–20 GB），并把你带入聊天提示符（>>>）。输入一条消息并回车。

必备的 Ollama 命令

ollama list              # See all downloaded models
ollama pull llama3.1     # Download model without starting chat
ollama rm llama3.1       # Delete a model to free disk space
ollama ps                # See which models are currently running
ollama serve             # Start the Ollama API server manually

第 3 步：选择一个聊天界面

终端可以用，但大多数用户更喜欢网页界面。以下是你的选择：

方案 A：Open WebUI（多数人推荐）

连接 Ollama 的 ChatGPT 风格界面。需要 Docker：

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

然后打开 http://localhost:3000。功能：聊天记录、文件上传、图像分析、语音输入。

方案 B：LM Studio（最简单，无需 Docker）

在 lmstudio.ai 下载。一个自带模型浏览器和聊天界面的独立应用。最适合非技术用户。

方案 C：Jan（离线优先）

在 jan.ai 下载。完全离线运行、开源、注重隐私。

第 4 步：为你的任务挑选合适的模型

不同模型擅长不同任务：

任务	最佳模型（8GB 显存）	最佳模型（24GB 显存）
日常聊天	Llama 3.1 8B	Llama 3.3 70B
编程	Qwen 2.5-Coder 7B	DeepSeek R1 32B
写作与摘要	Gemma 3 12B	Gemma 3 27B
推理与数学	DeepSeek R1 8B	DeepSeek R1 32B
最快响应	Gemma 3 4B	Qwen 2.5 14B
图像理解	Llama 3.2 Vision 11B	Gemma 3 27B Vision

→ 浏览所有模型 → 以对比规格、基准测试和下载体积。

理解模型名称

当你看到诸如 "Llama 3.1 8B Q4_K_M" 这样的模型名称时，含义如下：

• Llama 3.1 —— 模型家族与版本
• 8B —— 80 亿参数（越大越聪明，但需要更多显存）
• Q4_K_M —— 量化级别（模型的压缩版本）

量化速查：

• FP16： 完整质量，两倍显存——仅适合大显存 GPU
• Q8_0： 近乎完美的质量，一倍显存——如果显存够就很棒
• Q4_K_M： 甜蜜点——约 5% 质量损失，半倍显存——默认就用它
• Q2_K： 质量明显下降——仅适合非常有限的硬件

常见问题排查

"Error: model not found"

# Check the exact model name at ollama.com/library
ollama pull llama3.1:8b   # Specify exact variant

响应非常慢（2–5 token/秒） 你的模型很可能在 CPU 而非 GPU 上运行。检查：

ollama ps   # Shows which layers are on GPU vs CPU

如果大多数层在 CPU 上，说明你的模型装不进显存——试试更小/量化程度更高的模型。

"Out of memory" 错误 减小上下文长度，或换用量化程度更高的模型（用 Q4 代替 Q8）。

Ollama 无法连接（Windows 上） 检查系统托盘——Ollama 应显示为正在运行。如果没有：

# Restart the Ollama service
ollama serve

Linux 上未检测到 GPU

# NVIDIA: check CUDA driver
nvidia-smi

# AMD: check ROCm
rocm-smi

关键术语表

• VRAM（显存）： 显卡上的内存。越多 = 模型越大、推理越快。
• 参数（7B、13B、70B）： 以十亿为单位的模型规模。参数越多越聪明，但需要更多显存。
• 量化（Q4、Q8）： 压缩级别。Q4 = 更小/更快。Q8 = 质量更高。
• Token（词元）： 文本的单位（大致 1 token ≈ 0.75 个英文单词）。模型按 token 计费或按每秒生成的 token 数衡量速度。
• 上下文窗口： 模型一次能"记住"的文本量（4k = 3000 字；128k = 一本书的篇幅）。
• GGUF： Ollama 和 llama.cpp 用于量化模型的文件格式。
• 推理（Inference）： 运行模型以生成响应的过程（相对于创建模型的训练过程）。
• MoE： 混合专家——一种模型架构，每个 token 只激活部分参数。

用本地 AI 你到底能做什么？

以下是人们每天用本地 LLM 完成的真实任务：

写作与编辑：

• 起草邮件、报告、文章
• 校对并改进文字
• 翻译文档

编程：

• 解释代码、调试错误
• 根据描述生成函数
• 审查 pull request
• 编写测试

研究：

• 总结长文档
• 从 PDF 中提取关键信息
• 就上传的文件回答问题（借助 RAG）

个人生产力：

• 总结会议记录
• 从模糊的想法生成待办清单
• 头脑风暴与构思
• 规划项目

隐私敏感任务（本地 AI 在此大放异彩）：

• 私密地分析医疗文档
• 无需上传云端即可审查法律合同
• 在内部处理财务数据
• 处理机密的人力资源或客户信息

常见问答

本地 AI 和 ChatGPT 一样好吗？ 对于大多数日常任务，是的。现代 8B 模型可媲美或超越 GPT-3.5。70B 模型在许多基准测试上可与 GPT-4o 竞争。2025–2026 年间差距已大幅缩小。

运行成本是多少？ 在初始硬件购置之后，电费是唯一的持续成本——视使用情况和硬件通常为每月 5–30 美元。没有订阅费。

我需要一台游戏 PC 吗？ 任何带独立 GPU 的 PC（哪怕是较老的、带 8GB 显存的 GTX 1080）都能运行有用的模型。游戏 GPU（RTX 系列、RX 系列）是理想之选，因为它们拥有为此类计算优化的 GDDR6 显存。

我能在笔记本上运行本地 AI 吗？ 可以——得益于统一内存，Apple Silicon 的 MacBook（M1/M2/M3/M4）非常适合本地 AI。带独立 GPU 的 Windows 笔记本（RTX 4060 8GB）也表现不错。集成显卡能用，但非常慢。

我的数据真的私密吗？ 是的。当你用 Ollama 运行本地模型时，所有处理都在你自己的硬件上进行。不会有任何数据被发送到任何地方，甚至没有遥测数据（除非你主动开启）。这与所有云端 AI 服务有着本质区别。

我应该多久更新一次模型？ 每月留意新模型发布——这个领域发展很快。一个 3 个月前发布的模型，可能已经有了明显更好的后继者。

你的下一步

1. 检查你的硬件 → —— 精确找出你的 PC 能运行哪些模型 2. 浏览所有模型 → —— 探索 35+ 个本地 LLM 的规格与基准测试 3. 计算节省 → —— 看看相比 ChatGPT 或 Claude API 你能省多少 4. 显存需求指南 → —— 深入了解显存计算 5. Ollama vs LM Studio vs Jan → —— 为你的工作流选对工具

← 所有指南 | 检查 GPU 兼容性