本地 LLM 完全新手指南（2026）

作者： Jakub Rusinowski最后更新 12 分钟阅读Beginner

最后更新：2026 年 5 月 —— 你听说过 ChatGPT 和 Claude，现在你想在自己的电脑上私密地运行 AI。本指南将从零开始带你走完全部流程——无需任何经验。

什么是本地 LLM？

本地 LLM（大语言模型）是一种完全在你自己的硬件上运行的 AI——无需联网、无需订阅费、不会把数据发送到服务器。它与 ChatGPT 是同样的技术，只是私密地运行在你的 PC 或 Mac 上。

为什么要在本地运行？

  • 隐私： 你的对话永远不会离开你的机器。默认符合 GDPR。
  • 成本： 除硬件外，推理是免费的。没有每月 20 美元的订阅或 API 账单。
  • 掌控： 可修改行为、使用任何模型、没有内容限制。
  • 速度： 没有速率限制、无需排队、即时响应。
  • 可靠： 离线也能用，没有服务中断，没有 API 宕机。

2026 年的本地 AI 确实很好用。运行在 300 美元 GPU 上的现代 8B 模型足以与 GPT-3.5-Turbo 竞争，而 1600 美元配置上的 70B 模型在大多数任务上可媲美 GPT-4 级别的质量。

你需要什么硬件？

简短的答案：你很可能已经有足够的硬件来上手了。

硬件你能运行什么体验
任何 8GB 内存的 PC（无 GPU）TinyLlama、Phi-3.5 Mini能用，但慢（约 2–5 t/s）
4GB 显存 GPU 的 PCPhi-3.5 Mini、Gemma 3 4B速度不错（约 20–30 t/s）
8GB 显存的 PC（RTX 3070/4060）Llama 3.1 8B、Gemma 3 12B出色（约 50–70 t/s）
16GB 显存的 PC（RTX 4060 Ti）Qwen 2.5 14B、Gemma 3 27B很棒（约 40–60 t/s）
24GB 显存的 PC（RTX 4090）Llama 3.3 70B Q4、Llama 4 Maverick旗舰级（约 30–50 t/s）
MacBook Air M2/M3 16GBLlama 3.1 8B、Gemma 3 12B出色——为 Apple Silicon 优化
32GB+ 统一内存的 MacDeepSeek R1 32B、Gemma 3 27B卓越
Mac Studio M4 Max 128GBLlama 3.3 70B、DeepSeek R1 671B专业级

不确定你的 GPU 是什么？使用硬件检查器 →

关键概念：显存

显存（VRAM，Video RAM） 是你显卡上的内存。它决定了你能以全速运行哪些 AI 模型。

可以这样理解：模型的权重就像一本书——整本书必须装进显存，AI 才能全速"阅读"它。如果装不下，模型就会溢出到普通的系统内存，而后者要慢 10–50 倍。

  • 8GB 显存 → 从容运行 7–9B 模型
  • 12–16GB 显存 → 运行 12–27B 模型
  • 24GB 显存 → 运行 32–70B 模型（量化后）
  • Apple Silicon → 你的整个内存都算作显存（16GB Mac ≈ 11–12GB 可用于 AI）

第 1 步：安装 Ollama（5 分钟）

Ollama 是运行本地 LLM 最简单的方式。它免费、开源，并支持 Windows、Mac 和 Linux。可以把它看作本地 AI 模型的"应用商店 + 运行时"。

Windows

  1. 访问 ollama.com/download，点击 Download for Windows
  2. 运行 .exe 安装程序（无需管理员权限）
  3. Ollama 会静默安装并出现在系统托盘中

macOS

  1. 访问 ollama.com/download，点击 Download for macOS
  2. 打开下载的 .zip，将 Ollama 拖入"应用程序"文件夹
  3. 打开 Ollama——在"系统设置 → 隐私与安全性"中批准任何安全提示

Linux

bash
curl -fsSL https://ollama.com/install.sh | sh

验证安装：

bash
ollama --version
# Should output: ollama version 0.x.x

第 2 步：下载并运行你的第一个模型

打开终端（Mac/Linux）或 PowerShell（Windows）。为你的硬件选择合适的模型：

8GB 显存或 16GB Apple Silicon —— 最佳的入门模型：

bash
ollama run llama3.1

较旧/较弱的硬件（4GB 显存或更少）：

bash
ollama run gemma3:4b

16GB+ 显存 —— 试试更大的模型：

bash
ollama run gemma3:27b

高级推理（如果你有 20GB+ 显存）：

bash
ollama run deepseek-r1:32b

Ollama 会下载模型（视大小 4–20 GB），并把你带入聊天提示符（>>>）。输入一条消息并回车。

必备的 Ollama 命令

bash
ollama list              # See all downloaded models
ollama pull llama3.1     # Download model without starting chat
ollama rm llama3.1       # Delete a model to free disk space
ollama ps                # See which models are currently running
ollama serve             # Start the Ollama API server manually

第 3 步：选择一个聊天界面

终端可以用，但大多数用户更喜欢网页界面。以下是你的选择：

方案 A：Open WebUI（多数人推荐）

连接 Ollama 的 ChatGPT 风格界面。需要 Docker：

bash
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

然后打开 http://localhost:3000。功能：聊天记录、文件上传、图像分析、语音输入。

方案 B：LM Studio（最简单，无需 Docker）

在 lmstudio.ai 下载。一个自带模型浏览器和聊天界面的独立应用。最适合非技术用户。

方案 C：Jan（离线优先）

在 jan.ai 下载。完全离线运行、开源、注重隐私。

第 4 步：为你的任务挑选合适的模型

不同模型擅长不同任务：

任务最佳模型（8GB 显存）最佳模型（24GB 显存）
日常聊天Llama 3.1 8BLlama 3.3 70B
编程Qwen 2.5-Coder 7BDeepSeek R1 32B
写作与摘要Gemma 3 12BGemma 3 27B
推理与数学DeepSeek R1 8BDeepSeek R1 32B
最快响应Gemma 3 4BQwen 2.5 14B
图像理解Llama 3.2 Vision 11BGemma 3 27B Vision

→ 浏览所有模型 → 以对比规格、基准测试和下载体积。

理解模型名称

当你看到诸如 "Llama 3.1 8B Q4_K_M" 这样的模型名称时，含义如下：

  • Llama 3.1 —— 模型家族与版本
  • 8B —— 80 亿参数（越大越聪明，但需要更多显存）
  • Q4_K_M —— 量化级别（模型的压缩版本）

量化速查：

  • FP16： 完整质量，两倍显存——仅适合大显存 GPU
  • Q8_0： 近乎完美的质量，一倍显存——如果显存够就很棒
  • Q4_K_M： 甜蜜点——约 5% 质量损失，半倍显存——默认就用它
  • Q2_K： 质量明显下降——仅适合非常有限的硬件

常见问题排查

"Error: model not found"

bash
# Check the exact model name at ollama.com/library
ollama pull llama3.1:8b   # Specify exact variant

响应非常慢（2–5 token/秒） 你的模型很可能在 CPU 而非 GPU 上运行。检查：

bash
ollama ps   # Shows which layers are on GPU vs CPU

如果大多数层在 CPU 上，说明你的模型装不进显存——试试更小/量化程度更高的模型。

"Out of memory" 错误 减小上下文长度，或换用量化程度更高的模型（用 Q4 代替 Q8）。

Ollama 无法连接（Windows 上） 检查系统托盘——Ollama 应显示为正在运行。如果没有：

bash
# Restart the Ollama service
ollama serve

Linux 上未检测到 GPU

bash
# NVIDIA: check CUDA driver
nvidia-smi

# AMD: check ROCm
rocm-smi

关键术语表

  • VRAM（显存）： 显卡上的内存。越多 = 模型越大、推理越快。
  • 参数（7B、13B、70B）： 以十亿为单位的模型规模。参数越多越聪明，但需要更多显存。
  • 量化（Q4、Q8）： 压缩级别。Q4 = 更小/更快。Q8 = 质量更高。
  • Token（词元）： 文本的单位（大致 1 token ≈ 0.75 个英文单词）。模型按 token 计费或按每秒生成的 token 数衡量速度。
  • 上下文窗口： 模型一次能"记住"的文本量（4k = 3000 字；128k = 一本书的篇幅）。
  • GGUF： Ollama 和 llama.cpp 用于量化模型的文件格式。
  • 推理（Inference）： 运行模型以生成响应的过程（相对于创建模型的训练过程）。
  • MoE： 混合专家——一种模型架构，每个 token 只激活部分参数。

用本地 AI 你到底能做什么？

以下是人们每天用本地 LLM 完成的真实任务：

写作与编辑：

  • 起草邮件、报告、文章
  • 校对并改进文字
  • 翻译文档

编程：

  • 解释代码、调试错误
  • 根据描述生成函数
  • 审查 pull request
  • 编写测试

研究：

  • 总结长文档
  • 从 PDF 中提取关键信息
  • 就上传的文件回答问题（借助 RAG）

个人生产力：

  • 总结会议记录
  • 从模糊的想法生成待办清单
  • 头脑风暴与构思
  • 规划项目

隐私敏感任务（本地 AI 在此大放异彩）：

  • 私密地分析医疗文档
  • 无需上传云端即可审查法律合同
  • 在内部处理财务数据
  • 处理机密的人力资源或客户信息

常见问答

本地 AI 和 ChatGPT 一样好吗？ 对于大多数日常任务，是的。现代 8B 模型可媲美或超越 GPT-3.5。70B 模型在许多基准测试上可与 GPT-4o 竞争。2025–2026 年间差距已大幅缩小。

运行成本是多少？ 在初始硬件购置之后，电费是唯一的持续成本——视使用情况和硬件通常为每月 5–30 美元。没有订阅费。

我需要一台游戏 PC 吗？ 任何带独立 GPU 的 PC（哪怕是较老的、带 8GB 显存的 GTX 1080）都能运行有用的模型。游戏 GPU（RTX 系列、RX 系列）是理想之选，因为它们拥有为此类计算优化的 GDDR6 显存。

我能在笔记本上运行本地 AI 吗？ 可以——得益于统一内存，Apple Silicon 的 MacBook（M1/M2/M3/M4）非常适合本地 AI。带独立 GPU 的 Windows 笔记本（RTX 4060 8GB）也表现不错。集成显卡能用，但非常慢。

我的数据真的私密吗？ 是的。当你用 Ollama 运行本地模型时，所有处理都在你自己的硬件上进行。不会有任何数据被发送到任何地方，甚至没有遥测数据（除非你主动开启）。这与所有云端 AI 服务有着本质区别。

我应该多久更新一次模型？ 每月留意新模型发布——这个领域发展很快。一个 3 个月前发布的模型，可能已经有了明显更好的后继者。

你的下一步

  1. 检查你的硬件 → —— 精确找出你的 PC 能运行哪些模型
  2. 浏览所有模型 → —— 探索 35+ 个本地 LLM 的规格与基准测试
  3. 计算节省 → —— 看看相比 ChatGPT 或 Claude API 你能省多少
  4. 显存需求指南 → —— 深入了解显存计算
  5. Ollama vs LM Studio vs Jan → —— 为你的工作流选对工具
下一篇 →Installing Ollama