GPU 与显存检测
选择你的显卡、内存和设置。我们会按显存能容纳什么、运行速度多快，为目录中的每个开源权重模型排序，并告诉你在本地、云端或更大的显卡上运行分别要花多少钱。
如何使用硬件分析器
GPU 与显存兼容性检测器是一个免费的、基于浏览器的工具，能准确告诉你的电脑可以运行哪些本地 LLM。选择你的 GPU 或使用自动检测，输入显存和系统内存，它会立即列出每个兼容模型，并显示显存占用、每秒 token 数估算、电费估算，以及一键 Ollama 安装命令——无需注册，数据不会离开你的设备。
使用方法
- 选择你的 GPU——从下拉菜单中选择，或点击自动检测以从浏览器读取你的硬件。
- 设置显存和系统内存——Apple Silicon 用户请输入统一内存总量。
- 选择你的用途——每日使用时长和工作负载会调整速度与电费估算。
- 查看匹配结果——模型会被分为流畅运行、可运行和无法容纳三类，每个都附带可复制粘贴的 Ollama 命令。
显存速查指南
常见问题
本地 LLM 硬件、显存、量化与工具——为你解答。
运行本地 LLM 需要什么硬件？
取决于模型大小。在 Q4_K_M 量化、8K 上下文下，Llama 3.2 3B 这样的小模型约需 3.7 GB，Llama 3.1 8B 这样的 8B 模型约需 6.7 GB，14B 约需 11.1 GB，32B 约需 22.8 GB——请与你显卡的显存对比。70B 模型（Llama 3.3 70B）约需 45.7 GB，超过任何一张消费级显卡（RTX 5090 为 32 GB），因此需要多块 GPU 或统一内存足够大的 Mac。在 Apple Silicon 上，GPU 默认可使用约 75% 的统一内存，因此 8 GB 的 Mac 可运行小模型，64 GB 的 Mac 能勉强装下 70B（48 GB 不够）。还要为操作系统和从 GPU 卸载的层留出系统内存。上方的检测器会将你的 GPU 和内存与 191 个已发布的模型变体逐一匹配，让你无需猜测。
7B、13B 或 70B 模型需要多少显存？
在 Q4_K_M 量化、8K 上下文下，7B 模型（Qwen 2.5 7B）约需 5.9 GB，13–14B 模型（Qwen3 14B）约需 11.1 GB，70B 模型（Llama 3.3 70B）约需 45.7 GB。每个数字都包含权重、KV 缓存以及约 0.8 GB 的运行时开销。Q8_0 每个权重的位数是 Q4_K_M 的 1.8 倍，FP16 是 3.3 倍，因此同一个 70B 在 Q8_0 下约需 77.9 GB，在 FP16 下约需 143.5 GB，需要多块 GPU。上下文越长，KV 缓存越大：Llama 3.1 8B 在 8K 时为 1.1 GB。在 Apple Silicon 上，模型使用统一内存而非独立显存，因此一台 64 GB 的 Mac 可以在 Q4_K_M 下运行 70B 模型。
量化模型与全精度模型有什么区别？
全精度模型将每个权重保存为 16 位浮点数（FP16/BF16）——这是它们训练时的格式，质量最高。量化模型将这些权重压缩为 8 位、4 位或更低，Q8_0 将内存占用减少 1.9 倍，Q4_K_M 减少 3.3 倍，而质量下降通常很小且难以察觉。例如，Qwen 2.5 7B 的权重会从 FP16 下的约 15.2 GB 缩小到 Q4_K_M 下的约 4.6 GB。除非你在做微调或研究评测，否则 4 位或 5 位量化都是本地推理的正确选择。
LLM 的最佳温度设置是多少？
温度控制随机性：数值越低，输出越聚焦、越可复现；数值越高，输出越多样、越有创意。事实性问答、编程和数据提取使用 0.0–0.3；一般聊天和助手使用 0.6–0.8；头脑风暴或创意写作使用 0.9–1.2。大多数工具默认约为 0.7–0.8，这是一个合理的起点。如果你想要更多样性，通常调整 top_p（核采样）比把温度调得很高更好。
运行本地 LLM 是免费的吗？
软件是免费且开源的——Ollama、LM Studio、llama.cpp 以及开放权重模型本身，下载和运行都不收费。你唯一真正的成本是硬件（一块 GPU 或一台够强的 Mac）以及为其供电的电费。与云端 API 不同，这里没有按 token 计费、没有速率限制，你的数据也永远不会离开你的机器。对于每天稳定使用的人来说，本地方案可能会回本——本站的成本计算器可以根据你的用量和电价估算回本时间。
如何在 Ollama、LM Studio 和 llama.cpp 之间选择？
llama.cpp 是大多数本地工具所基于的底层推理引擎——如果你想要最大的控制力、脚本能力以及最新的命令行功能，就选它。Ollama 将 llama.cpp 封装成简单的命令行工具，外加一个带有 OpenAI 兼容 API 的后台服务，是希望从代码中调用模型的开发者的最简单选择。LM Studio 是一款精致的桌面图形界面应用，带有模型浏览器和聊天界面，非常适合初学者或喜欢点击胜过打字的人。三者都免费、运行相同的 GGUF 模型文件，并且可以在同一台机器上共存。
没有 GPU（仅用 CPU）能运行本地 LLM 吗？
可以——Ollama 和 llama.cpp 都支持仅 CPU 推理，对小模型效果不错。它比 GPU 慢得多，因为生成速度取决于内存带宽，而系统内存远慢于显存，所以它适合短提示，生成长文本会较慢。整个模型会加载到系统内存中，因此请按模型大小规划内存：在 Q4_K_M、8K 上下文下，Llama 3.2 3B 约需 3.7 GB，Llama 3.1 8B 约需 6.7 GB，另外还要为操作系统留出空间。为获得最佳的纯 CPU 体验，请坚持使用 Q4 量化的小模型。
应该选择哪种量化——Q4、Q8 还是 FP16？
Q4_K_M 是最佳的全能默认选择：它每个权重的位数比 FP16 少 3.3 倍，而质量损失在日常使用中难以察觉。如果你有富余的显存并想要更高一点的准确度，可升到 Q5_K_M 或 Q6_K；若追求近乎无损的输出，可选 Q8_0，其体积约为 Q4_K_M 的 1.8 倍。将完整的 FP16/BF16 留给微调、评测或对每一位精度都很看重的研究。低于 Q4（Q3、Q2）时文件会继续缩小，但模型开始明显出更多错误，因此只有在模型否则装不下时才使用。