为你的任务找到合适的模型、硬件与配置。

LLM Configurator 是一个免费的本地 AI 决策引擎。它检查 191 个已发布的开放权重模型变体中哪些能装入你的 GPU 或 Mac，估算运行速度，比较硬件与成本，并链接 124 篇安装指南。所有显存数值和速度估算都来自同一套计算，因此同一个问题在每个页面上得到相同的答案。从GPU 与显存检测开始。

首先取决于内存：只有当模型的权重、上下文缓存和运行时开销都能装入显卡显存或 Mac 的可用统一内存时，模型才能流畅运行。选择你的显卡，我们会列出每个能装下的模型，并给出所用量化和估算速度。只有借助系统内存才能装下的模型会单独列出，因为它们会慢得多。可在“能否运行”页面浏览现成答案。

大致等于模型权重加上上下文缓存，再加少量运行时开销。权重随总参数量和量化而变化：Llama 3.1 8B 在 FP16 下权重约需 16 GB，而在 Q4_K_M 下只需 4.8 GB。混合专家模型需要为全部参数而不仅是激活参数分配内存。上下文越长占用越多。我们的显存需求指南按模型规模详细计算。

内存适配根据模型公布的参数量、量化的每权重位数和上下文缓存计算，再与显卡的可用内存比较；其精度取决于估算所假设的运行时开销。速度更难：它是经过校准的估算，以区间显示，并非承诺。方法论页面公开了我们使用的每个公式和常数。

大多是估算，并且始终有标注。我们引用了 3 款 GPU 上的 14 次实测，每一条都注明发布它的第三方；其余均为基于这些实测校准的延迟模型给出的估算，以区间而非单一数字显示。读者提交的结果经审核后会以社区结果标注。在基准数据库中可以看到各自属于哪一类。

先看内存，再看带宽。内存决定哪些模型能装得下，模型装不下时没有别的办法弥补。在内存足够的显卡中，带宽决定生成 token 的速度。每 GB 显存的价格比游戏性能更重要。在GPU 对比表中比较每一款显卡。

可以。Apple Silicon Mac 的 CPU 与 GPU 共享一块统一内存，因此大内存的 Mac 能加载任何单张消费级显卡都装不下的模型。默认情况下 GPU 只能使用其中一部分；我们按约 75% 的容量来估算。不同芯片的带宽差异很大，速度由它决定。我们的Mac 选购指南比较了各款芯片与内存容量。

从任务出发，而不是从排行榜出发。编程、智能体、文档检索、写作和翻译适合不同的模型。然后筛选出在合理量化下能装入你内存的模型，并选择仍能为所需上下文留出空间的最强模型。一个宽松装下的小模型通常胜过一个挤进内存的大模型。我们的按用途选择最佳模型页面会为你完成排序。

显存是焊在显卡上的内存，只供 GPU 使用，速度非常快。统一内存（见于 Apple Silicon 和部分 AI 迷你主机）是 CPU 与 GPU 共用的一块内存，GPU 可以使用更多，但操作系统和应用也要占用一部分。对本地 AI 而言，应比较可用内存和带宽，而不是名称。硬件数据库列出了每台设备的这两项数据。

可以。配置生成器从你想运行的内容和预算出发，推荐 GPU、内存与存储组合，并列出每种配置实际能加载的模型。如果不想要塔式主机，它也涵盖紧凑型 AI 工作站和笔记本。每条推荐都链接到兼容性结果，购买前即可核对是否适配。试试配置生成器。

可以。模型下载后，Ollama、LM Studio 和 llama.cpp 等运行时无需任何网络连接即可运行，你的提示词也不会离开本机。使用离线应用的手机同样可以，只是内存限制更紧。若要完全物理隔离，先在联网的电脑上下载模型和安装包，再拷贝过去。我们的离线与隔离部署指南介绍了具体步骤。

我们的指南涵盖大多数人本地运行模型所用的运行时：Ollama、LM Studio、llama.cpp、面向高吞吐服务的 vLLM，以及 Apple Silicon 上的 MLX。内存和速度估算基于这些运行时加载的 GGUF 量化；vLLM 与 MLX 使用各自的格式，相关数字仅供参考。可以从我们的Ollama 与 LM Studio 对比开始。

在 Q4_K_M 下约需 66.6 GB（不含上下文）。Scout 是混合专家模型，激活参数 17B、总参数 109B：每个 token 只读取激活的专家，因此速度快，但全部 109B 参数都必须放在内存中。所以它需要大容量统一内存的机器或数据中心级 GPU，而 Maverick 约需 242.3 GB。各量化版本见Llama 4 Scout 模型页。

完整的 DeepSeek R1 是 671B 的混合专家模型，在 Q4_K_M 下约需 405.9 GB，需要多 GPU 服务器或超大统一内存的机器。R1 Distill 系列是另外的、小得多的模型，经训练模仿 R1：Llama 8B 蒸馏版约需 5.6 GB，Qwen 32B 蒸馏版约需 20.1 GB。在DeepSeek R1 模型页中比较它们。

量化以更低精度存储模型权重，从而减少所需内存。Llama 3.1 8B 在 FP16 下权重约需 16 GB，在 Q4_K_M 下约需 4.8 GB，质量损失很小。Q4_K_M 是体积与质量的常用平衡点；Q8_0 接近无损；低于 Q4 时质量明显下降。阅读量化详解了解其中的取舍。

可以。llama.cpp 以及基于它的 Ollama、LM Studio 等工具无需显卡即可在 CPU 上运行模型。由于系统内存带宽远低于显存，速度会慢很多，因此小模型更实际，而且内存必须能装下整个模型。检测工具支持没有 GPU 的电脑。我们的新手指南会带你完成第一次安装。

取决于使用量。本地 AI 的成本是分摊到使用寿命内的硬件费用，加上运行时间的电费；云端 AI 按 token 或订阅收费。高强度、持续的使用通常更适合本地硬件，轻度使用则更适合云端。隐私和离线需求可能比价格更重要。在本地与云端成本计算器中输入你自己的数据。