对比本地模型
选择最多 4 个模型,查看它们在您的硬件上每种量化级别的表现。
请在上方选择模型进行对比
使用下拉菜单选择 2–4 个模型,然后选择您的硬件。
显存 · 磁盘 · tok/s · 适配 · Ollama 拉取命令
我们如何估算
显存 = 量化权重 + 当前上下文的 KV 缓存 + 运行时开销。权重按总参数量计算:混合专家模型的每个专家都必须载入内存。
速度根据内存带宽、按激活参数(每个 token 实际读取的专家)建模,并按 GPU 架构拟合效率。这些是估算,不是实测。
选择最多 4 个模型,查看它们在您的硬件上每种量化级别的表现。
使用下拉菜单选择 2–4 个模型,然后选择您的硬件。
显存 · 磁盘 · tok/s · 适配 · Ollama 拉取命令
显存 = 量化权重 + 当前上下文的 KV 缓存 + 运行时开销。权重按总参数量计算:混合专家模型的每个专家都必须载入内存。
速度根据内存带宽、按激活参数(每个 token 实际读取的专家)建模,并按 GPU 架构拟合效率。这些是估算,不是实测。