按显存划分的最佳本地大模型

选择你的显存大小。我们按任务为推荐量化下能放得下的所有收录模型排名,并展示升一档能解锁什么。

各档位一览

显存可放下综合最佳
4 GB39Shieldstral 1.0 3B
6 GB67Granite 3.0 8B Instruct
8 GB88Granite 3.0 8B Instruct
10 GB101Qwen 2.5 14B Instruct
12 GB103Qwen 2.5 14B Instruct
16 GB113Qwen 2.5 14B Instruct
20 GB131Qwen 2.5 14B Instruct
24 GB156Qwen 2.5 Coder 32B
32 GB157Qwen 2.5 Coder 32B
48 GB163Qwen 2.5 72B Instruct
64 GB168Qwen 2.5 72B Instruct
80 GB178Qwen 2.5 72B Instruct