适合你 GPU 的最佳本地大模型

搜索你的显卡、笔记本 GPU 或 Mac。我们按质量和速度为能在其上运行的所有模型排名，并展示需要更长上下文时会失去哪些模型。

你的硬件

RTX 3060 (12GB)RTX 4060 Ti 16GBRTX 3090RTX 4090RTX 5090M4 Max

上下文长度8K 个 token

4K8K16K32K128K

按 RTX 4090、8K 上下文排名。页面加载后可在上方选择你自己的显卡。

RTX 409024 GB可用 · 1008 GB/s

可运行的模型118另有 3 个需卸载到内存

综合最佳87DeepSeek R1 Distill Qwen 32B

最快的优质模型~237 tok/sLFM2.5-8B-A1B

全部任务编程对话推理智能体视觉在 GPU 上运行卸载到内存全部

#	模型	显存	速度（估算）	评分	适配
1	DeepSeek R1 Distill Qwen 32B DeepSeek R1 · 32B	22.3 GB	~34 tok/s	87	勉强
2	DeepSeek R1 Distill Qwen 14B DeepSeek R1 · 14B	10.6 GB	~70 tok/s	80	可运行
3	Qwen 3.5 27B Qwen 3.5 · 27B	17.1 GB	~40 tok/s	79	可运行
4	Laguna XS 2.1 33B-A3B Poolside Laguna XS 2.1 · 33B (3B active)	20.7 GB	~171 tok/s	79	可运行
5	Granite 4.0 Small-H 32B-A9B IBM Granite 4.0 · 32B (9B active)	20.1 GB	~94 tok/s	79	可运行
6	Olmo 3 32B Olmo 3 · 32B	20.1 GB	~34 tok/s	79	可运行
7	Nemotron-Cascade 2 30B-A3B Nemotron Cascade 2 · 31.6B (3.5B active)	19.9 GB	~160 tok/s	79	可运行
8	Gemma 4 31B Gemma 4 · 31B	19.5 GB	~35 tok/s	79	可运行
9	Qwen 3 30B-A3B (MoE) Qwen 3 · 30B (3B active)	20 GB	~185 tok/s	79	可运行
10	Qwen3-Coder 30B-A3B (MoE) Qwen3-Coder · 30.5B (3.3B active)	20 GB	~185 tok/s	79	可运行
11	GLM-4.7-Flash 30B-A3B GLM-4.7 / GLM-Z1 · 30B (3B active)	18.9 GB	~172 tok/s	79	可运行
12	Granite 4.1 30B IBM Granite 4.1 · 30B	18.9 GB	~37 tok/s	79	可运行
13	Nemotron 3 Nano Omni 30B-A3B Nemotron 3 Nano Omni · 30B/3B active	18.9 GB	~172 tok/s	79	可运行
14	North Mini Code 1.0 30B-A3B North Mini Code · 30B (3B active)	18.9 GB	~172 tok/s	79	可运行
15	Granite 4.2 30B IBM Granite 4.2 · 30B	18.9 GB	~37 tok/s	79	可运行
16	Nemotron 3.5 Lightning 30B-A3B Nemotron 3.5 · 30B (3B active)	18.9 GB	~172 tok/s	79	可运行
17	Muse Glimmer 30B Muse Glimmer · 29.6B	18.7 GB	~37 tok/s	79	可运行
18	Qwen 3.6 27B Qwen 3.6 · 27.8B	17.6 GB	~39 tok/s	79	可运行
19	Qwen3.8 27B Qwen3.8 · 27B	18.1 GB	~40 tok/s	79	可运行
20	1-bit Bonsai 27B Bonsai 27B · 27B	17.1 GB	~40 tok/s	79	可运行
21	Ternary Bonsai 27B Bonsai 27B · 27B	17.1 GB	~40 tok/s	79	可运行
22	Ternary Bonsai 2 27B Ternary Bonsai 2 · 27B	17.6 GB	~42 tok/s	79	可运行
23	Trinity Mini Trinity · 26B (3B active)	16.9 GB	~211 tok/s	79	可运行
24	Gemma 4 26B-A4B Gemma 4 · 26B (4B active, MoE)	16.5 GB	~152 tok/s	79	可运行
25	Devstral Small 2505 24B Devstral · 24B	16.6 GB	~45 tok/s	79	可运行

显示 118 个中的 25 个 · Q4_K_M，8K 上下文

每张显卡都有专页

按用途列出的最强模型、每张卡能容纳的最大模型，以及它无法运行的模型。

NVIDIA

Apple

Intel

Intel Arc Pro B70 (32 GB)Intel Arc Pro B65 (32 GB)Intel Arc B580 (12 GB)Intel Arc B570 (10 GB)Intel Arc Pro B60 (24 GB)Intel Arc Pro B50 (16 GB)

AMD