Najlepsze lokalne LLM dla Twojego GPU

Wyszukaj swoją kartę, laptopowe GPU lub Maca. Szeregujemy wszystko, co na nim działa, według jakości i szybkości, i pokazujemy, co odpada, gdy potrzebujesz dłuższego kontekstu.

Twój sprzęt

RTX 3060 (12GB)RTX 4060 Ti 16GBRTX 3090RTX 4090RTX 5090M4 Max

Długość kontekstu8K tokenów

4K8K16K32K128K

Ranking dla RTX 4090 przy kontekście 8K. Po załadowaniu strony wybierz powyżej własną kartę.

RTX 409024 GBdostępne · 1008 GB/s

Modele, które działają118i 3 z odciążeniem do RAM

Najlepszy ogólnie87DeepSeek R1 Distill Qwen 32B

Najszybszy dobry model~237 tok/sLFM2.5-8B-A1B

Wszystkie zadaniaProgramowanieCzatRozumowanieAgenciObrazDziała na GPUOdciążenie do RAMWszystko

#	Model	VRAM	Szybkość (szac.)	Wynik	Dopasowanie
1	DeepSeek R1 Distill Qwen 32B DeepSeek R1 · 32B	22.3 GB	~34 tok/s	87	Na styk
2	DeepSeek R1 Distill Qwen 14B DeepSeek R1 · 14B	10.6 GB	~70 tok/s	80	Mieści się
3	Qwen 3.5 27B Qwen 3.5 · 27B	17.1 GB	~40 tok/s	79	Mieści się
4	Laguna XS 2.1 33B-A3B Poolside Laguna XS 2.1 · 33B (3B active)	20.7 GB	~171 tok/s	79	Mieści się
5	Granite 4.0 Small-H 32B-A9B IBM Granite 4.0 · 32B (9B active)	20.1 GB	~94 tok/s	79	Mieści się
6	Olmo 3 32B Olmo 3 · 32B	20.1 GB	~34 tok/s	79	Mieści się
7	Nemotron-Cascade 2 30B-A3B Nemotron Cascade 2 · 31.6B (3.5B active)	19.9 GB	~160 tok/s	79	Mieści się
8	Gemma 4 31B Gemma 4 · 31B	19.5 GB	~35 tok/s	79	Mieści się
9	Qwen 3 30B-A3B (MoE) Qwen 3 · 30B (3B active)	20 GB	~185 tok/s	79	Mieści się
10	Qwen3-Coder 30B-A3B (MoE) Qwen3-Coder · 30.5B (3.3B active)	20 GB	~185 tok/s	79	Mieści się
11	GLM-4.7-Flash 30B-A3B GLM-4.7 / GLM-Z1 · 30B (3B active)	18.9 GB	~172 tok/s	79	Mieści się
12	Granite 4.1 30B IBM Granite 4.1 · 30B	18.9 GB	~37 tok/s	79	Mieści się
13	Nemotron 3 Nano Omni 30B-A3B Nemotron 3 Nano Omni · 30B/3B active	18.9 GB	~172 tok/s	79	Mieści się
14	North Mini Code 1.0 30B-A3B North Mini Code · 30B (3B active)	18.9 GB	~172 tok/s	79	Mieści się
15	Granite 4.2 30B IBM Granite 4.2 · 30B	18.9 GB	~37 tok/s	79	Mieści się
16	Nemotron 3.5 Lightning 30B-A3B Nemotron 3.5 · 30B (3B active)	18.9 GB	~172 tok/s	79	Mieści się
17	Muse Glimmer 30B Muse Glimmer · 29.6B	18.7 GB	~37 tok/s	79	Mieści się
18	Qwen 3.6 27B Qwen 3.6 · 27.8B	17.6 GB	~39 tok/s	79	Mieści się
19	Qwen3.8 27B Qwen3.8 · 27B	18.1 GB	~40 tok/s	79	Mieści się
20	1-bit Bonsai 27B Bonsai 27B · 27B	17.1 GB	~40 tok/s	79	Mieści się
21	Ternary Bonsai 27B Bonsai 27B · 27B	17.1 GB	~40 tok/s	79	Mieści się
22	Ternary Bonsai 2 27B Ternary Bonsai 2 · 27B	17.6 GB	~42 tok/s	79	Mieści się
23	Trinity Mini Trinity · 26B (3B active)	16.9 GB	~211 tok/s	79	Mieści się
24	Gemma 4 26B-A4B Gemma 4 · 26B (4B active, MoE)	16.5 GB	~152 tok/s	79	Mieści się
25	Devstral Small 2505 24B Devstral · 24B	16.6 GB	~45 tok/s	79	Mieści się

Pokazano 25 z 118 · Q4_K_M, kontekst 8K

Strona dla każdej karty

Najmocniejsze modele według zastosowania, największy model, jaki mieści karta, i czego nie uruchomi.

NVIDIA

Apple

Intel

Intel Arc Pro B70 (32 GB)Intel Arc Pro B65 (32 GB)Intel Arc B580 (12 GB)Intel Arc B570 (10 GB)Intel Arc Pro B60 (24 GB)Intel Arc Pro B50 (16 GB)

AMD