NVIDIADesktopowe GPUPoprzednia generacja

NVIDIA GeForce RTX 3060 Ti do lokalnych LLM

Autor: Jakub Rusinowski · Ostatnia aktualizacja: 7 października 2026

Z 8 GB GDDR6 przy 448 GB/s RTX 3060 Ti uruchamia 59 modeli z katalogu przy Q4_K_M i kontekście 8K. Największy, który się mieści, to K2 Horizon 7B (~7.4 GB), a najlepszy wybór to Qwen 3.5 9B przy 30–58 tok/s.

8 GB GDDR6 na 256-bitowej szynie przy 14 Gb/s: 448 GB/s, czyli większa przepustowość niż w 12-gigabajtowym RTX 3060 (360 GB/s), ale mniej pamięci. NVIDIA sprzedawała też wersję 8 GB z GDDR6X; ten rekord opisuje kartę z GDDR6. RTX 3060 Ti w wersji 12 GB nie istnieje. Ampere: rdzenie tensorowe FP16 i BF16, bez FP8.

Sprawdź mój sprzęt →Pełna tabela benchmarków

Modele, które działają na RTX 3060 Ti

Q4_K_M, kontekst 8K, 8 GB do wykorzystania. Uszeregowane według jakości i szybkości.

Model	VRAM	Szybkość	Zmieści się?
Qwen 3.5 9B Qwen 3.5	6.5 GB	30–58 tok/s	Mieści się
GLM-4 9B GLM-4.7 / GLM-Z1	6.2 GB	26–50 tok/s	Mieści się
GLM-4.6V-Flash 9B GLM-4.6V	6.2 GB	26–50 tok/s	Mieści się
EuroLLM 9B EuroLLM	6.2 GB	26–50 tok/s	Mieści się
MiMo-V2.6 Distill 9B MiMo-V2.6	6.5 GB	30–58 tok/s	Mieści się
Ternary Bonsai 2 9B Ternary Bonsai 2	6.5 GB	30–58 tok/s	Mieści się
InternLM 3 8B Instruct InternLM 3	6.5 GB	30–58 tok/s	Mieści się
LFM2.5-8B-A1B LFM2.5	5.8 GB	71–136 tok/s	Mieści się
Qwen 3 8B Qwen 3	7 GB	28–54 tok/s	Mieści się
Aya Expanse 8B Aya Expanse	6.7 GB	29–56 tok/s	Mieści się
Ministral 8B Ministral	6.9 GB	29–55 tok/s	Mieści się
Gemma 4 E4B Gemma 4	5.6 GB	29–56 tok/s	Mieści się

Pokazano 12 z 59

Kup kartę lub wynajmij tyle samo pamięci

Kup kartę albo wynajmij na godziny GPU z taką samą pamięcią, by najpierw wypróbować modele.

Kup ten sprzęt Intel Arc B570 10GB — 10 GB VRAM · 150 W board power Uruchom w chmurze RTX 4090 w RunPod — od $0.34/godz. · stawka sprawdzona 2026-07

lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)

Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.

Szybkość na tle innych GPU

Llama 3.1 8B, Q4_K_M. Szacowane zakresy. Jak to liczymy

H100 80GB (SXM)157–327 tok/s H100 80GB (PCIe)120–250 tok/s RTX 5090113–234 tok/s RTX PRO 6000 Blackwell113–234 tok/s RTX PRO 6000 Blackwell (Max-Q Edition)113–234 tok/s A100 80GB (PCIe)102–196 tok/s RTX PRO 5000 Blackwell (48 GB)94–194 tok/s RTX PRO 5000 Blackwell (72 GB)94–194 tok/s RTX 3060 Ti32–61 tok/s

Specyfikacja

Specyfikację zaktualizowano 2026-10-07.

Pamięć: 8 GB GDDR6
Przepustowość pamięci: 448 GB/s
Szyna pamięci: 256-bit
Architektura: Ampere GA104
Seria: RTX 30-series
Pobór mocy: 200 W
Rok premiery: 2020
Cena premierowa: $399
Backendy obliczeniowe: CUDA
Dostępne dla modeli: 8 GB

Najlepsze doused 8 GB7-8B modelsbudget CUDA

Podobne GPU

NVIDIA GeForce RTX 5060 Ti 8GB8 GB · 448 GB/sTyle samo VRAM, taka sama przepustowość · $379 NVIDIA GeForce RTX 50608 GB · 448 GB/sTyle samo VRAM, taka sama przepustowość · $299 NVIDIA GeForce RTX 30708 GB · 448 GB/sTyle samo VRAM, taka sama przepustowość · $499

Najczęstsze pytania

Czy NVIDIA GeForce RTX 3060 Ti uruchomi lokalne LLM?

Tak. Z 8 GB (8 GB dostępne dla modelu) uruchamia 59 modeli z katalogu przy Q4_K_M i kontekście 8K; największy to K2 Horizon 7B, potrzebuje około 7.4 GB.

Jak szybki jest NVIDIA GeForce RTX 3060 Ti w inferencji AI?

Szacujemy, że uruchamia Llama 3.1 8B z szybkością 32–61 tok/s przy Q4_K_M. Llama 3.3 70B się nie mieści: potrzebuje około 44 GB, a dostępne jest 8 GB. To szacunki z modelu przepustowości pamięci, nie pomiary; wzór jest na stronie metodologii.

Jakie LLM uruchomię na 8 GB?

Wśród najlepszych, które się mieszczą: Qwen 3.5 9B, GLM-4 9B, GLM-4.6V-Flash 9B, EuroLLM 9B, MiMo-V2.6 Distill 9B.

Więcej o tej karcie

Narzędzia

Poradniki