Darmowe narzędzie · pamięć dla każdej kwantyzacji

Kalkulator VRAM

Ile pamięci GPU potrzebuje model: skwantyzowane wagi, pamięć podręczna KV dla Twojej długości kontekstu, narzut środowiska i rezerwa na agentów — dla każdej kwantyzacji od Q2 do FP16.

Jak liczymy

Wagi

Parametry × bity na wagę ÷ 8. Przy Q4_K_M (4,83 bitu) model 32B zajmuje ok. 19 GB, zanim załaduje się cokolwiek innego.

Pamięć KV

Rośnie liniowo z kontekstem i z każdym równoczesnym użytkownikiem. Kwantyzacja do Q8 zmniejsza ją o połowę przy niewielkiej stracie jakości; Q4 — o kolejną połowę.

Narzut

Ok. 0.8 GB na środowisko uruchomieniowe, kontekst CUDA i bufory. Na Apple Silicon GPU może domyślnie użyć tylko ok. 75% pamięci zunifikowanej.

Rezerwa agentów

Schematy narzędzi, prompty systemowe i notatniki dodają pewien odsetek. Przy zwykłym czacie zostaw wyłączone.

Każdy prowadzi do strony modelu z pamięcią i szybkością dla każdej kwantyzacji.

BitNet b1.58 3BMicrosoftDeepSeek R1 Distill Llama 8BDeepSeekDeepSeek R1 Distill Qwen 32BDeepSeekDeepSeek R1 Distill Qwen 14BDeepSeekDeepSeek R1 (671B)DeepSeekLlama 3.3 70B InstructMetaLlama 3.1 8B InstructMetaNemotron 70B InstructNVIDIACommand R (35B)CohereCommand R+ (104B)CoherePhi-4 (14B)MicrosoftPhi 3.5 MiniMicrosoftQwen 2.5 Coder 32BAlibaba CloudQwen 2.5 14B InstructAlibaba CloudQwen 2.5 7B InstructAlibaba CloudQwen 2.5 72B InstructAlibaba CloudGemma 2 9B ITGoogleMistral Small 3 (24B)Mistral AIMistral NeMo 12BMistral AIYi 1.5 34B Chat01.AIYi 1.5 9B Chat01.AIGranite 3.0 8B InstructIBMLlama 4 Scout 17BMetaLlama 4 Maverick 17BMeta

Następne kroki

Narzędzia

Poradniki