Zhipu AI (Z.ai)744B~450 GB VRAM przy Q4_K_M

GLM-5 744B — VRAM, szybkość i lokalna konfiguracja

Autor: Jakub Rusinowski · Ostatnia aktualizacja: 15 lutego 2026

Frontier MoE model with 744B total and 40B active parameters. Scores 77.8% on SWE-bench Verified and holds the highest open-source Chatbot Arena Elo at 1451. Trained on Huawei Ascend hardware — no NVIDIA dependency. Requires ~400+ GB VRAM at Q4; accessible via API at ~$0.80/1M input tokens.

GLM-5 744B potrzebuje około 450 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.

Logika95

Kreatywność91

Kod96

VRAM i szybkość według kwantyzacji

Liczone dla NVIDIA RTX 4090 (24 GB). Tylko wagi i narzut: architektura tego modelu nie jest opublikowana, więc nie doliczamy pamięci KV.

Kwant.	VRAM	Szybkość (szac.)	Dopasowanie
Q2_K 2.63 bpw	245.4 GB	—	Za duży
Q3_K_M 3.41 bpw	317.9 GB	—	Za duży
Q4_K_M 4.83 bpw	450 GB	—	Za duży
Q5_K_M 5.67 bpw	528.1 GB	—	Za duży
Q6_K 6.56 bpw	610.9 GB	—	Za duży
Q8_0 8.50 bpw	791.3 GB	—	Za duży
F16 16.00 bpw	1488.8 GB	—	Za duży

Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla GLM-5 744B →

Uruchom GLM-5 744B

GLM-5 744B is not practical on a single consumer GPU: it needs about 450 GB at Q4_K_M, more than any single device in our catalogue holds with headroom. How multi-GPU inference works, or rent a multi-GPU server by the hour:

Uruchom w chmurze RunPod

lub porównaj w Vast.ai

Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.

Jak uruchomić GLM-5 744B

Zainstaluj Ollama, a potem uruchom:

$ollama run glm-5

Wagi na Hugging Face: THUDM/GLM-5 ↗

Specyfikacja

Preview — The model is released, but these specs are thin or rest on a single source. Individual fields may be wrong.

Parametry: 744 Billion (40B active)
Okno kontekstu: 200,000
Architektura: Mixture-of-Experts + DeepSeek Sparse Attention
Dostawca: Zhipu AI (Z.ai)
Licencja: MIT
Practical deployment: Multi-GPU server
Określono przy: Q4_K_M
RAM systemowy: 1024 GB
Rekord zaktualizowany: 2026-02-15

LicencjaMITUżycie komercyjne dozwolone

Commercial use permitted. No usage restrictions beyond attribution.

Jakość i zastosowania

Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.

Najlepszy dosoftware engineeringcodingenterprisecloud api

Benchmark	Wynik	Źródło
SWE-bench Verified	77.8 / 100 %	opublikowane

Czy uruchomię GLM-5 744B na moim GPU?

GLM-5 744B — najczęściej zadawane pytania

How much VRAM does GLM-5 744B need?

About 450 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.

Does GLM-5 744B run on an RTX 4090 (24 GB)?

No. GLM-5 744B needs about 450 GB at Q4_K_M, more than a single RTX 4090's 24 GB. It needs a larger card, several GPUs, or Apple Silicon with enough unified memory — or it runs with part of the weights offloaded to system RAM, which is much slower.

How do I run GLM-5 744B locally?

Install Ollama and run `ollama run glm-5`. That pulls the weights and starts a local OpenAI-compatible endpoint; after the download nothing leaves the machine.

What other sizes does GLM-5 / GLM-5.1 come in?

GLM-5 9B (6 GB), GLM-5 32B (20 GB), GLM-5.1 72B (44 GB), GLM-5 744B (450 GB). Every size shares the family's training and licence; the larger ones score higher and need proportionally more memory.