BitNet b1.58 3B — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
A 3B parameter model that outperforms Llama 3B while using a fraction of the energy. Optimized for CPU inference via bitnet.cpp.
BitNet b1.58 3B potrzebuje około 3 GB VRAM przy 1.58-bit — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Tylko wagi i narzut: architektura tego modelu nie jest opublikowana, więc nie doliczamy pamięci KV.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| Q2_K 2.63 bpw | 1.9 GB | ~234 tok/s | Mieści się | |
| Q3_K_M 3.41 bpw | 2.2 GB | ~213 tok/s | Mieści się | |
| Q4_K_M 4.83 bpw | 2.8 GB | ~183 tok/s | Mieści się | |
| Q5_K_M 5.67 bpw | 3.2 GB | ~168 tok/s | Mieści się | |
| Q6_K 6.56 bpw | 3.5 GB | ~156 tok/s | Mieści się | |
| Q8_0 8.50 bpw | 4.3 GB | ~134 tok/s | Mieści się | |
| F16 16.00 bpw | 7.4 GB | ~86 tok/s | Mieści się |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla BitNet b1.58 3B →
Uruchom BitNet b1.58 3B
Najtańsze GPU z naszego katalogu, które uruchomi BitNet b1.58 3B, to Intel Arc B570 (10 GB).
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić BitNet b1.58 3B
Zainstaluj Ollama, a potem uruchom:
ollama run hf.co/1bitLLM/bitnet_b1_58-3BSpecyfikacja
Curated — A hand-written entry from before this catalogue recorded its sources. The figures are long-standing but their provenance is not on file.
- Parametry
- 3 Billion
- Okno kontekstu
- 2,048
- Architektura
- BitNet (Ternary)
- Dostawca
- Microsoft
- Licencja
- MIT
- Practical deployment
- Edge device (phone, SBC)
- Określono przy
- 1.58-bit
- RAM systemowy
- 4 GB
- Rekord zaktualizowany
- 2024-03-01
Commercial use permitted. No usage restrictions beyond attribution.
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
Czy uruchomię BitNet b1.58 3B na moim GPU?
BitNet b1.58 3B — najczęściej zadawane pytania
How much VRAM does BitNet b1.58 3B need?
About 3 GB at 1.58-bit — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does BitNet b1.58 3B run on an RTX 4090 (24 GB)?
Yes. BitNet b1.58 3B needs about 3 GB at 1.58-bit, inside a 24 GB card, at an estimated 183 tokens/sec.
How do I run BitNet b1.58 3B locally?
Install Ollama and run `ollama run hf.co/1bitLLM/bitnet_b1_58-3B`. That pulls the weights and starts a local OpenAI-compatible endpoint; after the download nothing leaves the machine.