Dowody: wyniki benchmarków podane przez dostawcę
Seed-OSS-36B-Instruct — VRAM, szybkość i lokalna konfiguracja
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
Gęsty model ByteDance Seed o 36B parametrów z otwartymi wagami, regulowanym budżetem myślenia, natywnym kontekstem 512K i licencją Apache-2.0. Główne llama.cpp implementuje tę architekturę, vLLM 0.10 lub nowszy serwuje go z dedykowanym parserem wywołań narzędzi, a istnieją GGUF-y społeczności. Pochodzi z sierpnia 2025, więc figuruje jako wspierany model starszej generacji. Kontekst 512K nie jest obietnicą dla jednego GPU: jego pamięć podręczna KV jest bardzo duża, bo wszystkie 64 warstwy używają pełnej uwagi.
Seed-OSS-36B-Instruct potrzebuje około 23 GB VRAM przy Q4_K_M — skwantyzowane wagi plus narzut frameworka, bez pamięci podręcznej KV. Na Apple Silicon ta wartość pochodzi z pamięci zunifikowanej.
VRAM i szybkość według kwantyzacji
Liczone dla NVIDIA RTX 4090 (24 GB). Obejmuje pamięć podręczną KV przy kontekście 8K, więc wartości są wyższe niż główna liczba.
| Kwant. | Pamięć | VRAM | Szybkość (szac.) | Dopasowanie |
|---|---|---|---|---|
| Q2_K 2.63 bpw | 14.8 GB | ~52 tok/s | Mieści się | |
| Q3_K_M 3.41 bpw | 18.4 GB | ~42 tok/s | Mieści się | |
| Q4_K_M 4.83 bpw | 24.7 GB | ~5 tok/s | Częściowo w RAM | |
| Q5_K_M 5.67 bpw | 28.6 GB | ~4 tok/s | Częściowo w RAM | |
| Q6_K 6.56 bpw | 32.6 GB | ~3 tok/s | Częściowo w RAM | |
| Q8_0 8.50 bpw | 41.4 GB | ~3 tok/s | Częściowo w RAM | |
| F16 16.00 bpw | 75.2 GB | — | Za duży |
Czarny znacznik = dostępna pamięć na NVIDIA RTX 4090 (24 GB). Szacunki z modelu przepustowości pamięci opisanego na stronie metodologii. Kalkulator VRAM dla Seed-OSS-36B-Instruct →
Uruchom Seed-OSS-36B-Instruct
Najtańsze GPU z naszego katalogu, które uruchomi Seed-OSS-36B-Instruct, to NVIDIA GeForce RTX 5090 (32 GB).
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Jak uruchomić Seed-OSS-36B-Instruct
Brak oficjalnego artefaktu Ollama, GGUF ani MLX. llama.cpp obsługuje tę architekturę i istnieją pliki GGUF społeczności (konto społeczności LM Studio publikuje jeden); oficjalna trasa to vLLM 0.10 lub nowszy.
Specyfikacja
Verified — Checked against the primary source — the model card or the vendor spec page — and corroborated by a second independent source.
- Parametry
- 36.2 Billion
- Okno kontekstu
- 524,288
- Architektura
- Dense transformer (GQA, 64 layers)
- Dostawca
- ByteDance Seed
- Licencja
- Apache-2.0
- Practical deployment
- Single consumer GPU
- Określono przy
- Q4_K_M
- RAM systemowy
- 32 GB
- Rekord zaktualizowany
- 2026-10-06
Commercial use permitted. No usage restrictions beyond attribution.
Ograniczenia i zastrzeżenia
- Wydanie z sierpnia 2025; istnieją nowsze modele rozumowania.
- Brak oficjalnego artefaktu GGUF, Ollama ani MLX.
- Bardzo duża pamięć podręczna KV przy długim kontekście.
- Tabele benchmarków na karcie zostały uruchomione przez dostawcę, z zalecaną temperaturą próbkowania 1,1 i top_p 0,95.
Zobacz też Qwen3.8 27B
Jakość i zastosowania
Wyniki opublikowane przez autorów modelu lub niezależnego oceniającego — jakość, nie przepustowość, i nie mierzone przez nas.
Seed-OSS-36B-Instruct — najczęściej zadawane pytania
How much VRAM does Seed-OSS-36B-Instruct need?
About 23 GB at Q4_K_M — quantized weights plus framework overhead, before any KV cache. The cache grows with context length and is added on top; the table above folds it in. Apple Silicon counts unified memory toward the same figure.
Does Seed-OSS-36B-Instruct run on an RTX 4090 (24 GB)?
Yes. Seed-OSS-36B-Instruct needs about 23 GB at Q4_K_M, inside a 24 GB card, at an estimated 5 tokens/sec.
How do I run Seed-OSS-36B-Instruct locally?
Brak oficjalnego artefaktu Ollama, GGUF ani MLX. llama.cpp obsługuje tę architekturę i istnieją pliki GGUF społeczności (konto społeczności LM Studio publikuje jeden); oficjalna trasa to vLLM 0.10 lub nowszy. Running the published tag would send your prompts to a hosted GPU rather than your own machine.