Ostatnia aktualizacja: maj 2026 — Architektura MoE (Mixture of Experts) stoi za niektórymi z najbardziej ekscytujących modeli 2026 roku: Llama 4, DeepSeek V3, Qwen 3 MoE i Gemma 4. Zrozumienie MoE pomaga wybrać właściwy model i skuteczniej zarządzać VRAM.
Czym jest Mixture of Experts?
W tradycyjnym „gęstym” (dense) modelu LLM każdy parametr jest aktywny dla każdego tokena. W modelu Mixture of Experts architektura jest podzielona na wiele wyspecjalizowanych podsieci („ekspertów”), a na jeden token aktywuje się tylko niewielka ich część:
Model gęsty (np. Llama 3.1 8B):
- Wszystkie 8 miliardów parametrów aktywne na token
- Każda warstwa w pełni uczestniczy w każdym obliczeniu
Model MoE (np. Qwen 3.5 35B-A3B):
- 35 miliardów łącznych parametrów przechowywanych w pamięci
- Tylko ~3 miliardy parametrów aktywne na token („A3B” = Active 3B)
- Sieć routera wybiera, którzy 2–4 eksperci obsłużą dany token
Dlaczego modele MoE są ekscytujące
Kluczowy wniosek: przechowujesz więcej wiedzy (więcej łącznych parametrów), ale płacisz tylko koszt obliczeń mniejszego modelu.
| Właściwość | Gęsty 7B | MoE 35B-A3B |
|---|---|---|
| Łączne parametry | 7B | 35B |
| Aktywne parametry/token | 7B | ~3B |
| Potrzebny VRAM (Q4) | ~5 GB | ~20 GB |
| Szybkość wnioskowania (tokeny/s) | 60 t/s (RTX 4090) | 25–35 t/s (RTX 4090) |
| Wiedza/możliwości | Poziom 7B | Odpowiednik ~25–30B |
| Jakość rozumowania | Dobra | Znacznie lepsza |
Otrzymujesz wiedzę modelu 35B mniej więcej za koszt wnioskowania modelu 7B — kosztem większej ilości VRAM.
Główne modele MoE w 2026
Llama 4 Scout (17B aktywnych / 109B łącznie)
- Aktywne parametry: 17B na token
- Łączne parametry: 109B w 16 ekspertach
- VRAM (Q4): ~10,5 GB
- Najlepszy do: kodowania, zadań wymagających rozumowania, gdzie chcesz więcej niż jakość 8B bez sprzętu na 70B
- Kontekst: 128k tokenów
ollama run llama4:scoutLlama 4 Maverick (17B aktywnych / 400B łącznie)
- Aktywne parametry: 17B na token
- Łączne parametry: 400B w wielu ekspertach
- VRAM (Q4): ~24 GB (ledwo mieści się w RTX 4090)
- Najlepszy do: użytkowników z 24GB VRAM chcących jakości bliskiej 70B
- Warto zauważyć: silne możliwości multimodalne
ollama run llama4:maverickQwen 3.5 35B-A3B
- Aktywne parametry: 3B na token
- Łączne parametry: 35B
- VRAM (Q4): ~20 GB
- Szybkość: ~30 t/s na RTX 4090 (szybko mimo dużego łącznego rozmiaru)
- Najlepszy do: użytkowników z GPU 24GB chcących najlepszej równowagi jakość/szybkość
DeepSeek V3.2 (685B łącznie, 37B aktywnych)
- Flagowy model MoE o otwartych wagach
- VRAM: ~370 GB łącznie — wykonalny tylko przez chmurę lub klaster multi-GPU
- Szybkość: działa wydajnie na dużych klastrach dzięki niskiej liczbie aktywnych parametrów
- Dostępny przez API DeepSeek lub wynajem chmurowego GPU
Gemma 4 26B-A4B
- Wejście MoE Google w rodzinie Gemma 4
- Aktywne: 4B parametrów na token z 26B łącznie
- VRAM (Q4): ~16 GB (mieści się w RTX 4060 Ti 16GB)
- Znakomite wsparcie multimodalne
Mixtral 8x7B (klasyczny)
Oryginalny, szeroko przyjęty model MoE:
- 8 ekspertów, 2 aktywnych na token
- ~26B łącznych parametrów, ~13B aktywnego VRAM
- VRAM: ~14GB przy Q4 (mieści się w zestawach dual-GPU lub kartach 16GB)
- Wciąż konkurencyjny w wielu zadaniach
VRAM vs obliczenia: kompromis MoE
Modele MoE mają nietypowy profil VRAM:
Gęsty Llama 3.1 70B Q4:
VRAM: 40 GB (muszą zmieścić się wszystkie wagi)
Obliczenia/token: 70B operacji
Typowa szybkość: 5-8 t/s na RTX 4090
MoE Llama 4 Scout Q4:
VRAM: 10.5 GB (wszyscy eksperci wciąż załadowani)
Obliczenia/token: 17B operacji
Typowa szybkość: 25-35 t/s na RTX 4090
MoE Llama 4 Maverick Q4:
VRAM: 24 GB (wszyscy eksperci wciąż załadowani)
Obliczenia/token: 17B operacji
Typowa szybkość: 15-25 t/s na RTX 4090Kluczowy wniosek: MoE redukuje obliczenia (szybkość), ale nie VRAM — wszyscy eksperci muszą być załadowani do pamięci, nawet jeśli na token używa się tylko 2–4. Model MoE 685B wciąż potrzebuje ~370GB VRAM, mimo że na token działa tylko 37B parametrów.
Kiedy wybrać MoE, a kiedy model gęsty
Wybierz MoE, gdy:
- Masz dość VRAM, aby załadować pełny model
- Chcesz maksymalnych możliwości ze swojego sprzętu
- Prowadzisz wnioskowanie wsadową, gdzie przepustowość liczy się mniej niż jakość
- Potrzebujesz silniejszego rozumowania niż dają modele gęste o tym samym VRAM
Wybierz model gęsty, gdy:
- VRAM jest na granicy — modele gęste są bardziej przewidywalne
- Potrzebujesz maksymalnej liczby tokenów/s (czat interaktywny)
- Robisz fine-tuning (MoE trudniej dostroić)
- Chcesz mniejszego łącznego magazynu modelu na dysku
Wydajne uruchamianie modeli MoE
Ollama obsługuje modele MoE automatycznie. Kilka wskazówek:
# Check available VRAM before loading large MoE
ollama list
# For Llama 4 Scout (10.5GB) on an 8GB card - it will CPU offload
# Force full GPU offload if you have enough VRAM
OLLAMA_NUM_GPU=99 ollama run llama4:scout
# For Qwen 3.5 35B-A3B on RTX 4090 24GB:
ollama run qwen3.5:35b-a3b-q4_K_MMoE a długość kontekstu
Modele MoE często mają bardzo duże okna kontekstu (bo architektura dobrze się skaluje):
| Model | Okno kontekstu |
|---|---|
| Llama 4 Scout | 128k tokenów |
| Llama 4 Maverick | 128k tokenów |
| DeepSeek V3.2 | 128k tokenów |
| Qwen 3.5 35B-A3B | 32k tokenów |
| Gemma 4 26B-A4B | 128k tokenów |
Duży kontekst + wydajność MoE = znakomite do RAG, analizy dokumentów i zadań długiej formy.
Najczęściej zadawane pytania
Czy Ollama obsługuje modele MoE automatycznie? Tak — Ollama obsługuje modele MoE przezroczyście przez llama.cpp. Nie potrzebujesz żadnej specjalnej konfiguracji.
Czy MoE jest lepszy niż model gęsty do mojego zastosowania? W większości zadań czatu interaktywnego gęsty model 8B jest szybszy. Przy złożonym rozumowaniu, gdzie możesz poczekać 2–3 sekundy na odpowiedź, model MoE o tym samym budżecie VRAM da lepsze odpowiedzi.
Czy mogę dostrajać modele MoE? Technicznie tak, za pomocą frameworków takich jak LLaMA-Factory, ale jest to bardziej złożone. Fine-tuning LoRA działa, ale wymaga starannego routingu ekspertów. Większość użytkowników dostraja zamiast tego modele gęste.
Dlaczego model 685B potrzebuje 370GB VRAM, skoro aktywnych jest tylko 37B? Wszystkie macierze wag ekspertów muszą być w VRAM, aby router mógł spośród nich wybierać. Nie da się z góry wiedzieć, którzy eksperci zostaną wybrani, więc wszyscy muszą być załadowani. To fundamentalne ograniczenie pamięciowe MoE.