Apple M3 do lokalnych LLM
Autor: Jakub Rusinowski · Ostatnia aktualizacja:
Z 24 GB przy 100 GB/s M3 uruchamia 94 modele z katalogu przy Q4_K_M i kontekście 8K. Największy, który się mieści, to Ternary Bonsai 2 27B (~17.6 GB), a najlepszy wybór to LFM2.5-24B-A2B przy 20–41 tok/s.
Do 24 GB pamięci zunifikowanej przy 100 GB/s — ten sam limit pamięci co M2, ale w procesie 3 nm. Wygodnie mieści modele 7–8B w Q4. Powszechny w MacBooku Air, iMacu i Macu mini.
Modele, które działają na M3
Q4_K_M, kontekst 8K, 18 GB do wykorzystania. Uszeregowane według jakości i szybkości.
| Model | Pamięć · znacznik = 18 GB | VRAM | Szybkość |
|---|---|---|---|
| LFM2.5-24B-A2B LFM2.5 | 15.5 GB | 20–41 tok/s | |
| GPT-OSS 20B GPT-OSS | 13.6 GB | 14–29 tok/s | |
| Mellum2.1 12B Thinking Mellum2.1 | 9 GB | 20–41 tok/s | |
| Gemma 3n E2B Gemma 3n | 4.1 GB | 15–32 tok/s | |
| LFM2.5-8B-A1B LFM2.5 | 5.8 GB | 16–33 tok/s | |
| Trinity Mini Trinity | 16.9 GB | 17–35 tok/s | |
| Ternary Bonsai 2 4B Ternary Bonsai 2 | 3.6 GB | 12–25 tok/s | |
| Gemma 4 26B-A4B Gemma 4 | 17 GB | 12–24 tok/s | |
| Gemma 3n E4B Gemma 3n | 5.5 GB | 9.8–20 tok/s | |
| Llama 3.2 1B Instruct Llama 3.2 Family | 1.8 GB | 30–63 tok/s | |
| Llama 3.2 3B Instruct Llama 3.2 Family | 3.7 GB | 12–24 tok/s | |
| StarCoder 2 3B StarCoder 2 | 2.9 GB | 16–33 tok/s |
Kup kartę lub wynajmij tyle samo pamięci
Kup kartę albo wynajmij na godziny GPU z taką samą pamięcią, by najpierw wypróbować modele.
lub porównaj w Vast.ai od $0.35/godz. (typical low · varies)
Jako partner Amazon zarabiamy na kwalifikujących się zakupach. Linki do chmurowych GPU są linkami polecającymi — możemy otrzymać prowizję bez dodatkowych kosztów dla Ciebie.
Szybkość na tle innych GPU
Llama 3.1 8B, Q4_K_M. Szacowane zakresy. Jak to liczymy
Specyfikacja
Specyfikację zaktualizowano 2026-07-12.
- Pamięć
- 24 GB
- Przepustowość pamięci
- 100 GB/s
- Architektura
- ARM, 3nm TSMC
- Seria
- Apple Silicon
- Pobór mocy
- 22 W
- Rok premiery
- 2023
- Dostępne dla modeli
- 18 GB (~75% pamięci zunifikowanej)
Podobne GPU
Najczęstsze pytania
Czy Apple M3 uruchomi lokalne LLM?
Tak. Z 24 GB (18 GB dostępne dla modelu) uruchamia 94 modele z katalogu przy Q4_K_M i kontekście 8K; największy to Ternary Bonsai 2 27B, potrzebuje około 17.6 GB.
Jak szybki jest Apple M3 w inferencji AI?
Szacujemy, że uruchamia Llama 3.1 8B z szybkością 6.4–13 tok/s przy Q4_K_M. Llama 3.3 70B się nie mieści: potrzebuje około 44 GB, a dostępne jest 18 GB. To szacunki z modelu przepustowości pamięci, nie pomiary; wzór jest na stronie metodologii.
Jakie LLM uruchomię na 24 GB?
Wśród najlepszych, które się mieszczą: LFM2.5-24B-A2B, GPT-OSS 20B, Mellum2.1 12B Thinking, Gemma 3n E2B, LFM2.5-8B-A1B. Najszybszy start to Ollama: ollama run llama3.2:3b.
Co dalej
Czy uruchomię to na M3?
Więcej o tej karcie
Narzędzia