Apple M4 运行本地大模型
作者: Jakub Rusinowski · 最后更新:
凭借 32 GB、120 GB/s 带宽,M4 可在 Q4_K_M、8K 上下文下运行目录中的 137 个模型。能放下的最大模型是 Qwen 3 32B(约 22.8 GB),首选是 Laguna XS 2.1 33B-A3B,速度 11–23 tok/s。
Up to 32 GB unified memory at 120 GB/s. Fits 7–8B models with room for larger context windows, and can run some 13–14B models at aggressive quantization. Ships in the MacBook Air, Mac mini, iMac, and iPad Pro.
可在 M4 上运行的模型
Q4_K_M,8K 上下文,可用 24 GB。按质量和速度排序。
| 模型 | 显存 · 标记 = 24 GB | 显存 | 速度 |
|---|---|---|---|
| Laguna XS 2.1 33B-A3B Poolside Laguna XS 2.1 | 20.7 GB | 11–23 tok/s | |
| Nemotron-Cascade 2 30B-A3B Nemotron Cascade 2 | 19.9 GB | 10–22 tok/s | |
| Qwen 3 30B-A3B (MoE) Qwen 3 | 20 GB | 14–30 tok/s | |
| Qwen3-Coder 30B-A3B (MoE) Qwen3-Coder | 20 GB | 14–30 tok/s | |
| GLM-4.7-Flash 30B-A3B GLM-4.7 / GLM-Z1 | 18.9 GB | 11–23 tok/s | |
| Nemotron 3 Nano Omni 30B-A3B Nemotron 3 Nano Omni | 18.9 GB | 11–23 tok/s | |
| North Mini Code 1.0 30B-A3B North Mini Code | 18.9 GB | 11–23 tok/s | |
| Nemotron 3.5 Lightning 30B-A3B Nemotron 3.5 | 18.9 GB | 11–23 tok/s | |
| Trinity Mini Trinity | 16.9 GB | 20–41 tok/s | |
| Gemma 4 26B-A4B Gemma 4 | 17 GB | 14–29 tok/s | |
| LFM2.5-24B-A2B LFM2.5 | 15.5 GB | 23–48 tok/s | |
| GPT-OSS 20B GPT-OSS | 13.6 GB | 17–34 tok/s |
购买显卡,或租用同等显存
直接购买显卡,或按小时租用同等显存的 GPU,先试用模型。
作为亚马逊联盟成员,我们从符合条件的购买中获得收入。云 GPU 链接为推荐链接——我们可能获得佣金,您无需额外付费。
与其他 GPU 的速度对比
Llama 3.1 8B,Q4_K_M。估算区间。 计算方法
规格
规格更新于 2026-07-12。
- 显存
- 32 GB
- 内存带宽
- 120 GB/s
- 架构
- ARM, 3nm TSMC
- 系列
- Apple Silicon
- 整卡功耗
- 22 W
- 发布年份
- 2024
- 模型可用
- 24 GB(约为统一内存的 75%)
相似 GPU
常见问题
Apple M4 能运行本地大模型吗?
可以。它有 32 GB(模型可用 24 GB),在 Q4_K_M、8K 上下文下可运行目录中的 137 个模型;最大的是 Qwen 3 32B,约需 22.8 GB。
Apple M4 的 AI 推理速度有多快?
估计它在 Q4_K_M 下运行 Llama 3.1 8B 的速度为 7.7–16 tok/s。Llama 3.3 70B 放不下:约需 44 GB,而可用只有 24 GB。这些是基于内存带宽的模型估算,并非实测;公式见方法说明页。
32 GB 能运行哪些大模型?
能放下的最佳模型包括:Laguna XS 2.1 33B-A3B、Nemotron-Cascade 2 30B-A3B、Qwen 3 30B-A3B (MoE)、Qwen3-Coder 30B-A3B (MoE)、GLM-4.7-Flash 30B-A3B。最快的上手方式是 Ollama:ollama run llama3.1:8b。