NuminaMath — LLM 推理 Dataset
860K competition and olympiad-level math problems with curated, structured solutions. Created for the AI Mathematical Olympiad challenge, NuminaMath represents the frontier of mathematical reasoning datasets, covering AMC, AIME, and international olympiad problems.
Dataset Details
| Provider | AI-MO |
| Category | 推理 |
| Size | 860K Problems |
| License | Apache 2.0 |
| Downloads | 520k |
| Tags | Olympiad Math, Competition, Chain-of-Thought, AIMO, 2024 |
from datasets import load_dataset
ds = load_dataset("AI-MO/NuminaMath-CoT")
用这个数据集微调
使用 QLoRA（4-bit 基础模型 + LoRA 适配器）微调的预计显存需求（保守默认参数）：
| 7B QLoRA | ~6GB VRAM |
| 13B QLoRA | ~10GB VRAM |
检测你的 GPU 能否微调 →
微调新手？跟着分步教程走： 一小时微调你的第一个 LLM
相关数据集
- MetaMathQA — Boosting GSM8K/MATH-style math skills in 7B models
- OpenThoughts3-1.2M — Distilling strong math/code/science reasoning into 7B–32B models
- Orca Math Word Problems — Grade-school math word problems for small models
- s1K-1.1 — Cheap, fast reasoning fine-tunes — 1k samples means minutes of training, not days
常见问题
NuminaMath 可以商用吗？
可以——NuminaMath 采用 Apache 2.0 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。
NuminaMath 有多少数据？需要全部使用吗？
NuminaMath 包含 860K Problems。通常不需要全部：风格和格式微调只需几百到几千条样本——先加载切片（如 split="train[:1000]"），质量到达瓶颈时再扩大规模。
NuminaMath 最适合做什么？
Chain-of-thought math fine-tuning up to olympiad level。它属于数据集中心的「推理」板块，那里有替代和互补的数据集。
← 全部数据集 | Fine-Tuning Guide