Orca Math Word Problems — LLM 推理 Dataset
200K diverse grade-school math word problems synthetically generated by GPT-4 using an agent-based approach. Each problem is uniquely crafted without duplication from existing datasets, achieving state-of-the-art results with small 7B fine-tunes.
Dataset Details
| Provider | microsoft |
| Category | 推理 |
| Size | 200K Problems |
| License | MIT |
| Downloads | 580k |
| Tags | Math, Synthetic, GPT-4, Word Problems, Microsoft |
from datasets import load_dataset
ds = load_dataset("microsoft/orca-math-word-problems-200k")
用这个数据集微调
使用 QLoRA（4-bit 基础模型 + LoRA 适配器）微调的预计显存需求（保守默认参数）：
| 7B QLoRA | ~6GB VRAM |
| 13B QLoRA | ~10GB VRAM |
检测你的 GPU 能否微调 →
微调新手？跟着分步教程走： 一小时微调你的第一个 LLM
相关数据集
- MetaMathQA — Boosting GSM8K/MATH-style math skills in 7B models
- NuminaMath — Chain-of-thought math fine-tuning up to olympiad level
- OpenThoughts3-1.2M — Distilling strong math/code/science reasoning into 7B–32B models
- s1K-1.1 — Cheap, fast reasoning fine-tunes — 1k samples means minutes of training, not days
常见问题
Orca Math Word Problems 可以商用吗？
可以——Orca Math Word Problems 采用 MIT 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。
Orca Math Word Problems 有多少数据？需要全部使用吗？
Orca Math Word Problems 包含 200K Problems。通常不需要全部：风格和格式微调只需几百到几千条样本——先加载切片（如 split="train[:1000]"），质量到达瓶颈时再扩大规模。
Orca Math Word Problems 最适合做什么？
Grade-school math word problems for small models。它属于数据集中心的「推理」板块，那里有替代和互补的数据集。
← 全部数据集 | Fine-Tuning Guide