Orca Math Word Problems
200K diverse grade-school math word problems synthetically generated by GPT-4 using an agent-based approach. Each problem is uniquely crafted without duplication from existing datasets, achieving state-of-the-art results with small 7B fine-tunes.
加载
from datasets import load_dataset
ds = load_dataset("microsoft/orca-math-word-problems-200k")预览示例数据
{
"question": "A bakery makes 250 cookies per batch and bakes 4 batches per day. They sell 80% of their cookies each day. How many cookies remain unsold?",
"answer": "Total cookies = 250 × 4 = 1000. Sold = 1000 × 0.80 = 800. Remaining = 1000 − 800 = 200 cookies."
}用这个数据集微调
使用 QLoRA（4-bit 基础模型 + LoRA 适配器）微调的预计显存需求（保守默认参数）：
7B QLoRA · ~6GB VRAM13B QLoRA · ~10GB VRAM
检测你的 GPU 能否微调 →微调新手？跟着分步教程走： 一小时微调你的第一个 LLM
常见问题
Orca Math Word Problems 可以商用吗？
可以——Orca Math Word Problems 采用 MIT 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。
Orca Math Word Problems 有多少数据？需要全部使用吗？
Orca Math Word Problems 包含 200K Problems。通常不需要全部：风格和格式微调只需几百到几千条样本——先加载切片（如 split="train[:1000]"），质量到达瓶颈时再扩大规模。
Orca Math Word Problems 最适合做什么？
Grade-school math word problems for small models。它属于数据集中心的「推理」板块，那里有替代和互补的数据集。