评估与基准测试 · hendrycks

MATH (Hendrycks)

12,500 competition mathematics problems across 7 subjects (algebra, calculus, number theory, etc.) with step-by-step solutions. The key benchmark for evaluating mathematical reasoning in LLMs — requires multi-step problem-solving and symbolic manipulation.

在 Hugging Face 查看 →阅读论文

加载

from datasets import load_dataset
ds = load_dataset("hendrycks/competition_math")

预览示例数据

{
  "problem": "Find the integer $n$, $0 \\le n \\le 11$, such that $n \\equiv 10389 \\pmod{12}$.",
  "solution": "Since $10389 = 865 \\cdot 12 + 9$, the remainder when 10389 is divided by 12 is $\\boxed{9}$.",
  "level": "Level 1",
  "type": "Number Theory"
}

常见问题

MATH (Hendrycks) 可以商用吗？

可以——MATH (Hendrycks) 采用 MIT 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。

MATH (Hendrycks) 有多少数据？需要全部使用吗？

MATH (Hendrycks) 包含 12,500 Problems。它是评估基准，用于完整地衡量模型——切勿混入训练数据，否则基准分数将失去意义。

MATH (Hendrycks) 最适合做什么？

Benchmarking competition math ability。它属于数据集中心的「评估与基准测试」板块，那里有替代和互补的数据集。