MATH (Hendrycks)
12 500 zadań z matematyki konkursowej z 7 działów (algebra, analiza matematyczna, teoria liczb i inne) wraz z rozwiązaniami krok po kroku. Kluczowy benchmark oceny rozumowania matematycznego w LLM-ach — wymaga wieloetapowego rozwiązywania problemów i przekształceń symbolicznych.
from datasets import load_dataset
ds = load_dataset("hendrycks/competition_math")Podgląd przykładowego wiersza
{
"problem": "Find the integer $n$, $0 \\le n \\le 11$, such that $n \\equiv 10389 \\pmod{12}$.",
"solution": "Since $10389 = 865 \\cdot 12 + 9$, the remainder when 10389 is divided by 12 is $\\boxed{9}$.",
"level": "Level 1",
"type": "Number Theory"
}Najczęstsze pytania
Czy mogę użyć MATH (Hendrycks) komercyjnie?
Tak — MATH (Hendrycks) jest udostępniony na licencji MIT, liberalnej licencji pozwalającej na użycie komercyjne, w tym trenowanie modeli wdrażanych w produkcie. Przed publikacją sprawdź wymogi atrybucji na karcie zbioru.
Ile danych zawiera MATH (Hendrycks) i czy potrzebuję wszystkich?
MATH (Hendrycks) zawiera 12,500 Problems. To benchmark ewaluacyjny, używany w całości do mierzenia modeli — nigdy nie mieszaj go z danymi treningowymi, bo wyniki benchmarku stracą sens.
Do czego MATH (Hendrycks) nadaje się najlepiej?
Benchmarking competition math ability. Należy do sekcji „Ewaluacja i benchmarki" naszego centrum zbiorów danych, gdzie znajdziesz alternatywy i zbiory komplementarne.