Rozumowanie · meta-math

MetaMathQA

395 tys. wysokiej jakości par pytanie–odpowiedź z matematyki, powstałych przez rozszerzenie GSM8K i MATH metodami przepisywania odpowiedzi, rozumowania wstecznego i FOBAR. Zasila modele MetaMath, które wyraźnie przewyższają modele bazowe w benchmarkach matematycznych.

Wczytaj
from datasets import load_dataset
ds = load_dataset("meta-math/MetaMathQA")
Podgląd przykładowego wiersza
{
  "query": "James buys 3 shirts for $60. There is a 40% off sale. How much did he pay per shirt after the discount?",
  "response": "The original price per shirt is $60/3 = $20. The discount per shirt is $20 * 0.40 = $8. So James paid $20 - $8 = $12 per shirt. The answer is 12.",
  "type": "GSM_Rephrased"
}

Fine-tuning z tym zbiorem danych

Szacowany VRAM do fine-tuningu z QLoRA (model bazowy 4-bit + adaptery LoRA), przy zachowawczych ustawieniach:

7B QLoRA · ~6GB VRAM13B QLoRA · ~10GB VRAM
Sprawdź, czy Twoje GPU to udźwignie →

Pierwszy fine-tuning? Przejdź przewodnik krok po kroku: Zrób fine-tuning pierwszego LLM w godzinę

Najczęstsze pytania

Czy mogę użyć MetaMathQA komercyjnie?

Tak — MetaMathQA jest udostępniony na licencji MIT, liberalnej licencji pozwalającej na użycie komercyjne, w tym trenowanie modeli wdrażanych w produkcie. Przed publikacją sprawdź wymogi atrybucji na karcie zbioru.

Ile danych zawiera MetaMathQA i czy potrzebuję wszystkich?

MetaMathQA zawiera 395K Pairs. Rzadko potrzebujesz całości: do fine-tuningu stylu i formatu wystarcza kilkaset–kilka tysięcy przykładów — załaduj wycinek (np. split="train[:1000]") i zwiększaj skalę tylko, gdy jakość przestaje rosnąć.

Do czego MetaMathQA nadaje się najlepiej?

Boosting GSM8K/MATH-style math skills in 7B models. Należy do sekcji „Rozumowanie" naszego centrum zbiorów danych, gdzie znajdziesz alternatywy i zbiory komplementarne.