s1K-1.1 — LLM Rozumowanie Dataset

Zaledwie 1000 ultrastarannie dobranych pytań ze śladami rozumowania — wyselekcjonowanych z 59 tys. kandydatów pod kątem trudności, różnorodności i jakości, ze śladami wygenerowanymi ponownie przez DeepSeek R1 w wydaniu 1.1. Fine-tuning Qwen2.5-32B na s1K (26 minut na 16 kartach H100) w połączeniu z „budget forcing” podczas wnioskowania pozwolił przewyższyć o1-preview w matematyce konkursowej. LIMA świata rozumowania: dowód, że jakość danych bije ilość.

Dataset Details

from datasets import load_dataset
ds = load_dataset("simplescaling/s1K-1.1")

Fine-tuning z tym zbiorem danych

Szacowany VRAM do fine-tuningu z QLoRA (model bazowy 4-bit + adaptery LoRA), przy zachowawczych ustawieniach:

Sprawdź, czy Twoje GPU to udźwignie →

Pierwszy fine-tuning? Przejdź przewodnik krok po kroku: Zrób fine-tuning pierwszego LLM w godzinę

Powiązane zbiory danych

• LIMA: Less Is More for Alignment — Style and format alignment with a tiny curated set - quality over quantity
• OpenThoughts3-1.2M — Distilling strong math/code/science reasoning into 7B–32B models
• MetaMathQA — Boosting GSM8K/MATH-style math skills in 7B models
• Orca Math Word Problems — Grade-school math word problems for small models

Najczęstsze pytania

← Wszystkie zbiory danych | Fine-Tuning Guide