Centrum zbiorów danych treningowych LLM

Autor: Jakub Rusinowski · Ostatnia aktualizacja: 21 lipca 2026

47 wyselekcjonowanych otwartych zbiorów danych do fine-tuningu i treningu LLM — instrukcje, ślady rozumowania, wywoływanie funkcji, dane preferencji i więcej. Każdy wpis zawiera dokładną licencję, rozmiar i fragment kodu load_dataset().

Zacznij tutaj: Zrób fine-tuning pierwszego LLM w godzinę · Kompendium fine-tuningu (SFT, LoRA i DPO) · Sprawdź, czy Twoje GPU podoła fine-tuningowi

Porównaj wszystkie 47 zbiorów danych

Kliknij nagłówek kolumny, aby posortować. Kliknij nazwę zbioru, aby zobaczyć pełną kartę z licencją, przykładowymi danymi i kodem.

Jak wybrać zbiór danych

Dopasuj zbiór danych do zadania, nie odwrotnie. Chcesz nauczyć model wykonywania poleceń lub swojego tonu? Użyj zbioru instrukcji/SFT — zacznij od No Robots (pisany przez ludzi) lub Dolly 15k (bezpieczny komercyjnie). Chcesz poprawić sposób, w jaki model wybiera i formułuje odpowiedzi? Potrzebujesz zbioru preferencji do DPO: UltraFeedback to wybór domyślny, a HelpSteer2 dodaje szczegółowe oceny jakości.

Budujesz model „myślący" do matematyki lub kodu? Trenuj na śladach rozumowania: OpenThoughts3 dla szerokiego zakresu, NuminaMath do matematyki, OpenCodeReasoning do kodu. Tworzysz agenta wywołującego API? Wywoływanie funkcji to osobna umiejętność — Glaive v2 na start, xLAM, gdy liczy się precyzja. Użytkownicy nieanglojęzyczni? Aya do instrukcji, FineWeb 2 do kontynuacji pretreningu.

Dwie zasady oszczędzają najwięcej czasu: sprawdź licencję przed treningiem (zbiory CC BY-NC nie mogą trafić do produktu komercyjnego) i zacznij od mniejszej skali, niż myślisz — 1000 dobrych przykładów bije 100 000 zaszumionych. W razie wątpliwości przejdź godzinny przewodnik Zrób fine-tuning pierwszego LLM, który korzysta dokładnie z tych zbiorów.

Instrukcje / SFT (18)

Zbiory instrukcji (SFT) to pary „polecenie–odpowiedź" używane w nadzorowanym fine-tuningu — pierwszym i najważniejszym kroku uczenia modelu bazowego wykonywania poleceń, odpowiadania w Twoim formacie lub przyjmowania określonego tonu. Rozpiętość: od 1 tys. ręcznie pisanych przykładów (LIMA) po wielomilionowe mieszanki syntetyczne (Infinity-Instruct).

• Python-Edu — Continued pretraining for Python code understanding (400 GB · MIT)
• OpenHermes 2.5 — The default general-purpose SFT mix for 7B-13B fine-tunes (1M Rows · Apache 2.0)
• Databricks Dolly 15k — Commercially safe instruction tuning - fully human-written (15k Rows · CC-BY-SA 3.0)
• Stanford Alpaca — Learning the classic instruction format; research only (CC BY-NC) (52k Rows · CC-BY-NC 4.0)
• ShareGPT 52K — Teaching natural multi-turn dialogue (non-commercial) (52k Conversations · CC-BY-NC 4.0)
• WizardLM Evol Instruct 70k — Boosting complex-instruction handling with Evol-Instruct data (70k Rows · Apache 2.0)
• LIMA: Less Is More for Alignment — Style and format alignment with a tiny curated set - quality over quantity (1k Rows · CC-BY-NC-SA 4.0)
• Smoltalk — General SFT for small models (the SmolLM2 recipe) (1M Rows · Apache 2.0)
• Open-Platypus — A quick STEM and logic boost on a small budget (non-commercial) (25K Questions · CC BY NC 4.0)
• OpenOrca — Explanation-style SFT at scale (the Orca recipe) (4.2M Samples · MIT)
• Infinity-Instruct — Large-scale general SFT when you need millions of samples (7.5M Instructions · Apache 2.0)
• Magpie-Align — Fresh synthetic SFT data without seed data or scraping (3M Pairs · Apache 2.0)
• Tulu 3 SFT Mix — Reproducing a state-of-the-art fully open post-training recipe (939K Samples · ODC-BY)
• WebInstruct — Web-scale instruction mining for domain skills (220M Pairs · CC BY-SA 4.0)
• LMSYS-Chat-1M — Studying real-world usage patterns across 25 models (non-commercial) (1M Conversations · CC BY-NC 4.0)
• WildChat-1M — Training on real user conversations; safety and robustness research (1M Chats · AI2 ImpACT)
• No Robots — Your first fine-tune — small, clean, 100% human-written SFT data (non-commercial license) (10k Rows · CC BY-NC 4.0)
• SmolTalk 2 — Reproducing a complete modern post-training pipeline (mid-training → SFT → preference) for small models (3 Subsets (Mid 4.8M Rows) · Apache 2.0)

Rozumowanie (6)

Zbiory rozumowania przechowują pełne łańcuchy myślowe — „myślenie" krok po kroku prowadzące do odpowiedzi — a nie tylko końcowe odpowiedzi. Fine-tuning na śladach destylowanych z silnych modeli (DeepSeek R1, QwQ) to sposób, w jaki małe lokalne modele uczą się rozwiązywać zadania z matematyki, kodu i nauk ścisłych, zanim odpowiedzą.

• MetaMathQA — Boosting GSM8K/MATH-style math skills in 7B models (395K Pairs · MIT)
• Orca Math Word Problems — Grade-school math word problems for small models (200K Problems · MIT)
• NuminaMath — Chain-of-thought math fine-tuning up to olympiad level (860K Problems · Apache 2.0)
• OpenThoughts3-1.2M — Distilling strong math/code/science reasoning into 7B–32B models (1.2M Rows · Apache 2.0)
• s1K-1.1 — Cheap, fast reasoning fine-tunes — 1k samples means minutes of training, not days (1k Rows · Apache 2.0)
• OpenCodeReasoning — Fine-tuning coding models that show their reasoning before writing the solution (735k Samples · CC BY 4.0)

Agenty i wywoływanie funkcji (3)

Zbiory agentowe uczą model wywoływania funkcji i narzędzi: czytania schematu JSON, decydowania, kiedy wywołanie jest potrzebne, generowania poprawnych argumentów i korzystania z wyniku. To kluczowa umiejętność lokalnych agentów AI — trzeba ją trenować osobno, bo ogólne dane konwersacyjne nie dadzą niezawodnych wywołań narzędzi.

• Glaive Function Calling v2 — Teaching a model basic function-calling: when to call, what JSON to emit, how to use results (113k Rows · Apache 2.0)
• xLAM Function Calling 60k — High-precision tool calling — every sample was verified by actually executing the API call (60k Rows · CC BY 4.0)
• Hermes Function Calling v1 — Models that must return valid structured JSON — for agents, extraction, and tool pipelines (12k Samples · Apache 2.0)

Preferencje (RLHF / DPO) (5)

Zbiory preferencji zawierają polecenie oraz uszeregowane lub ocenione odpowiedzi — wybraną i odrzuconą. Zasilają RLHF, modele nagrody i DPO: krok po SFT, który uczy model, którą z dwóch sensownych odpowiedzi ludzie naprawdę wolą. Stosuj je po fazie instrukcyjnej, nie zamiast niej.

• UltraFeedback — The default DPO preference set to run after any SFT pass (64k Rows · MIT)
• Anthropic HH-RLHF — Safety-focused preference training (helpfulness and harmlessness) (170k Pairs · MIT)
• DPO Mix 7K — A small, balanced DPO starter set (7k Pairs · Apache 2.0)
• HelpSteer2 — Training reward models with fine-grained quality ratings (21K Samples · CC BY 4.0)
• Nectar — Reward-model training with 7-way ranked responses (183K Prompts · Apache 2.0)

Pretrening (4)

Korpusy pretreningowe to ogromne kolekcje surowego tekstu — biliony tokenów przefiltrowanych stron WWW, podręczników i kodu — używane do trenowania modeli bazowych od zera lub kontynuacji pretreningu w nowym języku czy domenie. Na konsumenckim GPU nie zrobisz na nich fine-tuningu, ale to one wyznaczają wiedzę otwartych modeli bazowych.

• FineWeb — Pretraining or continued pretraining on high-quality English web text (15 TB · ODC-By 1.0)
• Cosmopedia — Synthetic-textbook pretraining for small models (the SmolLM recipe) (25B Tokens · Apache 2.0)
• SlimPajama — Efficient English pretraining on a heavily deduplicated corpus (627B Tokens · Apache 2.0)
• FineWeb 2 — Pretraining or continued pretraining in languages other than English (8TB Compressed · ODC-By 1.0)

Wielojęzyczne (1)

Zbiory wielojęzyczne przenoszą jakość instrukcji i pretreningu poza angielski — od ręcznie anotowanych par instrukcji w 65 językach (Aya) po przefiltrowany jakościowo tekst z sieci w ponad 1000 języków (FineWeb 2). Niezbędne, jeśli Twoi użytkownicy nie piszą po angielsku.

• Aya Dataset — Instruction-tuning in non-English languages with real human-written data (204k Rows · Apache 2.0)

Kod (3)

Zbiory kodu obejmują zarówno ogromne korpusy źródeł na liberalnych licencjach (The Stack v2), jak i pary instrukcji syntetyzowane z prawdziwego otwartego kodu. Użyj ich, by wyspecjalizować model pod swój stack, poprawić jakość uzupełnień lub wytrenować lokalnego asystenta programisty.

• The Stack v2 — Pretraining code models across 600+ programming languages (900B Tokens · Various (per-file))
• Magicoder-OSS-Instruct-75K — Code instruction tuning grounded in real open-source snippets (75k Rows · MIT)
• CodeFeedback-Filtered-Instruction — Training coding models that respond to execution feedback (74k Rows · Apache 2.0)

Wizja (1)

Zbiory wizyjne (multimodalne) łączą obrazy z instrukcjami tekstowymi, ucząc modele językowe „widzenia". Zbiory instrukcji w stylu LLaVA to standardowy przepis na dodanie rozumienia obrazów do otwartego LLM.

• LLaVA Instruct — Adding image understanding to an open LLM (the LLaVA recipe) (158k Samples · CC-BY-NC 4.0)

Ewaluacja i benchmarki (6)

Zbiory ewaluacyjne to benchmarki — MMLU, HumanEval, SWE-bench — służące do mierzenia modeli, nie do ich trenowania. Nigdy nie mieszaj ich z danymi treningowymi: kontaminacja benchmarków sztucznie zawyża wyniki i jest pierwszą rzeczą sprawdzaną przez uważnych recenzentów.

• MMLU (Massive Multitask Language Understanding) — Benchmarking general knowledge - never train on it (16k Questions · MIT)
• HumanEval — Benchmarking Python code generation - never train on it (164 Problems · MIT)
• Winogrande — Benchmarking commonsense reasoning (44k Problems · Apache 2.0)
• MT-Bench — Judging multi-turn chat quality with LLM-as-judge (80 Questions · Apache 2.0)
• SWE-bench — Benchmarking real-world software engineering - never train on it (2,294 Tasks · MIT)
• MATH (Hendrycks) — Benchmarking competition math ability (12,500 Problems · MIT)

Najczęstsze pytania