// 47 otwartych zbiorów danych · fine-tuning i trening

Centrum zbiorów danych treningowych LLM

47 wyselekcjonowanych otwartych zbiorów danych do fine-tuningu i treningu LLM — instrukcje, ślady rozumowania, wywoływanie funkcji, dane preferencji i więcej. Każdy wpis zawiera dokładną licencję, rozmiar i fragment kodu load_dataset().

Zacznij tutajZrób fine-tuning pierwszego LLM w godzinę →Kompendium fine-tuningu (SFT, LoRA i DPO) →Sprawdź, czy Twoje GPU podoła fine-tuningowi →

Licencja

Instrukcje / SFT

Zbiory instrukcji (SFT) to pary „polecenie–odpowiedź" używane w nadzorowanym fine-tuningu — pierwszym i najważniejszym kroku uczenia modelu bazowego wykonywania poleceń, odpowiadania w Twoim formacie lub przyjmowania określonego tonu. Rozpiętość: od 1 tys. ręcznie pisanych przykładów (LIMA) po wielomilionowe mieszanki syntetyczne (Infinity-Instruct).

Python-Edu400 GBMITOpenCoderContinued pretraining for Python code understanding OpenHermes 2.51M RowsApache 2.0TekniumThe default general-purpose SFT mix for 7B-13B fine-tunes Databricks Dolly 15k15k RowsCC-BY-SA 3.0DatabricksCommercially safe instruction tuning - fully human-written Stanford Alpaca52k RowsCC-BY-NC 4.0tatsu-labLearning the classic instruction format; research only (CC BY-NC)ShareGPT 52K52k ConversationsCC-BY-NC 4.0RyokoAITeaching natural multi-turn dialogue (non-commercial)WizardLM Evol Instruct 70k70k RowsApache 2.0WizardLMBoosting complex-instruction handling with Evol-Instruct data LIMA: Less Is More for Alignment1k RowsCC-BY-NC-SA 4.0Meta / GAIRStyle and format alignment with a tiny curated set - quality over quantity Smoltalk1M RowsApache 2.0HuggingFaceTBGeneral SFT for small models (the SmolLM2 recipe)Open-Platypus25K QuestionsCC BY NC 4.0garage-bAIndA quick STEM and logic boost on a small budget (non-commercial)OpenOrca4.2M SamplesMITOpen-OrcaExplanation-style SFT at scale (the Orca recipe)Infinity-Instruct7.5M InstructionsApache 2.0BAAILarge-scale general SFT when you need millions of samples Magpie-Align3M PairsApache 2.0magpie-alignFresh synthetic SFT data without seed data or scraping Tulu 3 SFT Mix939K SamplesODC-BYallenaiReproducing a state-of-the-art fully open post-training recipe WebInstruct220M PairsCC BY-SA 4.0TIGER-LabWeb-scale instruction mining for domain skills LMSYS-Chat-1M1M ConversationsCC BY-NC 4.0lmsysStudying real-world usage patterns across 25 models (non-commercial)WildChat-1M1M ChatsAI2 ImpACTallenaiTraining on real user conversations; safety and robustness research No Robots10k RowsCC BY-NC 4.0HuggingFace H4Your first fine-tune — small, clean, 100% human-written SFT data (non-commercial license)SmolTalk 23 Subsets (Mid 4.8M Rows)Apache 2.0HuggingFaceTBReproducing a complete modern post-training pipeline (mid-training → SFT → preference) for small models

Rozumowanie

Zbiory rozumowania przechowują pełne łańcuchy myślowe — „myślenie" krok po kroku prowadzące do odpowiedzi — a nie tylko końcowe odpowiedzi. Fine-tuning na śladach destylowanych z silnych modeli (DeepSeek R1, QwQ) to sposób, w jaki małe lokalne modele uczą się rozwiązywać zadania z matematyki, kodu i nauk ścisłych, zanim odpowiedzą.

MetaMathQA395K PairsMITmeta-mathBoosting GSM8K/MATH-style math skills in 7B models Orca Math Word Problems200K ProblemsMITmicrosoftGrade-school math word problems for small models NuminaMath860K ProblemsApache 2.0AI-MOChain-of-thought math fine-tuning up to olympiad level OpenThoughts3-1.2M1.2M RowsApache 2.0Open ThoughtsDistilling strong math/code/science reasoning into 7B–32B models s1K-1.11k RowsApache 2.0SimpleScalingCheap, fast reasoning fine-tunes — 1k samples means minutes of training, not days OpenCodeReasoning735k SamplesCC BY 4.0NVIDIAFine-tuning coding models that show their reasoning before writing the solution

Agenty i wywoływanie funkcji

Zbiory agentowe uczą model wywoływania funkcji i narzędzi: czytania schematu JSON, decydowania, kiedy wywołanie jest potrzebne, generowania poprawnych argumentów i korzystania z wyniku. To kluczowa umiejętność lokalnych agentów AI — trzeba ją trenować osobno, bo ogólne dane konwersacyjne nie dadzą niezawodnych wywołań narzędzi.

Glaive Function Calling v2113k RowsApache 2.0Glaive AITeaching a model basic function-calling: when to call, what JSON to emit, how to use results xLAM Function Calling 60k60k RowsCC BY 4.0SalesforceHigh-precision tool calling — every sample was verified by actually executing the API call Hermes Function Calling v112k SamplesApache 2.0Nous ResearchModels that must return valid structured JSON — for agents, extraction, and tool pipelines

Preferencje (RLHF / DPO)

Zbiory preferencji zawierają polecenie oraz uszeregowane lub ocenione odpowiedzi — wybraną i odrzuconą. Zasilają RLHF, modele nagrody i DPO: krok po SFT, który uczy model, którą z dwóch sensownych odpowiedzi ludzie naprawdę wolą. Stosuj je po fazie instrukcyjnej, nie zamiast niej.

UltraFeedback64k RowsMITOpenBMBThe default DPO preference set to run after any SFT pass Anthropic HH-RLHF170k PairsMITAnthropicSafety-focused preference training (helpfulness and harmlessness)DPO Mix 7K7k PairsApache 2.0argillaA small, balanced DPO starter set HelpSteer221K SamplesCC BY 4.0nvidiaTraining reward models with fine-grained quality ratings Nectar183K PromptsApache 2.0berkeley-nestReward-model training with 7-way ranked responses

Pretrening

Korpusy pretreningowe to ogromne kolekcje surowego tekstu — biliony tokenów przefiltrowanych stron WWW, podręczników i kodu — używane do trenowania modeli bazowych od zera lub kontynuacji pretreningu w nowym języku czy domenie. Na konsumenckim GPU nie zrobisz na nich fine-tuningu, ale to one wyznaczają wiedzę otwartych modeli bazowych.

FineWeb15 TBODC-By 1.0HuggingFaceFWPretraining or continued pretraining on high-quality English web text Cosmopedia25B TokensApache 2.0HuggingFaceFWSynthetic-textbook pretraining for small models (the SmolLM recipe)SlimPajama627B TokensApache 2.0CerebrasEfficient English pretraining on a heavily deduplicated corpus FineWeb 28TB CompressedODC-By 1.0HuggingFaceFWPretraining or continued pretraining in languages other than English

Wielojęzyczne

Zbiory wielojęzyczne przenoszą jakość instrukcji i pretreningu poza angielski — od ręcznie anotowanych par instrukcji w 65 językach (Aya) po przefiltrowany jakościowo tekst z sieci w ponad 1000 języków (FineWeb 2). Niezbędne, jeśli Twoi użytkownicy nie piszą po angielsku.

Aya Dataset204k RowsApache 2.0Cohere LabsInstruction-tuning in non-English languages with real human-written data

Kod

Zbiory kodu obejmują zarówno ogromne korpusy źródeł na liberalnych licencjach (The Stack v2), jak i pary instrukcji syntetyzowane z prawdziwego otwartego kodu. Użyj ich, by wyspecjalizować model pod swój stack, poprawić jakość uzupełnień lub wytrenować lokalnego asystenta programisty.

The Stack v2900B TokensVarious (per-file)BigCodePretraining code models across 600+ programming languages Magicoder-OSS-Instruct-75K75k RowsMITise-uiucCode instruction tuning grounded in real open-source snippets CodeFeedback-Filtered-Instruction74k RowsApache 2.0m-a-pTraining coding models that respond to execution feedback

Wizja

Zbiory wizyjne (multimodalne) łączą obrazy z instrukcjami tekstowymi, ucząc modele językowe „widzenia". Zbiory instrukcji w stylu LLaVA to standardowy przepis na dodanie rozumienia obrazów do otwartego LLM.

LLaVA Instruct158k SamplesCC-BY-NC 4.0Haotian LiuAdding image understanding to an open LLM (the LLaVA recipe)

Ewaluacja i benchmarki

Zbiory ewaluacyjne to benchmarki — MMLU, HumanEval, SWE-bench — służące do mierzenia modeli, nie do ich trenowania. Nigdy nie mieszaj ich z danymi treningowymi: kontaminacja benchmarków sztucznie zawyża wyniki i jest pierwszą rzeczą sprawdzaną przez uważnych recenzentów.

MMLU (Massive Multitask Language Understanding)16k QuestionsMITcaisBenchmarking general knowledge - never train on it HumanEval164 ProblemsMITOpenAIBenchmarking Python code generation - never train on it Winogrande44k ProblemsApache 2.0allenaiBenchmarking commonsense reasoning MT-Bench80 QuestionsApache 2.0lmsysJudging multi-turn chat quality with LLM-as-judge SWE-bench2,294 TasksMITprinceton-nlpBenchmarking real-world software engineering - never train on it MATH (Hendrycks)12,500 ProblemsMIThendrycksBenchmarking competition math ability

Jak wybrać zbiór danych

Dopasuj zbiór danych do zadania, nie odwrotnie. Chcesz nauczyć model wykonywania poleceń lub swojego tonu? Użyj zbioru instrukcji/SFT — zacznij od No Robots (pisany przez ludzi) lub Dolly 15k (bezpieczny komercyjnie). Chcesz poprawić sposób, w jaki model wybiera i formułuje odpowiedzi? Potrzebujesz zbioru preferencji do DPO: UltraFeedback to wybór domyślny, a HelpSteer2 dodaje szczegółowe oceny jakości.

Budujesz model „myślący" do matematyki lub kodu? Trenuj na śladach rozumowania: OpenThoughts3 dla szerokiego zakresu, NuminaMath do matematyki, OpenCodeReasoning do kodu. Tworzysz agenta wywołującego API? Wywoływanie funkcji to osobna umiejętność — Glaive v2 na start, xLAM, gdy liczy się precyzja. Użytkownicy nieanglojęzyczni? Aya do instrukcji, FineWeb 2 do kontynuacji pretreningu.

Dwie zasady oszczędzają najwięcej czasu: sprawdź licencję przed treningiem (zbiory CC BY-NC nie mogą trafić do produktu komercyjnego) i zacznij od mniejszej skali, niż myślisz — 1000 dobrych przykładów bije 100 000 zaszumionych. W razie wątpliwości przejdź godzinny przewodnik Zrób fine-tuning pierwszego LLM, który korzysta dokładnie z tych zbiorów.

Najczęstsze pytania

Jakiego zbioru danych użyć do fine-tuningu chatbota?

Zacznij od zbioru instrukcji/SFT. No Robots (10 tys. przykładów pisanych przez ludzi) to najczystszy pierwszy zbiór, a Databricks Dolly 15k to bezpieczna komercyjnie alternatywa. Dla zachowań wieloturowych dodaj UltraChat lub WildChat, a potem doszlifuj ton zbiorem preferencji, np. UltraFeedback z DPO.

Czym różnią się zbiory SFT od DPO?

Zbiory SFT zawierają pary „polecenie–odpowiedź", które model uczy się naśladować (nadzorowany fine-tuning). Zbiory DPO/preferencji zawierają polecenie oraz odpowiedź wybraną i odrzuconą — model uczy się preferować lepszą. Typowy potok to najpierw SFT, potem DPO — np. Tulu 3 SFT, a następnie UltraFeedback.

Czy mogę użyć Alpaki komercyjnie?

Nie — Stanford Alpaca ma licencję CC BY-NC 4.0 (niekomercyjną), bo została wygenerowana modelem text-davinci-003 OpenAI. Do komercyjnego fine-tuningu użyj Databricks Dolly 15k (CC BY-SA 3.0), Tulu 3 SFT Mix (ODC-BY) lub OpenHermes 2.5 (MIT).

Jak duży powinien być zbiór do fine-tuningu?

Jakość bije ilość. LIMA pokazała, że 1000 wyselekcjonowanych przykładów wystarczy do wyrównania modelu 65B, a s1K zrobił to samo dla rozumowania. Do zmiany stylu i formatu zwykle wystarcza 200–1000 dobrych przykładów; nowe umiejętności domenowe wymagają 10–100 tys. Zacznij od małej skali i oceniaj.

Czym jest zbiór ze śladami rozumowania?

Zbiór ze śladami rozumowania przechowuje nie tylko końcowe odpowiedzi, ale pełny łańcuch myślowy — myślenie krok po kroku przed każdym rozwiązaniem. Fine-tuning na śladach (OpenThoughts3, NuminaMath-CoT, OpenCodeReasoning) destyluje zdolność rozumowania z dużych modeli do małych lokalnych, które „myślą", zanim odpowiedzą.

Które zbiory działają z Unsloth?

Każdy zbiór w standardowym formacie zadziała z Unsloth po lekkim sformatowaniu: styl Alpaca (kolumny instruction/output), styl ShareGPT (conversations) lub wiadomości ChatML. Popularne zbiory startowe dla Unsloth to No Robots, Alpaca i Dolly 15k — nasz godzinny przewodnik pokazuje, jak załadować je w SFTTrainer na GPU 6 GB.