Autor: Jakub Rusinowski · Ostatnia aktualizacja: 10 lipca 2026
Wybór właściwego zbioru danych to pojedynczo największy czynnik udanego przebiegu fine-tuningu. Ten przewodnik przecina zamęt praktycznym frameworkiem decyzyjnym.
Wybór właściwego zbioru danych to pojedynczo największy czynnik udanego przebiegu fine-tuningu. Ten przewodnik przecina zamęt praktycznym frameworkiem decyzyjnym.
| Kategoria | Czym jest | Kiedy używać |
|---|---|---|
| Pretrening | Surowy tekst na masową skalę (sieć, książki, kod) | Trenowanie modelu od zera — wymaga 100B+ tokenów i poważnych klastrów GPU |
| Instrukcja | Pary prompt + odpowiedź uczące model podążania za instrukcjami | Najczęstszy cel fine-tuningu — zmienia model bazowy w asystenta |
| Preferencja | Pary wybrana/odrzucona odpowiedź dla dopasowania (RLHF/DPO) | Po SFT, gdy chcesz uczynić odpowiedzi bardziej pomocnymi, bezpiecznymi lub stylistycznie dopasowanymi |
| Kod | Kod źródłowy, problemy programistyczne i rozwiązania | Budowanie asystenta kodowania lub poprawa zdolności programistycznych modelu |
| Ewaluacja | Benchmarki mierzące możliwości modelu (nie do treningu) | Testowanie i porównywanie modeli — uruchom je po fine-tuningu, by zmierzyć poprawę |
| Twój cel | Kategoria | Najlepsze wybory |
|---|---|---|
| Stworzyć pomocnego asystenta czatu | Instrukcja | Stanford Alpaca, ShareGPT 52K, OpenHermes 2.5 |
| Nauczyć złożonego rozumowania | Instrukcja | WizardLM Evol Instruct 70k |
| Mały, ale potężny asystent | Instrukcja | LIMA (1k), Smoltalk |
| Zbudować asystenta kodowania | Kod | Magicoder-OSS-Instruct, CodeFeedback |
| Wstępnie wytrenować model kodu | Kod | The Stack v2 |
| Dopasować do preferencji ludzkich | Preferencja | Anthropic HH-RLHF, UltraFeedback |
| Szybki lokalny eksperyment DPO | Preferencja | DPO Mix 7K |
| Jakość rozmowy wieloturowej | Instrukcja | ShareGPT 52K |
| Zbenchmarkować dostrojony model | Ewaluacja | MMLU (wiedza), HumanEval (kod), MT-Bench (czat) |
Nie wszystkie zbiory danych są równe. Oto jak ocenić jeden przed zaangażowaniem:
Dobre sygnały:
Znaki ostrzegawcze:
Praca LIMA (2023) dokonała uderzającego odkrycia: model dostrojony na zaledwie 1000 starannie wyselekcjonowanych przykładach był konkurencyjny wobec modeli trenowanych na milionach przykładów z zaszumionych zbiorów.
Kluczowy wniosek: dopasowanie powierzchniowe jest płytkie. Modele mają już wiedzę o świecie z pretreningu. Fine-tuning uczy *formatu i stylu*, nie nowych faktów. Mały, wysokiej jakości zbiór (200–1000 przykładów) często przewyższa duży, zaszumiony (100k+).
Praktyczna zasada: Zacznij od 500–2000 wysokiej jakości przykładów specyficznych dla Twojego zadania. Skaluj tylko wtedy, gdy wyczerpią się dobre przykłady.
Czasem najlepszy zbiór danych jeszcze nie istnieje. Oto minimalne wykonalne podejście:
1. Zdefiniuj precyzyjnie swoje zadanie — „obsługa klienta produktu SaaS" bije „pomocnego asystenta"
2. Zbierz 200–500 przykładów — realne pytania użytkowników + idealne odpowiedzi, lub syntetyzuj z Claude/GPT-4
3. Użyj formatu JSONL:
{"messages": [{"role": "user", "content": "How do I reset my password?"}, {"role": "assistant", "content": "Click 'Forgot Password' on the login page..."}]}
{"messages": [{"role": "user", "content": "Where can I find my invoice?"}, {"role": "assistant", "content": "Invoices are in Settings → Billing → Invoice History."}]}4. Iteruj na porażkach — po jednym przebiegu fine-tuningu zobacz, które typy zapytań model myli, dodaj więcej przykładów dla tych przypadków.
5. Mieszaj z danymi ogólnymi — połącz swoje własne dane 50/50 z ogólnym zbiorem instrukcji jak OpenHermes 2.5, by zapobiec katastrofalnemu zapominaniu.
→ Gotowy na fine-tuning? Zobacz pełny przewodnik po procesie | → Przeglądaj wszystkie zbiory danych