LIMA: Less Is More for Alignment — LLM Instrukcje / SFT Dataset
Przełomowe badanie nad alignmentem pokazujące, że zaledwie 1000 starannie dobranych przykładów dorównuje GPT-4 pod względem jakości śledzenia instrukcji. Podważa założenie, że „więcej danych zawsze znaczy lepiej”. LIMA 65B było konkurencyjne wobec GPT-4 w testach preferencji ludzkich mimo zaledwie 1 tys. przykładów treningowych.
s1K-1.1 — Cheap, fast reasoning fine-tunes — 1k samples means minutes of training, not days
No Robots — Your first fine-tune — small, clean, 100% human-written SFT data (non-commercial license)
Python-Edu — Continued pretraining for Python code understanding
OpenHermes 2.5 — The default general-purpose SFT mix for 7B-13B fine-tunes
Najczęstsze pytania
Czy mogę użyć LIMA: Less Is More for Alignment komercyjnie?
Nie w produkcie — LIMA: Less Is More for Alignment jest udostępniony na licencji CC-BY-NC-SA 4.0, która ogranicza użycie do badań i innych celów niekomercyjnych. Do komercyjnego fine-tuningu wybierz zbiór na liberalnej licencji z tej samej kategorii.
Ile danych zawiera LIMA: Less Is More for Alignment i czy potrzebuję wszystkich?
LIMA: Less Is More for Alignment zawiera 1k Rows. Rzadko potrzebujesz całości: do fine-tuningu stylu i formatu wystarcza kilkaset–kilka tysięcy przykładów — załaduj wycinek (np. split="train[:1000]") i zwiększaj skalę tylko, gdy jakość przestaje rosnąć.
Do czego LIMA: Less Is More for Alignment nadaje się najlepiej?
Style and format alignment with a tiny curated set - quality over quantity. Należy do sekcji „Instrukcje / SFT" naszego centrum zbiorów danych, gdzie znajdziesz alternatywy i zbiory komplementarne.