Open-Platypus
Starannie wyselekcjonowany zbiór 25 tys. pytań ze STEM i logiki, zebranych z 11 otwartych zbiorów przy rygorystycznej deduplikacji. Fine-tuning Llama 2 na tym zbiorze przez zaledwie 5 godzin daje wyniki STEM na poziomie GPT-4 — dowód, że jakość bije ilość.
from datasets import load_dataset
ds = load_dataset("garage-bAInd/Open-Platypus")Podgląd przykładowego wiersza
{
"instruction": "Prove that the sum of the first n natural numbers is n(n+1)/2 using mathematical induction.",
"output": "Base case: n=1, LHS=1, RHS=1(2)/2=1. ✓\nInductive step: Assume true for k. For k+1: sum = k(k+1)/2 + (k+1) = (k+1)(k/2+1) = (k+1)(k+2)/2. ✓",
"input": ""
}Fine-tuning z tym zbiorem danych
Szacowany VRAM do fine-tuningu z QLoRA (model bazowy 4-bit + adaptery LoRA), przy zachowawczych ustawieniach:
Pierwszy fine-tuning? Przejdź przewodnik krok po kroku: Zrób fine-tuning pierwszego LLM w godzinę
Najczęstsze pytania
Czy mogę użyć Open-Platypus komercyjnie?
Nie w produkcie — Open-Platypus jest udostępniony na licencji CC BY NC 4.0, która ogranicza użycie do badań i innych celów niekomercyjnych. Do komercyjnego fine-tuningu wybierz zbiór na liberalnej licencji z tej samej kategorii.
Ile danych zawiera Open-Platypus i czy potrzebuję wszystkich?
Open-Platypus zawiera 25K Questions. Rzadko potrzebujesz całości: do fine-tuningu stylu i formatu wystarcza kilkaset–kilka tysięcy przykładów — załaduj wycinek (np. split="train[:1000]") i zwiększaj skalę tylko, gdy jakość przestaje rosnąć.
Do czego Open-Platypus nadaje się najlepiej?
A quick STEM and logic boost on a small budget (non-commercial). Należy do sekcji „Instrukcje / SFT" naszego centrum zbiorów danych, gdzie znajdziesz alternatywy i zbiory komplementarne.