Infinity-Instruct
Zbiór 7,5 mln wysokiej jakości instrukcji od Beijing Academy of AI, łączący umiejętności fundamentalne (matematyka, kod, rozumowanie) ze zdolnościami konwersacyjnymi. Użyty do trenowania modeli, które przewyższają Llama 3 70B, będąc od niej znacznie mniejsze.
from datasets import load_dataset
ds = load_dataset("BAAI/Infinity-Instruct")Podgląd przykładowego wiersza
{
"id": "inf_001",
"conversations": [
{"from": "human", "value": "Write a Python function to find all prime numbers up to n using the Sieve of Eratosthenes."},
{"from": "gpt", "value": "def sieve_of_eratosthenes(n):\n primes = [True] * (n+1)\n primes[0] = primes[1] = False\n for i in range(2, int(n**0.5)+1):\n if primes[i]:\n for j in range(i*i, n+1, i):\n primes[j] = False\n return [i for i in range(2, n+1) if primes[i]]"}
]
}Fine-tuning z tym zbiorem danych
Szacowany VRAM do fine-tuningu z QLoRA (model bazowy 4-bit + adaptery LoRA), przy zachowawczych ustawieniach:
Pierwszy fine-tuning? Przejdź przewodnik krok po kroku: Zrób fine-tuning pierwszego LLM w godzinę
Najczęstsze pytania
Czy mogę użyć Infinity-Instruct komercyjnie?
Tak — Infinity-Instruct jest udostępniony na licencji Apache 2.0, liberalnej licencji pozwalającej na użycie komercyjne, w tym trenowanie modeli wdrażanych w produkcie. Przed publikacją sprawdź wymogi atrybucji na karcie zbioru.
Ile danych zawiera Infinity-Instruct i czy potrzebuję wszystkich?
Infinity-Instruct zawiera 7.5M Instructions. Rzadko potrzebujesz całości: do fine-tuningu stylu i formatu wystarcza kilkaset–kilka tysięcy przykładów — załaduj wycinek (np. split="train[:1000]") i zwiększaj skalę tylko, gdy jakość przestaje rosnąć.
Do czego Infinity-Instruct nadaje się najlepiej?
Large-scale general SFT when you need millions of samples. Należy do sekcji „Instrukcje / SFT" naszego centrum zbiorów danych, gdzie znajdziesz alternatywy i zbiory komplementarne.