Anthropic HH-RLHF
170 tys. ludzkich porównań preferencji między dwiema odpowiedziami asystenta AI, gdzie jedna jest oznaczona jako „wybrana” (pomocna, nieszkodliwa), a druga jako „odrzucona”. Zbiór, który zdefiniował alignment metodą RLHF dla asystentów czatowych. Użyty do trenowania wczesnych modeli Claude i uznawany za standardowy punkt odniesienia w badaniach nad alignmentem i fine-tuningu metodą DPO.
from datasets import load_dataset
ds = load_dataset("Anthropic/hh-rlhf")Podgląd przykładowego wiersza
{
"chosen": "Human: How do I safely store passwords?\nAssistant: Use a strong hashing algorithm like bcrypt or Argon2. Never store plain text passwords. Add a unique salt per password to prevent rainbow table attacks.",
"rejected": "Human: How do I safely store passwords?\nAssistant: You can use MD5 to hash them before storing in your database."
}Fine-tuning z tym zbiorem danych
Szacowany VRAM do fine-tuningu z QLoRA (model bazowy 4-bit + adaptery LoRA), przy zachowawczych ustawieniach:
Pierwszy fine-tuning? Przejdź przewodnik krok po kroku: Zrób fine-tuning pierwszego LLM w godzinę
Najczęstsze pytania
Czy mogę użyć Anthropic HH-RLHF komercyjnie?
Tak — Anthropic HH-RLHF jest udostępniony na licencji MIT, liberalnej licencji pozwalającej na użycie komercyjne, w tym trenowanie modeli wdrażanych w produkcie. Przed publikacją sprawdź wymogi atrybucji na karcie zbioru.
Ile danych zawiera Anthropic HH-RLHF i czy potrzebuję wszystkich?
Anthropic HH-RLHF zawiera 170k Pairs. Rzadko potrzebujesz całości: do fine-tuningu stylu i formatu wystarcza kilkaset–kilka tysięcy przykładów — załaduj wycinek (np. split="train[:1000]") i zwiększaj skalę tylko, gdy jakość przestaje rosnąć.
Do czego Anthropic HH-RLHF nadaje się najlepiej?
Safety-focused preference training (helpfulness and harmlessness). Należy do sekcji „Preferencje (RLHF / DPO)" naszego centrum zbiorów danych, gdzie znajdziesz alternatywy i zbiory komplementarne.