Anthropic HH-RLHF — LLM Preferencje (RLHF / DPO) Dataset

170 tys. ludzkich porównań preferencji między dwiema odpowiedziami asystenta AI, gdzie jedna jest oznaczona jako „wybrana” (pomocna, nieszkodliwa), a druga jako „odrzucona”. Zbiór, który zdefiniował alignment metodą RLHF dla asystentów czatowych. Użyty do trenowania wczesnych modeli Claude i uznawany za standardowy punkt odniesienia w badaniach nad alignmentem i fine-tuningu metodą DPO.

Dataset Details

from datasets import load_dataset
ds = load_dataset("Anthropic/hh-rlhf")

Fine-tuning z tym zbiorem danych

Szacowany VRAM do fine-tuningu z QLoRA (model bazowy 4-bit + adaptery LoRA), przy zachowawczych ustawieniach:

Sprawdź, czy Twoje GPU to udźwignie →

Pierwszy fine-tuning? Przejdź przewodnik krok po kroku: Zrób fine-tuning pierwszego LLM w godzinę

Powiązane zbiory danych

• UltraFeedback — The default DPO preference set to run after any SFT pass
• HelpSteer2 — Training reward models with fine-grained quality ratings
• DPO Mix 7K — A small, balanced DPO starter set
• Nectar — Reward-model training with 7-way ranked responses

Najczęstsze pytania

← Wszystkie zbiory danych | Fine-Tuning Guide