偏好（RLHF / DPO） · berkeley-nest

Nectar

A 183K prompt dataset from UC Berkeley with 7 diverse responses per prompt ranked by GPT-4, covering ShareGPT, Alpaca, Open Assistant, LMSYS-Chat, and more. Enables high-quality reward model training with diverse, real-world instruction coverage.

在 Hugging Face 查看 →阅读论文

加载

from datasets import load_dataset
ds = load_dataset("berkeley-nest/Nectar")

预览示例数据

{
  "prompt": "Describe the key differences between supervised and unsupervised learning.",
  "answers": [
    {"rank": 1, "answer": "Supervised learning uses labeled data where the model learns...", "source": "gpt-4"},
    {"rank": 2, "answer": "In supervised learning, you provide examples with labels...", "source": "claude-1"}
  ]
}

用这个数据集微调

使用 QLoRA（4-bit 基础模型 + LoRA 适配器）微调的预计显存需求（保守默认参数）：

7B QLoRA · ~6GB VRAM13B QLoRA · ~10GB VRAM

检测你的 GPU 能否微调 →

微调新手？跟着分步教程走：一小时微调你的第一个 LLM

常见问题

Nectar 可以商用吗？

可以——Nectar 采用 Apache 2.0 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。

Nectar 有多少数据？需要全部使用吗？

Nectar 包含 183K Prompts。通常不需要全部：风格和格式微调只需几百到几千条样本——先加载切片（如 split="train[:1000]"），质量到达瓶颈时再扩大规模。

Nectar 最适合做什么？

Reward-model training with 7-way ranked responses。它属于数据集中心的「偏好（RLHF / DPO）」板块，那里有替代和互补的数据集。