Tulu 3 SFT Mix — LLM 指令 / SFT Dataset
AllenAI's carefully curated 939K SFT training mix that powers the Tulu 3 model family. Combines open-licensed instruction data from multiple domains (math, science, code, safety) with synthetic data generation, achieving performance competitive with frontier models.
Dataset Details
| Provider | allenai |
| Category | 指令 / SFT |
| Size | 939K Samples |
| License | ODC-BY |
| Downloads | 380k |
| Tags | Multi-domain, Curated Mix, AllenAI, Open License, 2024 |
from datasets import load_dataset
ds = load_dataset("allenai/tulu-3-sft-mixture")
用这个数据集微调
使用 QLoRA（4-bit 基础模型 + LoRA 适配器）微调的预计显存需求（保守默认参数）：
| 7B QLoRA | ~6GB VRAM |
| 13B QLoRA | ~10GB VRAM |
检测你的 GPU 能否微调 →
微调新手？跟着分步教程走： 一小时微调你的第一个 LLM
相关数据集
- UltraFeedback — The default DPO preference set to run after any SFT pass
- SmolTalk 2 — Reproducing a complete modern post-training pipeline (mid-training → SFT → preference) for
- Python-Edu — Continued pretraining for Python code understanding
- OpenHermes 2.5 — The default general-purpose SFT mix for 7B-13B fine-tunes
常见问题
Tulu 3 SFT Mix 可以商用吗？
可以——Tulu 3 SFT Mix 采用 ODC-BY 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。
Tulu 3 SFT Mix 有多少数据？需要全部使用吗？
Tulu 3 SFT Mix 包含 939K Samples。通常不需要全部：风格和格式微调只需几百到几千条样本——先加载切片（如 split="train[:1000]"），质量到达瓶颈时再扩大规模。
Tulu 3 SFT Mix 最适合做什么？
Reproducing a state-of-the-art fully open post-training recipe。它属于数据集中心的「指令 / SFT」板块，那里有替代和互补的数据集。
← 全部数据集 | Fine-Tuning Guide