WebInstruct
220M instruction-response pairs extracted from the web by identifying educational content using a recall-then-verify pipeline. Covers K-12 through graduate-level content across math, science, and engineering — enabling large-scale instruction fine-tuning without human curation.
加载
from datasets import load_dataset
ds = load_dataset("TIGER-Lab/WebInstructSub")预览示例数据
{
"question": "What is the relationship between voltage, current, and resistance in Ohm's Law?",
"answer": "Ohm's Law states V = IR, where V is voltage (volts), I is current (amperes), and R is resistance (ohms). It means that for a given resistance, increasing voltage proportionally increases current..."
}用这个数据集微调
使用 QLoRA（4-bit 基础模型 + LoRA 适配器）微调的预计显存需求（保守默认参数）：
7B QLoRA · ~6GB VRAM13B QLoRA · ~10GB VRAM
检测你的 GPU 能否微调 →微调新手？跟着分步教程走： 一小时微调你的第一个 LLM
常见问题
WebInstruct 可以商用吗？
可以——WebInstruct 采用 CC BY-SA 4.0 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。
WebInstruct 有多少数据？需要全部使用吗？
WebInstruct 包含 220M Pairs。通常不需要全部：风格和格式微调只需几百到几千条样本——先加载切片（如 split="train[:1000]"），质量到达瓶颈时再扩大规模。
WebInstruct 最适合做什么？
Web-scale instruction mining for domain skills。它属于数据集中心的「指令 / SFT」板块，那里有替代和互补的数据集。