WizardLM Evol Instruct 70k — LLM 指令 / SFT Dataset

Uses the 'Evol-Instruct' method to progressively rewrite simple instructions into increasingly complex and diverse ones using GPT-4. Results in a dataset where ~70k examples span from basic to graduate-level difficulty. WizardLM 13B outperformed Vicuna 13B on complex reasoning tasks using this data alone.

Dataset Details

ProviderWizardLM
Category指令 / SFT
Size70k Rows
LicenseApache 2.0
Downloads800k
TagsSynthetic, Evol-Instruct, Complex-Reasoning, GPT-4
 
from datasets import load_dataset
ds = load_dataset("WizardLM/WizardLM_evol_instruct_70k")

用这个数据集微调

使用 QLoRA（4-bit 基础模型 + LoRA 适配器）微调的预计显存需求（保守默认参数）：

7B QLoRA~6GB VRAM
13B QLoRA~10GB VRAM

检测你的 GPU 能否微调 →

微调新手？跟着分步教程走： 一小时微调你的第一个 LLM

相关数据集

常见问题

WizardLM Evol Instruct 70k 可以商用吗？
可以——WizardLM Evol Instruct 70k 采用 Apache 2.0 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。
WizardLM Evol Instruct 70k 有多少数据？需要全部使用吗？
WizardLM Evol Instruct 70k 包含 70k Rows。通常不需要全部：风格和格式微调只需几百到几千条样本——先加载切片（如 split="train[:1000]"），质量到达瓶颈时再扩大规模。
WizardLM Evol Instruct 70k 最适合做什么？
Boosting complex-instruction handling with Evol-Instruct data。它属于数据集中心的「指令 / SFT」板块，那里有替代和互补的数据集。

← 全部数据集 | Fine-Tuning Guide