SmolTalk 2 — LLM 指令 / SFT Dataset

The fully open post-training corpus behind SmolLM3-3B, organized into three subsets matching the model's training phases: mid-training (4.8M rows), SFT (a decontaminated mixture of ~24 datasets including OpenThoughts, Tulu 3, OpenHermes, and multilingual data), and preference (447k rows for APO). The successor to SmolTalk — a complete, reproducible recipe for modern small-model post-training including dual reasoning/no-reasoning modes.

Dataset Details

ProviderHuggingFaceTB
Category指令 / SFT
Size3 Subsets (Mid 4.8M Rows)
LicenseApache 2.0
Downloadsn/a
TagsPost-Training, SmolLM3, Reasoning, Multilingual, 2025
 
from datasets import load_dataset
ds = load_dataset("HuggingFaceTB/smoltalk2")

用这个数据集微调

使用 QLoRA（4-bit 基础模型 + LoRA 适配器）微调的预计显存需求（保守默认参数）：

7B QLoRA~6GB VRAM
13B QLoRA~10GB VRAM

检测你的 GPU 能否微调 →

微调新手？跟着分步教程走： 一小时微调你的第一个 LLM

相关数据集

常见问题

SmolTalk 2 可以商用吗？
可以——SmolTalk 2 采用 Apache 2.0 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。
SmolTalk 2 有多少数据？需要全部使用吗？
SmolTalk 2 包含 3 Subsets (Mid 4.8M Rows)。通常不需要全部：风格和格式微调只需几百到几千条样本——先加载切片（如 split="train[:1000]"），质量到达瓶颈时再扩大规模。
SmolTalk 2 最适合做什么？
Reproducing a complete modern post-training pipeline (mid-training → SFT → preference) for small models。它属于数据集中心的「指令 / SFT」板块，那里有替代和互补的数据集。

← 全部数据集 | Fine-Tuning Guide