Cosmopedia — LLM 预训练 Dataset
A dataset of synthetic textbooks, blog posts, and stories generated by Mixtral-8x7B. Designed to convey high-quality educational content.
Dataset Details
| Provider | HuggingFaceFW |
| Category | 预训练 |
| Size | 25B Tokens |
| License | Apache 2.0 |
| Downloads | 400k |
| Tags | Synthetic, Education, Textbook |
from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/cosmopedia")
相关数据集
- FineWeb — Pretraining or continued pretraining on high-quality English web text
- Python-Edu — Continued pretraining for Python code understanding
- SlimPajama — Efficient English pretraining on a heavily deduplicated corpus
- FineWeb 2 — Pretraining or continued pretraining in languages other than English
常见问题
Cosmopedia 可以商用吗？
可以——Cosmopedia 采用 Apache 2.0 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。
Cosmopedia 有多少数据？需要全部使用吗？
Cosmopedia 包含 25B Tokens。通常不需要全部：风格和格式微调只需几百到几千条样本——先加载切片（如 split="train[:1000]"），质量到达瓶颈时再扩大规模。
Cosmopedia 最适合做什么？
Synthetic-textbook pretraining for small models (the SmolLM recipe)。它属于数据集中心的「预训练」板块，那里有替代和互补的数据集。
← 全部数据集 | Fine-Tuning Guide