预训练 · HuggingFaceFW

Cosmopedia

A dataset of synthetic textbooks, blog posts, and stories generated by Mixtral-8x7B. Designed to convey high-quality educational content.

在 Hugging Face 查看 →

加载

from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/cosmopedia")

预览示例数据

{
  "topic": "Newtonian Physics",
  "format": "textbook_chapter",
  "content": "Chapter 3: Laws of Motion. Sir Isaac Newton's three laws of motion describe the relationship..."
}

常见问题

Cosmopedia 可以商用吗？

可以——Cosmopedia 采用 Apache 2.0 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。

Cosmopedia 有多少数据？需要全部使用吗？

Cosmopedia 包含 25B Tokens。通常不需要全部：风格和格式微调只需几百到几千条样本——先加载切片（如 split="train[:1000]"），质量到达瓶颈时再扩大规模。

Cosmopedia 最适合做什么？

Synthetic-textbook pretraining for small models (the SmolLM recipe)。它属于数据集中心的「预训练」板块，那里有替代和互补的数据集。