FineWeb — LLM 预训练 Dataset
The gold standard for English web data. Massive, cleaned, and deduplicated dataset derived from CommonCrawl. Used to train some of the best open models including Llama 3.
Dataset Details
| Provider | HuggingFaceFW |
| Category | 预训练 |
| Size | 15 TB |
| License | ODC-By 1.0 |
| Downloads | 2.5M |
| Tags | Web, English, Cleaned, CommonCrawl |
from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/fineweb")
相关数据集
- FineWeb 2 — Pretraining or continued pretraining in languages other than English
- Cosmopedia — Synthetic-textbook pretraining for small models (the SmolLM recipe)
- SlimPajama — Efficient English pretraining on a heavily deduplicated corpus
常见问题
FineWeb 可以商用吗？
可以——FineWeb 采用 ODC-By 1.0 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。
FineWeb 有多少数据？需要全部使用吗？
FineWeb 包含 15 TB。通常不需要全部：风格和格式微调只需几百到几千条样本——先加载切片（如 split="train[:1000]"），质量到达瓶颈时再扩大规模。
FineWeb 最适合做什么？
Pretraining or continued pretraining on high-quality English web text。它属于数据集中心的「预训练」板块，那里有替代和互补的数据集。
← 全部数据集 | Fine-Tuning Guide