FineWeb 2 — LLM Pretrening Dataset
The FineWeb quality-filtering methodology extended to over 1,000 languages (1,868 language-script pairs) — roughly 8TB of compressed, deduplicated web text (~3 trillion words) from 96 CommonCrawl snapshots. Per-language pipelines were tuned and validated so filtered data beats unfiltered in ablation training. The default multilingual pretraining corpus for open models.
Dataset Details
| Provider | HuggingFaceFW |
| Category | Pretrening |
| Size | 8TB Compressed |
| License | ODC-By 1.0 |
| Downloads | n/a |
| Tags | Multilingual, CommonCrawl, Deduplicated, 1000+ Languages |
from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/fineweb-2")
Powiązane zbiory danych
- FineWeb — Pretraining or continued pretraining on high-quality English web text
- Aya Dataset — Instruction-tuning in non-English languages with real human-written data
- Cosmopedia — Synthetic-textbook pretraining for small models (the SmolLM recipe)
- SlimPajama — Efficient English pretraining on a heavily deduplicated corpus
Najczęstsze pytania
Czy mogę użyć FineWeb 2 komercyjnie?
Tak — FineWeb 2 jest udostępniony na licencji ODC-By 1.0, liberalnej licencji pozwalającej na użycie komercyjne, w tym trenowanie modeli wdrażanych w produkcie. Przed publikacją sprawdź wymogi atrybucji na karcie zbioru.
Ile danych zawiera FineWeb 2 i czy potrzebuję wszystkich?
FineWeb 2 zawiera 8TB Compressed. Rzadko potrzebujesz całości: do fine-tuningu stylu i formatu wystarcza kilkaset–kilka tysięcy przykładów — załaduj wycinek (np. split="train[:1000]") i zwiększaj skalę tylko, gdy jakość przestaje rosnąć.
Do czego FineWeb 2 nadaje się najlepiej?
Pretraining or continued pretraining in languages other than English. Należy do sekcji „Pretrening" naszego centrum zbiorów danych, gdzie znajdziesz alternatywy i zbiory komplementarne.
← Wszystkie zbiory danych | Fine-Tuning Guide