FineWeb
Złoty standard wśród anglojęzycznych danych z sieci. Ogromny, oczyszczony i zdeduplikowany zbiór danych wywodzący się z CommonCrawl. Wykorzystany do trenowania jednych z najlepszych otwartych modeli, w tym Llama 3.
from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/fineweb")Podgląd przykładowego wiersza
[
{
"id": "fw_001",
"text": "The solar system formed 4.6 billion years ago from the gravitational collapse of a giant interstellar molecular cloud.",
"url": "https://science-daily.example.com/solar-system",
"date": "2023-11-15"
}
]Najczęstsze pytania
Czy mogę użyć FineWeb komercyjnie?
Tak — FineWeb jest udostępniony na licencji ODC-By 1.0, liberalnej licencji pozwalającej na użycie komercyjne, w tym trenowanie modeli wdrażanych w produkcie. Przed publikacją sprawdź wymogi atrybucji na karcie zbioru.
Ile danych zawiera FineWeb i czy potrzebuję wszystkich?
FineWeb zawiera 15 TB. Rzadko potrzebujesz całości: do fine-tuningu stylu i formatu wystarcza kilkaset–kilka tysięcy przykładów — załaduj wycinek (np. split="train[:1000]") i zwiększaj skalę tylko, gdy jakość przestaje rosnąć.
Do czego FineWeb nadaje się najlepiej?
Pretraining or continued pretraining on high-quality English web text. Należy do sekcji „Pretrening" naszego centrum zbiorów danych, gdzie znajdziesz alternatywy i zbiory komplementarne.