SWE-bench — LLM Ewaluacja i benchmarki Dataset

2,294 real-world GitHub issues and their verified patches from 12 popular Python repositories. The gold standard benchmark for evaluating LLMs on practical software engineering tasks — writing actual code that resolves real bugs in production codebases.

Dataset Details

Providerprinceton-nlp
CategoryEwaluacja i benchmarki
Size2,294 Tasks
LicenseMIT
Downloads450k
TagsSoftware Engineering, Real-world, GitHub, Benchmark, Code
 
from datasets import load_dataset
ds = load_dataset("princeton-nlp/SWE-bench")

Powiązane zbiory danych

Najczęstsze pytania

Czy mogę użyć SWE-bench komercyjnie?
Tak — SWE-bench jest udostępniony na licencji MIT, liberalnej licencji pozwalającej na użycie komercyjne, w tym trenowanie modeli wdrażanych w produkcie. Przed publikacją sprawdź wymogi atrybucji na karcie zbioru.
Ile danych zawiera SWE-bench i czy potrzebuję wszystkich?
SWE-bench zawiera 2,294 Tasks. To benchmark ewaluacyjny, używany w całości do mierzenia modeli — nigdy nie mieszaj go z danymi treningowymi, bo wyniki benchmarku stracą sens.
Do czego SWE-bench nadaje się najlepiej?
Benchmarking real-world software engineering - never train on it. Należy do sekcji „Ewaluacja i benchmarki" naszego centrum zbiorów danych, gdzie znajdziesz alternatywy i zbiory komplementarne.

← Wszystkie zbiory danych | Fine-Tuning Guide