MT-Bench — LLM Ewaluacja i benchmarki Dataset
Multi-turn benchmark with 80 challenging questions across 8 domains (writing, reasoning, math, coding, STEM, humanities, roleplay, extraction). Uses GPT-4-as-judge to score responses, enabling automated preference evaluation. Powers the Chatbot Arena leaderboard methodology.
Dataset Details
| Provider | lmsys |
| Category | Ewaluacja i benchmarki |
| Size | 80 Questions |
| License | Apache 2.0 |
| Downloads | 900k |
| Tags | Benchmark, Multi-Turn, LLM-Judge, GPT-4, Chatbot-Arena |
from datasets import load_dataset
ds = load_dataset("lmsys/mt_bench_human_judgments")
Powiązane zbiory danych
Najczęstsze pytania
Czy mogę użyć MT-Bench komercyjnie?
Tak — MT-Bench jest udostępniony na licencji Apache 2.0, liberalnej licencji pozwalającej na użycie komercyjne, w tym trenowanie modeli wdrażanych w produkcie. Przed publikacją sprawdź wymogi atrybucji na karcie zbioru.
Ile danych zawiera MT-Bench i czy potrzebuję wszystkich?
MT-Bench zawiera 80 Questions. To benchmark ewaluacyjny, używany w całości do mierzenia modeli — nigdy nie mieszaj go z danymi treningowymi, bo wyniki benchmarku stracą sens.
Do czego MT-Bench nadaje się najlepiej?
Judging multi-turn chat quality with LLM-as-judge. Należy do sekcji „Ewaluacja i benchmarki" naszego centrum zbiorów danych, gdzie znajdziesz alternatywy i zbiory komplementarne.
← Wszystkie zbiory danych | Fine-Tuning Guide