Wielotonowy benchmark z 80 wymagającymi pytaniami z 8 dziedzin (pisanie, rozumowanie, matematyka, programowanie, STEM, humanistyka, odgrywanie ról, ekstrakcja). Do oceny odpowiedzi wykorzystuje GPT-4 w roli sędziego, co umożliwia automatyczną ewaluację preferencji. Stanowi podstawę metodologii tabeli liderów Chatbot Arena.
Tak — MT-Bench jest udostępniony na licencji Apache 2.0, liberalnej licencji pozwalającej na użycie komercyjne, w tym trenowanie modeli wdrażanych w produkcie. Przed publikacją sprawdź wymogi atrybucji na karcie zbioru.
Ile danych zawiera MT-Bench i czy potrzebuję wszystkich?
MT-Bench zawiera 80 Questions. To benchmark ewaluacyjny, używany w całości do mierzenia modeli — nigdy nie mieszaj go z danymi treningowymi, bo wyniki benchmarku stracą sens.
Do czego MT-Bench nadaje się najlepiej?
Judging multi-turn chat quality with LLM-as-judge. Należy do sekcji „Ewaluacja i benchmarki" naszego centrum zbiorów danych, gdzie znajdziesz alternatywy i zbiory komplementarne.