MT-Bench
Multi-turn benchmark with 80 challenging questions across 8 domains (writing, reasoning, math, coding, STEM, humanities, roleplay, extraction). Uses GPT-4-as-judge to score responses, enabling automated preference evaluation. Powers the Chatbot Arena leaderboard methodology.
加载
from datasets import load_dataset
ds = load_dataset("lmsys/mt_bench_human_judgments")预览示例数据
{
"question_id": 81,
"category": "writing",
"turns": [
"Compose an engaging travel blog post about a recent trip to Hawaii.",
"Now rewrite it as a formal academic report."
]
}常见问题
MT-Bench 可以商用吗？
可以——MT-Bench 采用 Apache 2.0 宽松许可证，允许商业使用，包括训练用于产品的模型。发布前请查看数据集卡片中的署名要求。
MT-Bench 有多少数据？需要全部使用吗？
MT-Bench 包含 80 Questions。它是评估基准，用于完整地衡量模型——切勿混入训练数据，否则基准分数将失去意义。
MT-Bench 最适合做什么？
Judging multi-turn chat quality with LLM-as-judge。它属于数据集中心的「评估与基准测试」板块，那里有替代和互补的数据集。