MT-Bench/AlpacaEval评估方法
一句话总结
MT-Bench和AlpacaEval是两种主流的LLM自动评估方法，利用强模型(如GPT-4)作为裁判来评估模型的对话和指令遵循能力。
核心概念
MT-Bench：由80个多轮对话问题组成，覆盖写作、推理、数学等8个类别，使用GPT-4作为裁判按1-10分打分。AlpacaEval：包含805条指令，比较目标模型与参考模型(如GPT-4)的回答质量，报告胜率。AlpacaEval 2.0使用长度控制的胜率(LC Win Rate)修正了长度偏差问题。两者都属于LLM-as-Judge范式。
为什么重要
传统NLP基准(如MMLU)难以评估开放式生成质量，MT-Bench和AlpacaEval填补了这一空白。它们与人类偏好的相关性较高，且成本远低于大规模人类评估。是模型对齐效果的重要参考指标。
实践要点
同时参考多个评估指标，不要只看一个；注意长度偏差——更长的回答容易获得更高分数；重复评估取平均以降低随机性；关注具体类别的表现而非只看总分。使用AlpacaEval 2.0的LC胜率更为可靠。
常见误区
误区一：MT-Bench分数高就说明模型全面优秀——它只覆盖有限的能力维度。误区二：AlpacaEval胜率可以无限优化——过度优化会导致冗长、讨好式的回答。