LLM综合评估体系
一句话总结
LLM综合评估体系通过多维度基准测试和人工评估，全面衡量模型在知识、推理、安全、实用性等方面的能力。
核心概念
主要评估维度和基准：知识与推理（MMLU、ARC、HellaSwag）、数学（GSM8K、MATH）、代码（HumanEval、SWE-bench）、对话质量（MT-Bench、Chatbot Arena）、安全（TrustLLM）、多语言（MGSM）。评估方法包括：自动化基准测试、LLM-as-Judge（用强模型评估弱模型）、人工盲评（Chatbot Arena的ELO评分）、红队测试。Open LLM Leaderboard是最受关注的开源排行榜。
为什么重要
科学的评估体系是模型改进的基础，也是用户选择模型的依据。不同评估维度反映不同的能力面向，单一指标无法全面衡量模型质量。
实践要点
根据实际应用场景选择相关评估基准。建立领域特定的评估集作为补充。关注Chatbot Arena等人工评估排名而非仅看自动化基准。评估集应定期更新防止数据污染。
常见误区
只看MMLU等单一分数判断模型优劣。忽视基准污染问题，部分模型可能在评估集上过拟合。自动化评估与真实用户体验可能存在较大差距。排行榜刷分不代表实际应用能力。