Interview: 构建可靠的LLM评估体系
题目解析
LLM评估是模型迭代的基础，但由于生成式任务的开放性，评估极具挑战。本题考察候选人对评估方法论的系统理解，需要设计一个既有效率又有可靠性的评估框架，覆盖能力评估和安全评估两大维度。好的评估体系是模型持续改进的前提。
解答思路
构建三层评估体系：1）自动评估层：基础能力用标准benchmark（MMLU、HumanEval等），业务能力用自建测试集配合规则判定，安全性用红队测试集。采用LLM-as-Judge进行开放式回答评分；2）人工评估层：设计标注规范和评分量表，采用对比评估（Pairwise Comparison）降低标注难度，重点关注事实性、有用性和安全性三个维度；3）在线评估层：通过A/B测试收集用户隐式反馈，评估实际业务转化指标。
关键要点
自动评估效率高但可能与人类偏好不一致，人工评估可靠但成本高且速度慢。关键是建立自动指标与人工评估的相关性校准，找到可以替代人工的可靠自动指标。LLM-as-Judge需要注意位置偏见和自我偏好偏见，建议使用多个Judge模型交叉验证。评估集需要定期更新防止数据泄露到训练集。
加分回答
提到评估的元评估（meta-evaluation），即评估评估方法本身的可靠性和一致性。讨论Chatbot Arena的ELO评分方法论的优缺点，以及如何构建动态评估集防止模型针对固定benchmark过拟合。
常见踩坑
过度依赖单一benchmark得出片面结论；人工标注缺乏一致性校准导致标注者间一致率低；评估集被污染进入训练数据导致虚高分数而在实际场景中表现差。