Paper: Chatbot Arena: An Open Platform for Evaluating LLMs through Human Preference
一句话概括
构建开放的众包平台让用户通过盲测对战来评估LLM，利用Elo评分系统得到最接近真实使用场景的模型排名。
核心思想
传统基准测试无法真正反映模型在自由对话中的表现。Chatbot Arena采用类似国际象棋的对战排名机制：用户提交任意问题，系统随机选择两个匿名模型回答，用户投票选出更好的回答。通过大量对战数据和Elo评分算法(后升级为Bradley-Terry模型)计算出每个模型的排名。
关键创新
三大创新：(1)众包盲测——用户自由提问+匿名对战，最大限度模拟真实使用场景，避免了基准测试的应试倾向；(2)Elo评分系统——借鉴竞技体育的评分方法，从成对比较中推导出全局排名；(3)开放透明——所有对战数据和评分细节公开，社区可以验证和分析。收集了超过百万次人类投票。
深远影响
Chatbot Arena已成为LLM评估的事实标准，其排名被学术界和工业界广泛引用。它弥补了静态基准测试的不足，提供了最接近用户体验的模型评估。各大模型厂商都将Arena排名作为重要的产品指标。
启发与思考
Arena排名与传统基准测试排名的差异揭示了一个关键问题：模型在标准测试中的表现不等于用户实际体验。对话能力、指令遵循、风格适配等难以量化的能力在Arena中被自然地捕获。这提醒我们评估需要回归用户需求。