Agent评估与调试方法
一句话总结
Agent评估通过任务完成率、步骤效率、成本控制等多维度指标，系统性地衡量和改进Agent系统的表现。
核心概念
Agent评估维度包括：任务成功率、步骤效率（完成任务的平均步数）、工具调用准确率、成本效率（token消耗与效果的比值）。调试方法包括：轨迹回放（逐步查看Agent的决策过程）、中间状态检查、A/B测试不同策略。常用基准有SWE-bench（代码）、WebArena（网页操作）、GAIA（通用任务）。可观测性工具如LangSmith、Arize提供全链路追踪。
为什么重要
Agent系统的非确定性和多步骤特性使得传统评估方法不够用。没有系统性评估，难以发现Agent在哪个环节出错，也无法量化改进效果。
实践要点
建立端到端的评估流水线，包含自动化测试集。记录Agent每一步的输入输出和决策理由。设计分层评估：单步准确率、子任务完成率、整体任务成功率。利用LLM-as-Judge进行自动评分。
常见误区
只关注最终结果忽略中间过程质量。评估集太小不具有统计意义。忽视成本维度，只追求准确率。在固定测试集上过度优化，实际场景泛化差。