Interview: Agent可解释性:用户如何理解和信任决策过程?
题目解析
Agent做出的决策越来越复杂(多步推理、工具调用、计划执行),用户如何理解Agent为什么这样做、是否可以信任它的判断,是产品化的关键问题。
解答思路
可解释性保障需要从三个维度入手:(1)过程透明——展示Agent的思考链(Thought)和决策依据,让用户看到Agent”在想什么”;(2)行为可预测——Agent的行为模式应符合用户预期,相似输入产生相似行为;(3)决策可追溯——完整记录Agent的每一步操作及其原因,支持事后审计。具体实现:将Agent的ReAct循环可视化为时间线;关键决策点标注置信度;提供”为什么这样做”的自然语言解释。
关键要点
核心挑战是解释的忠实性(Faithfulness)——Agent生成的”解释”可能只是事后合理化而非真实推理过程。缓解方法:(1)解释应基于实际执行记录而非让模型重新生成;(2)对关键决策提供证据链——如”我选择方案A是因为搜索结果X显示…“;(3)允许用户追问和质疑——交互式的解释比静态展示更有效。
加分回答
可以讨论不同用户群体需要不同粒度的解释——普通用户只需要结果摘要和关键决策说明,开发者需要完整的推理链和工具调用日志,审计人员需要可溯源的证据链。还可以引入”可控性”的概念——用户应能在Agent执行过程中介入和修正。
常见踩坑
最大的错误是将”展示CoT”等同于可解释性——长长的推理链可能比没有解释更让人困惑。另一个坑是过度解释导致信息过载——用户只想知道关键决策点而非每个细节。还有人忽略了解释的时效性——Agent执行中的实时反馈比结束后的报告更有价值。