一个分数背后,有四个互相作用的系统
任务文案告诉智能体要做什么;模拟用户决定会提供哪些信息、如何回应;工具与数据库规定实际可做的动作;评分器决定怎样算成功。只要其中两部分不一致,模型就可能在一个不自洽的任务里继续尝试。
如果把所有失败都交给提示词优化器,系统可能学会绕过数据矛盾,或针对模拟器的偶然表现写规则。短期成绩提高之后,反而难以知道解决的是业务问题还是评测缺陷。因此我把评测本身作为需要审计的工程对象。
四个案例:冲突出现在不同层次
公开审计专题整理了四个案例,包含源码依据、实验轨迹观察及上游反馈。这里按冲突层次概括,具体原始材料留在延伸阅读中。案例编号属于当时记录的任务版本,不应直接推广到所有后续版本。
| 案例 | 关注的问题 | 可能影响的行为 |
|---|---|---|
| Telecom | 用户人格描述与数据库身份不一致 | 身份核对与目标对象定位 |
| Airline 任务 6 | 任务缺少明确退出条件 | 模拟用户持续交互而难以结束 |
| Airline 任务 7 | 1,628 美元与 708 美元之间的语义冲突 | 价格理解和用户是否接受 |
| Retail 任务 5 | 确认触发的用户状态机存在歧义 | 确认、拒绝与下一步操作的解释 |
方法:寻找首次决定性分歧
最终失败动作往往只是前面信息偏差的后果。应沿时间顺序重建:模型当时看到了什么、工具真实返回了什么、用户状态如何更新。然后寻找最早改变后续可达结果的分歧,说明如果这里没有发生偏差,后续是否仍会失败。
例如用户身份描述与数据库对象不一致时,末尾再次询问可能看起来像模型不会执行;但在解释之前,要先判断它是否从一开始就拿到了互相冲突的身份线索。这并不自动免除模型责任,只是让诊断从正确的时间位置开始。
{'language': 'text', 'text': '失败终态\n ← 关键动作与工具回执\n ← 当时模型可见的事实\n ← 模拟用户状态与任务约束\n\n找到首次决定性分歧\n → 提出单一原因\n → 只改变一个条件\n → 检查后续结果是否按预测改变'}反事实需要能证伪,而不是事后编一个更好回答
有效的反事实先写清预测:如果身份冲突是主要原因,修正身份后哪些动作应改变?如果缺少退出条件是主要原因,补上条件后用户应在哪个状态结束?然后保持其余任务和运行设置不变,再检查解释。
单纯改写一个理想回复不能证明原因,因为它同时改变了措辞、策略和动作。反事实也可能失败:如果只修正疑似条件仍然不能改善,就应继续调查,而不是把原假设写成确定结论。
让诊断成为后续优化的入口
诊断结果可以分成可执行的不同动作:修复评测数据、澄清任务协议、改进工具语义,或在模型侧增加合适的策略与状态维护。这里的分类服务于改动选择,不把复杂案例压成机械标签。
这套方法也连接到 AutoHarness:先确定失败是否值得在运行组件上干预,再生成候选。它避免让优化预算持续消耗在题目本身的矛盾上,同时为真正的模型失败保留完整依据。