黄胜泽研究与实践
← 全部技术笔记

FIELD NOTES · 2026.10.22

失败一定属于模型吗?从四个案例审计评测系统

智能体成绩来自模型与评测系统的共同作用。围绕 τ²-Bench 的任务说明、模拟用户、环境状态和评分器,整理四类语义不一致案例,并建立从完整轨迹到首次决定性分歧、再到单变量反事实的诊断方法。

这是 2026.10.22 的研究记录,保留当时的问题和结果。

一个分数背后,有四个互相作用的系统

任务文案告诉智能体要做什么;模拟用户决定会提供哪些信息、如何回应;工具与数据库规定实际可做的动作;评分器决定怎样算成功。只要其中两部分不一致,模型就可能在一个不自洽的任务里继续尝试。

如果把所有失败都交给提示词优化器,系统可能学会绕过数据矛盾,或针对模拟器的偶然表现写规则。短期成绩提高之后,反而难以知道解决的是业务问题还是评测缺陷。因此我把评测本身作为需要审计的工程对象。

四个案例:冲突出现在不同层次

公开审计专题整理了四个案例,包含源码依据、实验轨迹观察及上游反馈。这里按冲突层次概括,具体原始材料留在延伸阅读中。案例编号属于当时记录的任务版本,不应直接推广到所有后续版本。

案例关注的问题可能影响的行为
Telecom用户人格描述与数据库身份不一致身份核对与目标对象定位
Airline 任务 6任务缺少明确退出条件模拟用户持续交互而难以结束
Airline 任务 71,628 美元与 708 美元之间的语义冲突价格理解和用户是否接受
Retail 任务 5确认触发的用户状态机存在歧义确认、拒绝与下一步操作的解释

方法:寻找首次决定性分歧

最终失败动作往往只是前面信息偏差的后果。应沿时间顺序重建:模型当时看到了什么、工具真实返回了什么、用户状态如何更新。然后寻找最早改变后续可达结果的分歧,说明如果这里没有发生偏差,后续是否仍会失败。

例如用户身份描述与数据库对象不一致时,末尾再次询问可能看起来像模型不会执行;但在解释之前,要先判断它是否从一开始就拿到了互相冲突的身份线索。这并不自动免除模型责任,只是让诊断从正确的时间位置开始。

{'language': 'text', 'text': '失败终态\n  ← 关键动作与工具回执\n  ← 当时模型可见的事实\n  ← 模拟用户状态与任务约束\n\n找到首次决定性分歧\n  → 提出单一原因\n  → 只改变一个条件\n  → 检查后续结果是否按预测改变'}

反事实需要能证伪,而不是事后编一个更好回答

有效的反事实先写清预测:如果身份冲突是主要原因,修正身份后哪些动作应改变?如果缺少退出条件是主要原因,补上条件后用户应在哪个状态结束?然后保持其余任务和运行设置不变,再检查解释。

单纯改写一个理想回复不能证明原因,因为它同时改变了措辞、策略和动作。反事实也可能失败:如果只修正疑似条件仍然不能改善,就应继续调查,而不是把原假设写成确定结论。

让诊断成为后续优化的入口

诊断结果可以分成可执行的不同动作:修复评测数据、澄清任务协议、改进工具语义,或在模型侧增加合适的策略与状态维护。这里的分类服务于改动选择,不把复杂案例压成机械标签。

这套方法也连接到 AutoHarness:先确定失败是否值得在运行组件上干预,再生成候选。它避免让优化预算持续消耗在题目本身的矛盾上,同时为真正的模型失败保留完整依据。

相关资料

四个案例、方法全文与上游反馈 ↗