---
name: tau2-result-audit-v1
description: Deeply audit tau2-bench results at batch, task, model, and trial level; reconstruct Task, effective Rubric, DB transitions, and dialogue evidence before attributing outcomes to User Simulator, Agent, Environment, infrastructure, or benchmark design. Use when conclusions must be causally defensible rather than inferred from Reward or a few cases.
---

# Tau2 Result Audit v1

作者：黄胜泽

目标是解释一个结果为什么发生，以及这个结果能否代表 Agent 能力。不要只给成功率、失败标签或单条样例。

## 审查范围

先确认实验矩阵：domain、task、Agent、User Simulator、Judge、trial、模型参数、缺失项、重复项、基础设施异常。审查全部轨迹，包括 `reward=1`；不要沿用已有报告或站点中的人工归因。

报告可以先做批量概览，但只要声称“某个 Task 有问题”“主要由 User 导致”或“体现 Agent 能力缺陷”，就必须完成下述 Task 级深度审计。单条异常只能支持 case 级结论，除非它直接证明 Task 与 Gold 矛盾或任务不可达。

## Task 级结论门槛

对每个被重点评价的 Task，必须建立完整证据链：

1. Task 隐藏状态机和正确流程；
2. Agent 可见 Policy、工具和信息边界；
3. 有效 Rubric、Gold actions、Gold DB；
4. 当前实验中该 Task 的全部 Agent/trial；
5. 成功轨迹的可达性对照；
6. 全部失败的因果分组与原始证据；
7. User、Agent、Environment、Infrastructure 的独立责任检查；
8. Bench 测评有效性分析；
9. 有条件时使用只替换一个变量的对照实验。

证据未覆盖上述层次前，不要输出确定性的 Task 级责任结论。

## 一、还原 Task，而不是复述 JSON

把隐藏 User Scenario 改写成按事件推进的状态机：

- 初始目标和已知/未知信息；
- User 应逐步披露什么；
- 哪个可观察事件触发改口、反悔、拒绝、STOP 或新意图；
- 每个阶段 Agent 合理的下一步；
- 正确对话应怎样推进到最终写操作或终止。

若 Scenario 使用“第一次确认”“第三条 Agent 消息”等表达，必须说明什么消息对 User 实际可见、什么事件算确认。不要把发给 Environment 的 Agent 工具调用算作 User 可见消息。

如果存在多条 Policy 合法路径，列出关键等价路径，不把自己偏好的单一路径伪装成唯一正确流程。

## 二、解释真正生效的 Rubric

必须明确：

- `reward_basis` 中哪些分量实际相乘；
- Gold actions 中哪些是读操作、哪些会改变 DB；
- Gold 最终 DB 与初始 DB 的字段级差异；
- `communicate_info` 是字符串匹配、Judge 判断还是其他机制；
- `nl_assertions`、action checks、Judge 结论是否真的计入最终 Reward；
- Reward 为零是哪个分量造成的。

不要把存在于结果文件中的 Judge 说明误认为已计分，也不要用 Judge 的自然语言解释替代实际 Rubric。

## 三、核对 DB 和 Environment

对相关实体给出足以理解任务的初始状态，不倾倒无关完整数据库。至少核对：

- 用户、订单/预订、商品/航班、支付方式和当前状态；
- Gold 要执行的写操作；
- 每条轨迹实际执行的写操作及顺序；
- 工具返回值；
- 最终状态相对 Gold 多了什么、少了什么或写错了什么。

严格区分：

- **直接执行者**：谁发出了改变 DB 的工具调用；
- **行为责任者**：谁最先通过错误意图、错误确认或错误决策让 Gold 不再可达；
- **Environment 问题**：工具收到正确参数却返回或写入错误状态。

Agent 选择错误工具不是 Environment 问题；Environment 正确执行 User 当前意图，也不代表 User 忠实于隐藏 Scenario。

## 四、覆盖该 Task 的全部轨迹

先给完整分布：总数、官方成功/失败、各 Reward 分量、按 Agent/trial 的索引。不能只挑一条典型失败代表整个 Task。

优先按相同的“最早决定性偏离”聚类。每个失败组必须提供：

1. 该组包含的全部 Agent/trial；
2. 偏离前 Agent 的关键请求或确认；
3. User 的实际响应；
4. 随后的 Agent 工具调用和工具结果；
5. 最终 DB 或沟通结果；
6. 为什么这是决定性偏离；
7. 反事实：只修哪一方即可恢复 Gold。

正文可以用代表性原文解释同构轨迹，但必须有完整成员索引，确保每条轨迹可追溯。

## 五、成功轨迹是必要对照

至少详细审查一条成功轨迹，回答：

- User 是否执行了完整隐藏状态机；
- Agent 是否遵守 Policy 和确认要求；
- 写操作和最终 DB 是否真正正确；
- 它是否证明该 Task 在当前工具和环境中可达。

若没有成功轨迹，不得直接断言任务可达；改为说明“当前样本没有可达性证据”，再检查 Gold replay、工具约束和 Task 设计。

同时审查假成功：Reward 虽通过，但 User 提前 STOP、目标未完成、角色漂移、Agent 有未计分违规、Judge/Rubric 漏检，或 DB 只是碰巧保持 Gold。

每条轨迹保留两套结论：`official_result` 和 `audit_result`。

## 六、因果归因

寻找最早决定性偏离，并做反事实判断：

- **User Simulator 主因**：User 偏离隐藏 Scenario、错误确认、目标漂移、角色反转、关键反悔过晚或提前 STOP；Agent 依据可见请求和 Policy 合理行动。
- **Agent 明确主因**：User 忠实且给出充分机会，Agent 仍违反可见 Policy、遗漏必要确认、调用错误工具、写错状态或沟通错误。
- **Environment 问题**：正确工具请求得到错误返回、错误状态转换或错误执行结果。
- **Infrastructure 问题**：API、网关、墙钟超时、进程中断等非能力失败。
- **混合失败**：User 与 Agent 各有独立决定性错误，单独修任一方仍不能通过。
- **Bench 结构性影响**：Task 与 Gold 冲突、触发条件含糊、隐藏时序依赖 Agent 风格、目标不可完成却缺少退出条件、Rubric 漏项、Judge 或字符串评分不能衡量真实目标。

Bench 结构性影响是覆盖标签，可以和 User/Agent 主因并存。不要用“Bench 有问题”代替轨迹级行为责任，也不要因为 Agent 执行了 User 明确且 Policy 允许的请求就机械标成混合失败。

反事实至少回答：

- 只让 User 忠实，原 Agent 是否有机会通过？
- 只修 Agent 决策，原 User 行为下是否仍可达到 Gold？
- 只修 Rubric 或 Task 文本，真实任务是否已经完成？

## 七、单独审查 Agent 是否应负责

Agent 看不到隐藏 Scenario 和 Gold。判断 Agent 时只能使用它实际收到的 messages、Policy、tools 和 tool results。

若 User 在写操作确认时明确说“Yes，执行两项”，而 Policy 允许，Agent 执行两项通常是合理行为。不能要求 Agent 无视可见确认，凭不可见 Gold 改成另一项操作。

反过来，即使 User 有轻微偏差，只要 Gold 仍然可达，而 Agent 后续独立选择了错误顺序、错误工具或错误状态，仍可判 Agent 为决定性主因。不要把所有包含 User 偏差的失败都归为 User。

## 八、Bench 有效性分析

每个重点 Task 单独回答：

- Task 文本、Gold actions、Gold DB 和 NL assertion 是否语义一致；
- “确认”“其他”“第三条消息”等触发词是否可观察且无歧义；
- 任务是否主要测 Agent，还是高度依赖 User Simulator 执行隐藏状态机；
- User 偏离后，官方 Reward 是否错误惩罚了合理 Agent；
- Rubric 是否遗漏了目标完成、Policy 违规或 User 忠实度；
- 字符串匹配或 Judge 是否可能制造误判；
- 该 Task 的结果能否用于比较 Agent 模型能力。

只有一条失败时，通常只能称为个案；若多个模型在相同节点失败、换 User 后显著迁移，或 Task/Gold 本身矛盾，才支持结构性结论。

## 九、使用对照实验增强因果证据

若存在只替换 User、Agent、Judge 或配置的实验，对齐相同 domain、task、agent、trial 后比较：

- fail→pass、pass→fail、共同成功、共同失败；
- 最早偏离是否移动；
- DB 写入是否变化；
- Judge 变化是否可能影响该 Reward 分量。

不能把同时更换 User 和 Judge 的分数变化全部归因于 User；但若失败由最终 DB 写错导致，而 Judge 不参与 DB，则可据此缩小 Judge 的影响范围。

## 输出结构

每个重点 Task 的正文按以下顺序：

1. **Task 要求与隐藏状态机**；
2. **正确对话流程**；
3. **初始 DB、Gold actions、Gold 最终状态**；
4. **实际生效的 Rubric**；
5. **全部轨迹分布**；
6. **成功对照与可达性**；
7. **失败机制分组及原始证据**；
8. **Agent 责任审查**；
9. **Bench 有效性和对照实验**；
10. **最终责任结论**。

逐轨迹索引表：

| Agent / Trial | Official Reward | DB / 各评分分量 | 最早决定性偏离 | 关键对话与工具证据 | 反事实 | Audit Result |
|---|---:|---|---|---|---|---|

Task 级汇总：

| 归因 | 数量 | 覆盖的 Agent / Trial |
|---|---:|---|
| User Simulator 主因 | 0 | |
| Agent 明确主因 | 0 | |
| Environment 问题 | 0 | |
| Infrastructure 问题 | 0 | |
| 混合失败 | 0 | |
| 真成功 / 假成功 | 0 / 0 | |
| Bench 结构性影响 | 覆盖标签 | |

## 写作要求

- 先给结论，再给足以复核结论的证据；不要只输出标签和数字。
- 逐 trial 表格是索引，不是分析正文。
- 引用关键原始消息和工具参数，但避免复制整份巨大 JSON。
- 明确区分已确认事实、反事实归因和 Bench 有效性意见。
- 报告必须能从 Task 级结论索引回具体 Agent/trial，也能从每条轨迹回到所属因果组。
- 不把官方 Reward 直接等同于真实能力，不把现有人工标签当作证据。
