从一个例子开始
同一句“你可以找朋友聊聊”,对主动求建议的人可能有帮助,对明确说“我现在只想倾诉”的人却可能不合适。如果只给这句话打分,评价器很容易漏掉决定它是否恰当的条件。
评价一个行为,需要同时知道行为本身,以及会改变判断的情境条件。
一步步想清楚
- 01
不同的对话可能面对相似的决策问题
人物和措辞不同,但都可能处于信息不足、存在明确约束、已经作出承诺等处境。我们希望把这些关键条件整理出来,供相似情境比较。
- 02
同一处境也包含多个可分的行为
一句话可以同时做到解释清楚,却没有回应对方的要求。整体好坏分数容易把这些行为混在一起。
- 03
因此要同时定义状态和维度
状态保存影响判断的条件;维度规定评价哪个行为、什么情况下适用、可能得到哪些结果,以及怎样判定。
- 04
写出定义,还需要检验它怎样判分
先看评价器能否区分相关情境和行为,再把有效反馈接入训练。判分更可靠和任务表现更好,是相互关联但需要分别观察的两件事。
先记住这条线
整理当前处境
从已有对话提取事实与约束
在该处境评价动作
明确行为与适用条件
形成可训练的反馈
验收评价,再观察训练效果
我参与的工作,具体怎样落地
用可见历史归纳状态描述
提取目标、事实、约束和承诺,用离散字段描述决策处境,不把未来回复或最后成败放进当时的状态。
在条件可比的情境中整理行为维度
比较行为差异,明确适用范围、取值和测量规则。没有触发某项能力,与触发了但没有做好,要分开处理。
验收反馈,再进入能力库和训练
检查是否评到了想评价的行为,并在 SOTOPIA、CraigslistBargain、ESConv 中开展建库、扩库和过程奖励训练。
面对相同的“你可以找朋友聊聊”,先看对方是请求建议,还是明确拒绝建议。先判定当时适不适用,再判动作做得好不好,避免把未触发的能力直接记为失败。
做出了什么,结果意味着什么
在 SOTOPIA、CraigslistBargain、ESConv 完成能力库构建、扩库与过程奖励训练实践,已有阶段性效果改善,正在整理 ICML 2027 稿件中的方法对照。
当前有建库、扩库和分阶段训练实践,也有阶段性效果改善;统一方法与关键对照仍在稿件中整理。研究的核心问题是:这种状态与行为的组织方式,能否减少错误反馈,并在相同学习条件下改善任务结果。
我怎样理解这件事
我关心的是反馈的单位。把一句回复整体评成好或坏,往往混在一起评价了情境、意图和好几个行为。先明确当时成立的条件,才能知道这一步到底应该评价什么。
状态抽象也会丢信息。如果把影响判断的条件压掉,再精细的维度也可能评错。研究需要同时检查状态是否保留了关键事实,以及评分器有没有执行对规则。
想再往里看一点?
几个名字,放回上下文理解
- State / 状态描述
- 对当前判断有用的已知条件,不等于对整段对话随意做摘要。
- 行为维度
- 可以单独评价的一项行为要求,例如是否回应了明确提出的关切。
- 适用域与取值域
- 前者说明哪些情况下可以评价,后者说明评价可能返回什么;例如满足、不满足、不适用或证据不足。
完整方法图与技术路径
从交互历史提取目标、事实、约束和承诺,组织为离散状态描述;在可比状态下归纳行为维度,用适用域、取值域及判分规则刻画奖励。根据状态判断能力是否适用,再评价动作并形成过程奖励。
与 RewardWeaver 的区别是什么?
RewardWeaver 主要决定在已有能力中优先奖励什么;这里进一步研究这些反馈单位如何从经验构造出来,以及怎样在不同处境中正确评价。
一次对话失败后,模型最该练什么?
从失败任务里找出当前最该改的行为,把训练重点放到这些行为上。