黄胜泽研究与实践
← 返回论文研究

BehaviorWeaver

同一句建议,为什么有时有帮助、有时却越界?

先讲清当时是什么处境,再定义这一步应该评价什么行为。

从一个例子开始

同一句“你可以找朋友聊聊”,对主动求建议的人可能有帮助,对明确说“我现在只想倾诉”的人却可能不合适。如果只给这句话打分,评价器很容易漏掉决定它是否恰当的条件。

评价一个行为,需要同时知道行为本身,以及会改变判断的情境条件。

一步步想清楚

  1. 01

    不同的对话可能面对相似的决策问题

    人物和措辞不同,但都可能处于信息不足、存在明确约束、已经作出承诺等处境。我们希望把这些关键条件整理出来,供相似情境比较。

  2. 02

    同一处境也包含多个可分的行为

    一句话可以同时做到解释清楚,却没有回应对方的要求。整体好坏分数容易把这些行为混在一起。

  3. 03

    因此要同时定义状态和维度

    状态保存影响判断的条件;维度规定评价哪个行为、什么情况下适用、可能得到哪些结果,以及怎样判定。

  4. 04

    写出定义,还需要检验它怎样判分

    先看评价器能否区分相关情境和行为,再把有效反馈接入训练。判分更可靠和任务表现更好,是相互关联但需要分别观察的两件事。

先记住这条线

01

整理当前处境

从已有对话提取事实与约束

02

在该处境评价动作

明确行为与适用条件

03

形成可训练的反馈

验收评价,再观察训练效果

我参与的工作,具体怎样落地

  1. 用可见历史归纳状态描述

    提取目标、事实、约束和承诺,用离散字段描述决策处境,不把未来回复或最后成败放进当时的状态。

  2. 在条件可比的情境中整理行为维度

    比较行为差异,明确适用范围、取值和测量规则。没有触发某项能力,与触发了但没有做好,要分开处理。

  3. 验收反馈,再进入能力库和训练

    检查是否评到了想评价的行为,并在 SOTOPIA、CraigslistBargain、ESConv 中开展建库、扩库和过程奖励训练。

回到具体情境

面对相同的“你可以找朋友聊聊”,先看对方是请求建议,还是明确拒绝建议。先判定当时适不适用,再判动作做得好不好,避免把未触发的能力直接记为失败。

做出了什么,结果意味着什么

在 SOTOPIA、CraigslistBargain、ESConv 完成能力库构建、扩库与过程奖励训练实践,已有阶段性效果改善,正在整理 ICML 2027 稿件中的方法对照。

当前有建库、扩库和分阶段训练实践,也有阶段性效果改善;统一方法与关键对照仍在稿件中整理。研究的核心问题是:这种状态与行为的组织方式,能否减少错误反馈,并在相同学习条件下改善任务结果。

我怎样理解这件事

我关心的是反馈的单位。把一句回复整体评成好或坏,往往混在一起评价了情境、意图和好几个行为。先明确当时成立的条件,才能知道这一步到底应该评价什么。

状态抽象也会丢信息。如果把影响判断的条件压掉,再精细的维度也可能评错。研究需要同时检查状态是否保留了关键事实,以及评分器有没有执行对规则。

想再往里看一点?

几个名字,放回上下文理解
State / 状态描述
对当前判断有用的已知条件,不等于对整段对话随意做摘要。
行为维度
可以单独评价的一项行为要求,例如是否回应了明确提出的关切。
适用域与取值域
前者说明哪些情况下可以评价,后者说明评价可能返回什么;例如满足、不满足、不适用或证据不足。
完整方法图与技术路径
BehaviorWeaver 完整方法图
上排把不同交互整理为可比较的状态;下排说明维度在哪些状态适用、动作怎样判分,再进入扩库与过程奖励训练。

从交互历史提取目标、事实、约束和承诺,组织为离散状态描述;在可比状态下归纳行为维度,用适用域、取值域及判分规则刻画奖励。根据状态判断能力是否适用,再评价动作并形成过程奖励。

与 RewardWeaver 的区别是什么?

RewardWeaver 主要决定在已有能力中优先奖励什么;这里进一步研究这些反馈单位如何从经验构造出来,以及怎样在不同处境中正确评价。

另一项相关的工作

一次对话失败后,模型最该练什么?

从失败任务里找出当前最该改的行为,把训练重点放到这些行为上。