黄胜泽研究与实践
← 返回论文研究

RewardWeaver

一次对话失败后,模型最该练什么?

从失败任务里找出当前最该改的行为,把训练重点放到这些行为上。

从一个例子开始

客户说“超预算了”,AI 却继续介绍商品功能,最后没谈成。一个“失败,零分”的结果没有直接告诉模型:问题是价格、表达,还是没有回应客户的关切。怎样把失败变成更具体的训练方向?

要让模型有方向地改进,需要把任务结果与它可以改变的行为联系起来。

一步步想清楚

  1. 01

    最终结果是目标,却不直接解释原因

    没有成交可能发生在许多不同过程中。训练如果只收到最终分数,就缺少对具体行为的直接评价。

  2. 02

    过程奖励提供更具体的反馈

    例如评价是否回应关切、遵守约束、在僵局中调整策略。它们把一段交互里的行为转成可以用于训练的信号。

  3. 03

    但当前最值得练的能力会变化

    某个问题解决后,继续强化它未必最有价值。因此需要从当下失败中找出反复出现的、模型自身可改进的瓶颈。

先记住这条线

01

看任务为何失败

定位重复出现的行为问题

02

选择相应过程奖励

让训练更重视这些行为

03

比较训练效果

检查任务结果,而非只看奖励上涨

我参与的工作,具体怎样落地

  1. 在能力库里描述可评价的行为

    能力库提供候选的过程评价,例如回应相关性、坚持目标和策略切换。

  2. 从低结果交互中识别瓶颈

    分析失败发生前的行为证据,判断什么问题反复限制任务成功,再选择对应的能力奖励。

  3. 把过程奖励与任务结果奖励结合

    过程反馈引导模型怎样改,任务结果继续约束最终要办成什么,再与固定奖励和随机选维等方案比较。

回到具体情境

训练早期经常偏离目标,就优先奖励目标坚持;后来卡在对方提出的异议上,则转向回应相关性、策略切换等能力。任务目标不变,练习重点随着瓶颈变化。

做出了什么,结果意味着什么

在 SOTOPIA、AmazonHistoryPrice、Sales Benchmark 取得领先结果。消融表明,针对瓶颈调整奖励,比固定过程奖励和随机选维整体更有效。

SOTOPIA 观察目标达成与交互质量;AmazonHistoryPrice 同时看成交和卖方收益,避免把单纯让利当成更强能力;Sales Benchmark 看销售任务表现。消融最有解释力的发现是:奖励要对准当前瓶颈,变化本身还不够。

我怎样理解这件事

一项能力经常得低分,不代表它就是当前任务的瓶颈。模型也可能把不重要的事做得很差,却因为另一个问题反复失败。

这让我把奖励设计的问题收紧成:根据什么证据,决定模型接下来应该重点改进什么。奖励变化的意义在于训练重点跟随问题,而不是变化本身。

想再往里看一点?

几个名字,放回上下文理解
奖励
训练时用来比较行为或轨迹好坏的信号。
过程奖励
针对交互过程中的行为给出的评价,与最终是否成功的结果奖励相结合。
瓶颈
当前反复限制任务结果、且模型自身可以改进的问题。
完整方法图与技术路径
RewardWeaver 完整方法图
顺着图看三件事:任务为什么失败、下一阶段奖励什么行为、这种奖励怎样改善训练。底部结论对应固定奖励和随机选维的消融。

参与思路、算法与基础设施建设。分析失败交互,定位当前反复出现的能力瓶颈,选择相应过程奖励,与任务结果奖励共同训练,让模型优先改进限制任务成功的行为。

某个能力得分低,为什么不一定优先练?

低分说明有缺陷,但这个缺陷未必限制当前任务。归因需要把问题与失败联系起来,选择训练方向,而不是只按低分排序。

继续读

公开论文 ↗
另一项相关的工作

同一句建议,为什么有时有帮助、有时却越界?

先讲清当时是什么处境,再定义这一步应该评价什么行为。