从一个例子开始
客户说“超预算了”,AI 却继续介绍商品功能,最后没谈成。一个“失败,零分”的结果没有直接告诉模型:问题是价格、表达,还是没有回应客户的关切。怎样把失败变成更具体的训练方向?
要让模型有方向地改进,需要把任务结果与它可以改变的行为联系起来。
一步步想清楚
- 01
最终结果是目标,却不直接解释原因
没有成交可能发生在许多不同过程中。训练如果只收到最终分数,就缺少对具体行为的直接评价。
- 02
过程奖励提供更具体的反馈
例如评价是否回应关切、遵守约束、在僵局中调整策略。它们把一段交互里的行为转成可以用于训练的信号。
- 03
但当前最值得练的能力会变化
某个问题解决后,继续强化它未必最有价值。因此需要从当下失败中找出反复出现的、模型自身可改进的瓶颈。
先记住这条线
看任务为何失败
定位重复出现的行为问题
选择相应过程奖励
让训练更重视这些行为
比较训练效果
检查任务结果,而非只看奖励上涨
我参与的工作,具体怎样落地
在能力库里描述可评价的行为
能力库提供候选的过程评价,例如回应相关性、坚持目标和策略切换。
从低结果交互中识别瓶颈
分析失败发生前的行为证据,判断什么问题反复限制任务成功,再选择对应的能力奖励。
把过程奖励与任务结果奖励结合
过程反馈引导模型怎样改,任务结果继续约束最终要办成什么,再与固定奖励和随机选维等方案比较。
训练早期经常偏离目标,就优先奖励目标坚持;后来卡在对方提出的异议上,则转向回应相关性、策略切换等能力。任务目标不变,练习重点随着瓶颈变化。
做出了什么,结果意味着什么
在 SOTOPIA、AmazonHistoryPrice、Sales Benchmark 取得领先结果。消融表明,针对瓶颈调整奖励,比固定过程奖励和随机选维整体更有效。
SOTOPIA 观察目标达成与交互质量;AmazonHistoryPrice 同时看成交和卖方收益,避免把单纯让利当成更强能力;Sales Benchmark 看销售任务表现。消融最有解释力的发现是:奖励要对准当前瓶颈,变化本身还不够。
我怎样理解这件事
一项能力经常得低分,不代表它就是当前任务的瓶颈。模型也可能把不重要的事做得很差,却因为另一个问题反复失败。
这让我把奖励设计的问题收紧成:根据什么证据,决定模型接下来应该重点改进什么。奖励变化的意义在于训练重点跟随问题,而不是变化本身。
想再往里看一点?
几个名字,放回上下文理解
- 奖励
- 训练时用来比较行为或轨迹好坏的信号。
- 过程奖励
- 针对交互过程中的行为给出的评价,与最终是否成功的结果奖励相结合。
- 瓶颈
- 当前反复限制任务结果、且模型自身可以改进的问题。
完整方法图与技术路径
参与思路、算法与基础设施建设。分析失败交互,定位当前反复出现的能力瓶颈,选择相应过程奖励,与任务结果奖励共同训练,让模型优先改进限制任务成功的行为。
某个能力得分低,为什么不一定优先练?
低分说明有缺陷,但这个缺陷未必限制当前任务。归因需要把问题与失败联系起来,选择训练方向,而不是只按低分排序。
继续读
公开论文 ↗同一句建议,为什么有时有帮助、有时却越界?
先讲清当时是什么处境,再定义这一步应该评价什么行为。