黄胜泽研究与实践
← 全部技术笔记

FIELD NOTES · 2026.10.22

奖励曲线上升,策略就进步了吗?RewardWeaver 的双层适配机制

同一条轨迹,仅仅更换被奖励的能力集合,总奖励就可能上升。RewardWeaver 将策略训练与奖励选择拆为两个循环:固定能力定义,动态选择训练重点。本文从奖励计算、适用性状态和公开消融数据出发,讨论怎样区分训练信号变化与任务能力改善。

这是 2026.10.22 的研究记录,保留当时的问题和结果。相关工作的新整理见:RewardWeaver ↗

核心问题:现在最值得训练的能力是什么

在多轮协商中,终局分数可以告诉我们任务没有完成,却未必指出是哪次决策出了问题。过程评价提供更密集反馈,但一项能力评分较低,也不意味着修复它最能改善任务结果。例如顾问表达流畅,却一直没有回应客户的时间限制;继续奖励流畅度,可能无法推进预约。

RewardWeaver 将“怎样根据奖励训练策略”和“下一阶段选择什么奖励”拆为内外两个循环。内循环使用强化学习更新模型;外循环读取当前策略的失败轨迹,决定训练重点。当前公开预印本为 2026 年 10 月 7 日第一版,完整题名为 RewardWeaver: Long-Horizon Interactive Learning for Language Agents via Self-Evolving Reward Adaptation。

从任务结果倒查,到下一阶段奖励

低结果轨迹只是诊断入口。系统定位相关片段,检索能力候选,检查是否存在可观察、能由当前策略改善的问题,再跨轨迹汇总反复出现的瓶颈。某次协商失败也可能来自对方本来就不愿接受,因此不能看到失败就强行归咎于智能体。

下列流程将论文方法改写成工程视角:每阶段都保留策略、轨迹、诊断与奖励规格,才能追踪一次奖励变化由什么失败触发。能力定义描述评价对象;能力评估器把定义变成可执行评分;活跃集合则表示本轮实际参与训练的能力。三者需要分清。

关键机制:稳定定义,动态选择

公开版将每个已选能力等权平均。适应过程主要改变集合 Aₖ 中有哪些能力,终局奖励 Rₒ 保持固定,J̄d 是某项能力在整段轨迹上的聚合分数。因此,优先级排名不能直接理解为实际奖励权重。公开版公式 1

能力进入库后,其定义和评估器保持固定。若反复出现库外失败,则另行提出、去重并验证新能力,后续更新再考虑启用。这个设计让已有标准可比较,同时给新问题留下扩展空间。可以把它理解为:先固定每把尺子怎么量,再根据当前短板选择拿哪几把尺子指导训练。

Rₖ(τ) = Rₒ(τ) + (1 / |Aₖ|) × Σ[d ∈ Aₖ] J̄d(τ)

最容易误读的曲线:同一行为可以获得更高的训练奖励

先用一组自拟数值理解等权集合。固定同一轨迹的终局奖励为 0.4,本轮只选择“使用已知约束”和“说明下一步”,两个过程分分别为 0.2、0.8;过程奖励均值是 0.5,总奖励为 0.9。这里的总奖励服务于训练,不是论文表格中的 Overall。等权规则来自公开版公式 1。

如果下一阶段改选另外两项、分数为 0.8 和 0.9,同一轨迹总奖励就变成 1.25。模型行为和业务结果都没变,变化来自训练重点。因此跨阶段比较原始总奖励曲线时,必须同时查看活跃能力集合;若要判断策略本身是否进步,应回到固定终局目标及固定诊断集。

平均而非累加也有一个直观作用:增加能力数量不会仅因多加几项而机械地放大奖励。但等权不代表每项能力对训练的实际影响一样;若某项在所有采样中几乎都是满分,它能提供的区分信号就很有限。

教学设置终局奖励本轮过程分过程均值训练总奖励
选择能力甲、乙0.40.2、0.80.50.9
选择能力乙、丙0.40.8、0.90.851.25

聚合之前的工程问题:未通过、不适用和证据不足

以“使用关键已知信息”为例,公开版评估器区分通过、未通过、不适用与证据不足。以下用同一预约背景解释这四种状态,案例为自拟,不是论文原对话。附录 A 的评估器定义

区别会影响聚合分数。将没有机会展示能力的轮次直接记为零,会把任务组成变化误判为能力下降;把上下文缺失当成满分,则会把数据问题包装成模型进步。工程上应单独保留适用性与证据状态,再计算能力分;不要只留下一个无法解释的平均数。

下列伪代码说明本页建议的数据顺序,未复刻论文实现。它只展示如何保留语义状态,不指定论文采用的所有阈值、置信度校准或聚合细节。

状态教学案例判断含义
1:通过已知只接受晚间,顾问据此提供晚间可行选项该能力有机会展示且表现符合要求
0:未通过已知只接受晚间且存在晚间选项,仍只推荐上午有可用信息却没有恰当使用
N:不适用截至当前轮次,未出现任何与回复有关的时间偏好当前上下文没有这项能力的观察机会
U:证据不足日志缺失了被引用的上一轮,无法确认用户条件无法可靠判断适用性或表现
{'language': 'text', 'text': '输入:可见上下文 + 待评价回复\n先记录:证据是否足够\n再记录:当前能力是否适用\n若适用:保存通过/未通过与对应片段\n聚合时:同时报告能力分、适用数量、证据不足数量'}

两个不同决定:能力可以入库,未必适合本轮启用

可以把能力库 D 理解为已经确认含义与评估方式的目录,把活跃集合 A 理解为当前训练实际使用的子集。入库需要回答“这项标准能否可靠评分”;启用需要回答“当前任务失败是否说明它值得占用训练预算”。一个评估器可以十分稳定,却在当前数据中没有可改善空间。

再构造一个例子:某项礼貌标准在本批次所有回复中都通过。它可能是有效的基础能力,但把它持续加入过程奖励,未必能区分当前候选行为。相反,某项处理时间约束的能力只在特定对话中适用,却可能对应大量可避免的预约失败。对优化器而言,稳定可测量与当前有训练价值,是不同条件。

公开版把能力准入和奖励规格发布分开,并冻结已接纳定义与评估器;奖励校准失败时,不通过偷偷改写既有标准让新组合过关。新增能力也不会立即改变触发它的那次奖励更新。算法 1、算法 2 与第 2.5 节

决定主要问题输出读者易混淆之处
候选能力准入定义清楚、评估可靠吗可复用能力与评估器入库不是宣布它永远需要奖励
阶段能力选择当前瓶颈需要训练什么本轮活跃集合高出现频率不自动等于高训练价值
奖励规格校准组装后的信号是否可用发布或不发布下一阶段奖励组装修改不等于改写已冻结定义

机制走读:一次预约失败怎样变成可训练瓶颈

构造一个教学场景:用户说明仅能在十八点之后到场,顾问可见的服务选项包含晚间时段,却连续推荐上午。最终没有预约成功。这时“说服力不足”太宽泛,能够直接定位的行为是没有使用已知的时间约束。若晚间选项根本不存在,同样的失败就不能直接归为这一能力问题。

沿着这一案例,先找到用户明确表达约束的轮次,再检查顾问在当时能看到什么、有哪些可选动作;随后才判断回答是否违背可用信息。跨多条轨迹汇总时,还应确认问题是否反复发生,以及是否由当前策略能够控制。这个教学流程依据论文的结果驱动归因方法组织,具体对话由本页构造。方法第 2.3 节

实验怎么读:目标完成与综合评价

研究覆盖社交互动 SOTOPIA、价格协商 AmazonHistoryPrice 和健康服务销售场景。下表摘取 SOTOPIA-Hard 消融结果;每格依次是目标完成评分与七项终局评价的均值,不是百分比,也不是训练中的过程奖励。自我对话与固定对手也不能混成一项指标。公开版表 2

完整方法整体较强,但固定对手下,纯终局奖励的目标完成评分 7.71 高于其 7.66,综合评分则为 4.12 低于 4.22。这个反例很有价值:它提醒我们,不同终局评价维度的改善并不总是同步。真实业务应把最重要的指标单独保留。

方法自我对话:目标 / 综合固定对手:目标 / 综合
仅终局奖励7.53 / 4.057.71 / 4.12
固定能力集合7.77 / 4.147.49 / 3.83
随机更换活跃集合7.56 / 4.187.31 / 3.97
RewardWeaver7.90 / 4.387.66 / 4.22

把消融当成问题,而不是一列排行榜

已有实验表可以进一步读成一组研究问题:纯终局奖励与完整方法比较,讨论增加过程信号是否有用;固定集合与动态集合比较,讨论训练重点是否需要变化;归因使用随机轨迹,讨论定位问题时是否需要关注低结果样本。这些对照在用户提供的早期文稿和公开版中均可找到。公开消融表

但某个变体分数下降,不代表所有替代实现都被排除。例如删去归因后直接随机选择,检验的是这一随机方案;它没有证明任何其它选择器都会失败。表格也没有给每个单元格附上随机种子分布或置信区间,因此仅靠很小的点估计差距,无法判断收益的稳定程度。

下面是本页提出的后续研究设计,不是论文已有结论。通过固定预算与对手,并把过程分、终局目标、采样成本同时记录,可以逐渐区分方法有效、裁判偏好和实验波动。这样的阅读方式也适用于 AutoHarness:候选最好要回答一个明确问题,而不是把几个改变一起装上后只比较总分。

继续追问建议固定的条件应额外观察的结果
收益是否来自瓶颈选择模型、预算、活跃数量、更新间隔不同选择器在同一终局目标上的变化
是否适应特定裁判训练过程与评测案例另一独立裁判及可执行任务结果
是否只适应熟悉对手任务目标和评测规则更换对手后的目标完成与约束遵守
收益是否稳定完整实验设置多次运行分布及成本,而非单个最高分

结论与边界:失败频繁,不等于值得优先训练

读消融时,应先问实验究竟排除了什么解释:固定集合检验持续调整的作用,随机集合检验调整是否需要对准瓶颈,按失败频率选择则检验仅靠计数是否足够。它们共同指向一个学习重点:诊断必须解释任务受阻的原因,优化才有明确方向。

销售基准采用同一场景族内的训练与评测划分,因此结果体现族内新实例的表现,不能直接声称新行业泛化。公开版附录 B 还应把自动裁判的可靠性与被训练策略的能力分开看。我的判断是,这项工作提供了有价值的奖励调度机制,真实业务转化、更多对手及长期稳定性仍需要各自验证。

方法复盘:固定每把尺子,再决定当前使用哪几把

这个设计的关键不在于不断增加评分项,而在于把能力定义、可执行评估器和阶段活跃集合拆开。已有评估器保持稳定,当前失败决定训练重点,最终效果再回到固定任务目标上比较。否则奖励本身变了,曲线就容易失去可比含义。

与 AutoPE、AutoHarness 相比,这里改变的是训练奖励,并通过强化学习更新模型参数。三条路线都利用失败反馈,但干预位置不同。我的参与包括研究思路、算法构建与基础设施;本页的实验表来自所引用公开版本,教学数值和工程建议分别标明。

相关资料

公开预印本第一版 · 2026.10.07 ↗阅读全文与附录 ↗论文 PDF · 23 页 ↗