一个插件有效,下一轮就知道该怎么改了吗
插件进化最容易讲清楚的部分,是优化器写了一段代码,分数上升,于是保留它。最难讲清楚的部分,是下一轮:这个系统还缺什么能力?已有插件为什么没处理好?应该新增、修改、合并,还是删掉一些东西?
反复修改loop,也就是研究与选优循环,是因为这些判断不会随着轮数自然变好。能持续生成候选,只说明搜索在运行;它还可能重复修同一种表象,把已有能力写第二遍,或者为了少数训练题不断叠加例外。我的关注点因此逐渐从“允许改哪里”,移到“凭什么判断下一次该改这里”。
先分开两个循环
做题循环负责一次任务:接收观察,调用模型,执行工具,更新状态,直到结束。研究循环负责跨候选学习:读取训练轨迹,解释失败,提出改动,评测,并决定下一个父版本。DSH原生插件提供干预运行过程的接口,但它不会自动替研究循环找到正确原因。
固定做题模型,修改harness,能够把参数训练与运行组件优化分开。但harness里可能同时包含指导文字、状态记录、动作检查、工具回执解释和恢复逻辑。只说“加了一个插件”,仍不足以说明模型实际受到了什么影响。
从修改空间,走向能力与职责管理
早期需要先打开修改空间:失败可能出在提示、工具语义、记忆或执行处理。后来插件越来越多,问题变成了组合是否清楚。两个插件可能维护同一个状态,也可能给出相互覆盖的指导。新增一个看似合理的组件,反而让原来的能力失效。
公开方法中的L4因此把当前能力结构和插件职责放到前面。先理解已有能力、重叠与缺口,再决定新增、修改或删除。一类问题对应明确的插件职责,是设计上的要求,不是规定一个问题只能对应一个文件;多个插件也可以协作完成一次修复。
以数据库任务为例,“SQL没得到正确结果”可以包含表结构识别、字段值对齐、执行与最终提交等不同问题。若第一次决定性错误发生在取值对齐,继续增加最终答案格式提示很可能无济于事。这个例子解释的是诊断方法,不能代替对某个真实失败轨迹的核对。
L5提醒我:选错目标,搜索越顺越可能跑偏
WebShop里,选到接近的商品可以获得部分奖励,但用户要的是满足条件并完成购买。若循环只奖励平均奖励变高,它可能保留更会“接近目标”却没有更会成功购买的版本。L5结合场景调整目标与采用规则,严格成功率与平均奖励分别展示。
类似地,进化版本号不等于能力排名。拒绝一个候选后应该保留父版,并把失败经验带到下一次提案里;预算结束时冻结的是最终采用的检查点,不一定是最后生成的版本。把这点落实,才不会让“继续跑”变成盲目向前。
最新一轮,把归因接到具体的修复计划
截至10月26日,新一轮L6正在尝试把几件原本容易脱节的事连起来:读训练日志并聚类,理解当前能力与状态,制定问题类别到插件的修复计划,再实现与评测。它已用于DBBench、WebShop、OSBench的新实验;还没有完成最终测试,不能用旧产物成绩替它背书。
我更关心计划能否预测行为。比如,某插件准备在什么条件触发,读写谁维护的状态,改变哪一个动作;如果条件出现却没有影响后续行为,就要回到实现和作用位置排查。如果行为确实变了、结果仍更差,就应该重新考虑机制,而不是继续强调“插件已经加载”。
六层漏斗在这里是复盘问题的视角:日志、归因、修复对应、实现、行为、效果。它不是六个固定插件,也不是要求模型交六份模板。它的价值在于定位断点;如果检查清单越来越完整,却没有帮助下一轮提出更好的修改,这个循环仍然需要改。
五个场景已经有可读的产物
五场景源码、机制框图、进化曲线与测试配置已经公开。下面保留10月26日发布时的成绩快照,方便把抽象方法对应到真实产物。它们来自不同实验的选定版本,并不都是最新L6的结果。
| 场景 | 发布产物成功率 | 对应版本 |
|---|---|---|
| ALFWorld | 95.41% | method1 · v18 |
| DBBench | 70.56% | L4 · v35 |
| WebShop | 44.50% | L5 · v28 |
| OSBench | 38.89% | L4 · v17 |
| τ²-Telecom | 84.17% | 修复起点 · v06 |
我接下来想弄清楚的,不只是还能涨几分
这些版本积累下来的核心问题是:研究循环有没有形成可迁移的判断能力?它能不能识别第一次决定性错误,理解现有能力为何失效,并选择足够小、又能解决一类问题的改动?如果只是把每次遇到的失败翻译成一条新规则,插件数量会增加,学习能力未必增加。
因此,我更愿意继续比较修复与退步发生在哪些任务、收益是否集中在少数题,以及新父版本是否真的改变了下一轮的研究方向。最终测试仍然重要,但中间的采用决定也需要能解释。否则最后赢了,我们也很难知道下一次应该复用什么。