黄胜泽研究与实践
← 全部技术笔记

FIELD NOTES · 2026.10.26

DSH 插件进化:我们为什么一遍遍重写 loop?

从修改提示和工具,到管理插件职责、修正采用目标,再到把日志归因接回下一轮计划。回看这些版本,我越来越觉得,真正需要研究的是系统怎样从一次失败中学到下一次值得做的修改。

这是 2026.10.26 的研究记录,保留当时的问题和结果。相关工作的新整理见:AutoHarness ↗

一个插件有效,下一轮就知道该怎么改了吗

插件进化最容易讲清楚的部分,是优化器写了一段代码,分数上升,于是保留它。最难讲清楚的部分,是下一轮:这个系统还缺什么能力?已有插件为什么没处理好?应该新增、修改、合并,还是删掉一些东西?

反复修改loop,也就是研究与选优循环,是因为这些判断不会随着轮数自然变好。能持续生成候选,只说明搜索在运行;它还可能重复修同一种表象,把已有能力写第二遍,或者为了少数训练题不断叠加例外。我的关注点因此逐渐从“允许改哪里”,移到“凭什么判断下一次该改这里”。

先分开两个循环

做题循环负责一次任务:接收观察,调用模型,执行工具,更新状态,直到结束。研究循环负责跨候选学习:读取训练轨迹,解释失败,提出改动,评测,并决定下一个父版本。DSH原生插件提供干预运行过程的接口,但它不会自动替研究循环找到正确原因。

固定做题模型,修改harness,能够把参数训练与运行组件优化分开。但harness里可能同时包含指导文字、状态记录、动作检查、工具回执解释和恢复逻辑。只说“加了一个插件”,仍不足以说明模型实际受到了什么影响。

从修改空间,走向能力与职责管理

早期需要先打开修改空间:失败可能出在提示、工具语义、记忆或执行处理。后来插件越来越多,问题变成了组合是否清楚。两个插件可能维护同一个状态,也可能给出相互覆盖的指导。新增一个看似合理的组件,反而让原来的能力失效。

公开方法中的L4因此把当前能力结构和插件职责放到前面。先理解已有能力、重叠与缺口,再决定新增、修改或删除。一类问题对应明确的插件职责,是设计上的要求,不是规定一个问题只能对应一个文件;多个插件也可以协作完成一次修复。

以数据库任务为例,“SQL没得到正确结果”可以包含表结构识别、字段值对齐、执行与最终提交等不同问题。若第一次决定性错误发生在取值对齐,继续增加最终答案格式提示很可能无济于事。这个例子解释的是诊断方法,不能代替对某个真实失败轨迹的核对。

L5提醒我:选错目标,搜索越顺越可能跑偏

WebShop里,选到接近的商品可以获得部分奖励,但用户要的是满足条件并完成购买。若循环只奖励平均奖励变高,它可能保留更会“接近目标”却没有更会成功购买的版本。L5结合场景调整目标与采用规则,严格成功率与平均奖励分别展示。

类似地,进化版本号不等于能力排名。拒绝一个候选后应该保留父版,并把失败经验带到下一次提案里;预算结束时冻结的是最终采用的检查点,不一定是最后生成的版本。把这点落实,才不会让“继续跑”变成盲目向前。

最新一轮,把归因接到具体的修复计划

截至10月26日,新一轮L6正在尝试把几件原本容易脱节的事连起来:读训练日志并聚类,理解当前能力与状态,制定问题类别到插件的修复计划,再实现与评测。它已用于DBBench、WebShop、OSBench的新实验;还没有完成最终测试,不能用旧产物成绩替它背书。

我更关心计划能否预测行为。比如,某插件准备在什么条件触发,读写谁维护的状态,改变哪一个动作;如果条件出现却没有影响后续行为,就要回到实现和作用位置排查。如果行为确实变了、结果仍更差,就应该重新考虑机制,而不是继续强调“插件已经加载”。

六层漏斗在这里是复盘问题的视角:日志、归因、修复对应、实现、行为、效果。它不是六个固定插件,也不是要求模型交六份模板。它的价值在于定位断点;如果检查清单越来越完整,却没有帮助下一轮提出更好的修改,这个循环仍然需要改。

五个场景已经有可读的产物

五场景源码、机制框图、进化曲线与测试配置已经公开。下面保留10月26日发布时的成绩快照,方便把抽象方法对应到真实产物。它们来自不同实验的选定版本,并不都是最新L6的结果。

场景发布产物成功率对应版本
ALFWorld95.41%method1 · v18
DBBench70.56%L4 · v35
WebShop44.50%L5 · v28
OSBench38.89%L4 · v17
τ²-Telecom84.17%修复起点 · v06

我接下来想弄清楚的,不只是还能涨几分

这些版本积累下来的核心问题是:研究循环有没有形成可迁移的判断能力?它能不能识别第一次决定性错误,理解现有能力为何失效,并选择足够小、又能解决一类问题的改动?如果只是把每次遇到的失败翻译成一条新规则,插件数量会增加,学习能力未必增加。

因此,我更愿意继续比较修复与退步发生在哪些任务、收益是否集中在少数题,以及新父版本是否真的改变了下一轮的研究方向。最终测试仍然重要,但中间的采用决定也需要能解释。否则最后赢了,我们也很难知道下一次应该复用什么。

方法与产物入口 · 公开方法概览。本文公开到方法层面的取舍,不展开尚未公开的论文实现细节。