黄胜泽研究与实践
← 全部技术笔记

FIELD NOTES · 2026.10.22

AutoHarness 的搜索空间:怎样把失败归因变成可执行修改

工具用错、结果误读、跨轮遗忘都可能表现为同一个任务失败,却需要修改不同位置。本文从“对象 × 修改面”拆解 AutoHarness 的搜索空间,解释类型化配置与原生插件如何装配、为什么执行顺序也是算法的一部分,以及 222 对任务运行怎样揭示总分背后的改善和退步。

这是 2026.10.22 的研究记录,保留当时的问题和结果。相关工作的新整理见:AutoHarness ↗

先定义能改什么,再让优化器搜索

同一种失败可能来自不同位置:模型不理解工具用途、刚收到结果就误读、几轮之后遗忘事实,所需修法并不相同。我将运行时拆成明确的修改面,并为优化器提供当前配置、组件能力、修改说明书和策略手册。手册解释适用条件与相邻组件的边界,候选仍须根据本轮轨迹提出,避免把问题标签机械映射为补丁。

Pydantic 方案用类型化 YAML 描述提示词、技能加载、记忆、压缩及工具调用前后的处理;参数校验、需要数据库状态的业务校验、结果加工各有入口。DeepSeek Harness 方案则把方法挂接到提示词组装、执行前、执行后和模型步进事件。前者使配置容易生成和检查,后者使方法可以独立安装、替换和组合。

格子是位置,积木是一种具体方法

网格按“对象 × 修改面”定位,例如某个工具的说明、校验或结果处理;每种描述写法、每条可执行校验和每种后处理分别拥有“目标/修改面/方法版本”身份。安装包只是承载代码的容器,完整组合才是评分对象。原专题记录的方法库快照收录 57 个版本,混合历史方法、新实现方法和优化器生成版本,保留各自来源与验证状态。

同一工具的描述选择一种,校验和后处理允许按序组合;装配器将选择编译为独立的原生插件实例。这样既能让人查看、替换某个方法,也能让优化器把新策略加入同一方法库。

失败机制优先检查的修改面
全局行为偏差、多步流程遗漏系统提示、按需技能
工具语义混淆、当轮误读返回工具说明、结果处理
跨轮遗忘、长历史挤占上下文结构化记忆、上下文压缩
参数或对象不一致、重复写入参数与调用校验、执行与结束策略

一个装配细节:选择顺序与执行顺序可能相反

如果把一整份配置当作最小单元,两个候选可能同时改变提示词、工具说明和错误处理,最后很难解释收益来自哪里。因此方法库把具体方法与组合分开:方法记录目标对象、修改面、实现模块和来源;组合记录选中的方法,以及它们进入运行时的顺序。

本地组合器首先读取方法目录,把用户或优化器选中的标识解析为方法;随后检查互斥位置,生成运行配置,为每个方法创建独立的原生插件实例,并保存选择记录和实际装载顺序。提示词、同一对象的工具说明和压缩方法使用单选约束;结果处理等位置允许顺序组合。

实现中还存在容易被忽略的顺序问题:结果处理方法的注册顺序需要与中间件执行约定配合。组合器对这一组做反向注册,使最终作用顺序与选择顺序一致。因此“选中了同样几个插件”仍不足以确定同一种算法;顺序也属于实验配置。

{'language': 'JSON · 概念示例,不是安装配置', 'text': '{\n  "parent": "baseline",\n  "selection": [\n    {"target": "get_line", "surface": "description", "method": "verify-phone-v1"},\n    {"target": "enable_roaming", "surface": "validation", "method": "observed-line-v2"}\n  ],\n  "evaluation_scope": "frozen target tasks"\n}'}

一次工具调用经过哪些边界

以开启漫游为教学例子:模型先生成工具名与参数,运行时再决定这次操作应在本地处理、被拒绝,还是送往业务环境。只有被允许的业务调用才执行数据库状态转换;调用结果返回后,结果处理插件可以改变模型看见的说明,但不会因此改写业务状态。

这使三种看似相近的动作可区分:调用前校验阻止错误操作,调用后说明帮助模型理解正确结果,结构化记忆帮助未来回合保留已确认事实。选择哪一种,取决于错误首次出现的位置,而不是某个组件名称听起来更强。

位置可以改变什么不能由此证明什么
工具定义模型理解的用途、参数含义与前提不保证模型一定遵循说明
执行前校验本次业务动作能否执行不保证模型学会正确决策
结果后处理模型看到的返回组织与提示不代表业务数据库被修正
记忆与压缩后续回合可见事实与历史长度不等同于新增任务知识或训练模型

从失败轨迹到可运行的候选

逐任务阅读全部重复运行,保留成功对照;先区分问题类型与具体机制,再归并同义标签、聚类并选定目标任务。目标范围在同轮内固定,每批候选从同一父版本出发,先完成设计再评测。目标集筛掉无效尝试,通过者进入全量训练集;收齐同批结果后只晋升一个组合,并将改进和退步一起反馈。

逐例归因怎样变成可检验的修改假设

归因不是给失败轨迹贴上“工具使用错误”就结束。需要指出错误发生在哪个调用、当时有哪些可见证据、模型做出了什么不同于预期的选择,以及某个修改面为什么能影响这一步。相同最终失败可能有不同机制;相同机制也可能出现在不同任务名称下。

以线路错绑为例,可以提出两个竞争解释:模型从未核对号码,或者前面核对过、后面遗忘。前者适合检查工具描述、结果提示和执行前约束;后者还需要观察记忆更新和上下文压缩。先保存这种区别,再对同机制任务聚类,才能避免把所有失败都塞进一个提示词。

候选说明需预测行为变化:加入号码核对后,模型应该补查正确线路,再写入目标对象。如果分数提高但中间行为并未改变,该轨迹不能支持这个机制解释。相反,校验实际触发却仍未完成任务,说明干预起效和任务成功是两个层次。

归因字段线路错绑的教学示例
可见事实用户给出号码 A;查询结果是号码 B 的线路
错误选择未核对便尝试对 B 开启漫游
修改假设在写操作前检查已观察的号码与线路映射
预计改变错误写入被阻止,模型转为补充查询
对照观察同一任务和重复编号下,是否减少错写且仍能完成任务

一个具体问题:电话号码与线路错绑

Telecom 轨迹中,用户给出问题号码后,Agent 查询到另一号码的线路,却直接对其开启漫游。围绕这个机制,可以修改查询工具说明、在返回后提示核对号码、把已核实映射写入记忆,或在写操作前实施一致性校验。它们解决的是不同阶段的问题,不能只看最终成功分数就认定机制相同。

新版校验只使用用户已给出的号码和已返回的线路信息;缺信息时要求补查,不能从评测答案推断正确对象。桥接层先取得插件的允许或拒绝决定,再调用原业务环境,被拒绝的动作不会落到业务数据库。评分回放也只重放真正执行过的业务调用,避免把拦截动作再次执行。

成功率提高了,但到底是哪一种提高

完整对照中的分数单位是一次任务运行。同一批 74 个任务各运行三次,得到 222 对可比结果;基线成功 66 次,最终组合成功 135 次。配对结果为 75 次从失败变成功、6 次从成功变失败,其余 141 次结果不变,净增加 69 次成功。

这一分解比两个总分更能指导后续工作:退步的 6 次应返回轨迹层解释,是约束过强、提示干扰,还是另一种能力被牺牲。这里报告的是提示词与结果插件的组合效果;要回答“哪一个方法贡献了多少”,仍需固定其余组件并做消融。

训练集用于发现并选择候选,因此这些任务不再是独立测试。对外报告需要同时写清任务域、样本单位、重复次数及选择过程。一个插件组合在此处更好,不等于在新行业、不同工具集或其他模型上同样有效。

配对变化次数研究含义
失败 → 成功75观察到候选带来的改善案例
成功 → 失败6需要解释和进一步修复的退步案例
结果不变141不能仅凭总分推定其过程未变化
净成功增加69135 − 66;成功率增加 31.08 个百分点

净改善 = 改善次数 − 退步次数 = 75 − 6 = 69

把历史结果与后续进展放回各自的实验里

本文的量化对照来自 Telecom 训练集 74 个任务、每题三次:基线 66/222,提示词与工具结果插件组合 135/222,成功率由 29.73% 提高到 60.81%。完整组合净增加 69 次成功;这组数字不分摊给后来拆分的单条方法。

早期自动闭环还完成过线路校验的单案例运行,父版与候选均成功,因此没有晋升。这个记录说明“链路执行了”和“候选改善了”可以同时得到不同结论。后续持续插件进化已经形成另一个实验阶段,详见延伸文章;不要把不同起点、不同阶段的数字拼成同一条受控增长曲线。

相关资料

DeepSeek Harness 上游框架 ↗Pydantic AI 官方文档 ↗Tau2-bench 上游基准 ↗后续:持续插件进化与跨环境迁移 ↗