先定义能改什么,再让优化器搜索
同一种失败可能来自不同位置:模型不理解工具用途、刚收到结果就误读、几轮之后遗忘事实,所需修法并不相同。我将运行时拆成明确的修改面,并为优化器提供当前配置、组件能力、修改说明书和策略手册。手册解释适用条件与相邻组件的边界,候选仍须根据本轮轨迹提出,避免把问题标签机械映射为补丁。
Pydantic 方案用类型化 YAML 描述提示词、技能加载、记忆、压缩及工具调用前后的处理;参数校验、需要数据库状态的业务校验、结果加工各有入口。DeepSeek Harness 方案则把方法挂接到提示词组装、执行前、执行后和模型步进事件。前者使配置容易生成和检查,后者使方法可以独立安装、替换和组合。
格子是位置,积木是一种具体方法
网格按“对象 × 修改面”定位,例如某个工具的说明、校验或结果处理;每种描述写法、每条可执行校验和每种后处理分别拥有“目标/修改面/方法版本”身份。安装包只是承载代码的容器,完整组合才是评分对象。原专题记录的方法库快照收录 57 个版本,混合历史方法、新实现方法和优化器生成版本,保留各自来源与验证状态。
同一工具的描述选择一种,校验和后处理允许按序组合;装配器将选择编译为独立的原生插件实例。这样既能让人查看、替换某个方法,也能让优化器把新策略加入同一方法库。
| 失败机制 | 优先检查的修改面 |
|---|---|
| 全局行为偏差、多步流程遗漏 | 系统提示、按需技能 |
| 工具语义混淆、当轮误读返回 | 工具说明、结果处理 |
| 跨轮遗忘、长历史挤占上下文 | 结构化记忆、上下文压缩 |
| 参数或对象不一致、重复写入 | 参数与调用校验、执行与结束策略 |
一个装配细节:选择顺序与执行顺序可能相反
如果把一整份配置当作最小单元,两个候选可能同时改变提示词、工具说明和错误处理,最后很难解释收益来自哪里。因此方法库把具体方法与组合分开:方法记录目标对象、修改面、实现模块和来源;组合记录选中的方法,以及它们进入运行时的顺序。
本地组合器首先读取方法目录,把用户或优化器选中的标识解析为方法;随后检查互斥位置,生成运行配置,为每个方法创建独立的原生插件实例,并保存选择记录和实际装载顺序。提示词、同一对象的工具说明和压缩方法使用单选约束;结果处理等位置允许顺序组合。
实现中还存在容易被忽略的顺序问题:结果处理方法的注册顺序需要与中间件执行约定配合。组合器对这一组做反向注册,使最终作用顺序与选择顺序一致。因此“选中了同样几个插件”仍不足以确定同一种算法;顺序也属于实验配置。
{'language': 'JSON · 概念示例,不是安装配置', 'text': '{\n "parent": "baseline",\n "selection": [\n {"target": "get_line", "surface": "description", "method": "verify-phone-v1"},\n {"target": "enable_roaming", "surface": "validation", "method": "observed-line-v2"}\n ],\n "evaluation_scope": "frozen target tasks"\n}'}一次工具调用经过哪些边界
以开启漫游为教学例子:模型先生成工具名与参数,运行时再决定这次操作应在本地处理、被拒绝,还是送往业务环境。只有被允许的业务调用才执行数据库状态转换;调用结果返回后,结果处理插件可以改变模型看见的说明,但不会因此改写业务状态。
这使三种看似相近的动作可区分:调用前校验阻止错误操作,调用后说明帮助模型理解正确结果,结构化记忆帮助未来回合保留已确认事实。选择哪一种,取决于错误首次出现的位置,而不是某个组件名称听起来更强。
| 位置 | 可以改变什么 | 不能由此证明什么 |
|---|---|---|
| 工具定义 | 模型理解的用途、参数含义与前提 | 不保证模型一定遵循说明 |
| 执行前校验 | 本次业务动作能否执行 | 不保证模型学会正确决策 |
| 结果后处理 | 模型看到的返回组织与提示 | 不代表业务数据库被修正 |
| 记忆与压缩 | 后续回合可见事实与历史长度 | 不等同于新增任务知识或训练模型 |
从失败轨迹到可运行的候选
逐任务阅读全部重复运行,保留成功对照;先区分问题类型与具体机制,再归并同义标签、聚类并选定目标任务。目标范围在同轮内固定,每批候选从同一父版本出发,先完成设计再评测。目标集筛掉无效尝试,通过者进入全量训练集;收齐同批结果后只晋升一个组合,并将改进和退步一起反馈。
逐例归因怎样变成可检验的修改假设
归因不是给失败轨迹贴上“工具使用错误”就结束。需要指出错误发生在哪个调用、当时有哪些可见证据、模型做出了什么不同于预期的选择,以及某个修改面为什么能影响这一步。相同最终失败可能有不同机制;相同机制也可能出现在不同任务名称下。
以线路错绑为例,可以提出两个竞争解释:模型从未核对号码,或者前面核对过、后面遗忘。前者适合检查工具描述、结果提示和执行前约束;后者还需要观察记忆更新和上下文压缩。先保存这种区别,再对同机制任务聚类,才能避免把所有失败都塞进一个提示词。
候选说明需预测行为变化:加入号码核对后,模型应该补查正确线路,再写入目标对象。如果分数提高但中间行为并未改变,该轨迹不能支持这个机制解释。相反,校验实际触发却仍未完成任务,说明干预起效和任务成功是两个层次。
| 归因字段 | 线路错绑的教学示例 |
|---|---|
| 可见事实 | 用户给出号码 A;查询结果是号码 B 的线路 |
| 错误选择 | 未核对便尝试对 B 开启漫游 |
| 修改假设 | 在写操作前检查已观察的号码与线路映射 |
| 预计改变 | 错误写入被阻止,模型转为补充查询 |
| 对照观察 | 同一任务和重复编号下,是否减少错写且仍能完成任务 |
一个具体问题:电话号码与线路错绑
Telecom 轨迹中,用户给出问题号码后,Agent 查询到另一号码的线路,却直接对其开启漫游。围绕这个机制,可以修改查询工具说明、在返回后提示核对号码、把已核实映射写入记忆,或在写操作前实施一致性校验。它们解决的是不同阶段的问题,不能只看最终成功分数就认定机制相同。
新版校验只使用用户已给出的号码和已返回的线路信息;缺信息时要求补查,不能从评测答案推断正确对象。桥接层先取得插件的允许或拒绝决定,再调用原业务环境,被拒绝的动作不会落到业务数据库。评分回放也只重放真正执行过的业务调用,避免把拦截动作再次执行。
成功率提高了,但到底是哪一种提高
完整对照中的分数单位是一次任务运行。同一批 74 个任务各运行三次,得到 222 对可比结果;基线成功 66 次,最终组合成功 135 次。配对结果为 75 次从失败变成功、6 次从成功变失败,其余 141 次结果不变,净增加 69 次成功。
这一分解比两个总分更能指导后续工作:退步的 6 次应返回轨迹层解释,是约束过强、提示干扰,还是另一种能力被牺牲。这里报告的是提示词与结果插件的组合效果;要回答“哪一个方法贡献了多少”,仍需固定其余组件并做消融。
训练集用于发现并选择候选,因此这些任务不再是独立测试。对外报告需要同时写清任务域、样本单位、重复次数及选择过程。一个插件组合在此处更好,不等于在新行业、不同工具集或其他模型上同样有效。
| 配对变化 | 次数 | 研究含义 |
|---|---|---|
| 失败 → 成功 | 75 | 观察到候选带来的改善案例 |
| 成功 → 失败 | 6 | 需要解释和进一步修复的退步案例 |
| 结果不变 | 141 | 不能仅凭总分推定其过程未变化 |
| 净成功增加 | 69 | 135 − 66;成功率增加 31.08 个百分点 |
净改善 = 改善次数 − 退步次数 = 75 − 6 = 69
把历史结果与后续进展放回各自的实验里
本文的量化对照来自 Telecom 训练集 74 个任务、每题三次:基线 66/222,提示词与工具结果插件组合 135/222,成功率由 29.73% 提高到 60.81%。完整组合净增加 69 次成功;这组数字不分摊给后来拆分的单条方法。
早期自动闭环还完成过线路校验的单案例运行,父版与候选均成功,因此没有晋升。这个记录说明“链路执行了”和“候选改善了”可以同时得到不同结论。后续持续插件进化已经形成另一个实验阶段,详见延伸文章;不要把不同起点、不同阶段的数字拼成同一条受控增长曲线。