2026年10月更新
本文介绍早期插件机制。后续已迭代能力与职责管理、场景采用目标及归因计划,并公开五场景产物;不同循环版本与未完成测试请见新文。 阅读后续复盘。
从“说得更清楚”到“在正确时机改变行为”
提示词能表达策略,但不是所有失败都源于策略没写清楚。智能体可能已经读过要求,却在长对话里忘记状态;也可能理解最终目标,却在转人工前漏掉可执行步骤。此时需要判断干预应该发生在系统提示、调用之前、工具结果之后,还是跨轮状态中。
AutoHarness 的“对象 × 修改面”提供了组织方法。对象可以是智能体、工具或会话状态,修改面可以是描述、参数校验、结果处理、技能和记忆。插件承载具体机制,配置选择和组合这些机制。配置文件本身不会实现新的行为。
系统分工:优化者、执行智能体、环境与评分器
优化者阅读失败材料并编写候选;执行智能体使用候选插件完成任务;环境负责工具执行和状态变化;评分器判断任务结果。将这些角色分开,才能知道一次提升究竟修改了什么。优化者模型的名字不应被误写成做题模型。
持续会话保存此前的失败、试过的修改和拒绝理由。外部保持器负责启动、恢复同一会话并等待评测完成,不按阶段不断派发新的人工指令。真实运行产物进入复盘,优化者继续提出下一轮修改。
| 组件 | 职责 | 关键输出 |
|---|---|---|
| 优化会话 | 读轨迹、写插件、调用评测、复盘 | 候选源码与解释 |
| 插件宿主 | 把方法装入真实运行钩子 | 实际输入和执行干预 |
| 环境适配器 | 执行任务与工具,记录过程 | 交互轨迹和终态 |
| 评分与版本选择 | 配对比较,决定是否保留 | 得分、采用或拒绝原因 |
案例:在转人工之前,检查是否漏做了可执行步骤
Telecom 的一个有效修改发生在关键决策点。V3 到 V4 的变更只新增“转人工前遗漏复核”插件,原六插件及其配置、桥接和评测入口保持不变。它把检查放在即将转人工的时刻,使系统能够在终止原流程之前再检查遗漏。
这个例子说明为什么干预位置值得单独研究:一条始终存在的全局提醒,与一个在行动即将发生时触发的复核,面对的是不同的上下文和行为机会。只看插件文件加载成功还不够,还要确认它确实出现在相关调用中,并观察后续动作是否改变。
{'language': 'text', 'text': '关键决策点干预\n准备转人工\n → 读取已有工具回执与处理状态\n → 复核是否遗漏可执行步骤\n → 继续处理,或在依据完整时转人工\n\n核对:触发时机 → 模型可见内容 → 后续动作 → 环境结果'}结果快照:选中了哪版,以及数字能说明什么
已完成的 Astra 自主 V1—V10 实验最终保留 V4。接手时 V1 已完成、V2 正在评测;从 V3 起自主生成八个后续候选。V5—V10 没有超过 V4 的训练成绩,最终选择不依据测试分数。下表是该实验的版本结果,并非一次新的复跑。
| 对象 | 训练结果 | 测试结果 | 解释 |
|---|---|---|---|
| 选中的 V4 | 174 / 222,78.38% | 96 / 120,80.00% | 按训练结果保留,测试单独报告 |
| 历史裸基线 | 66 / 222,29.73% | 此处不作比较 | 不属于同期随机对照 |
| 跨环境演示 | 12 场原生运行管道验证 | 包含演示测试过程 | 预写响应和候选,不作为真实模型收益 |
从 Telecom 到其他环境:迁移的是接口和实验方法
通用化后,用户通过一个配置入口声明优化轮数、模型与评测命令;环境适配器负责加载插件、运行任务并返回得分及轨迹。输出保留插件源码和组合关系,能够交回运行器继续使用。通用包不携带 Telecom 实验数据或原环境账户。
ALFWorld 接入已完成真实环境的重置与动作调用;另一阶段也已启动多轮比较。但环境能够执行、原生钩子能够触发、优化循环能够继续、完整测试已经完成,是不同的进度。本文不将进行中的迁移实验当作最终迁移收益。
为什么要保存被拒绝的方法
没有提高分数的候选也能解释系统。例如,新增提示没有进入模型请求,属于干预未落实;进入请求却未改变行为,说明作用机制仍不成立;行为改变但任务退步,则要复盘它破坏了哪种处理路径。把这些失败压成同一个零分,会让后续优化反复走回原路。
我更看重一条可继续研究的链路:观察支撑诊断,诊断对应修改位置,实际运行说明修改如何生效,得分决定该配置是否值得保留。最终沉淀的是方法和适用条件,而不只是某一版提示词。