黄胜泽研究与实践
← 返回论文研究

AutoHarness

模型不换,怎样让它更会做事?

同一个模型,看到什么、记住什么、动作怎样执行,都会影响它能否完成任务。

从一个例子开始

智能体查到信息后,可能把任务标记为完成。怎样让程序区分已经收集的证据和仍待执行的步骤?

一个会工作的 AI,既需要模型作判断,也需要程序把信息、记忆和实际动作连接起来。

一步步想清楚

  1. 01

    模型每次只能根据收到的信息作决定

    如果办理进度埋在很长的历史里,下一次请求可能没有有效利用它。程序怎样组织信息,会影响判断。

  2. 02

    语言提醒和执行机制可以承担不同职责

    “先确认再办理”可以写成提示。程序还可以保存已确认的条件,在执行工具前检查它们,并根据真实结果更新进度。

  3. 03

    一些修复需要多个位置协同

    同一条事实,可能既要进入模型的下一次输入,也要影响工具执行前的检查。只允许修改一句提示,就难以表达这种跨步骤机制。

  4. 04

    允许修改更多,还需要找到有效改法

    扩大范围提供更多可能性;优化器仍需要读懂失败、写出可运行的修复,并检验有没有带来退步。

先记住这条线

01

做事模型保持不变

由 Qwen3-4B 执行任务

02

优化外围程序

修改信息组织、状态和动作处理

03

比较实际任务结果

保留有用的修复,继续下一轮

我参与的工作,具体怎样落地

  1. 用现成底座开放修改位置

    DeepSeek Harness 提供运行接口。修改面从提示和技能文本,扩展到独立插件,再到共享状态和多个处理位置协同。

  2. 让优化模型根据轨迹改程序

    较强 GPT 模型负责分析实际执行记录,定位问题,提出机制并修改代码;它与执行任务的模型分工不同。

  3. 运行新旧版本,选择下一轮起点

    在对应任务条件下比较父版和候选,同时观察成功率、修复和退步。保留结果与修改经验,供下一轮使用。

回到具体情境

插件可以在工具执行后记录回执,在下一步决策前读出进度,并在执行动作前检查必要条件。

做出了什么,结果意味着什么

固定 Qwen3-4B,在 ALFWorld、DBBench、WebShop、OSBench 上取得领先表现。对比 ALIGN、Meta-Harness、AHE 等提示词与 Harness 进化方法,展示了扩大修改面与更强优化器组合的效果。

这里的成功率衡量实际任务是否完成。现有结果说明,固定模型配合不同运行机制,可以表现出不同任务能力;它不意味着模型参数变大了。扩大修改面与优化器能力各自贡献多少,需要通过分别控制变量的比较来回答。

我怎样理解这件事

更大的修改空间,让一些原本表达不了的修复成为可能:记录事实、更新状态,再让这份状态影响模型输入和动作前提。但代码多、插件多,本身并不说明能力更强。

因此我把“能表达什么机制”和“优化器实际找到了什么”分开看。一个候选需要通过任务表现和执行过程证明价值,也需要看它修复问题时有没有引入退步。

想再往里看一点?

几个名字,放回上下文理解
Harness
模型周围负责组织信息、保存状态和执行动作的运行程序。
插件
接入运行程序的一个代码模块,负责某项具体行为。
钩子
程序运行到某个位置时,允许插件插入处理逻辑的入口。
完整方法图与技术路径
AutoHarness 完整方法图
先看上排可修改范围怎样扩大,再看中间同一份状态怎样连接多个钩子,最后看下排优化器怎样归因、生成、比较和选择版本。

以 DeepSeek Harness 为底座,由更强 GPT 模型担任优化器,执行“轨迹归因—机制生成—配对评测—版本选择—经验复用”;修改面从提示和技能扩展到共享状态、工具控制及组件协同,让证据同时影响上下文与动作。

这是不是把工作交给更强的 GPT 做了?

GPT 在优化阶段分析和修改程序;任务运行阶段使用固定的执行模型与生成的 Harness。两阶段的能力、费用和结果需要分开报告。

继续读

公开实验与实现 ↗
另一项相关的工作

一次对话失败后,模型最该练什么?

从失败任务里找出当前最该改的行为,把训练重点放到这些行为上。