从一个例子开始
智能体查到信息后,可能把任务标记为完成。怎样让程序区分已经收集的证据和仍待执行的步骤?
一个会工作的 AI,既需要模型作判断,也需要程序把信息、记忆和实际动作连接起来。
一步步想清楚
- 01
模型每次只能根据收到的信息作决定
如果办理进度埋在很长的历史里,下一次请求可能没有有效利用它。程序怎样组织信息,会影响判断。
- 02
语言提醒和执行机制可以承担不同职责
“先确认再办理”可以写成提示。程序还可以保存已确认的条件,在执行工具前检查它们,并根据真实结果更新进度。
- 03
一些修复需要多个位置协同
同一条事实,可能既要进入模型的下一次输入,也要影响工具执行前的检查。只允许修改一句提示,就难以表达这种跨步骤机制。
- 04
允许修改更多,还需要找到有效改法
扩大范围提供更多可能性;优化器仍需要读懂失败、写出可运行的修复,并检验有没有带来退步。
先记住这条线
做事模型保持不变
由 Qwen3-4B 执行任务
优化外围程序
修改信息组织、状态和动作处理
比较实际任务结果
保留有用的修复,继续下一轮
我参与的工作,具体怎样落地
用现成底座开放修改位置
DeepSeek Harness 提供运行接口。修改面从提示和技能文本,扩展到独立插件,再到共享状态和多个处理位置协同。
让优化模型根据轨迹改程序
较强 GPT 模型负责分析实际执行记录,定位问题,提出机制并修改代码;它与执行任务的模型分工不同。
运行新旧版本,选择下一轮起点
在对应任务条件下比较父版和候选,同时观察成功率、修复和退步。保留结果与修改经验,供下一轮使用。
插件可以在工具执行后记录回执,在下一步决策前读出进度,并在执行动作前检查必要条件。
做出了什么,结果意味着什么
固定 Qwen3-4B,在 ALFWorld、DBBench、WebShop、OSBench 上取得领先表现。对比 ALIGN、Meta-Harness、AHE 等提示词与 Harness 进化方法,展示了扩大修改面与更强优化器组合的效果。
这里的成功率衡量实际任务是否完成。现有结果说明,固定模型配合不同运行机制,可以表现出不同任务能力;它不意味着模型参数变大了。扩大修改面与优化器能力各自贡献多少,需要通过分别控制变量的比较来回答。
我怎样理解这件事
更大的修改空间,让一些原本表达不了的修复成为可能:记录事实、更新状态,再让这份状态影响模型输入和动作前提。但代码多、插件多,本身并不说明能力更强。
因此我把“能表达什么机制”和“优化器实际找到了什么”分开看。一个候选需要通过任务表现和执行过程证明价值,也需要看它修复问题时有没有引入退步。
想再往里看一点?
几个名字,放回上下文理解
- Harness
- 模型周围负责组织信息、保存状态和执行动作的运行程序。
- 插件
- 接入运行程序的一个代码模块,负责某项具体行为。
- 钩子
- 程序运行到某个位置时,允许插件插入处理逻辑的入口。
完整方法图与技术路径
以 DeepSeek Harness 为底座,由更强 GPT 模型担任优化器,执行“轨迹归因—机制生成—配对评测—版本选择—经验复用”;修改面从提示和技能扩展到共享状态、工具控制及组件协同,让证据同时影响上下文与动作。
这是不是把工作交给更强的 GPT 做了?
GPT 在优化阶段分析和修改程序;任务运行阶段使用固定的执行模型与生成的 Harness。两阶段的能力、费用和结果需要分开报告。
继续读
公开实验与实现 ↗一次对话失败后,模型最该练什么?
从失败任务里找出当前最该改的行为,把训练重点放到这些行为上。