黄胜泽研究与实践
← 全部技术笔记

FIELD NOTES · 2026.10.26

Earth Agent 后记:越改越稳,为什么换一批题却更差?

最值得写下来的进展,是几个原本让人放心的结论后来站不住了。从五例探索、十五轮配置搜索,到专项插件融合与九十题回顾性测试,这篇文章重新梳理预测器、研究循环和数据边界。

这是 2026.10.26 的研究记录,保留当时的问题和结果。

一个让我重新看待插件的对照

最初我希望插件替模型挡住一些低级错误:不要读错资产,不要把公式与结果对应错,不要在最后一段解释里改掉计算出的数字。这些目标听起来很合理,做出来也确实更可控。但一个同期三遍对照让我停下来:碳排放的平均绝对误差,H0约为301吨,两插件约568吨,六插件约528吨。六插件三次给出的数字完全稳定,却更不准确。

这件事改变了我看这套系统的方式。输出稳定说明程序稳定地执行了一种预测规则,至于规则是否适合这个城市、这个时期,还得单独回答。此前文章里的五案例平均改善仍然属于那批实验,但它不能替后续研究回答泛化问题。

先说清楚:原始 Agent 已经会做什么

H0指每一阶段不加载新增优化插件的基线。模型拿到任务目标、单位与过去十期历史,通过DSH调用七个工具,自主读取数据、选择方法、计算并回答。它不是一个只会取均值的固定程序,也不是所有阶段共用的一份历史分数。宿主接口、题目与运行批次改变后,要重新确定比较对象。

早期改进有两条并行路线。提示与Skill告诉模型怎样分析,由模型继续决定怎么做;结构化插件则逐渐接管任务约束、候选预测、方法选择与答案核对。六插件版甚至要求最终答案遵从计算回执,部分理由也由代码生成。因此,后来的误差下降可能来自外部预测器,不能全部归给模型推理。

十五轮之后,研究循环也换了

10月18日的五例十五轮,已经形成“提出候选、实际评测、决定保留”的循环。但重新核对记录后,需要纠正一种过于简化的叙述:其中11轮是DeepSeek生成受限配置提案,4轮使用人工指导提案。这一阶段不是后来那种持续会话里直接修改插件源码的研究。

扩大到120题比较、100题基线,再落到30题开发集后,后续优化器才直接研究轨迹与源码。一批五轮候选全部未胜过基线:工具错误减少、调用变少,预测误差却可能上升。于是我开始把问题拆开:执行链有没有修好,预测方法有没有选对,选优规则有没有奖励错东西。

严格漏斗第二版又尝试先做父版、单插件、组合的机制对照,再决定是否扩大评测。这五轮也没有晋升。有的假设没有得到支持,有的计算问题确实修好了,却没有整体精度收益。之后的自主研究路线放开了固定筛选顺序,六层分析更多用于复盘。它们是不同的研究方法,不能只用“跑了更多轮”来概括。

专项收益很大,换题后却全部回退

温度、碳排放和房价分别优化,再按任务类型路由融合,解决了一个现实问题:某一领域的改善不再被另一个领域掩盖。专项开发集上的误差下降分别为19.16%、91.19%、41.37%。这些数字足以让人兴奋,但也足以让人忽略收益究竟集中在哪里。

冻结三合一之后,我用每类30题比较H0与融合版,每题各跑三遍,共540场。下面是该批九十题的结果;误差越低越好,三个领域分别计算,不能直接把不同单位相加。

领域H0平均绝对误差融合版平均绝对误差相对变化
地表温度1.3661.575增加15.26%
碳排放649.381957.977增加47.52%
房价8.49712.191增加43.47%

问题已经从“插件有没有执行”转向“规则为什么失配”

回执显示插件实际执行,路由也正确。温度规则在趋势预测上叠加放大的残差修正,短历史里的局部模式被继续外推;碳排放规则对上涨历史覆盖不足,开发集上好用的收缩在别的序列上偏离;房价的噪声覆盖规则也会盖过原本更适合的判断。这里支持的是选择过拟合与分布变化下的规则失配,尚不能精确分出各自贡献。

平均值还藏着一个细节:少数任务能够决定整条曲线朝哪边走。九十题中,每个领域最大的三项退步贡献了约三分之二到四分之三的净退化。开发时,如果一条修正规则刚好救回一个大误差任务,它就很容易被保留;其余题上小幅而广泛的损害,则不那么显眼。

辅助模态也需要同样追问。早期记录里,去掉辅助候选并未改变五题最终预测。这只能说明那批执行尚未证明数值贡献,不能推出所有模态都无效。读了文件、形成了候选、改变了预测、提高了准确度,是四个不同环节。

新一轮尝试了什么,又还没证明什么

10月25日启动的Sol研究分成三种方法:在历史前缀上重做完整预测策略;用保守组合与收缩减少激进修正;以数值证据决定额外模态何时介入。每种方法又分三个专项和一个联合方向。

截至10月26日保留记录,完成的是42个真实研究轮次,计划总数为120;七个专项方向留下了优于各自基线的产物,联合方向均保留H0。21次采用中,有12次对最大获益题敏感。这些都还是开发结果,新融合与新测试没有完成。此次写作只复盘已有实验,没有恢复运行。

我的下一步判断是:先比较简单祖先与复杂后代,检查新规则是否只救了个别题,再用真正没有参与过研究的信息做验证。把前缀误差写进日志还不够,它必须影响选优决定。否则内层预测器改得再讲究,外层循环仍可能反复挑中开发集上的偶然赢家。

这段经历最终留下的问题

做Earth Agent让我更在意“系统为什么选择保留这个改动”。修复计算错误、让模型遵从回执、改写预测公式、增加外部信息,都是可以做的工程,但它们改善的对象不同。把这些贡献混在一个上升数字里,反而会让下一步研究失去方向。

早期对照保留在五案例归因实验。这里的数字来自截至2026年10月26日保留的实验结果与逐项复盘,不是本文新跑的测试。关于如何改进选择过程,继续读DSH循环复盘。