2026年10月更新
本文保留早期五案例对照。后续九十题回顾性测试出现三领域退步,并发现历史窗口信息暴露;请结合后记阅读,不将本页收益理解为当前泛化结论。 阅读后续复盘。
问题起点:把一次预测拆成可解释的决策
这项工作使用交付包中的五个示例:波士顿与新加坡的地表温度、上海与纽约的碳排放,以及伦敦的房产指标。每个任务围绕一个 2 km × 2 km 区域,读取历史时段并预测期零目标。五例覆盖三种不同的量纲,因此不能把原始绝对误差直接相加后称为总体成绩。
我的工作重点是搭建可比较的运行、评分与归因链路:让相同任务在原始提示的 LangGraph 重建版、DSH 迁移版和策略插件版中运行,保存真实模型请求、工具结果与最终数字。这里的重建范围是五例交付包,不是论文完整 Earth Agent 系统。
架构:模型决定怎么查,工具承担可核对的计算
原始七工具分别负责历史读取、资产发现、表格读取、资产落地、栅格描述、栅格查看和计算。框架迁移保留任务和数据入口;优化层则围绕检索、趋势诊断、方法比较和最终答案核对施加改动。标签由独立评分子进程读取,不进入做题模型上下文。
后期选中的策略将历史方法比较封装为计算工具,并核对最终答案是否匹配回执。这样可以消除“解释写得合理,最后却填了另一个数”的脱节,但也改变了能力归属:预测算法的一部分落在程序中,不能将其全部算作模型自行发现的方法。
| 层次 | 承担的工作 | 保留的记录 |
|---|---|---|
| 任务层 | 固定历史范围、目标和输出格式 | 案例与数据口径 |
| 模型层 | 检索、选择、调用与解释 | 逐次请求和响应 |
| 计算层 | 窗口比较、公式计算与回执 | 方法、输入、数值结果 |
| 评分层 | 对照期零标签计算误差 | 逐例分数与重复波动 |
三版三次对照:整体误差与成本一起看
2026 年 10 月 18 日的比较使用 DeepSeek Flash、温度 0.1、关闭思考,每次请求最多 4096 输出令牌。三版各运行相同五例三次,并轮换执行顺序。下表为三次五案例批次的均值和样本标准差;归一化误差越小越好,令牌为每个五案例批次的记录总量。
每个案例先计算绝对预测误差,再除以该案例历史相邻时段变化的平均绝对值;五个案例取均值,得到单次运行的归一化误差。这样比较的是相对于各自历史变化尺度的误差,而不是混加摄氏度、吨碳和价格。
| 版本 | 归一化误差,均值 ± 标准差 | 平均令牌量 | 碳排放绝对误差均值 |
|---|---|---|---|
| 原始提示重建版 | 1.14612 ± 0.04205 | 350,001 | 226.69 吨碳 |
| DSH 迁移基线 | 1.12594 ± 0.03232 | 411,688 | 437.99 吨碳 |
| 策略插件版 | 1.05007 ± 0.00000 | 206,474 | 323.32 吨碳 |
单例尺度 s = mean(|yₜ − yₜ₋₁|);总体误差 E = meanᵢ(|ŷᵢ − yᵢ| / sᵢ)。
零方差的来源:固定公式,而非模型突然稳定
复盘中,15 个插件版案例执行都调用了预测计算工具,最终值均与计算回执一致。脱离模型,仅运行相同计算模块,也能复现这些最终数字。这解释了误差统计里的零方差:同一数据和固定算法重复产生相同结果。
这仍然有工程价值:减少数字漂移、限制未经计算的回答、降低上下文消耗。但要评价模型推理能力,需要另外改变数据、方法候选或决策条件,检查模型是否做出了有依据的选择。稳定输出和有效推理是两个不同的测量对象。
{'language': 'text', 'text': '一条可核对的预测记录\n方法 → 历史窗口 → 实际公式 → 回测误差 → 计算结果 → 最终答案\n\n只看最终答案:知道预测了多少\n保留整条记录:知道这个数是怎样产生的'}一次没有晋升的实验:上海变好,纽约变差
随后围绕两个碳排放案例开展五轮专项,每轮三次、每次两个城市,共 30 次案例执行。依次考察自由选择、辅助证据、独立反方、自拟表达式和隐藏汇总历史评分。第五轮上海误差为 300.31 ± 86.14 吨,低于旧插件的 580.41 吨;纽约为 116.83 ± 86.05 吨,高于旧插件的 66.22 吨。五轮均未同时改善两城,因此没有替换旧版本。
负结果帮助缩小了问题:24 次实际辅助数据读取后的决策都把这些数据当成背景,没有形成可验证的新增数值贡献;独立反方后的六次数值变化中,五次扩大了误差。增加材料和增加讨论,未必能修正预测方法。
可迁移的经验:把能力归属写进系统
先建立数学基线,再衡量智能体增加了什么。如果固定历史方法已能解释预测,应该直接报告工具算法的贡献;如果辅助模态确实改善结果,就保存进入计算的具体变量,而不只记录“读取过”。
后续更大范围的筛选和插件实验继续沿用这些判断。这里展示的是已完成的五例重复对照与两城专项快照;尚在运行的批次不并入本表。