残余可能需要缺失知识、不同工具能力或更长预算。要用证据区分“当前改法修不了”和“任何Harness都修不了”。
ARCHITECTURE × LEARNING · 2026.11.01
让每一轮，
知道自己为什么进步。
用四个模块把握 Harness 进化。把机器学习的直觉、真实代码和实验结果放在一起，再决定下一版只改哪里。
01 / FOUR MODULES
同一份基础，四个可思考的模块
点击模块，看它依赖什么、当前实现到哪里、以前改过什么，以及下一步要问的问题。运行器、评分器与日志保存共用。
全局实验条件
执行产生证据 → 产生候选 → 检验取舍 → 更新可复用知识 ↺
以前各版到底改了哪个模块？
02 / MACHINE LEARNING LENS
你的四个观察，对应四种学习机制
这是带噪声、离散的程序搜索。可以借用梯度、初始化、正则化的直觉，但要明确哪些是类比，哪些已有可测实现。
03 / PLATEAU IS A DIAGNOSIS
曲线不涨，是搜索停了，还是能力到顶了？
训练冠军不降是采用规则带来的性质，不是收敛证明。先排除额度／评测中断，再看新增覆盖、修复与回退、重复提案、开发验证和单位成本收益。
候选训练训练冠军实际最终测试点
固定训练集的真实记录。测试仅在最终锁定版测量，不能从训练曲线补画测试曲线。
平台迹象，不自动停跑
指标的定义与限制
早期未解决的目标任务，以及问题类别的证据边界
为什么平台会出现？五种不同原因
同一父版和类似日志使提案趋同。新文件名或措辞不等于新的行为机制。
某些能力需要两步配合，第一步尚未涨分就被拒绝。可达邻域受采用规则限制，这是可能机制，不是已证明原因。
100题单遍成功率以1个百分点变化。改善中间步骤不一定增加成功题；重复波动也会影响微小增益的判断。
先看真实触发、行为改变和修复/回退，再决定增加候选、改触发范围还是换证据。额度耗尽只属于运行中断。
三遍复测：区分原始分布差距与进化新增差距
训练第1遍参与过选版，第2、3遍是新补测。三次任务测试不是三个独立搜索。早期问题的跟踪只用训练记录，测试用于独立报告。
04 / EIGHT ARCHITECTURE DIRECTIONS
八个宏观方向，先选择要回答的问题
保留A/B/C，再增加数据配比、起点与分阶段进化、平台期策略、修改空间、证据构造五条路线。每个方向都是待选对照，不是要同时堆进一个循环。
横向比较八个方向：改什么、怎么比、回答什么
选路线时先问：是数据与验证问题（A/D），起点或搜索空间问题（E/G），证据与候选问题（H/B），还是经验与预算利用问题（C/F）？每个对照固定其余条件。已观察的测试用于诊断，不能再当新方法未触碰的确认集。
05 / ONE CONTENT SOURCE
对应真实代码，明确现在与下一版
GitHub与云效由同一份架构内容和实测快照生成。历史代码对应事实，A–H对应提案；图中的逻辑接口不等于已经存在同名函数。
当前固定集控制器源码快照：GitHub · 云效。保留真实接口与依赖边界，不冒称已移植成统一一键入口。
理论参考与如何理解引用
反复使用留出集也可能发生自适应选择偏差；独立验证不是无限次查询后仍然无偏的保证。参见 Dwork等：Adaptive Data Analysis and Holdout Reuse。搜索空间与评测预算应共同比较；Bergstra与Bengio：Random Search 提供同预算搜索基线的思路，但不证明随机改代码适合本项目。页面的梯度／预条件器类比和改进方案是我们的分析，不是这些论文对DSH的结论。