黄胜泽研究与实践
← 全部技术笔记

FIELD NOTES · 2026.10.22

实验看板怎样支持研究?从一个平均分下钻到一次模型请求

运行进度回答“做到哪里”,配对结果回答“哪里变了”,原始请求回答“为什么可能改变”。围绕长程自进化实验,本文拆解工作台的数据实体、角色交接和恢复机制,讨论如何让图表保持可追踪,以及为什么浏览器刷新不应改变正在观察的实验。

这是 2026.10.22 的研究记录,保留当时的问题和结果。

早期三会话方案:用阶段产物交接,而不是转述聊天

在 Tau2 项目中,将监控、归因和优化分为三个持续协作的会话。监控保存本次配置、运行评测和决定晋升;归因组织逐任务分析,汇总机制簇与目标集;优化读取归因和历史反馈,提出修改假设、完整候选与差异。逐案分析可并发调用临时工作进程,但配置仍由监控入口统一提供,避免各角色悄悄更换模型、目标或评测口径。

交接围绕固定父版本和文件产物进行:归因返回逐案底表、报告和目标范围;优化返回候选清单、可执行配置与修改记录;监控返回分阶段成绩和退步案例。同一父版本可复用归因底表,只对新反馈重新选簇,减少重复读日志。

配置漂移怎样出现:同一个参数散落在多个角色里

监控、归因和优化角色长期维护同一套工作约定,但每次实验的模型、并发、预算、任务范围会变化。将这些值写死在多个 Skill 中,会让某次调整遗漏一个角色。当前组织方式把角色职责、交接顺序和阅读资源放进 Skill,把可变实验条件放到统一配置。

归因交付逐案底表和机制簇;优化交付假设、候选配置和差异;监控交付目标集与全量结果以及最终决定。阶段转换以这些实际产物为依据,不靠一句“我已完成”。恢复时读取既有完成状态,复用已经产生的结果,继续尚未完成的阶段。

迁移到新基准时,真正需要适配的是任务和运行标识、成功指标、日志读取器,以及配置生成和评测入口。三会话协作方式可以复用,但不能假定所有场景都有相同工具、评价维度和可修改组件。

看板的数据单位是实验事实

报告层串联实验、版本、问题簇、案例、重复运行和原始调用。版本保存父节点、状态、完整度、指标、修改面与评测决定;案例保存各版本的结果序列和每次运行的成绩;轨迹继续关联消息、工具事件、模型请求与响应。图表中的一个点因此可以落到明确的任务、版本和重复编号,而不只是一个难以解释的平均分。

查看层次需要回答的问题
轮次与候选正在做什么,谁从哪个父版本产生,哪个版本被接受?
机制与修改哪些任务存在共同问题,为什么选择这个修改面?
案例与调用具体行为如何改变,当时模型真正看到了什么?
规则与经验哪些方法保留、拒绝或待验证,适用条件是什么?

数据模型:一个任务的三次运行,不是三个任务

实验、版本、案例、重复运行和调用是不同实体。版本有父节点和晋升状态;案例在各版本下有结果序列;每个重复运行有模型消息、工具事件和评分。将这些关系显式存储,才能区分一个任务的三次运行与三个不同任务,也才能恢复中断前已经完成的结果。

报告层采用适配方式接入已有实验产物,不要求基准系统为了画图改变自己的运行协议。指标包含单位和优劣方向;缺失试次保留为空,不能自动填成零。没有独立用户模拟器的任务,不人为补出一个 User 角色;没有版本继承时,则按实际并列候选展示。

{'language': 'JSON · 简化的报告层结构', 'text': '{\n  "versions": [{"id": "candidate-a", "parent": "baseline", "complete": false}],\n  "cases": [{\n    "id": "example-task",\n    "trials": {"baseline": [1, 0, 1], "candidate-a": [1, null, 1]}\n  }],\n  "caseMetric": {"label": "任务成功", "direction": "higher"}\n}'}

实时页面与实验控制为什么需要解耦

运行态读取状态文件、事件流和阶段产物,审查态保留当时的范围与完整度。小实验可生成自包含 HTML,大实验通过服务按需读取案例、轨迹和原始调用;两者共用稳定的实验身份。

运行看板的职责是读取当前事实:控制器处于哪个阶段、哪些任务正在运行、最近出现了什么事件、还有哪些结果未到达。浏览器刷新只能刷新显示,不应该重新导入评测代码或启动一批模型请求。这样研究者可以随时打开页面,而不会改变正在观察的实验。

另一类页面是结果快照,用于复盘和分享;它必须保留当时的范围和完整度。小规模结果可以内嵌为自包含页面,大规模结果则按需加载案例、消息和原始请求。按需加载节省浏览器内存,同时要求稳定的案例和运行标识,避免点击后读到另一个版本的数据。

当前方法库页面以五秒间隔读取状态,这是轮询刷新,不是逐 token 的实时流。适合展示轮次、方法生成和评分阶段;如要观看单次模型生成,需要额外的事件流接入。把刷新机制说清楚,有助于让进度显示符合实际运行粒度。

一次下钻:从“这一轮更好”到“这一步改变了”

研究者首先看到一轮候选的全量成绩,但一次平均值无法解释候选。工作台把阅读路径组织成:版本结果 → 变化案例 → 机制簇 → 候选假设与修改 → 单次运行 → 原始模型请求。每一级保留上一层的身份,而不是打开彼此独立的日志页面。

以教学案例说明:一个新版本总分提高,仍有一类任务退步。先筛出该簇,再固定同一任务与重复编号比较父版本和候选;定位首次行为分叉,查看当时的系统提示、工具定义与结果,而不只是最终回复。最后回到修改记录,判断退步是否符合候选带来的约束变化。

看板会误导人的地方:逐题最优拼不出可运行版本

看板同时呈现当前版本与历史候选的逐案例差异。某个工具说明方法单独运行高于基线,加入已获胜组合却可能退步;因此页面把成绩挂在完整组合上,把方法与案例的关联作为解释入口。优势矩阵可以找到仍被其他候选解决得更好的任务,但“逐题各选最优”的集合只代表潜在互补空间,并不是已经可部署的版本。

进入线路错绑案例,可以从机制簇跳到候选的原始假设与修改差异,再比较同一任务的对话和工具调用。任务评分通过后,回答仍可能存在流量计算解释错误。工作台保留这类细节,让结果审查既看到优化收益,也能发现评分覆盖不到的行为问题。

为持续维护保留清楚的责任边界

Skill 正文采用职责、流程图和必要资源引用;模型、并发、候选数量及门槛进入实验配置,不散落在多个角色提示词中。长程控制器记录阶段状态、尝试历史和晋升关系,中断后复用已完成结果;看板将未运行结果留空,而不把缺失当作失败。前端只保存选择状态,事实来自同一份实验产物。

已形成监控、优化、深度归因、结果审查和看板五类维护资产,并在 Telecom 上使用。通用仓库保留双会话入口,三会话拆分落在具体项目;迁移到新任务仍需适配指标、参与者和日志。工作台让运行与解释更连贯,但不会自动替代研究者对失败机制和方法有效性的判断。

实践复盘:图表是一条调查路径的入口

这套工作台的核心产物是可走通的调查路径:总分 → 配对变化 → 案例与重复编号 → 首次行为分叉 → 模型请求 → 候选修改。一个高分如果走不通这条路径,就很难指导下一轮工作。

本文记录的三会话协作属于早期项目组织方式;后续也使用持续单会话推进插件进化。两种方式可以共享报告层,但控制权和恢复协议不同。工作台适配实际运行产物,不把一种会话数量当成所有实验的标准答案。