早期三会话方案:用阶段产物交接,而不是转述聊天
在 Tau2 项目中,将监控、归因和优化分为三个持续协作的会话。监控保存本次配置、运行评测和决定晋升;归因组织逐任务分析,汇总机制簇与目标集;优化读取归因和历史反馈,提出修改假设、完整候选与差异。逐案分析可并发调用临时工作进程,但配置仍由监控入口统一提供,避免各角色悄悄更换模型、目标或评测口径。
交接围绕固定父版本和文件产物进行:归因返回逐案底表、报告和目标范围;优化返回候选清单、可执行配置与修改记录;监控返回分阶段成绩和退步案例。同一父版本可复用归因底表,只对新反馈重新选簇,减少重复读日志。
配置漂移怎样出现:同一个参数散落在多个角色里
监控、归因和优化角色长期维护同一套工作约定,但每次实验的模型、并发、预算、任务范围会变化。将这些值写死在多个 Skill 中,会让某次调整遗漏一个角色。当前组织方式把角色职责、交接顺序和阅读资源放进 Skill,把可变实验条件放到统一配置。
归因交付逐案底表和机制簇;优化交付假设、候选配置和差异;监控交付目标集与全量结果以及最终决定。阶段转换以这些实际产物为依据,不靠一句“我已完成”。恢复时读取既有完成状态,复用已经产生的结果,继续尚未完成的阶段。
迁移到新基准时,真正需要适配的是任务和运行标识、成功指标、日志读取器,以及配置生成和评测入口。三会话协作方式可以复用,但不能假定所有场景都有相同工具、评价维度和可修改组件。
看板的数据单位是实验事实
报告层串联实验、版本、问题簇、案例、重复运行和原始调用。版本保存父节点、状态、完整度、指标、修改面与评测决定;案例保存各版本的结果序列和每次运行的成绩;轨迹继续关联消息、工具事件、模型请求与响应。图表中的一个点因此可以落到明确的任务、版本和重复编号,而不只是一个难以解释的平均分。
| 查看层次 | 需要回答的问题 |
|---|---|
| 轮次与候选 | 正在做什么,谁从哪个父版本产生,哪个版本被接受? |
| 机制与修改 | 哪些任务存在共同问题,为什么选择这个修改面? |
| 案例与调用 | 具体行为如何改变,当时模型真正看到了什么? |
| 规则与经验 | 哪些方法保留、拒绝或待验证,适用条件是什么? |
数据模型:一个任务的三次运行,不是三个任务
实验、版本、案例、重复运行和调用是不同实体。版本有父节点和晋升状态;案例在各版本下有结果序列;每个重复运行有模型消息、工具事件和评分。将这些关系显式存储,才能区分一个任务的三次运行与三个不同任务,也才能恢复中断前已经完成的结果。
报告层采用适配方式接入已有实验产物,不要求基准系统为了画图改变自己的运行协议。指标包含单位和优劣方向;缺失试次保留为空,不能自动填成零。没有独立用户模拟器的任务,不人为补出一个 User 角色;没有版本继承时,则按实际并列候选展示。
{'language': 'JSON · 简化的报告层结构', 'text': '{\n "versions": [{"id": "candidate-a", "parent": "baseline", "complete": false}],\n "cases": [{\n "id": "example-task",\n "trials": {"baseline": [1, 0, 1], "candidate-a": [1, null, 1]}\n }],\n "caseMetric": {"label": "任务成功", "direction": "higher"}\n}'}实时页面与实验控制为什么需要解耦
运行态读取状态文件、事件流和阶段产物,审查态保留当时的范围与完整度。小实验可生成自包含 HTML,大实验通过服务按需读取案例、轨迹和原始调用;两者共用稳定的实验身份。
运行看板的职责是读取当前事实:控制器处于哪个阶段、哪些任务正在运行、最近出现了什么事件、还有哪些结果未到达。浏览器刷新只能刷新显示,不应该重新导入评测代码或启动一批模型请求。这样研究者可以随时打开页面,而不会改变正在观察的实验。
另一类页面是结果快照,用于复盘和分享;它必须保留当时的范围和完整度。小规模结果可以内嵌为自包含页面,大规模结果则按需加载案例、消息和原始请求。按需加载节省浏览器内存,同时要求稳定的案例和运行标识,避免点击后读到另一个版本的数据。
当前方法库页面以五秒间隔读取状态,这是轮询刷新,不是逐 token 的实时流。适合展示轮次、方法生成和评分阶段;如要观看单次模型生成,需要额外的事件流接入。把刷新机制说清楚,有助于让进度显示符合实际运行粒度。
一次下钻:从“这一轮更好”到“这一步改变了”
研究者首先看到一轮候选的全量成绩,但一次平均值无法解释候选。工作台把阅读路径组织成:版本结果 → 变化案例 → 机制簇 → 候选假设与修改 → 单次运行 → 原始模型请求。每一级保留上一层的身份,而不是打开彼此独立的日志页面。
以教学案例说明:一个新版本总分提高,仍有一类任务退步。先筛出该簇,再固定同一任务与重复编号比较父版本和候选;定位首次行为分叉,查看当时的系统提示、工具定义与结果,而不只是最终回复。最后回到修改记录,判断退步是否符合候选带来的约束变化。
看板会误导人的地方:逐题最优拼不出可运行版本
看板同时呈现当前版本与历史候选的逐案例差异。某个工具说明方法单独运行高于基线,加入已获胜组合却可能退步;因此页面把成绩挂在完整组合上,把方法与案例的关联作为解释入口。优势矩阵可以找到仍被其他候选解决得更好的任务,但“逐题各选最优”的集合只代表潜在互补空间,并不是已经可部署的版本。
进入线路错绑案例,可以从机制簇跳到候选的原始假设与修改差异,再比较同一任务的对话和工具调用。任务评分通过后,回答仍可能存在流量计算解释错误。工作台保留这类细节,让结果审查既看到优化收益,也能发现评分覆盖不到的行为问题。
为持续维护保留清楚的责任边界
Skill 正文采用职责、流程图和必要资源引用;模型、并发、候选数量及门槛进入实验配置,不散落在多个角色提示词中。长程控制器记录阶段状态、尝试历史和晋升关系,中断后复用已完成结果;看板将未运行结果留空,而不把缺失当作失败。前端只保存选择状态,事实来自同一份实验产物。
已形成监控、优化、深度归因、结果审查和看板五类维护资产,并在 Telecom 上使用。通用仓库保留双会话入口,三会话拆分落在具体项目;迁移到新任务仍需适配指标、参与者和日志。工作台让运行与解释更连贯,但不会自动替代研究者对失败机制和方法有效性的判断。
实践复盘:图表是一条调查路径的入口
这套工作台的核心产物是可走通的调查路径:总分 → 配对变化 → 案例与重复编号 → 首次行为分叉 → 模型请求 → 候选修改。一个高分如果走不通这条路径,就很难指导下一轮工作。
本文记录的三会话协作属于早期项目组织方式;后续也使用持续单会话推进插件进化。两种方式可以共享报告层,但控制权和恢复协议不同。工作台适配实际运行产物,不把一种会话数量当成所有实验的标准答案。