黄胜泽研究与实践
← 全部技术笔记

FIELD NOTES · 2026.10.22

从视频到任务成功:拆解 RoboWM-Bench 的动作恢复与判定器

一段机器人视频看起来合理,不代表其中的动作能够完成任务。本文沿着视频、动作恢复、仿真执行和成功判定四层拆解 RoboWM-Bench,结合公开任务代码和论文数据,讨论最终分数怎样受到整条测量链路影响,以及阶段成功率应该怎样读。

这是 2026.10.22 的研究记录,保留当时的问题和结果。相关工作的新整理见:RoboWM-Bench ↗

核心问题:预测的动作能够完成任务吗

RoboWM-Bench 的研究对象是世界模型生成的操作视频。假设画面里夹爪碰到杯子,随后杯子上升:这段视频可能足够流畅,但杯子究竟有没有被稳定夹住,需要动作和接触状态才能判断。这个例子说明,图像质量、动作可执行性和任务完成是三种不同的观察角度。

论文将视频转换为机器人动作,再交给仿真环境执行,同时观察中间步骤与最终结果。阅读时可先沿着“输入是什么、输出怎么执行、成功由谁判断”梳理系统。论文第二版日期为 2026 年 5 月 14 日,完整题名是 RoboWM-Bench: A Benchmark for Evaluating World Models in Robotic Manipulation。

完整管线:两种视频入口,一套执行评价

人手视频需要把手的运动映射到机器人;机器人视频则通过逆动力学恢复动作。两条路线最终都进入物理环境,因而评价对象是“视频经给定接口得到的行为”。这也提示我们:同一视频换一种动作提取方法,结果可能改变。项目网站提供对应执行示例。

动作接口的难点:画面位移没有直接给出控制量

论文的人手路线从关键点构造末端位置、姿态和夹爪开度;机器人路线利用相邻图像恢复关节动作。学习这两条路线时,可以先把视频中的像素坐标与机器人需要的控制量分开。论文第 3.3 节

下面采用针孔相机模型做教学说明:同样向右移动十个像素,近处物体和远处物体对应的三维位移不同。更进一步,机器人即便把末端移到同一个位置,以不同朝向接近杯子也可能产生不同接触。因此,动作接口需要恢复位置、方向和手指状态之间的关系,不能仅跟踪画面中目标的中心点。

这个视角也解释了为什么视频转动作应单独验证。生成视频可能合理,但接口把尺度或朝向估错;接口也可能准确恢复了动作,而原视频展示的接触本来就无法执行。前一种情况需要改善测量链路,后一种才指向生成行为。

变量直观含义只看二维位置会遗漏什么
位置 p = (x, y, z)夹爪到哪里距离和深度
旋转 R夹爪以什么方向接近接触面与抓取方向
开度 w两指相隔多远是否包住物体
关节配置 q每个关节应到什么位置机器人能否实现该末端姿态

教学投影模型:u = fₓX/Z + cₓ,v = fᵧY/Z + cᵧ;X、Y、Z 为相机坐标,u、v 为像素坐标。

从代码理解一个评测任务

官方仓库把任务逻辑、场景配置与任务注册拆开:前者定义重置、随机化、观测和成功条件,配置负责机器人、物体与相机。预测动作转换为 JSON 轨迹后进入回放脚本;仓库还提供从既有机器人轨迹生成训练图像、深度数据的入口。

我的阅读建议是先选一个抓取任务,顺着初始状态、动作文件、状态更新、成功检查这四个对象看代码,再扩展到长任务。这样容易辨认哪些部分属于模型能力、哪些属于环境约定。本次阅读的机器人脚本只为部分任务提供分阶段评分,阅读论文的统一概念时,也要留意公开实现的具体覆盖范围。以上是代码组织解读,本页未报告复现实验。

代码阅读中的关键发现:“放到盘子上”具体检查了什么

本次阅读的公开任务代码把放置过程拆为顺序推进的三个阶段:接触传感器的力分量超过阈值、物体相对初始高度的绝对变化超过 0.05、放置检查通过。阶段状态保存在环境中,已经获得的阶段分不会每帧清零。放置任务实现

进一步追踪最后调用的函数,会发现它检查的是两物体中心在水平两个方向的距离,分别不超过 0.15;该函数没有检查高度、松开夹爪或稳定保持时间。这是所读代码版本的判定范围,不能反推历史实验的全部执行细节。实际成功判定函数

这个例子值得学习的地方,是自然语言目标和程序条件之间需要明确映射。如果产品要求物体最终稳定停在盘面,水平接近只覆盖其中一部分;如果实验只是评价某个位置节点,这个条件又有它对应的用途。设计评测时,应先写清要测哪一种含义,再决定读取哪些状态。

当前代码观察的量可以直接支持的判断不能仅凭它推出
接触传感器信号发生符合阈值的接触信号已形成稳定抓取
相对初始高度的绝对差竖直位置发生足够变化一定向上抬起且全程未滑落
两个水平方向的中心距离水平位置进入给定范围已经松开并稳定落在盘面

怎样定位一条失败:逐次固定不同环节

把评分写成 S = C(E(A(V), s)):V 是生成视频,A 是动作提取,s 是初始场景,E 是执行过程,C 是结果判定器。这个自定义记号说明,最终分数属于整条测量链路。若同时更换 A 和 V,即使分数提高,也无法只把收益归给世界模型。

下面给出可用于读论文或设计复现的教学对照。每次只替换一个环节,并保留同一初始状态及相应输出,才能缩小原因范围。它延伸了论文将场景一致性与动作回放分开验证的思路,但表中并非论文已经完成的全部实验。论文第 4.4 节

要回答的问题固定什么改变什么结果如何解释
环境是否保留原任务结果同一条底层动作真实场景与重建场景差异主要指向场景、物理或判定差别
动作接口是否丢失行为已成功的视频及场景原动作与恢复出的动作差异帮助定位恢复链路
新世界模型是否更有效场景、提取器、判定器视频生成模型比较固定测量方式下的整体可执行性
失败是否来自一个敏感接触模型视频与场景很小的接触或位姿扰动诊断对接口误差的敏感程度

实验怎么读:先固定任务,再比较模型

下面选取项目网站机器人任务表中的两列,数值是任务成功率。它们展示了同一评价方式下模型与任务之间的差别,不能直接扩展成所有机器人操作的能力排名。阅读其它结果时,还应分别看人手、机器人和纯仿真任务。

我更关注差距发生在哪一步:能够接触目标却不能稳定搬运,与完全没有接近目标,需要不同改进。阶段结果因此适合产生诊断假设,而完整任务结果负责检验改动是否带来实际收益。只提升某个中间分数,仍不足以说明整项操作变好。

机器人视频模型关闭抽屉按按钮
Cosmos0%10%
Wan 2.650%40%
Cosmos 微调版90%60%

读懂阶段成功率:80%、60%、30%不能直接连乘

用十条教学轨迹演示:八条达到接触,六条继续完成搬运,三条最终放置成功。这里的 80%、60%、30% 共用十条轨迹作分母;它们已经包含前序阶段的失败。把三者相乘会重复计算损失。分阶段评测的入口可见官方回放说明。

如果三个事件严格按顺序发生,并且后一步要求前一步完成,正确的条件分解是 8/10 × 6/8 × 3/6 = 3/10。这个分解把最终成功率转成逐段保留率,能够发现本例中最大的流失出现在搬运之后。对真实论文表格,先确认各列的分母和阶段定义,再决定能否这样计算。

阶段累计完成条数占全部十条的比例相对上一阶段的保留率
接触880%80%
搬运660%75%
放置330%50%

顺序事件的教学分解:P(最终完成) = P(接触) × P(搬运 | 接触) × P(放置 | 搬运且接触)

评测系统本身也需要被评测

论文分别检验场景重建与动作提取:七类任务的原动作回放与原成败标签一致;从成功视频提取动作后的回放成功率,人手路线为 97.1%,机器人路线为 95.7%。结论限于所测场景,动作提取及接触误差仍会影响评分。论文第 4.4 节

从这条测量链路得到的工程启发

对执行式评测,最先应该固定的是接口和成功语义。生成视频、恢复动作、重建场景、判定结果都可能引入差异;单次总分无法把这些因素自动拆开。代码级检查和受控回放让分数能够回到具体环节。

这一思路也适用于语言智能体:回复说“已提交”与数据库完成提交应分开观察,再决定修改策略还是运行组件。本页的机器人实验数据来自论文或官方项目表,教学轨迹明确另列;没有报告新的复跑。

我以共同作者身份参与该工作。论文与正式发表信息保留在延伸阅读中;团队方法、公开实现和我在本文提出的教学分析分别陈述。

相关资料

论文第二版 · 2026.05.14 ↗项目网站与执行示例 ↗官方评测代码 ↗CVPR Workshops 正式论文 ↗State of AI Report 2026 · 第 36 页 ↗