黄胜泽研究与实践
← 返回论文研究

RoboWM-Bench

视频里做成了,机器人就真的能做成吗?

把预测视频恢复成机器人动作,检查画面里的操作能否真正完成。

从一个例子开始

一段视频里,手指碰了一下杯子,杯子就被拿起来了。画面可能足够连贯,但真实抓取需要接触、力度和几何关系同时成立。机器人真去做一次,会发生什么?

如果世界模型的预测要帮助机器人行动,就需要评价它是否包含足以执行的物理关系。

一步步想清楚

  1. 01

    画面合理与动作可执行,回答不同问题

    视觉评价观察生成画面。机器人还要满足关节、接触和物体运动约束,才能完成操作。

  2. 02

    视频需要通过动作接口进入执行

    人手视频需要跟踪和重定向,机器人视频需要恢复动作。执行之后,才能检查抓取和放置等步骤。

  3. 03

    评价流程本身也要被检查

    动作恢复不准或仿真不可靠,也会让执行失败。需要分别检查这些接口,才能更清楚地理解世界模型的不足。

先记住这条线

01

生成操作视频

从场景和任务预测未来行为

02

恢复并执行动作

映射到机器人的实际动作

03

检查步骤与任务

看是否抓住、放好并完成目标

我参与的工作,具体怎样落地

  1. 准备一致的场景与任务

    用标准仿真及真实场景重建环境,让模型从对应观察出发生成操作视频。

  2. 走两条视频到动作的路径

    人手视频通过三维跟踪与重定向形成末端动作;机器人视频通过逆动力学恢复关节动作。

  3. 评价执行,并校验评价接口

    检查步骤和最终任务成功,同时对动作恢复和真实到仿真的一致性进行单独验证。

回到具体情境

视频里的手指只是碰到杯子,杯子却被抬起。把预测动作放进仿真后,没有稳定抓取,杯子就不会跟着移动。执行结果因此暴露了画面看起来合理时隐藏的问题。

做出了什么,结果意味着什么

相比只看画面质量的评价,执行式评价能区分接触不稳、几何不一致和长时序累积错误,让模型比较直接对应“机器人能否做成”。论文获 CVPR 2026 WMAS Workshop 最佳论文奖。

执行评价暴露了接触不稳、几何不一致和长时序累积失败。这让模型比较更直接地对应“机器人能不能完成任务”,也为视觉评价补充了不同的信息。

我怎样理解这件事

这项工作把世界模型的评价拉回一个具体问题:预测行为能不能被机器人执行。视觉评价和执行评价各自提供信息,后者尤其能暴露接触和几何上的问题。

执行失败也可能来自动作恢复或场景重建,因此评价流水线本身必须被检查。一个有解释力的 Benchmark,需要知道自己在哪些环节可能出错。

想再往里看一点?

几个名字,放回上下文理解
世界模型
这里指从当前场景与任务生成未来操作视频的模型。
重定向
把人手运动映射为机器人能够执行的动作。
逆动力学
从状态或画面变化估计导致这种变化的动作。
完整方法图与技术路径
RoboWM-Bench 完整方法图
先看预测视频,再看人手和机器人两条动作恢复路径,最后看动作在仿真里能否完成步骤和整个任务。

给定初始场景和任务,先生成操作视频。人手视频经三维跟踪、重定向恢复机器人末端动作;机器人视频经逆动力学恢复关节动作。将动作放到统一仿真与真实场景重建环境执行,评价中间步骤和最终任务,并分别验证动作恢复与仿真一致性。

为什么需要仿真?

它让不同模型在可控、可重复的条件下执行动作,并观察物理交互后果。重建环境还需要检查是否保留了任务相关的真实约束。

继续读

公开论文 ↗项目网站 ↗
另一项相关的工作

会独立做题,是否也意味着会与别人配合?

用需要配合或竞争的环境,观察单人任务看不到的交互能力。