从一个例子开始
一段视频里,手指碰了一下杯子,杯子就被拿起来了。画面可能足够连贯,但真实抓取需要接触、力度和几何关系同时成立。机器人真去做一次,会发生什么?
如果世界模型的预测要帮助机器人行动,就需要评价它是否包含足以执行的物理关系。
一步步想清楚
- 01
画面合理与动作可执行,回答不同问题
视觉评价观察生成画面。机器人还要满足关节、接触和物体运动约束,才能完成操作。
- 02
视频需要通过动作接口进入执行
人手视频需要跟踪和重定向,机器人视频需要恢复动作。执行之后,才能检查抓取和放置等步骤。
- 03
评价流程本身也要被检查
动作恢复不准或仿真不可靠,也会让执行失败。需要分别检查这些接口,才能更清楚地理解世界模型的不足。
先记住这条线
生成操作视频
从场景和任务预测未来行为
恢复并执行动作
映射到机器人的实际动作
检查步骤与任务
看是否抓住、放好并完成目标
我参与的工作,具体怎样落地
准备一致的场景与任务
用标准仿真及真实场景重建环境,让模型从对应观察出发生成操作视频。
走两条视频到动作的路径
人手视频通过三维跟踪与重定向形成末端动作;机器人视频通过逆动力学恢复关节动作。
评价执行,并校验评价接口
检查步骤和最终任务成功,同时对动作恢复和真实到仿真的一致性进行单独验证。
视频里的手指只是碰到杯子,杯子却被抬起。把预测动作放进仿真后,没有稳定抓取,杯子就不会跟着移动。执行结果因此暴露了画面看起来合理时隐藏的问题。
做出了什么,结果意味着什么
相比只看画面质量的评价,执行式评价能区分接触不稳、几何不一致和长时序累积错误,让模型比较直接对应“机器人能否做成”。论文获 CVPR 2026 WMAS Workshop 最佳论文奖。
执行评价暴露了接触不稳、几何不一致和长时序累积失败。这让模型比较更直接地对应“机器人能不能完成任务”,也为视觉评价补充了不同的信息。
我怎样理解这件事
这项工作把世界模型的评价拉回一个具体问题:预测行为能不能被机器人执行。视觉评价和执行评价各自提供信息,后者尤其能暴露接触和几何上的问题。
执行失败也可能来自动作恢复或场景重建,因此评价流水线本身必须被检查。一个有解释力的 Benchmark,需要知道自己在哪些环节可能出错。
想再往里看一点?
几个名字,放回上下文理解
- 世界模型
- 这里指从当前场景与任务生成未来操作视频的模型。
- 重定向
- 把人手运动映射为机器人能够执行的动作。
- 逆动力学
- 从状态或画面变化估计导致这种变化的动作。
完整方法图与技术路径
给定初始场景和任务,先生成操作视频。人手视频经三维跟踪、重定向恢复机器人末端动作;机器人视频经逆动力学恢复关节动作。将动作放到统一仿真与真实场景重建环境执行,评价中间步骤和最终任务,并分别验证动作恢复与仿真一致性。
为什么需要仿真?
它让不同模型在可控、可重复的条件下执行动作,并观察物理交互后果。重建环境还需要检查是否保留了任务相关的真实约束。
继续读
公开论文 ↗项目网站 ↗会独立做题,是否也意味着会与别人配合?
用需要配合或竞争的环境,观察单人任务看不到的交互能力。