返回World Model系列

世界模型 · EP01

世界模型EP01:对话高深远——DreamZero&DreamDojo 世界模型与机器人智能的新范式

与高深远对话,理解DreamZero、DreamDojo、World Action Model及机器人世界模型的技术路线。

渣大米2026-03-1840 分钟阅读微信公众号原文
文章目录

世界模型这个概念,从2024年偶尔听到,到如今已经非常热门。延续之前的三个系列科普,Robot DataEP10 Robot Data第一季访谈总结,和Human Data总结篇:Human Data—The “Key” to Robot Data,以及Robot Foundation model系列,2026年上半年,石麻笔记会对世界模型做一个系列科普。

世界模型第一篇,我们有幸邀请到DreamZero和DreamDojo两个工作的参与者,高深远博士。他目前是香港科技大学的PhD,主要的研究方向是interactive world model以及相关课题。他同时也是英伟达研究院GEAR的成员,与Yuke Zhu和Jim Fan合作。

石麻笔记会在2026年上半年对世界模型系列持续更新。我是一个科技博主,也是一个投资人:如果你在世界模型方向上有好的学术工作,欢迎推荐给我来做访谈;如果你在思考世界模型方向的创业,也欢迎和我交流创业与融资的问题,我们非常期待能在最早期支持到有创业想法的年轻人。新的时代,期待相遇。

查看原文目录

以下为本文目录

👇

1. World model路线分类

2. 什么叫world action model(WAM)?

3. 自动驾驶和机器人的world model的区别

4. Dreamzero的方法介绍

5. DreamDojo方法介绍

6. DreamZero和DreamDojo如何联动

7. 怎么看3D数据

8. 数据怎么进一步迭代

9. world model怎么和RL结合

1. World model路线分类

对“world model” 这个概念来说,这个名词最早应该是从做RL的人那里来的。因为在强化学习里,需要有一个model,对环境进行建模,而这个环境就可以理解为world。简单来说,world model本质上是一个state transition function:输入是action和state,输出是下一个state。它和policy是一种互补关系。可以理解为,你把action交给world model,world model告诉你下一个state;这个state 再交给policy,policy再输出新的action,如此反复,与world model持续交互。

我开始做world model,是因为当时在上海AI Lab做intern。那时候特斯拉已经做出了一些world model的工作。我一开始做的是自动驾驶数据合成,当时正好image diffusion、video diffusion刚出来一些工作。我在用diffusion做自动驾驶数据合成时,就在想,既然可以用diffusion做数据生成,为什么不直接做一个world model?于是我们收集了一个很大的数据集,开始做world model。

从流派上讲,world model在最抽象的层面就是一个action-conditioned的状态转移方程。但action可以有多种模态表示,state的表示形式也可以有很多种。

Video Generation Model-Pixel Space

目前最主流的是基于video generation的world model,因为这种方式最scalable,完全data-driven,也得益于video diffusion的发展。

JEPA

JEPA这一类的方法,是Lecun一直在推的。他的核心观点是:state不应该表示在pixel space,而应该表示在latent space。原因在于,他认为预测pixel对decision making并不合理。他喜欢举例说,人进入一个新房间时,不可能精确预测每一个像素;在街上行走做决策时,也不会去预测每个人的脸长什么样。这些低层次的细节既几乎不可能预测,也与决策无关。让模型去预测这些内容,只是在消耗容量,去拟合本质上无法预测、也无助于决策的东西。因此,过于low-level的信息不应该成为world model的预测目标。

他的想法是构造一个更具语义性的latent space,在这个空间中进行预测,只保留对decision making有用的信息。这个latent space可以通过unsupervised方法,或者借助其他task的监督来构造,使其对决策更有帮助,同时避免预测低层细节。这是Lecun他们那一派的思路。

JEPA里提到的EMB模型,可以参考专访Yilun Du:基于EBM和视频生成的具身智能研究路线

Dynamics Model

另外一类是dynamics model。其实world model和forward dynamics model在定义上基本一致。北美一些学者在推的dynamics model,核心区别在于state的表示方式。他们会把state 表示为高度抽象的结构,比如key points,或者graph结构,用来表示物体状态及其与手的关系。这种表示既不是latent space,也不是video的pixel space,而是非常抽象的结构化表示,可能包含key points或物理属性。

这种方法的好处在于,早期或传统robotics很喜欢这种高度抽象的表示。因为它便于few-shot或zero-shot迁移,可以快速把人的demonstration迁移到新任务上。但在我看来,这类方法通常需要很多假设,例如对物体材料属性的假设,以及较强的归纳偏置。它本质上不是一个完全data-driven的方法,虽然在小样本场景下可能很有用,但难以充分受益于大规模数据,因为其中加入了大量人工prior。

Yunzhu在Dynamics Model方向上有很多探索,可以参考之前的访谈对话李昀烛:通用操作新解法——基于学习的动力学模型

3D Word Model

还有一类是李飞飞World Lab为代表的3D路线。我认为这种方法有优点也有缺点。它的流程是把next state prediction拆成几个阶段:首先显式地用3D表示重建整个世界;重建完成后,如果改变动作或视角,再进行生成和render,从而得到下一个observation。也就是说,它把next state prediction分解为“重建”和“render”两个步骤。

优点是因为显式进行了3D重建,空间一致性可以做得非常强。但render这一步是单独处理的,因此整个流程不是纯end-to-end。简单来说,3D世界重建好之后,如果有行人行走、车辆运动、液体流动等动态过程,这些dynamics需要单独再去模拟。可以通过rule-based方法,也可以通过learning方法,但世界重建和dynamics模拟是decouple的,不是统一的端到端建模。整体而言,这种dynamics的模拟方式不算特别scalable。

基于物理引擎的World Model

还有一类world model,是英伟达等在推的基于物理引擎的world model。物理引擎本身就具备world model的功能:给它action,它就能模拟出下一个state。优点是physics可以非常精确,例如完全符合牛顿定律。但问题在于,它很难做到足够diverse。引入新的物体通常需要手工设计assets。不过这点也在改善,现在有很多3D generation方法可以自动生成大量assets和场景。

总体来看,这一类方法在pipeline上和李飞飞那种3D路线类似:先进行重建,再用某种方式模拟dynamics,最后render出结果,并不是一个纯end-to-end的方法。

Genesis也是这条路线,可以参考之前的访谈Genesis 发布:全新机器人物理引擎——它会变革机器人仿真吗?

2. 什么叫world action model(WAM)?

这是一个非常好的问题。我们之所以称它为world action model,是为了强调模型同时预测action的能力。

像DreamZero以及一系列类似的工作,本质上也可以看作world model。传统意义上的world model可以理解为一个state transition function:输入是state和action,输出是下一个state。在这种框架下,作为条件输入的action可以有多种不同形式。

DreamZero其实是把world model和如何根据未来state的预测decode出action的inverse dynamics model组合到了一个模型中。如果把它看作一种world model,那么其中的action实际上是task instruction,也就是文本形式的任务描述。与经典的state transition型world model不同的是,DreamZero不仅预测未来state,还会同时预测action。也就是说,模型以state和task instruction作为输入,同时输出未来state和low-level action。因此它包含了action的联合预测。

也正因为如此,我们称这类模型为world action model,强调它是在同时建模world(状态)和action(动作)。这里的“world” 实际上可以理解为state的表示形式。目前的实现通常把state表示为video模态,也就是视觉世界的变化。

但从更广义的角度看,world不一定只包含视觉信息。未来也可以加入音频、触觉等多模态信息,共同构成一个更完整的world state。因此称为world action model,是因为它在建模一个多模态的世界状态,同时预测对应的动作。

3. 自动驾驶的world model和机器人的world model的区别

我对此感触很深,因为我是从自动驾驶转到机器人world model的。

在自动驾驶领域,比如华为,也提出过类似world action model的框架。本质上思路是一致的:利用world future prediction对action policy进行pre-train或co-training,从而提升action预测效率。很多工作的形式与我们相似,例如joint action–video prediction。

不过,在具体实现上存在差异。有些方法采用交替预测;有些在预测action时移除world分支,仅训练action;也有一些与我们一样,进行state和action的联合预测。从概念层面看,这些方法是一致的,但在训练策略和建模细节上有所不同。

这些差异主要来自任务本身的不同。自动驾驶的任务结构相对单一,本质是到达目标点并保证安全;而机器人任务更接近open-world场景,任务类型高度多样。自动驾驶的action space也相对简单,通常可以抽象为waypoint规划,可能仅为两自由度;机器人控制则具有更高自由度,控制维度和动作组合复杂得多。

从框架角度看,两者可以采用类似的方法。例如,有一种推测认为,特斯拉可能将自动驾驶中的world model迁移到Optimus,用于机器人场景。自动驾驶确实是一个更容易起步的world model场景。

原因主要有三点。第一,数据规模极其充足,是具身智能任务中数据最丰富的领域之一。第二,action space简单,本质上是路径或waypoint 规划。第三,也是关键的一点:自动驾驶的核心目标是安全,即避免碰撞。虽然场景是开放的、动态的,但不同物体之间原则上不发生接触。因此,world model主要需要建模运动轨迹,而不需要精确模拟复杂的物理接触和材料属性。

相比之下,robotics的难度显著更高。即使是抓取一条毛巾这样的任务,也涉及软体形变和复杂接触建模;而机器人可能接触的物体种类极其多样,每种物体都具有不同的物理属性和交互方式。因此,从建模本质上看,robotics的world model比自动驾驶复杂得多。

4. Dreamzero的方法介绍

如果从VLA(Vision-Language-Action)定义上来看,VLA通常有两种理解方式:一种是基于预训练的VLM变成一个可以输出action的policy另一种广义上是强调不同模态组合,但核心是video/vision+language多模态输入到action的映射。DreamZero既有video和language作为输入,又输出action,因此从广义定义上讲,它也属于VLA。

图片

这个方法本质上是比较直接的。我们从一个现有的video model出发,它本身是一个text-conditioned的video prediction model。也就是说,它以当前帧和文本作为condition,可以预测未来的视频。

在这个基础上,我们没有改变原有的视频预测能力,而是额外加入了action预测。具体做法是增加两个模块:action encoder和action decoder,把action编码到与video相同的latent space中。这样,模型在预测未来video的同时,也能够预测未来的action。这是模型的基本功能。

在训练方面,我们使用了大量AgiBot的数据。原始模型只能预测未来视频,我们通过监督训练,让它同时预测未来的视频和未来的action。也就是说,在真实数据上,我们同时对未来视频和未来action进行监督。

训练完成之后,这个模型也可以继续fine-tune到其他embodiment上。你可以用其他机器人的数据集,对它的视频模态和action模态进行进一步监督,使其适配不同的机器人平台,从而变成其他embodied场景下的policy。

数据采集方式上,是在机器人执行任务时,同时记录视频和对应的关节控制数据。也就是说,一边记录视觉观测,一边记录低层action。

数据采集的特色

与之前模型不同的一点在于,我们的数据收集方式非常强调diversity。这里提到的VLA,指的是从VLM演化而来的那类VLA模型。过去训练VLA时,通常是针对某一个固定task,比如pick-and-place,采集50条或100条轨迹,数据在任务层面是高度重复的。

而在做DreamZero时,我们采用了不同的数据策略。我们让contractor操作机器人在环境中自由移动和执行各种动作,很多动作可能只做一遍,然后事后再对整段轨迹进行文本标注。过程中也允许做导航、允许出错,不刻意约束动作流程。

因此,我们的数据通常很长、非常diverse。几乎找不到两条完全相同的轨迹,也很难找到严格重复的任务流程。核心目标是模拟实际人在工作中能够采集到数据的方式,相比传统的在单一任务上雇人反复采集,这种工作中(如家政服务)顺带得到的非重复数据更容易建立scalable的采集模式。

之所以world action model能从diverse数据中更有效地学习,主要可能是这些原因:

Video Model比VLM“降低歧义”

过去从VLM迁移过来的VLA,本质上是在学习一个从task instruction到action的映射。它们在预训练阶段是language model,因此核心模态是text。但text对low-level action的表达并不充分,信息损失很大。

举个例子,如果在text space里做planning,说“拿起水瓶”,这个描述本身并不包含具体的执行细节。你并不知道手该从什么角度接近,用什么姿态抓握,施加多大的力。也就是说,从text到具体action之间存在很大的不确定性。因此,之前的VLA在单个任务上需要采集大量轨迹数据,让模型在具体任务中把“action 应该怎么做”也一并学出来,然后再decode成低层控制信号。

这些模型从VLM继承的能力,更多是high-level的理解和规划能力,但对于“具体怎么做动作”以及如何把语义decode成可执行action,并没有在预训练阶段学到。

相比之下,如果使用video做planning,情况不同。还是“拿水杯”这个例子,如果模型已经预测出了未来的视频,那么在不考虑遮挡等问题的情况下,执行细节基本已经确定:手的姿态、接近路径、抓握角度,这些都包含在视频里。video本身已经给出了一个具体、无歧义的执行结果。

在这种情况下,把模型变成policy时,只需要学习一个从video到action的映射。这个映射几乎是确定性的,因为video已经包含了所有底层细节。模型不再需要从text 去推导具体动作,只需要学会如何把一个已经确定的视觉计划decode成控制信号。

因此,我们不需要针对单个任务反复采集大量数据来教模型“pick 应该怎么做”。从text到planning的映射,其实在video pretrain阶段已经通过视觉建模学到了,而且相较于language,video的信息损失更少,表达更具体,结果也更确定。

基于这种理解,我们更关注收集足够diverse的数据,让模型学好从video到action的映射,而不是围绕单个任务做大量重复采样。核心在于覆盖更多变化,而不是增加同一任务的轨迹数量。

WAM在数据利用效率上的提升

除了刚才讲的“video planning 降低歧义”这个好处之外,我们还发现,用world action model去训练,在数据利用效率上非常高。这个其实不是最近才发现的,而是我们之前的一些结论,但最近的结果把它进一步验证了。

之前从VLM迁移过来的VLA,本质上是把一个很大的VLM反向微调成policy。监督信号通常只是action。也就是说,你用一个低维的action信号,去监督一个原本以video或language为核心的大模型,把它改造成policy。这种监督是非常稀疏的。

而且之前也有不少工作发现问题,比如diffusion类的action监督目标,与原始VLM的训练objective并不一致。因此,现在很多主流做法是新初始化一个action expert,再单独训练。但无论怎么改,核心问题没有变:action本身是低维信号,对数据的利用效率不高。

world action model的一个优势在于,它是同时监督video和action。数据里既有video,也有action,而video提供的是非常dense的监督。每一帧视频都在约束模型对未来状态的预测,不仅仅是最后那一个action。换句话说,在同一条轨迹中,你既有action维度的监督,也有逐帧的视频监督,因此对数据的利用效率更高。

WAM的表现

这个现象最近在benchmark上得到了验证。北美的AI2推出了新的benchmark,Robot Arena也有一个benchmark。我们在这两个benchmark上都超过了π0.5。DreamZero上周已经是第一名,而且这个结果是在没有使用AgiBot自有数据的情况下取得的。

我们只使用了joint data,用相同的数据训练world action model,就超过了π0.5。值得强调的是,π0.5使用了大量cross-embodiment的数据,包括双臂数据,以及Open X Embodiment上多个高校采集的数据,是一个大规模数据训练的结果。而我们只用joint data做fine-tune,就达到了第一。

这实际上印证了前面说的两点。第一,传统的VLA需要大量重复数据,去弥补language到具体action之间的歧义。第二,video model本身提供的是一个失真更小、更加确定的plan表达,因此把它转成policy时,只需要学习一个从video到action的映射,而不是重新学习language到planning的过程。

同时,由于video提供的是dense监督信号,数据中的每一帧都在被利用,所以在fine-tune阶段效率会明显更高。这也是我们在相对更少数据下取得较好效果的原因之一。

关于Latent Action的Insights

有意思的一点是,我们这几个人之前也在做latent action。我觉得latent action里其实有不少insight。我们观察到,首先video model已经能够把action这件事做得很好,但纯video的VLM本身并不具备这种能力,因为它的失真很大。

另外,我们发现可以从video中用unsupervised的方式抽取action表示。latent action简单来说就是:通过一种自监督的方法,从video中抽出一个latent。这个latent里action相对于噪声的比例很高。我们可以把一个video压缩到一个很小的维度,并且能从这个latent里直接把action信息提出来。

这说明两件事:第一,video和action之间本身是一个非常确定的映射;第二,我们甚至可以完全通过无监督的方法,从video中提取出表示action的信息。因此,这个映射是非常好学的。相较之下,从language embedding到action的映射要难学得多。

所以world action model的结构可以理解为:video已经完成了一个非常确定性的plan;同时video到action的映射又是非常好学的。这样两个阶段都更容易学习,合起来就会带来更高的数据利用效率。我感觉这也会给“怎么收集pretrain data”带来更大的探索空间。

WAM的效率问题

但如果问world action model(或者说video action model)最大的问题是什么,我觉得是推理效率。DreamZero这篇paper里很大一部分工作其实都在做推理优化,我们大概把速度优化了30倍。去年刚做的时候,实时evaluation完全没法看:执行一下就停一下,执行一下又停一下。

不过这个项目也给了我一个很明确的认知:可以通过纯工程优化,把模型推理成本降到很低。以前大家对video model/world action model这条路线的普遍认知是“模型慢,推理时肯定比不过VLA”。但在闭环控制里,效率本身非常关键。policy的执行是close-loop的,执行频率越高,纠错频率就越高;执行频率越高,本身也会提升成功率。

反过来,如果执行是“走一下停一下、走一下停一下”,哪怕policy的loss很低,也可能带来成功率损失,因为纠错频率太低了。

一开始我们其实很担心推理效率的问题,也尝试过很多蒸馏方法,希望把模型压小、把推理速度提上来。但后来发现,单靠工程优化就可以把整体速度提升大约30倍。

具体来说,很多优化其实是比较零碎的工程手段,比如使用torch.compile,做KV cache,多GPU并行推理,以及整体的推理pipeline重构。我们的模型推理代价确实很高,需要部署在高端多卡服务器上,不是普通单卡就能跑的。通过多卡并行和系统层面的优化,整体延迟被大幅压缩。

而且现在很多工程优化,其实可以借助更先进的系统工具自动完成。只要设计好推理结构,很多性能问题可以通过系统层面的优化解决。当然,硬件仍然是前提,高端GPU资源是必需的,这个问题本身无法绕开。

关于模型规模,DreamZero最终版本使用的是14B参数模型,规模本身很大。后来我们也测试过更小的模型,效果会有所下降,但具体取决于底层backbone的选择。有些小模型在合适的结构下,性能下降并不明显。

至于蒸馏,我们也做过实验,但收益并不显著。回顾整个过程,一开始我们极度追求video质量,用大模型、很多denoising step;后来意识到推理效率是关键,于是逐步减少对video质量的强调,降低step数。最终甚至做了一个“flash”版本,在video尚未完全denoise的情况下就直接输出plan。这样一来,step数本身已经被压到很低,比如四步甚至一步。

而蒸馏的目标往往也是减少denoising step,比如从多步压到四步或一步。当我们本身已经在推理结构上把step数压缩到接近这个级别时,蒸馏带来的额外收益就不明显了。所以相比算法层面的蒸馏,系统级优化和推理结构设计带来的收益更直接。

从长期来看,更小规模但能力更强的模型一定会持续出现,工程优化也会持续演进,因此推理效率不是一个根本性的障碍。

5. DreamDojo方法介绍

DreamDojo是一个low-level action的world model simulator。给定机器人的action,它可以预测未来的state。类似功能的模型其实也有,比如Deep Mind的Genie系列,那类模型可以通过键盘控制生成的环境,在一个生成的世界里进行操作,而且泛化能力很强,例如对任何生成的图片场景都可以进行交互。

0

但在机器人领域,以前的low-level action world model通常做不到这种泛化。大多数方法都是在一个固定数据集上训练,然后在几乎相同的设置下进行评测。例如,在某个实验室的桌面场景、固定视角下训练一个action-conditioned world model,然后在同样的setup下做reinforcement learning或evaluation。模型几乎只能在训练数据的场景和action分布中工作。

而world model的真正目标其实不是这样,尤其是video-based world model,它真正的潜力在于泛化能力。例如在test-time可以做MPC,通过world model在不同action下预测未来状态,从而提升模型在不同场景和不同action distribution下的泛化能力。如果训练数据始终来自同一个场景、同一种action分布,那么模型实际上并没有学到真正的world dynamics的泛化能力,policy的泛化也不会提升。

问题在于,机器人数据本身很难做到足够diverse,因为通过遥操作采集机器人数据成本很高。另外,大部分现有机器人数据都是expert demonstration,很少包含随机行为或失败数据,因此action distribution也比较窄。

用人类数据提高泛化性

所以我们考虑了另一种数据来源:人类数据。人类可以被看作一种“机器人本体”。从互联网视频中可以获得非常大量的人类行为数据,其中包含各种各样的object interaction和场景变化。这些在机器人数据中是很难覆盖到的,因为如果要让机器人去操作各种物体,就必须真的去购买这些物体并采集数据,而人类视频里这些内容天然就存在。

同时,人类行为的action distribution非常丰富。人在做各种动作,一旦规模足够大,这种数据的diversity就会非常高。因此我们构建了一个大约4万小时的人类视频数据集,用于pretrain action-conditioned world model。

但人类数据也有一个问题:人类和机器人是不同的embodiment。因此需要给模型提供某种action label。一个简单做法是通过手势估计模型,从视频中提取手部pose,再把这些姿态作为action表示。但这种方式有很多问题。

首先,在非常diverse的互联网视频中,手势估计的精度往往不高。很多手势估计模型假设相机是固定的,比如第三人称视角的静态相机,而人类视频通常是头部摄像或移动摄像,视角不断变化,因此估计精度会下降。其次,手势本身是一种非常具体的表示,比如五指结构的手部姿态,这对其他机器人本体(例如夹爪)并不友好。

因此我们最终采用了latent action。latent action的好处是,它可以从video中以自监督方式直接提取,不需要额外标注,也不依赖其他模型。同时可以控制其信息量,使其既包含与动作相关的信息,又不会过于绑定到某一种具体embodiment。例如,如果直接用手势作为action表示,很多信息会被限制在“手”的结构里;而latent action可以保留更一般的运动信息,因此对不同机器人本体的transferability更好。

整体方法是:先通过大规模人类数据进行pretraining,提升模型的泛化能力。在这个阶段,模型已经能够很好地预测动作和场景变化。之后,再通过蒸馏进行优化。

蒸馏

原始模型是chunk-wise prediction:每次预测一段未来序列,比如一次预测12帧latent frame。这种方式的一个问题是,如果只想得到第一帧结果,也必须等待整个12帧预测完成,这会影响交互速度。为了解决这个问题,我们在后续增加了一步蒸馏,把模型变成autoregressive prediction,且需要的去噪步数更少。这样模型可以逐步输出latent frame,例如每预测4帧就可以解码一次并进行交互。

这样做有两个好处:一是推理速度更快;二是交互频率更高。在很多应用场景中,例如test-time search,world model需要在不同action下反复模拟未来状态,然后选择最优action。如果world model引入的latency太大,就会降低整个closed-loop control的频率,从而影响最终性能。因此模型越快越好。

另外还有一个比较有意思的应用:因为world model本身可以模拟机器人行为,我们甚至可以直接用VR设备来控制模型中的机器人。模型运行在电脑里,你通过VR把动作转换成robot action,就可以在world model中“遥操作”一个虚拟机器人。虽然这个机器人并不存在于真实世界,但你可以通过视频看到它的行为。

如果未来world model足够稳定、泛化能力足够强,那么任何人只要有一台电脑和一个VR设备,就可以在world model中进行数据采集或机器人操作,而不需要真实机器人。这实际上相当于用world model替代传统仿真器。

当然,目前如果要部署到真实机器人上,仍然需要一定的real-world data来做校正。world model可以作为数据增强或co-training的来源,但完全替代真实数据目前还不现实。不过随着数据规模扩大,以及模型通过data-driven的方式学习更多物理规律,这个gap未来可能会逐渐缩小。

6. DreamZero和DreamDojo如何联动

这两个工作都包含world model的功能。前面说过,world model本质上是一个action-conditioned的future state prediction。在这个意义上,DreamZero和DreamDojo都属于world model,只是它们建模的action层级不同。

DreamZero接收的action是相对high-level的,它的输入是text prompt。也就是说,它以文本形式的task instruction作为条件,输出对应的world state和low-level action。这里输出的action是可以直接被机器人执行的。因此,DreamZero本身既是一个world model,也是一个policy。给定文本指令,它直接产生动作,同时预测在该指令下world的演化结果。有了这种能力之后,你就可以在text prompt这一层做planning。因为模型能够预测不同文本指令下world的未来状态,所以可以在高层语义空间进行search和optimization。这是一种high-level planning。

DreamDojo的动机则不同。它的输入也是action,但这里的action是low-level action——也就是DreamZero输出给机器人的具体控制信号。DreamDojo在给定low-level action 的情况下,预测未来state。因此,DreamDojo更像一个低层物理模拟器。

从robotics的视角理解,可以把DreamDojo看作simulation,而DreamZero更接近policy。不过,如果把text也视为一种action,那么DreamZero同样可以充当simulator:当planning不仅是action planning,还包含high-level task decomposition(例如通过 VLM 提出步骤:先叠这个,再叠那个)时,在这个语义层面做planning也需要一个simulator,而DreamZero就提供了这种text-conditioned simulation能力。

因此,整体上可以这样理解:DreamZero:text-conditioned world model,同时也是policy,支持high-level planning;DreamDojo:low-level action-conditioned world model,更接近物理仿真器,支持low-level optimization与search。两者分别对应不同层级的建模与规划。

举个例子来理解,比如“把东西放进冰箱”这个任务,在high-level层面可能有多个文本选项:先打开冰箱门,还是先把东西放进去,还是先关门。DreamZero可以对每一个文本步骤进行预测,也就是“想象”执行这个步骤之后world state会发生什么变化。你可以比较不同文本步骤带来的后果,然后做出选择。所以在这个层面上,它既是一个policy,也可以作为high-level的simulator,用来在文本planning层面做search。

DreamDojo则不同。它接收的是low-level action。比如high-level已经确定当前步骤是“打开冰箱门”,但具体怎么打开仍然有很多种轨迹:手从什么角度伸过去、以什么路径接触门把手、怎么施加力、轨迹怎么走。这些都是low-level action的差异。DreamDojo在给定某一条low-level action轨迹的情况下,预测未来的state,因此可以评估不同轨迹的结果,例如成功率等。

所以可以这样理解:DreamZero在文本层面决定“下一步做什么”,并且预测这样做world会变成什么样;DreamDojo在低层控制层面预测“具体这样执行会发生什么”。也就是说,DreamZero既可以直接作为policy使用,也可以在high-level planning时充当文本层面的simulator;DreamDojo则是在low-level action空间中,对具体控制轨迹进行预测和搜索。整个过程是从high-level语义决策逐步落到具体可执行的控制动作。

刚才描述的那个pipeline,本质上是test time的使用方式。也就是说,在推理阶段,你利用DreamZero和DreamDojo做search、做优化,逐层把high-level决策落到low-level执行。

但当你拥有world model之后,它的用途并不只限于test time planning。它还可以作为simulator,用于训练。例如,你有两个simulator(DreamZero 和 DreamDojo),完全可以用它们来做training,而不仅仅是在推理时做搜索。

DreamZero本身最基本的功能是一个policy:给定当前state,输出action。虽然它也会同时预测state,但如果只使用它的action输出,它就是一个标准的policy。基于这一点,可以把DreamZero和DreamDojo直接拼接起来使用。

具体来说,DreamZero输出action,把这个action交给DreamDojo;DreamDojo根据这个action预测下一个state;再把这个state反馈给DreamZero;DreamZero再输出下一个action。两者就形成一个交替交互的闭环过程。

在这种模式下,它们可以在纯模型内部运行,不依赖真实环境,形成一种类似self-play的机制。也就是说,不只是test time做search,它们本身也可以构成一个可用于训练、评测或策略改进的内部仿真系统。

7.怎么看3D数据

目前的数据采集方式对设备的要求是非常低的,而且也与目前大量现存的人类视频数据形式是对齐的。我们采集的数据本质上都是RGB视频,没有额外的3D信息。

从我们的角度来看,现在很多使用video world model的工作,其实都在尝试把各种信息统一对齐到video这个模态上。一旦有了video,很多信息其实都可以从中提取出来。比如3D信息是否一定需要单独采集,或者是否一定需要在模型里显式建模,我个人现在的看法是,可能并不一定需要。

原因是,一旦显式引入3D表示,往往就会把原本end-to-end的pipeline变成一个多阶段系统。而video-based的world model其实已经可以通过数据驱动的方式学习很多原本在graphics里需要显式3D建模的知识。例如,video prediction模型本身就可以通过长时间的temporal memory来捕捉空间结构和物体关系。很多这样的能力,其实在没有显式3D建模的情况下,也可以通过data-driven的方式学出来。

因此,从数据层面来看,我们使用的是纯RGB的egocentric数据。采集方式是在人头部佩戴摄像设备,记录第一视角的视频,同时也会记录双手操作的过程。形成的数据就是一个第一视角的RGB视频序列。在实际训练中,模型主要使用头部视角的视频信息。

这些数据是通过众包方式采集的,只记录人类在真实环境中操作物体的过程。这样做的好处是非常scalable,因为目前互联网上绝大多数视频数据本身也是这种RGB视频形式。

在我们的工作中,并没有混用互联网视频数据,而是全部使用自己采集的数据。主要原因是我们已经采集到了一个规模和多样性都比较可观的数据集,因此暂时没有必要再引入互联网数据。

目前的数据规模大约是4.4万小时的人类操作视频。关于具体采集细节,例如参与人数、采集周期等细节,这里就不展开讲了。总体来说,这种采集方式效率很高,而且设备简单、便携,采集效率明显高于很多需要复杂设备的方案。

相比一些需要专门设备的数据采集项目(例如需要复杂硬件的机器人数据采集),这种方式的速度会更快,因此在数据规模扩展上也更有优势。

8.数据怎么进一步迭代

这个问题其实非常关键。我感觉在video model这一类方法里,数据确实是最核心的问题。我们刚才讨论了两个模型——DreamZero和DreamDojo,它们对数据的需求其实是不一样的。

DreamZero本质上是一个policy,因此它需要的数据主要是expert demonstration。也就是说,数据里的行为应该是围绕任务执行的动作,可以允许有一些错误恢复,但不能包含大量无意义的随机动作。整体上还是要体现“完成任务”的过程。

目前DreamZero使用的数据主要还是机器人数据,不过理论上也很容易把human data加进来。因为它的训练里有两种监督信号:一个是action supervision,一个是video supervision。在某些情况下甚至可以只用video supervision。比如机器人数据里我们有三个视角,我们就用一个很简单的方法,把三个视角直接拼成一个grid,让模型去预测,这样对pretrain的video model影响最小。如果是human data,只有单视角的视频,也可以直接用同样方式加入训练。只用video监督时,它依然能提升模型对任务执行过程的理解能力。也就是说,有了video监督之后,可以做很多形式的co-training。

DreamZero未来发展的重点,主要还是在场景和物体的diversity上,目的是更好地把本来通用的视频预测规划能力正确地映射成action。

而DreamDojo的数据需求又不一样。DreamDojo的核心功能是模拟action的未来结果,也就是一个action-conditioned world model。对于这样的模型来说,它不仅需要object和scene的diversity,还需要action的diversity。

具体来说,如果希望DreamDojo的性能越来越好,action在数据里的分布应该尽量均匀,并且尽可能不可预测。因为simulator的目标不是学习一个“优秀的policy”,而是真实地模拟世界在各种action下的变化。因此它可以吸收各种数据,包括success data和failure data,甚至是随机轨迹。只要这些数据能够帮助模型理解不同action带来的结果,它们都是有价值的。

所以训练DreamDojo时,除了要保证物体和场景的多样性,还需要尽量提高action的多样性。换句话说,action分布越均匀、越不规则,world model的可控性就越好。可控性越好,意味着模型在模拟不同action时反馈越准确,而反馈越准确,就越有助于后续去优化policy。

当然,这里也会带来一个问题:如果要覆盖如此多样的action,数据规模是不是要扩大很多,比如变成原来的100倍?这个concern是存在的。不过关键在于DreamDojo的用途。如果它是用来辅助policy optimization或test-time search,其实并不需要完全覆盖整个action distribution。只要它能够准确模拟policy可能产生的那些action,就已经足够有用了。

因此从实践上看,这两个模型其实可以从同一个数据集出发,例如以expert demonstration为主的数据集。但对于DreamDojo来说,会额外希望这些数据中的action分布尽可能均匀一些,从而提升它对不同动作结果的建模能力。

9. world model怎么和RL结合

DreamZero本质上是作为一个policy使用;DreamDojo是一个world model,是一个simulator。当同时拥有policy和world model之后,就可以形成一个基于模型的训练框架。DreamZero在给定state的情况下,可以采样出一系action;这些action交给DreamDojo,由它去模拟不同action所对应的未来结果。基于模拟得到的state演化,可以为不同轨迹打上reward,然后利用这些reward去优化DreamZero,使其产生更优的action。

与此同时,DreamDojo本身也可以被优化。例如,当DreamZero的能力达到一定水平,或者有其他较成熟的policy时,可以将其部署到真实环境中运行,收集真实的state–action–transition数据。再利用这些真实数据对DreamDojo进行更新,从而提升其建模能力和仿真质量。

也就是说,一方面可以利用DreamDojo来优化DreamZero;另一方面,也可以通过真实世界数据持续提升DreamDojo本身的性能。

Reference:

高深远主页:https://github.com/Little-Podi

DreamDojo:https://arxiv.org/abs/2602.06949

DreamZero:https://arxiv.org/abs/2602.15922

石麻笔记 · 世界模型 · EP01