人类通过不断的尝试来一次次提高任务的完成,有很强的自我迭代能力和在线学习能力(Online Learning)。我们也希望机器人可以在真实环境中不断学习、不断提升,而不是像传统方法那样,训练完成后就固定不变。
在决定开始做一个世界模型系列科普的时候,我就关注到ETH的一个Robotic World Model的工作,这个工作的核心目标是实现在真实机器人上的持续在线学习。也就是说,不管底层的base policy是什么——无论是最基础的速度跟踪策略,还是更通用的遥操作策略——这个方法都可以作为一个“上层模块”叠加上去。只要系统还存在提升空间,或者环境、动力学、甚至reward发生变化,就可以通过在线数据持续改进policy。和前两期基于2D视觉的世界模型世界模型EP01:对话高深远——DreamZero&DreamDojo 世界模型与机器人智能的新范式和世界模型EP02:Interactive World Simulator不同,这期文章更多的是聚焦在Dynamics。
Robotic World Model和这个工作的后续Uncertainty Aware Robotic World Model的一作是李晨昊,他目前是苏黎世联邦理工学院(ETH Zurich)三年级博士生,导师是Marco Hutter和Andreas Krause。他的主要研究方向是机器人与在线学习,近期逐步探索世界模型相关研究,即基于模型的强化学习(model-based RL)。
查看原文目录
以下为本文目录
👇
1. 什么是世界模型
2. 怎么理解dynamics model?
3. 关于Robotic World Model(RWM)
4. 关于Uncercertain Aware Robotic World Model
5. 两个工作核心思想和动机
6. 和目前基于仿真的Policy训练对比
7. 怎么看World Model中的RL
8. 怎么能有一个好的model?
9. 先有World Model还是先有具身智能?
10. 尝试world model的insight是什么?
12. 真机做policy,成本是不是很高
13. 这种方法最大的增益是什么?
14. 世界模型数据多样性问题如何解决?
15. 和现有方法比较
1. 什么是世界模型
现在几乎所有能够进行向后预测的模型,都可以被称为世界模型,形式也很多,例如language-conditioned、video generation、action-conditioned等。
在我们机器人领域,“世界模型”通常是一个更狭义的概念,一般指动力学模型(dynamics model),即给定当前的state和action,通过模型预测下一步的state。如果状态是fully observable,那是最理想的情况;但很多实际问题中状态并非fully observable。这时,状态可以是图像,也可能包含一些在机器人系统中无法直接获取的信息(即privileged information)。在这种部分可观测的情况下,我们同样是去预测下一步的部分可观测状态。
因此,我的工作中所说的世界模型,主要是指这一类dynamics model。相比之下,现在很多世界模型的研究更关注生成结果的真实感(photorealism),例如生成的视频是否逼真、是否符合物理规律等。但从控制的角度来看,我们更关心的是模型的可靠性,例如预测是否准确、能够预测多长时间范围,这些对机器人控制来说更加关键。
2. 怎么理解dynamics model?
你刚才提到,从广义上看,只要具备对未来状态进行预测能力的模型,都可以被称为世界模型。但从你的角度来看,比如dynamics model,以及当前常见的一些不同形式——例如视频预测、仿真环境中的世界模型、基于3D state的建模,或者使用不同表征方式来建模——我们应该如何去理解dynamics model本身?具体来说,这里的state和action分别是什么,它们通常采用怎样的表征方式?
刚才的总结很好。一般来说,我们所说的dynamics model更多是从控制理论的角度来理解。举个例子,如果我们要控制一只机器狗或机器人,那么state会包含很多信息,比如当前的整体速度、各个关节的速度、每个关节的力矩,以及机器人的位置等,这些都属于机器人本体的状态。
如果涉及感知,state还会进一步包含环境信息,例如高度图、激光雷达扫描数据等,这些都会一起构成一个更大的state。
至于action,在机器人控制中,不同任务会有所区别。例如在运动控制中,通常控制的是关节力矩,或者目标关节位置,因为机器人一般是多关节系统。而在操作任务中,常见的是增量形式的控制,比如关节的增量变化,或者末端执行器位姿的增量。
在这样的state和action定义下,dynamics model的核心就是预测下一步的状态:也就是在给定当前state和action的情况下,预测下一时刻机器人的状态,例如各关节的位置和速度会如何变化。从控制理论的角度来看,这本质上描述的是系统如何随时间演化,也就是系统的动力学。
3. 关于Robotic World Model(RWM)
我们可以先从第一篇工作,也就是基础的Robotic World Model开始讲。它在方法上的核心贡献,其实是一个训练方式,可以称为self-forcing或者自回归训练,本质上是一种loss设计。
通常在训练world model时,我们的做法是:用当前的state和action去预测下一步的state,然后用预测值和真实的next state之间计算loss,再进行反向传播。
而我们的方法是在此基础上进一步展开:在预测出next state之后,不是停止,而是继续用这个预测得到的next state,加上下一步的action,去预测next next state;再用这个结果继续往后预测。也就是说,模型是自回归地向前rollout多个时间步。
在这个过程中,每一步预测的state,都会与对应的ground truth进行loss计算,并一起参与反向传播。通过这种self-forcing的训练方式,可以显著提升world model在长时间预测(long horizon)下的稳定性。
这个方法本身是比较简单且通用的,在不同任务中都可以使用。不过需要注意的是,它本身并不能解决数据分布偏移的问题。在policy学习过程中,这种数据分布偏移会导致hallucination,使得policy在臆想的世界中更新。要解决这个问题就需要有一个准确的不确定性估计。
4. 关于Uncercertain Aware Robotic World Model
因此,在第二篇工作中,我们引入了uncertainty-aware的方法,来解决模型在不同区域的可靠性问题。
具体来说,我们希望在自回归预测的过程中,对model的不确定性进行量化。实现方式也比较直接:不是只用一个模型去预测next state,而是使用多个预测头(例如5个head),每个都输出一个预测结果,相当于一个ensemble。
通过这些预测之间的差异,我们可以估计模型的不确定性。如果不同head的预测差异较大,说明模型在这个区域的数据见得较少,不确定性较高;如果预测结果趋于一致,说明该区域数据充分,模型更可靠。
这样一来,我们就可以知道world model在哪些区域是“准的”,在哪些区域是不可靠的。
在policy学习阶段,这一点非常关键。因为policy的训练主要依赖于world model生成的“想象数据”,如果模型在某些区域不可靠,policy可能会被误导,甚至利用模型误差。因此,我们可以利用不确定性信息,对policy进行约束,引导其避免进入那些模型不可靠的区域,从而提升整体的稳定性和可靠性。
5. 两个工作核心思想和动机
首先,从应用角度来看,我们最核心的目标是实现在真实机器人上的持续在线学习。也就是说,不管底层的base policy是什么——无论是最基础的速度跟踪策略,还是更通用的遥操作策略——我们的方法都可以作为一个“上层模块”叠加上去。只要系统还存在提升空间,或者环境、动力学、甚至reward发生变化,就可以通过在线数据持续改进policy。
理想情况下,我们希望机器人在真实环境中不断学习、不断提升,而不是像传统方法那样,训练完成后就固定不变。
从研究动机来看,主要有两个方向:
第一个动机是在线学习本身。由于真实数据非常有限,我们引入world model,希望通过它生成近似“无限”的想象数据,用于训练policy。但这也带来了新问题,例如模型误差和hallucination,如何在使用这些“想象数据”时保证稳定性和可靠性。
第二个动机是针对当前world model研究的不足。现在很多工作更关注prediction本身,例如生成是否逼真,但很少关注:在有了world model之后,如何真正用它来做控制,以及如何处理长时间预测中的误差累积和不确定性问题。我们希望在一个相对简单的设定下(例如state-based),先把这些关键问题解决清楚。
从更长远的角度来看,我们关心的是:当环境发生剧烈变化,甚至是训练阶段完全没有见过、也无法通过仿真覆盖的情况时,系统能否自我适应。例如从平地行走,到在蹦床上行走,甚至更极端的,从行走到“学会游泳”。这些都是典型的out-of-distribution场景。
当然,真正实现这样的能力,目前最大的挑战仍然是安全性,也就是如何在真实环境中进行安全探索,避免机器人在学习过程中发生危险行为。
此外,还有一个很关键的问题是:即使world model的预测已经比较好,仍然可能出现hallucination,例如生成不合理的状态或动态。这说明,即便有大量数据和强模型,从“能预测”到“能用于控制”之间,仍然存在明显的gap。
因此,我们的思路是:先在一个更简单、可控的设定中,把这些问题系统性地解决,例如如何处理不确定性、如何稳定长时间预测、如何利用有限数据。因为在现实中,数据永远是不够的,如何在数据不足的情况下做出可靠决策,是一个长期且核心的问题。
6. 和目前基于仿真的Policy训练对比
我们做robot model的初衷在于,目前比较成熟的一套流程是:在仿真环境中,基于一个物理上较为准确的模拟器来训练控制策略,通常使用强化学习来完成。如果sim to real做得很好,也就是模拟器足够接近真实世界,那么训练得到的策略就可以直接迁移到真实机器人上,并且效果通常不错。
但这种方法有一个很大的局限,就是它高度依赖模拟器的质量。在刚体运动场景下,例如现在常见的机器人跳舞、翻越障碍等任务,仿真已经做得很好,因此模拟器可以作为一个很好的数据来源,从中训练出的策略也确实可以迁移到真实机器人上。
然而,在更多复杂场景中,我们往往没有一个足够好的模拟器。要么模拟器计算速度很慢,要么不够准确,尤其是后者更常见。这就导致训练出来的控制策略只能在模拟器中有效,无法迁移到真实系统。例如软体地面、流体环境(如水中游动)等场景,目前的仿真能力还远不如刚体仿真,因此sim to real这条路径在这些情况下是走不通的。
基于这个问题,我们的思路是:既然已经将控制策略部署到真实机器人上,为什么不直接利用真实世界中采集的数据来进一步优化策略?尤其是在仿真条件较差甚至无法仿真的情况下,这种方法更具优势。
但这里也面临一个关键问题:在在线使用真实数据时,如何有效提升控制策略?例如机器人一开始走得很不稳定,如何通过这些真实世界中的“失败经验”逐步改进,使其变得更稳定?
从强化学习的角度来看,一个核心问题是样本效率很低,尤其是无模型的强化学习(Model-free RL)。在真实机器人上可获取的数据是非常有限的,因此我们需要在有限数据下提升策略性能。
这正是我们引入dynamics model(world model)的原因。我们的做法是:即使模拟器不完美,也可以先在其中预训练一个world model。然后利用这个model来辅助策略学习,相当于为策略提供“想象数据”。接着,再用真实世界的数据对world model进行微调。
这样一来,在强化学习过程中,就可以通过world model不断生成近似无限的数据,用于训练策略。这属于典型的model-based强化学习范式:先学习一个world model,再基于该model学习策略。即使初始的world model和策略都比较差,也没有关系,因为策略会不断与真实环境交互,收集新数据,这些数据又会反过来改进world model,从而进一步提升策略,形成一个持续迭代的过程。
因此,这项工作的核心目标,是实现持续的在线学习,即系统可以不断地自我改进。其中最关键的一点,是在真实数据有限的情况下,如何通过world model生成近似无限的数据。
此外,还有一些实际挑战。例如在运动控制中,控制频率通常很高(例如50赫兹),相比之下,操作任务的控制频率较低(约1赫兹)。这意味着在运动控制中,很难使用基于规划的方法,因此通常需要直接学习策略。
但在基于学习的world model中进行策略学习时,也会带来新的问题。例如强化学习的策略可能会利用world model中的误差,甚至在模型产生“幻觉”时做出不合理决策。
因此,在后续工作中,我们引入了不确定性建模,让world model能够感知自身在哪些区域数据不足,并利用这种不确定性来约束策略学习,从而提高整体系统的稳定性和可靠性。
RWM的策略获得不用仿真不用RL,用一个靠想象的world model?
对的,这个理解是非常准确的。我们的核心思路就是,不再依赖仿真器,而是使用一个学习得到的world model来训练policy。
这样做的好处在于:虽然近几年仿真器已经越来越精确,但它仍然存在不准确的情况。更重要的是,真实系统本身是会变化的,例如性能衰减、电机发热等,这些都会导致系统的动力学发生变化。因此,仅依赖一个固定的仿真器,很难持续适应真实环境。
我们的方法希望解决的问题是:如何让policy能够快速适应这些变化,实现持续的在线更新。
从方法分类上来看,传统在仿真器中用强化学习训练policy的方式,通常被称为model-free方法,因为我们并没有显式地学习一个模型。而我们的方法是先显式学习一个world model,再基于这个model来训练policy,这一类方法通常被称为model-based方法。
7. 怎么看World Model中的RL
Yann LeCun 在讲JEPA的博客里其实提到过,他认为不应该过度依赖 RL。但另一方面,world model 或 dynamic model 这些概念本身又是从RL发展出来的(比如 model-based RL),怎么看这个矛盾?
我的理解是这样的:如果你已经有一个比较准确的model,那么最理想的情况,是直接利用这个model来做决策。比如可以基于model进行planning,或者通过优化的方法得到policy,又或者在model上做强化学习。这些方法本质上都是在利用model来解决控制问题。
这里所说的“不用RL”,我理解更多是指不用model-free强化学习。也就是说,不再绕过底层的dynamics和状态转移,而是显式地利用这些信息来进行决策。
相反,model-free强化学习的特点是,不去建模系统的动力学,而是直接学习一个从state到action的映射。在没有一个好的model时,这往往是唯一可行的方式。
所以总体来说,我是认同这个观点的:如果有一个足够好的model,那优先利用model是更合理的选择;如果没有model,而你又关心数据效率,那么可以先学习一个model,再基于这个model去做控制,或者用它来辅助学习policy。
一方面大家在反思RL的局限性,另一方面很多新的方法又在继承它的建模思想。因此我们的方法也可以理解为在这个脉络中,既借鉴RL中对环境建模的思路,又尝试摆脱其在训练稳定性、数据效率或泛化上的一些问题。
8. 怎么能有一个好的model?
这是一个比较经典的问题。以manipulation为例,现在比较主流、也最火的pipeline是VLA,同时也开始有world model或者world action model这样的方向出现。但归根结底,核心问题还是数据不够,导致model能力有限。
我觉得这个“数据不够”可以分成两个层面来看:
第一是数据的广度不够,也就是diversity不足。在现实世界中,机器人和物体的组合是非常多样的,不可能在训练数据中覆盖所有可能的场景。因此模型在面对新场景时,往往缺乏足够的泛化能力。
第二是数据的模态不够,也就是observability有限。目前大多数数据主要是图像,但图像本身的信息是有限的。例如在操作任务中,用夹爪拧瓶盖时,是否接触、接触的力度大小,这些关键信息很难从图像中直接观察到。因此,仅依赖视觉数据,很难学习到完整且准确的状态表征。
在这种情况下,要学到一个高质量的表征本身就很困难。如果连VLA这种对数据要求相对较低的方法都还做得不够理想,那么更复杂的world action model,甚至world model(试图完整建模世界并进行模拟)就更加困难。
所以可以理解为:从数据需求的角度看,大致是VLA < world action model < world model。越往后,对数据质量和数量的要求越高。因此,在当前数据条件下,直接学习一个能够“模拟一切”的world model,其实还比较遥远。
所以这里有一个挺有意思的问题:大家都在期待用 world model 去解决一些问题,但它本身其实也很依赖大量数据和算力,某种程度上可能也是一个成本比较高的方法。
即使是在我们做robotic world model、没有使用图像、状态维度相对较低且可观测性较高的情况下,也能明显感受到一个现象:如果用同样的数据量,一种方式是先训练一个world model,再基于这个model去学习policy;另一种方式是直接用这些数据去学习policy。通常情况下,直接学习policy的性能反而更好。
换句话说,如果两种方法最终达到相同的policy性能,那么通过world model这条路径,往往需要更多的数据。也就是说,为了学出一个足够好的world model,再从中得到同样水平的policy,其数据需求是高于直接学习policy的。
而这还是在状态维度较低、可观测性较好的情况下得到的结论。如果换成基于图像输入、且可观测性较低的场景,这种差距很可能会进一步放大。
9. 先有World Model还是先有具身智能?
我完全同意,world model可能是一个需要更长时间才能真正落地解决问题的方向。虽然现在越来越热门,但距离“稳定地利用world model进行预测,并从中有效地提取出可用的control policy”,我觉得仍然还有一段距离。
但从研究角度来看,这个方向是非常值得做的。因为world model本身并不是一个全新的概念,它本质上就是dynamics model,是model-based方法中的经典内容。只是最近随着多模态(例如语言、视觉等)的加入,这个方向被重新关注,可以说是某种程度上的“重新包装”。
它的价值在于一个很直观的终极目标:如果我们真的能够构建一个可以模拟整个世界的model,那么它很可能就是最终的解决方案。
相比之下,目前主流的方法,例如VLA这一路线,已经开始显现出瓶颈。本质原因还是受限于数据:模型的能力很大程度上被已有数据所约束。如果希望实现更强的泛化能力,就需要把物理规律(dynamics、physics)显式地融入到模型中,而不仅仅是依赖数据驱动的映射。
在这个过程中,出现了一些中间形态,例如world action model。一个典型思路是,将原本VLA中的结构替换为类似视频生成的结构,使模型在预测过程中隐式包含一定的物理一致性。已有一些工作表明,这样的方式确实能够提升模型对物理世界的理解。
不过从长期来看,我认为更理想的情况是:能够直接依赖world model本身,通过少量微调,就可以从中直接“引导”出一个policy,而不是仍然依赖类似behavior cloning这样的方式去学习策略。
10. 作为在GPU上把RL跑通的鼻祖团队,现在尝试world model的insight是什么?
我觉得主要有两个动机。第一个动机是,从现有方法的局限性出发。传统基于仿真器的训练流程,本质上是被仿真器性能所限制的。如果仿真器不够准确,那么最终策略的效果也会受到上限约束。因此,我们希望探索一种新的范式,即在真实机器人上进行持续的在线学习,让系统能够在部署后不断适应环境和自身的变化。这可以看作是locomotion或机器人控制的下一阶段发展方向。
第二个动机是从world model本身出发。当前大多数world model相关工作,主要关注的是预测能力,例如预测是否准确、是否逼真,但很少有工作真正关注:在有了world model之后,如何从中获得可用的control policy,以及如何处理model的不准确性和长时间预测带来的误差累积(drift)问题。
因此,我们的想法是:先从一个相对简单的state-based world model入手,尝试用统一的方法去解决这些更实际的问题,为未来更复杂的world model应用提供参考。
这两个动机分别对应:一是推动在线持续学习的范式,二是弥补world model在控制应用上的方法空缺。
另外,我们觉得这是一个比较通用的问题:当数据不足时,应该如何去处理那些“没有数据覆盖”的区域。无论是用图像还是用state来建模,这个问题都会存在,只是用图像时可能会更加困难。
因此,我们选择从一个相对简单的设定出发,也就是基于state的world model。如果在这样的条件下都能够有效解决问题,其实已经是一个很不容易、也很有价值的结果。
从更长远来看,这也是整个领域都会面临的核心问题:如何利用world model,真正获得一个有效且可靠的control policy。
其实在做world model之前,我一直在做控制相关的工作。早期的方法主要是模仿学习,比如给定一两条trajectory,让机器人去模仿执行。
后来大家开始关注如何提升泛化能力,也就是从少量示例扩展到更通用的行为,希望机器人能够“看到什么就做什么”。目前比较普遍的观点是:只要参考数据的规模足够大,这类方法的效果通常会非常好,现在很多相关工作已经做得相当不错。
但我们关注的是另一个方向:在数据不足的情况下,应该怎么办?因为在很多实际场景中,数据总是不够的。
因此,一些工作开始探索如何通过引入inductive bias或者结构性设计,来提升policy的泛化能力。这一点和world model的思路其实是相通的,本质上都是在解决同一个问题:在数据有限的情况下,如何让模型更好地泛化,或者如何去量化模型的不确定性。
不确定性感知的机器人世界模型(RWM-U)是在机器人世界模型(RWM)的基础上进行扩展的,它不仅建模“将会发生什么”,还显式建模“这些预测有多可靠”。
具体来说,该方法在自回归世界模型中引入了基于集成(ensemble)的不确定性估计机制,使模型能够量化由于离线数据有限或存在偏差所带来的认知不确定性(epistemic uncertainty)。
12. 真机做policy,成本是不是很高
就是说这个model本质上是一套神经网络,并且是直接部署在真实机器人上的。也就是说,从一开始,无论是world model还是policy,可能都还比较差,因此在真实机器人上的表现也会比较有限。这个真机消耗成本会不会很高?
这个问题问得非常好。我们目前的实验还没有完全做到从真实机器人(真机)“从零开始”训练。一般都会先在仿真环境中进行一个pre-training阶段,用仿真数据预训练一个world model。
原因在于,对于locomotion这类任务,world model需要见过尽可能多的state-action对应数据对,以及尽可能丰富的动力学变化。如果完全从零开始,在真实环境中探索时,模型由于缺乏经验,容易出现不稳定甚至“失控”的行为。因此,预训练是非常必要的。
而目前最合理的预训练方式,就是利用已有的仿真器。虽然仿真器不完全准确,但它能够提供一个不错的先验。我们先用这些数据预训练model,然后再用真实世界中的在线数据对其进行微调。
在我们的工作中,策略是基于这个world model学习得到的。实验阶段,我们并没有直接在真机上验证整个流程,而是使用了第二个仿真器来模拟真实环境。例如我们使用了Gazebo中的机器人作为“真实环境”的替代。
之所以不直接在真机上训练,即使已经有了pre-training,主要是出于安全性的考虑。因为强化学习本质上需要探索,而探索就可能带来危险行为。例如在学习机器人行走时,机器人必须经历“摔倒”这样的状态,才能知道这是不好的。但如果world model中从未见过摔倒的数据,策略可能会错误地认为机器人始终是稳定的,从而在真实环境中做出危险尝试。
这也是我们后续工作中引入“不确定性建模”的动机。具体来说,如果某些状态(例如摔倒)在数据中很少出现,那么world model在这些区域的预测是不可靠的。我们可以利用这种不确定性,对策略进行约束:当模型对某些区域不确定性较高时,就对策略进行惩罚,引导其避免进入这些区域。
最终,我们的目标是将整个训练和优化流程完整部署到真实机器人上。目前正在重点解决的问题是安全性,也就是如何在保证安全的前提下进行探索。这在领域中通常被称为safe exploration或safe reinforcement learning。
核心思路是:尽可能利用已有的仿真数据进行充分的pre-training,从而减少在真实环境中不必要的探索,提高整体系统的安全性和效率。
所以可以这样理解:在pre-training阶段,还是依赖仿真环境,但这里有一个细节想确认一下:你刚才提到你们在实验中引入了第二个仿真器,比如Gazebo,用来模拟真实环境。那么最开始用于pre-training的仿真器,也是Gazebo吗?还是会用像MuJoCo这类其他仿真器?
我们在pre-training阶段使用的是Isaac Lab。其实从本质上来说,world model的预训练并不依赖于数据具体来自哪个仿真器。
关键在于是否有足够的数据。仿真环境的优势是可以高效地产生大量数据,因此无论是Gazebo、Isaac Lab,还是其他仿真器,都可以用于pre-training;甚至也可以直接使用真实数据。
核心观点是:只要有数据,就应该充分利用。相比从零开始训练world model,使用已有数据进行预训练会显著更好。虽然这不是一个必须条件,但在实践中通常会带来明显收益。
13. 这种方法最大的增益是什么?
其实这里的核心问题在于:现有的方法大多是基于仿真器的。如果仿真器足够准确,并且在最终部署时,真实环境的动力学与仿真环境之间几乎没有差异,那么这些方法是非常有效的。
但问题在于,一旦仿真器不够准确,或者sim to real这条路径本身走不通,又或者真实世界中的动力学是变化的,那么现有方法就会遇到困难。例如机器人在不同地面上行走,比如冰面和草地,其动力学特性是明显不同的。
针对这种情况,现有方法通常有两种思路:一种是通过域随机化,训练一个足够鲁棒的policy,使其能够同时适应冰面和草地等多种环境;另一种是采用自适应方法,让模型能够推断当前所处环境(例如是冰面还是草地),再进行相应调整。
但这些方法本质上仍然属于分布内的问题,也就是说,这些情况需要在仿真阶段被覆盖到,模型才能在真实世界中应对。如果某种情况在训练时没有出现,那么模型通常就无法很好处理。
而我们关心的是更一般性的能力。一个真正智能的系统,不应该依赖在仿真阶段枚举所有可能情况。理想情况下,通过学习dynamics model,由于其结构更贴近系统本身的演化规律,相比model-free方法具有更好的泛化能力。
例如,如果模型见过冰面和土地的数据,即使没有见过草地,也有可能通过学习到的动力学结构,对草地环境进行合理泛化。
因此,在处理分布外(out-of-distribution)情况时,model-based方法通常被认为具有更好的适应能力。这也是我们认为的最大优势之一:在未知或变化环境下的适应能力。
14. 世界模型也需要让他见过大量不同数据才可以预测吧?
我自己的经验是,其实训练一个world model或者dynamics model,所需要的数据量,往往比直接训练一个policy还要大。因为它需要覆盖更广泛的状态和场景分布,必须见过各种不同情况下的state-action和对应的动力学变化。
如果希望学到一个非常准确、并且可以进行长时间rollout的dynamics model,那么通常需要的数据量,会比训练一个policy更多。
在理想情况下,如果我能够学到一个完全准确的真实世界物理模型,并且真实环境本身是稳定不变的,那么基于这个world model学到的policy理论上是可以直接工作的,不需要额外处理。
但现实中存在一个关键问题:很多dynamics的状态转移本身就是随机的,而不是确定性的。例如一个小球或方块撞墙后反弹的位置,本身就可能存在随机性。因此,在world model中,必须显式建模这种随机性,而不能假设transition是完全确定的。这一点和domain randomization关系不大,它更多是系统本身的内在不确定性。
进一步来说,即使在world model的框架下,我们仍然会讨论是否需要randomization。其实可以这样理解:如果world model与真实世界完全一致,并且真实环境不发生变化,那么在部署时并不需要额外做robust性增强,也不需要domain randomization。
但在实际中,现有很多成功的方法,往往依赖于在仿真中进行大量domain randomization,例如随机施加外力、扰动关节参数等,从而训练出一个对环境变化具有鲁棒性的policy,使其能够顺利迁移到真实世界。
我们的方法中也可以引入类似思想,但实现方式有所不同。在传统仿真中做randomization相对直接,而在learned world model中,如果直接通过“想象”去施加扰动,由于模型是自回归的,长时间rollout时很容易出现误差累积甚至发散的问题。
因此,我们在工作中提出了一种在learned dynamics中进行“受控扰动”的方法。具体来说,可以在中间的state上施加一定的perturbation,但同时保证系统仍然处于稳定范围内,不会导致预测完全崩溃。
这样做的效果与传统domain randomization类似:可以训练出更鲁棒的world model,从而进一步提升policy的鲁棒性,使其在真实环境中表现更加稳定。可以理解为让模型去适应这些state的变化。
换句话说,这件事情在基于仿真器的方法中是比较容易实现的。在训练阶段,你可以直接对系统施加各种扰动,例如推一下、拉一下,从而让policy在训练过程中就学会应对这些变化,提升鲁棒性。
但在learned dynamics的情况下,这件事情就变得困难很多。因为learned dynamics通常是比较脆弱的,一旦对state进行扰动,模型的预测很容易迅速发散,甚至“爆炸”。
而我们工作的一个核心实验,就是说明:如果按照我们的方法去训练,那么即使在中间对state进行一定程度的扰动,模型所生成的“想象轨迹”仍然是稳定且合理的。基于这样的数据去学习policy,最终仍然可以得到一个性能良好、并且具有一定鲁棒性的policy。
15. 和现有方法比较
我们的方法相比这些路线的上限优势在哪里(如泛化、长时序决策、稳定性等),以及它的潜在瓶颈是什么(如表征能力、长期预测误差或扩展性问题)?
我可以先从locomotion的角度讲一下,我们的方法和现有方法的区别。
首先,locomotion和manipulation在控制频率上有很大不同。manipulation的控制频率通常较低,因此可以使用planning方法,例如采样一批候选动作,再从中选择最优的(比如cross entropy method这类方法)。但在locomotion中,控制频率通常很高(例如50赫兹),这使得planning在时间上来不及,因此必须直接学习一个policy。
一旦进入“学习policy”的框架,就会带来两个问题。第一个是,强化学习中需要学习value function,并依赖长期的bootstrap,也就是通过贝尔曼方程进行递归估计。这本质上要求模型具备较长时间范围的预测能力。
但这里就出现了矛盾:从强化学习的角度来看,预测越长,variance越大,但bias较小;而从dynamics model的角度来看,预测时间越长,误差会不断累积,最终导致预测发散。因此,如何稳定长时间范围的预测,是一个核心问题。
针对这个问题,我们提出了一种基于自回归训练的方法,用来稳定long horizon的预测。这个方法本身是一个较为通用的训练方法,不仅适用于locomotion,也适用于manipulation。但在locomotion中,这个问题更加突出,因为无法依赖planning,只能依赖policy。
第二个问题是,学习policy时,策略往往会利用model中的误差,进入那些模型不准确的区域,也就是高不确定性的区域。因此,我们还需要考虑如何通过不确定性来约束policy,避免其进入这些不可靠的区域。
从方法上来看,这些都是比较通用的设计,但在locomotion场景下显得更加必要。
再从方法的上限来看,现有sim to real方法的性能,本质上是被仿真器所限制的。如果仿真器很好,那么这些方法就能表现很好。例如在刚体运动、平地行走等场景中,现有方法已经非常成熟,效果也很好。
但我们更关注的是更复杂、更动态的环境。例如当环境发生变化,或者存在仿真器无法覆盖的情况时,如何快速适应。这也是我们方法潜在上限更高的地方。
另外,传统方法通常是在仿真中训练好policy,然后部署到真实系统中,之后就不再继续学习。而我们认为,一旦系统部署到真实世界,就会持续产生真实数据,这些数据本身就是非常宝贵的资源,应该被用来持续优化policy。
因此,我们的目标是实现持续学习,也就是online learning或lifelong learning,让系统在部署后仍然不断提升。
在短期应用上,例如平地上的刚体运动,这种方法的优势可能不明显。但在一些更复杂的场景中,例如软体机器人,目前几乎没有可靠的仿真器,这种基于world model并结合真实数据持续学习的方法就会更有价值。
另外一个角度是通用控制器的问题。现在大家都希望做一个在不同机器人、不同状态下都能泛化的通用控制方法,但实际困难在于机器人本体是会变化的,比如同一个机器人今天和明天的状态就可能不同,导致离线训练好的 policy 很难长期稳定工作,本质上需要一定的online learning 能力。因此,我们的方法可以考虑和现有方法结合:对于已有方法在稳定控制等方面做得好的部分进行继承,而在其泛化性、适应性不足(如应对动态变化)的问题上,通过我们的方法去提升。
对于环境变化,也就是dynamics变化,现有方法大致有两种思路。
第一种是鲁棒性方法。即使环境发生了一定变化,只要控制策略足够鲁棒,仍然可以很好地完成任务。这通常通过domain randomization实现,在训练时引入各种扰动,让policy在不同条件下都能稳定工作。
第二种是自适应方法。也就是当环境发生变化时,模型能够识别出“哪里变了”,并据此调整策略。例如在一些model-free方法中,可以通过历史的state和action序列来推断当前系统状态是否发生了变化,比如电机性能变化等。一旦检测到变化,policy会根据当前条件进行调整,从而保持良好的控制效果。这类方法在model-free强化学习中已经比较成熟,例如teacher-student training或RMA等。
再举一个例子:机器人从水泥地走到冰面上,动力学会发生变化。如果在训练阶段已经覆盖了这种变化,那么policy可以根据当前观测隐式判断环境变化,并在新环境中做出合适的决策。
对于model-based方法,其思路其实是类似的。区别在于,相关的“知识”更多体现在world model中。如果在预训练数据中已经见过类似环境变化,那么world model可以在新的环境下实现接近零样本的适应,并基于此快速生成合适的policy。
如果没有见过这种变化,我们希望模型能够通过少量真实数据,快速更新world model,从而适应新的动力学,并进一步得到新的policy。
从这个角度来看,鲁棒性方法(例如domain randomization,或者在learned model中加入扰动)和自适应方法是两种不同但互补的思路。而从长期来看,自适应能力更为关键,因为不可能通过鲁棒性覆盖所有可能环境,最终还是需要在具体环境中实现最优表现。
总体来说,model-free和model-based方法在这一点上是相似的,只是前者将这些能力更多地“编码”在policy中,而后者则更多地体现在world model中。
我们的方法虽然属于model-based,但在具体实现上,其实和model-free方法是打通的。
一方面,我们学习了一个world model;但另一方面,在policy训练阶段,仍然使用的是类似PPO这样的model-free强化学习算法。也就是说,policy本身并不是通过对model做梯度传播来训练的,而是采用零阶优化的方式进行学习。
从这个角度来看,可以把我们的框架理解为:只是将原本的仿真器,替换成了一个神经网络形式的dynamics model,而其余的训练流程(例如policy优化方式)基本保持不变。
Reference:
李晨昊主页
https://breadli428.github.io/#publications
Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics
https://sites.google.com/view/roboticworldmodel/home
Uncertainty-Aware Robotic World Model
https://sites.google.com/view/uncertainty-aware-rwm/home
石麻好物分享
在AI逐步涌现能力的时代,作为一个人类幼崽的妈妈,可以一边观察人类智能逐步长成的过程,一边观察AI的逐步成熟。去年我们遇到一个很有意思的儿童对话产品:卡宝,小孩可以随身携带,有很多角色卡片,也可以自己创造角色,产品目前刚刚上线,也推荐给喜欢看石麻笔记的各位读者,产品还在逐步迭代,也欢迎多提意见。