在Robot Data的前几期,我们介绍了用人类视频数据、遥操数据以及动捕数据进行机器人学习的典型论文,这些论文都以人类专家经验为基准。在机器人学习领域有另一大主流分支就是仿真+强化学习,在四足和双足locomotion的训练方面,仿真+强化学习的效果毋庸置疑。但在操作方面,仿真+强化学习却面临着非常大的瓶颈:仿真环境和奖励函数搭建费时费力,强化学习搜索速度慢,Sim2Real Gap等问题。Eureka和DrEureka利用大语言模型自动设计仿真环境和奖励函数,在仿真中快速学习新技能,并迅速将其转移到现实世界中。
我们很荣幸的邀请到Eureka和DrEureka的一作马也骋博士,对仿真、强化学习、以及LLM在仿真+强化学习领域的潜力做了详细讲解。以下万字长文,希望带你一起了解Eureka和DrEureka。
Eureka和DrEureka的作者包括来自宾大Grasp、英伟达等机构的学者。Eureka: Human-Level Reward Design via Coding Large Language Models作者包括Jason Ma, William Liang, Guanzhi Wang, De-An Huang, Osbert Bastani, Dinesh Jayaraman, Yuke Zhu, Linxi "Jim" Fan, Anima Anandkumar,其中Jason Ma(马也骋)是Eureka的一作。DrEureka: Language Model Guided Sim-To-Real Transfer,作者包括Jason Ma*, William Liang*, Hungju Wang, Sam Wang, Yuke Zhu, Linxi "Jim" Fan, Osbert Bastani, Dinesh Jayaraman,其中Jason Ma(马也骋)和William Liang是Dr Eureka的共同一作。
查看原文目录
以下为本文目录
👇
1. Eureka的核心思想
2. DrEureka的核心思想
3. Eureka方法介绍
Initial Reward Function Generation
Environment as Context
Rapid reward evaluation via massively parallel RL
Return reward reflection
Super human level reward function
Novel reward function
4. DrEureka方法介绍
Reward-Aware Physics Prior
5. 一些问题
Eureka和DrEureka可以改进的地方
Eureka与其他基于LLM的机器人工作对比
目前模仿学习和真机操作数据更主流?
Eureka可以成为解决Sim+RL的方法吗?
Eureka的应用情况
Sim2Real Gap的渲染问题
正常怎么做Domain Randomization?
Eureka效果仅局限在局部移动这类任务吗?
仿真+RL在处理长程任务上的表现?
仿真环境里的数据是怎么产生的?
关于研究方向
VIP简单介绍
6. 一些想法
1. Eureka的核心思想
众所周知,数据在机器人学习领域是最重要的问题之一,我们可以通过遥操作收集真实世界数据,也可以在仿真中收集数据。理论上,在仿真中我们可以扩展数据规模,然后将其转移到现实世界中。然而,使用仿真数据有一个非常重要且被低估的问题是必须由人来设计仿真环境,然后以某种方式验证仿真环境是否有效,或者说能否将其转移到现实中。否则即使你在仿真中收集到大量数据,不管用什么训练策略,如果数不可靠,这些方法也不会太有效。
那我们如何有效的为一个新任务或新机器人设计仿真环境?过去,这种仿真环境的搭建通常都需要人类完成,过程缓慢且需要大量专业知识。因此,在 Eureka 的工作中,我们提出了一个设想:能否通过LLM自动设计仿真环境,使我们能够在仿真中快速学习新技能,并迅速将其转移到现实世界中。这正是 Eureka 工作的创新所在。
在仿真中,因为数据非常丰富,我们可以长时间运行仿真,探索不同的状态。因此在仿真中,流行的方法不是进行模仿学习,即人类使用键盘或游戏控制器提供示范,而是运行强化学习,让策略自己收集数据、观察反馈并逐步改进。这是为什么在仿真环境中机器人学习的常见方法是强化学习。但进行强化学习需要一个环境,而这就是问题所在。你需要设计一个奖励函数,这是一个数学函数,告诉策略哪些状态和动作有利于完成任务,哪些不利。这一直由人类设计,但过程缓慢且不直观。
阅读强化学习的论文时,你会发现人们并不会在主要论文中详细讨论奖励函数,通常只是一个简单的说明或在附录中提及,但实际上奖励函数的设计非常重要。如果奖励函数设计得当,强化学习通常可以找到解决方案。否则,效果会非常不理想。
Eureka 使用大型语言模型(LLM)来自动编写用于仿真机器人任务的奖励函数(Reward Function)。在仿真中,奖励函数就像仿真中的其他代码一样,是可以在计算机上运行的代码,而像 GPT-4 这样的LLM非常擅长编写代码。因此,在 Eureka 中,我们使用LLM来自动编写奖励函数代码。但这还不是全部,我们还要求LLM改进奖励函数代码。
具体操作是,LLM会编写多个奖励函数代码,然后在仿真器中我们利用这些奖励函数来训练策略,并构建反馈,看看哪个效果更好,哪个效果更差。根据这些反馈以及策略实际表现,我们可以指导LLM编写更好的奖励函数。由于LLM非常擅长遵循指令,它们可以根据反馈生成更好的奖励函数。这就像一种自我改进的迭代过程,LLM可以通过仿真反馈逐步编写出更好的奖励函数。这就是我们在论文中所称的进化算法(evolutionary algorithm),我们让大型语言模型进化这些奖励函数。你也可以把这看作是一种基于人工智能反馈的强化学习方法,即 RLAIF (Reinforcement Learning from AI Feedback)。最终目标是提出能够解决任务的策略,但在这个过程中,不仅策略在更新,环境的奖励函数也在更新,以便最终能提出最佳策略。这就是 Eureka 的高层次工作原理。
最终结果是,使用相同的算法,不需要任何提示工程,我们可以直接解决 10 种不同机器人形态的 29 项任务。特别是,我们能够展示一些新颖的任务,比如让机器人第一次旋转铅笔。使用相同的理念,当Eureka 的奖励生成能力与经典强化学习算法结合时,我们可以教机器人用多种方式旋转铅笔,效果非常好。
Eureka 转笔
Eureka转魔方
2. DrEureka的核心思想
基于Eureka,我们有了一种完全自动化的仿真环境奖励设计方法。理论上,我们可以在仿真中生成任何行为,因为现在有了能够生成高层次规划和行为生成奖励函数的语言模型。Eureka 项目获得了很好的反馈,我在 NeurIPS 2023 的多个研讨会上展示了它,并且它还被 ICLR 2024 接受。但当我们第一次在各个研讨会上展示它时,最常被问到的问题是,这能在真实机器人上工作吗?你展示的一切都是在仿真中,这能在真实机器人上实现吗?为了回答这个关键问题,我们更进一步,开发了 DrEureka,或者我称之为 Doctor Eureka。因为成为博士意味着你毕业了,所以让 Eureka 从仿真到现实世界的转移就像是毕业典礼。为了实现从仿真到现实的强化学习,除了设计奖励函数,你还必须让仿真到现实的转移能够顺利进行。
通常,仿真环境和现实世界环境之间存在很多不匹配,特别是在物理模型方面。模拟器无法完美地模拟现实世界中的重力、摩擦力等。因此,现在很流行的一种做法是进行领域随机化(Domain Randomization),即在仿真中随机化物理参数。这样,策略就必须在更广泛的物理环境分布上进行学习。如果策略能够在更广泛的分布上进行学习,那么它可能更具鲁棒性,并且更有可能在现实世界中成功部署。因此,如今几乎所有的仿真到现实的强化学习方法都采用某种形式的领域随机化。
但在Domain Randomization的过程依然有一个问题,那就是人类必须手动涉及这个Domain Randomization的参数。以教机器狗行走为例:作为人类,我们凭直觉和常识知道摩擦力、重力、机器人质心等是需要随机化的重要物理参数。然而,这种设计需要大量领域知识。更重要的是,面对新任务时,我们可能需要重新设计整个随机化过程。
在DrEureka中,除了自动编写奖励函数,我们还自动化了域随机化设计。具体做法如下:首先,我们向大型语言模型提供了一份可随机化的物理参数列表。在此基础上,基于具体任务,语言模型会自动决定应该随机化哪些参数,以及这些参数应该从模拟中的默认值随机化到什么程度。我们发现语言模型在进行超参数选择方面表现出色。其他研究已经证明,语言模型能为超参数生成产生相当好的样本,例如在线性回归任务中猜测数值。更令人兴奋的是,我们的研究表明,语言模型甚至能够零样本(即无需额外训练)生成相当好的域随机化参数。这种方法大大简化了域随机化的设计过程,减少了对人类专家知识的依赖,为自动化强化学习任务开辟了新的可能性。
现在,我们已经实现了奖励函数和域随机化的自动选择,我们可以部署在奖励函数分布和域随机化参数上表现最佳的策略。令人惊喜的是,我们发现将这些策略直接部署到现实世界中竟然是可行的。这意味着我们现在拥有了一个端到端的、完全自动化的仿真到现实世界的流程。整个过程完全由大型语言模型自动化完成,中间不需要任何人工干预。
这一突破性进展展示了大型语言模型在自动化强化学习任务中的强大潜力,从奖励函数的设计到域随机化的选择,再到最终策略的部署,全程无需人类专家参与。这不仅大大提高了效率,也为解决更复杂的现实世界问题开辟了新的可能性。
在DrEureka中,我们展示了这个算法不仅可以教会机器人在手上旋转模仿,还可以教机器人如何向前行走。但我认为真正有趣的是,考虑到语言模型无法自动化所有事情,如果我们能教会机器人一项新任务会怎样?这就是我们让机器狗在瑜伽球上行走所做的,这个任务之前从未被演示过。我们在物理引擎模拟器中放置了一个机器狗在瑜伽球上,然后运行DrEureka算法,任务目标是让机器人在球上行走,尽可能长时间地停留在球上。然后在没有任何人为监督的情况下,它能够提出奖励函数和域随机化参数。在现实世界部署中,也取得了不错的效果,当然有一个限制条件是人类要握着牵引绳。这主要是出于安全考虑,确保我们不会真的损坏机器人。但即使没有牵引绳,机器人也能在多种不同地形上站在球上超过5到10秒。
DrEureka Video

转魔方
狗走不同地形
这里值得特别提出的是,我们使用的模拟器IsaacGym是刚体模拟器,它无法模拟可变形的表面。所以在仿真环境中,和机器狗配合的球实际上是一个刚体球,它没有形变。但在现实世界中,瑜伽球显然是可变形并且有弹性的。由于我们无法设计出一个尽可能接近真实世界的模拟器,这实际上迫使算法对模拟中的不准确性具有鲁棒性。换句话说,如果你的策略没有考虑到模拟中的不准确性,它在现实世界中可能无法工作。但LLM能够自动生成一个有效的分布,使得现实世界的迁移成为可能。这展示了在未来使用LLM自动处理模拟中的新任务并转移到现实世界的潜力。DrEureka是展示未来实现这一目标的第一步。
3. Eureka方法介绍
设置模拟环境或奖励函数,无论你怎么做,最终它们都是代码。这些程序大多数是Python程序,而LLMs(大型语言模型)如GPT-4非常擅长写Python代码。所以在代码格式上,LLMs实际上非常擅长写这些代码,只要你正确提示它们。但是,为了让这些代码有用并控制LLMs的幻觉(因为LLMs可能生成一个环境代码,但这个环境可能很差,不太有用,这时反馈就很重要),你需要一种方法来判断奖励函数是好是坏。这时你可以在强化学习中训练策略,观察策略在模拟中的行为,总结这些行为,然后将这些作为反馈给LLMs,以生成更多的奖励函数。
Eureka方法框架
这里有一个重要的注意事项:我们生成的密集奖励函数(dense reward function)实际上可以引导强化学习。另外,还需要一个独立于密集奖励函数的真实评价指标。否则,你会有一堆策略,它们做的事情都不一样,你无法判断哪个做得更好或更差。所以在Eureka的工作中,我们假设可以访问一个表示成功与否的函数,该函数能够告诉我们某个策略是80%成功还是50%成功。通常,这会是一个指示函数(indicator function)。
举个例子,如果任务是开门,那么成功函数只会简单地告诉我们门是否打开了,这是一个是或否的问题。而密集奖励函数则需要捕捉诸如“机器人需要靠近门把手”,然后“旋转门把手并打开门”等步骤。这些对人类来说非常难以编写,编写成功检查器通常很简单。但是,成功检查器本身对于强化学习来说并不太有用,因为它的信号太稀疏。这时我们可以使用Eureka来自动化生成密集奖励函数,获取反馈并不断改进。
在Eureka中,除了成功函数外,我们还对Eureka生成的奖励函数本身的策略统计进行了总结。每个奖励函数都是由不同的要点构成的。例如,一个奖励函数可能由要点A、要点B和要点C组成。要点A可能是靠近门把手,要点B是旋转门把手,等等。如果你还能总结这些单独组件的情况,那么这会给你非常详细的反馈,告诉你哪个项没有得到适当的优化。比如,你的策略可能会得到0%的成功率,因为它们从未靠近门把手。
如果我们对这些单独要点进行详细总结,并将其用作反馈给大型语言模型,那么在下一次迭代中,LLM就会知道哪个要点需要更改或添加哪些新要点,以提供更好的密集奖励函数来改进策略。因此,Eureka中的LLM反馈部分实际上结合了真实成功函数和每个策略在Eureka奖励函数中的各个单独要点的统计总结。这为LLM提供了足够的信号,使其能够自主生成更好的奖励函数,并改进现有的函数。
Initial Reward Function Generation
Zero-shot生成奖励函数非常重要,因为在数据稀缺的情况下,你需要一个奖励函数作为起点,但设计一个奖励函数通常非常困难。为新任务设计奖励函数时,通常很难找到合适的起点。然而,LLM可以直接生成奖励函数,并通过自我改进来启动这一过程。这是LLM在Eureka工作中所需的关键能力之一,因为它能够在没有人工干预的情况下完成这项工作。
DrEureka方法框架
有了Eureka,即使人类编写了初始奖励函数,Eureka仍可以对其进行改进,最终结果实际上会比从零开始使用Eureka更好。尽管人类可能不擅长编写奖励函数,但他们在识别环境中对编写奖励函数有用的变量方面却很有经验。这对LLM来说是非常有用的信号,有助于其编写越来越好的奖励函数。
如果LLM必须从零开始编写一切,它不仅需要确定如何设计奖励函数,还需要弄清楚哪些输入是奖励函数所需的。这在环境描述不佳时尤其困难,因为很难理解状态变量的意义。但是,当人类提供了初始奖励函数时,这实际上简化了LLM的任务,因为LLM不需要生成初始候选函数,只需要逐步改进奖励函数即可。如果初始候选函数非常差,即使改进后效果也可能不好。搜索算法需要较好的初始候选函数,以便自我改进也能取得良好效果。
Environment as Context
LLM如果要设计奖励函数,最终这是一段代码,你需要把这段代码放到原来的环境中运行,但LLM需要知道可以使用哪些变量,还需要了解环境的相关信息,以便生成可执行的代码。而环境本身已经是一段代码。假设人类已经知道这部分环境代码,那么如果你把整个环境代码输入到LLM的上下文中,LLM现在已经非常擅长识别哪些变量和环境源代码中的哪些行是编写奖励代码所需的有用信息。环境源代码已经提供了所有必要的信息,用于识别环境中的状态和动作变量。这样,LLM就可以使用这些变量来编写奖励函数。
所以,这是一种自动化的方法,告诉LLM,这是你需要编写奖励函数的环境代码。因为如果不提供环境源代码作为上下文,你需要通过提示单独告诉LLM,我的环境有一个人形机器人,它有一个头、一个躯干、两只手和两条腿等不同变量,然后再推荐奖励函数。我们在附录中也展示了这种方法,但那样人类需要编写提示信息。而更简单的方法是,因为在构建奖励函数时你已经有了环境代码,你可以直接将整个环境代码复制粘贴到上下文中,这样就能顺利运行。所以,这是一种懒人提示法,但我们发现这种方法效果很好。
因为现在的大模型在语言代码理解方面非常强大,所以如果你把原始环境代码输入进去,它自己就可以识别出环境中的变量,不需要人类再手动说明环境的细节。你不需要再详细描述环境,比如这个人形机器人有四肢、两个胳膊、一双手、一个头等。这些信息模型通过读取源代码就能识别出来。
这样可以让整个过程简单得多,减少人工干预。这也是为什么我们可以用相同的提示语在10种机器人和29类任务上进行操作的原因。每个环境的源代码不同,但这没有问题,你不需要为每个环境单独提示。这样的方法具有很大的可扩展性优势,使得同一个提示语可以直接应用于多个机器人和任务。
Rapid reward evaluation via massively parallel RL
一般来说,在仿真环境中运行强化学习(RL)会花费相当长的时间。在Nvidia推出Isaac Gym之前,强化学习在仿真中的运行速度相对较慢。但由于有了这些高效的仿真工具,比如Isaac Gym,评估一个奖励函数现在可能只需要一到两个小时,所以一天之内可以进行五到六次迭代。
然而,如果使用并行仿真(GPU parallel simulation),迭代和评估的速度会变得很慢。训练一个策略可能需要10个小时甚至一天,如果进行5次迭代,可能需要三四天。这会极大地减慢算法开发的速度。对于最终用户来说,这样的等待时间也是难以接受的。如果需要等三四天才能得到一个好的奖励函数或策略,用户可能会失去兴趣,就像你们一开始提到的,与其等待仿真结果,不如花三四天收集更多的真实数据。
Return reward reflection
这个就是我刚刚提到的反馈机制,具体来说就是使用成功函数(success function)。这样可以让大语言模型(LLM)评估每个奖励函数的好坏。因此,我们需要将这些反馈编写成一个文本,然后提供给大语言模型。这样,模型就可以根据这些反馈更新并生成更好的奖励函数。
Eureka效果—super human level reward function
我们在这篇论文中使用了29个任务,这些任务都是开源的,不是我们自己写的,而是RL研究者们自己编写的。例如,Nvidia的Isaac Gym中的10个原套环境,这些环境中的奖励函数由RL研究者和Nvidia研究人员写的。因此,这些奖励函数质量还算不错。这也是为什么我们认为RL研究者自己在基准测试中编写的奖励函数通常是不错的,因为如果奖励函数不行,你就无法通过基准测试,也无法完成论文。
在我们的论文中,我们使用了29个任务,这些任务都是开源的,由RL研究者自己编写的,而不是我们自制的。例如,我们使用了Nvidia Isaac Gym中的10个环境,这些环境的奖励函数是由RL研究者和Nvidia团队编写的。我们认为,RL研究者自己在基准测试中编写的奖励函数通常是不错的。如果奖励函数不好,那么没人会使用你的基准测试。而这些奖励函数,相当于人类专家级别的水平。我们的工作以这些专家级别的奖励函数做比较,也可以进一步说明Eureka的效果很好。
这个比较的基准线其实很难做,在当时,没有其他类似Eureka这样能自动生成奖励函数的算法,我们没有合适的基准。更有意义的方法是与已有的人工奖励函数进行比较,有些任务对于人类来说通常很困难。这样比较能更好地展示大型语言模型在自动化任务中的潜力,这让我们觉得非常有价值。
Eureka效果—Novel reward function
LLM可以生成一些人类想不到的奖励函数,可以从两个角度解释。首先,我们对比了人类编写的奖励函数和Eureka生成的奖励函数,进行了相关性分析。我们把它们当作数学函数来看它们的相似度。这可以从数学层面上判断它们是否类似。有时,这两者的相关性很低,甚至是负相关,说明人类的奖励函数可能已经很优化,而我们生成的奖励函数可以做得更好。
我们发现Eureka生成的奖励函数中包含了一些人类不常用的数学公式。例如,在一个奖励函数中,我们使用了“e的e的负距离次方”这一双重负指数函数,这在常见的奖励函数中非常不寻常。人类编写的奖励函数通常使用的是简单的L2距离函数,即最小化机器人和目标位置之间的距离。
这个奖励函数是“e的e的负距离次方”,这是非常令人惊讶且不常见的。我们在研究后发现,这种函数在负值范围内非常平滑,而在强化学习中,平滑的奖励函数有助于稳定训练。这意味着,LLM生成的奖励函数虽然看起来奇怪,但实际上可能包含非常有效的数学公式,并且表现得比我们自己编写的函数更好。
这一点在我去MIT演讲时被指出。在演讲后,有观众提到他们在我们网站上发现了这个看起来很奇怪的奖励函数,并且自己尝试后发现效果比我们自己写的要好。起初,我并没有过多关注LLM生成的奖励函数,但显然其他人关注到了,并发现了它们的实际价值。这让我感到非常意外和有趣。
4. DrEureka方法介绍
Reward-Aware Physics Prior
在DrEureka的工作流程中,首先使用Eureka生成奖励函数,然后再调整domain randomization参数。这些参数有一个范围,而在物理仿真中,这个范围理论上可以从负无穷到正无穷。比如,视觉物理和重力参数可以在-100到100之间变化。但如果让LLM在如此大的范围内搜索参数,得到的范围可能太宽泛且无用。因为如果范围太大,训练策略时可能会出现过多的变化,导致策略崩溃。
为了解决这个问题,我们采用了物理先验(physics prior)的概念。具体而言,我们先有一个初始的奖励函数和初始的默认物理值,然后逐渐增加或减少这些值,直到基于原始奖励函数训练的策略失效。这样就可以得到一个更小的、可用的参数范围。
通过这种方法,我们可以限制LLM的搜索范围,使其得到一个有用的物理随机化分布。换句话说,我们需要知道奖励函数和策略仍然有效的上下限,然后在这个范围内进行搜索。否则,搜索空间太大,返回的结果可能无效且不实用。这种方式确保了domain randomization的有效性。
5. 一些问题
Eureka和DrEureka可以改进的地方
Eureka和DrEureka都没有考虑视觉输入,在这些工作中,机器人实际上无法看到环境,它仅仅依靠接收到的文字或代码输入来解决问题。然而,在现实世界中,特别是在操控任务中,机器人首先需要看到环境,以了解物体的位置以及如何与其互动。这两个工作都没有解决这一部分问题。但我们相信,借助现在的视觉语言模型,比如GPT4v、GPT4o、Gemini等,我们可以利用视觉反馈来设计奖励函数,并从视觉输入中提供反馈。
此外,在DrEureka的工作中,我们没有使用现实世界的反馈来更新领域随机化参数。因为当时我们认为这样会使迭代周期变得过于缓慢,而我们只对Zero-shot的效果感兴趣,想要测试LLM在开箱即用的情况下能做多少。不过,未来对于一个完整的系统,我认为利用一些现实世界的反馈来调整奖励函数和领域随机化参数会非常有帮助。
Eureka和DrEureka与其他基于LLM的机器人工作对比
整体来说,我们开发了利用LLM来加速和自动化强化学习场景的方法。我们成功地在模拟环境中展示了技能,比如转笔,以及在现实世界中展示了之前未见过的技能,比如让机器狗在瑜伽球上行走。这表明LLM对机器人学习复杂技能方面具有很大的潜力。
我想将这一点放在大型语言模型在机器人领域的应用背景中来看。比如,已经有很多工作使用大型语言模型来进行机器人研究,比如说SayCan,RT2之类的工作,但这些工作通常关注于机器人的高层次规划问题,而很难展示大型语言模型如何用于教机器人进行高频率的低层次技能。我认为,Eureka和DrEureka是一些首次展示了使用大型语言模型不仅能告诉机器人该做什么,还能教机器人如何完成复杂技能的工作。这开启了大型语言模型在机器人领域应用的全新方向。
如何评价目前学术界模仿学习和真机操作数据更占上风?
仿真和强化学习确实有它的问题,就像你说的,仿真环境和奖励函数的设置会占到工作量的80%到90%。因此,如果你考虑写一篇论文,设计环境并不新颖,因为没有什么可以写的方法。所以,从写论文和展示演示的角度来看,这确实很痛苦。
但关于仿真和真实数据的选择,我认为这两种学习范式都非常重要。如果你只使用模仿学习和真实数据,你的性能最终会停滞不前。因为在某个阶段,我认为模仿学习是达到70%到80%性能的最简单方法。对于演示来说,这已经足够了,因为在演示中,你只需要展示你的系统工作一次或两次。但是,如果你希望机器人在现实世界中真正工作,80%的成功率和执行速度是不够的。你需要它更加鲁棒。如果你关注文献中关于从模拟到真实的强化学习,你会发现RL的控制器通常更加鲁棒。所有展示出非常鲁棒行为的工作,如四足机器人和无人机,它们的行为更加灵活和鲁棒。这主要是因为它们能够在模拟中尝试大量的数据,并且能够使用强化学习来处理次优数据。
相比之下,在模仿学习中,你必须使用高质量的数据,但高质量数据只告诉你如何在专家分布内完成任务。一旦超出这个范围,机器人会停滞,不知道该做什么。这对于演示来说是可以的,但如果你希望它鲁棒,你会发现通过强化学习可以走得更远。在DrEureka项目上我们展示了一些有创造性的视频,我们踢机器人,踢球,把球从草地踢到平坦的地形上,机器人能够预先判断这种行为,而这在模仿学习中要难得多。但不可否认的是,设置模拟环境和设计奖励函数确实非常困难。
Eureka可以成为解决Sim+RL的方法吗?
像PPO这样的算法在强化学习领域已经很成熟并广泛应用,但在实际的机器人仿真中,环境的构建和奖励函数的设计仍然是一个大的挑战。如何设计合适的环境、如何创建有效的奖励函数、以及如何进行领域随机化,这些问题都需要解决。目前,不同的机器人和任务需要不同的环境设置,这往往涉及大量的人工工作。
学术界有一个说法叫做Graduate students decsent,让研究生或博士生来调参和优化模型,既费时又费力。但现在,借助大语言模型自动化处理这些任务,能够极大地节省时间和精力。我认为这是一个非常重要的贡献,可以把仿真和Sim2Real进一步扩大规模(scale up)。
过去对于每一个任务,我们都需要花费大量时间。但现在,借助大语言模型,我们可以自动化处理数百甚至数千个任务。这将有效解决大规模仿真以及sim2real中的一个关键瓶颈,传统的仿真非常适合单个任务,你可以为一个任务花费数小时甚至写一篇论文,但这样的方法对其他任务或机器人可能并不适用。然而,利用大语言模型作为通用平台,可以广泛支持各种模拟任务,我认为这将在未来变得非常重要。
Eureka的应用情况
学术界有一些使用Eureka来进行不同类型机器人的例子。例如,有人用Eureka为一个蛇形机器人设计奖励函数,让它能够成功地前进。这种方法确实取得了不错的效果。我们自己的研究也使用了Eureka来改进奖励函数,这在多个项目中都表现出了良好的效果。
Eureka的影响不仅仅局限于机器人领域,它是一个非常通用的算法,不仅仅局限于设计奖励函数。最近有人用Eureka的理念,即使用大语言模型来进化算法。Google最近在ICML上发表的一些论文也探讨了类似的想法,用大语言模型提出不同的解决方案,然后验证这些解决方案并生成新的解决方案。这种方法在科学发现领域也有很大的潜力,例如蛋白质合成和编码等领域。
Eureka是一项非常前沿的技术,但如果要将其商业化,可能还需要再迭代一两次。商业化过程中有很多考虑因素,不仅仅是大语言模型,还需要确保机器人硬件足够好,能够支持算法的有效运行。
总的来说,Eureka在机器人和科学领域的影响将会非常大。不过,我不会把所有的功劳都归于Eureka,因为还有很多其他同时进行的工作也在探索如何利用大语言模型进行进化发现。但我认为,Eureka是展示这种算法如何实现真正创造性和有趣工作的最具说服力的案例之一。
Sim2Real Gap的渲染问题
关于物体真实度问题,如果你可以在仿真模拟器中运行你的策略,然后制作一个视频,这个视频可以传递给多模态的语言模型,让它评估视频中的分布是否足够真实。这可以进一步扩展仿真模拟的应用,通过渲染增强视觉真实性。这种方法与Eureka的整体思路是一致的,都是利用大语言模型生成和验证内容进行迭代。所以解决Sim2Real Gap的问题,我们不仅可以考虑通过DrEureka改善域随机化,还可以考虑利用LLM的迭代提高渲染真实度。这些技术现在已经可以实现,而且我知道有不同的团队正在朝这个方向努力。
通过这样的方式,我们可以提升仿真的真实性和多模态处理能力,从而在更多的应用场景中取得更好的效果。
正常怎么做Domain Randomization?
就是在调整domain randomization参数时,确实存在一定的猜测成分。你猜测一个数值或范围,然后训练一个policy,并在仿真环境或实际环境中测试。如果效果不错,那你就找到了合适的参数;如果不行,就需要重新调整再试。这过程确实存在问题,尤其是在一些危险任务中,可能会损坏机器人。因此,仿真测试非常关键,尽量在仿真中完成所有调整是最佳选择。
这也是为什么仿真和现实结合的过程既困难又耗时,有时在初始阶段可能会损坏机器人。如果一切都能在仿真中完成,那将更好。在实际应用中,在破坏机器人之前,你需要人工调整和猜测初始参数,但这显然不具备可扩展性。Eureka的贡献就在于它可以自动处理这些复杂的参数调整,减少了人为猜测和反复实验的过程,使得在大规模应用中更加实用。
Eureka效果仅局限在局部移动这类任务吗?
从根本上讲,没有什么因素阻止我们在仿真环境中完成操作任务。许多问题源于视觉输入,例如在操作任务中需要知道物体的位置,而在局部运动中,你总是需要接触物体并确定它们的位置。这是一个很大的鸿沟。如果我们能弥合这个鸿沟,那么在仿真到现实的转换中也可以做很多操作任务。目前有许多项目正在使用点云输入等3D信息来进行操作任务的仿真到现实转换。这方面的研究还需要更多的探索和发展,但已经显示出很大的潜力。总的来说,尽管存在一些挑战,但在这一领域的进展将极大地推动仿真与现实世界之间的融合,并解决许多实际应用中的关键问题。
仿真+RL在处理长程任务上的表现?
在处理这些长时间跨度任务时,根本的问题不是仿真本身,而是如何有效地将这些长时间跨度的操作分解。这是仿真或现实环境中都需要解决的问题。关于分层强化学习(Hierarchical Reinforcement Learning),有大量的学术研究,但这些研究主要集中在理论层面,还没有完全应用到从仿真到现实世界的过渡中。然而,这确实是一个科学前沿,需要投入更多时间进行研究。
仿真环境里的数据是怎么产生的?
RL(强化学习)的一个主要优势是它可以自主生成数据。RL策略通过在环境中自主探索来收集数据,这与模仿学习(imitation learning)有很大的不同。
在模仿学习中,数据是由另一个实体(通常是人类)收集的,算法通过模仿这个实体的行为来学习。相比之下,RL允许策略在环境中自主探索,生成自己的数据。这种自主数据收集的方法使得RL能够在没有预先收集的数据集的情况下进行学习。
RL算法通过探索环境,自己设计奖励函数(reward function),从而能够区分好的数据和不好的数据,并进行迭代改进。这样,RL不仅能自动适应环境变化,还能在探索过程中不断优化策略,使其在不同情况下都能表现良好。这种自主探索和数据收集的能力,使得RL在解决复杂和动态环境中的问题时,具有很大的优势。
关于研究方向
我的工作并不仅限于仿真,很多工作其实都不是在仿真中进行的。我一开始是做强化学习的,我早期的一些 paper,都是关于强化学习算法和理论的。后来我也做过很多模仿学习的工作,比如从人类视频中学习。像在Eureka这一系列研究之前,我做了一个从人类视频中选择操作选项并进行显式预训练的研究(VIP),Eureka这个工作做了一些仿真工作。整体来说,我非常看重机器人算法的开发,无论是否在仿真环境中。
可否简单介绍下VIP
通过 VIP 学习奖励函数和价值函数,这些 VIP 学到的价值函数不是代码,而是一个实际的数字。这些数字可以从实际的视频中学习得来,在机器人执行任务的过程中,它们可以告诉机器人过程是否进行得好。这些数字是通过视觉输入获取的,非常适合于现实世界的应用场景。
6. 一些想法
从Eureka开始,我们将用两期文章探讨仿真数据+强化学习。在和很多做机器人学习的学者交流时,大家都或多或少会对仿真+强化学习的路径提出一些问题。但就scaling law的三驾马车大算力+大数据+可扩展的模型框架,目前机器人领域最大的瓶颈就是大数据。机器人的交互环境是物理世界,而这些接近物理世界的数据模态又是过往的移动互联网和互联网时代所欠缺的,仅通过遥操和动捕短期内也很难获得海量丰富的数据。通过仿真环境来生成这些近似物理世界的数据模态也许是通往具身大模型不可缺少的一个环节,只是在这个过程中,依然有很多问题需要被解决。
在和Jason的交流中,他的一个观点让我非常受启发:模仿学习中,你必须使用高质量的数据,但高质量数据只告诉你如何在专家分布内完成任务。一旦超出这个范围,机器人会停滞,不知道该做什么。在过往的一段时间里,我们也观察到很多次让人类震惊的AI能力都是通过强化学习体现出来的,早前有AlphaGo战胜李世石在围棋领域称霸,最近有AlphaProof和AlphaGeometry在IMO比赛中取得银牌水平的成绩,ChatGPT带火的大语言模型也极大程度的应用了强化学习。
也许智能的涌现并不存在于人类的经验范围内。以人类的经验和能力作为参考训练出来的产物,必定是人类能力的折扣。而要达到人类能力相当水平,也许需要通过超出人类理解和经验的方式才能真正获得。仿真+RL,现在可能是它的至暗时刻,但任何获得巨大成功的人或事,谁又没经历过至暗时刻呢?
References
VIP
https://sites.google.com/view/vip-rl
Eureka
https://eureka-research.github.io/
DrEureka
https://eureka-research.github.io/dr-eureka/