提到机器人+强化学习,也许大多数人和我一样,会首先想到在仿真器中用强化学习进行机器人控制的训练,尤其在移动控制(locomotion)方面。在机器人操作领域,因为仿真环境的Sim2Real Gap问题,仿真+强化这条路线在解决机器人真机操作方面一直没有很好的突破。
在今天这篇文章之前,我一直以为强化学习和机器人的结合只能在仿真器里发生,然后再Sim2Real部署到真机上。之前的一篇关于机器人操作的综述将机器人的手牵向人类的手:灵巧操作华人论文综述引用的大多数强化学习+操作的论文也都是这条路径。当然有的就只是演示了在仿真环境中的demo,极个别的论文展示了真机部署。
看到这里,我猜很多和我一样的外行都认为强化学习这种暴力出奇迹的算法应该只能在由GPU驱动的仿真环境里进行吧。作为具身智能资深博主,我可以负责任的说,今天这期文章可以非常好的科普强化学习如何不通过任何仿真直接在真实机器人上训练。
我们今天访谈的对象罗剑岚博士,是一位在强化学习+真机这条路线上持续深耕七八年的优秀学者,也是近期强化学习+真机这条路线上非常有代表性的两篇工作SERL和Hil SERL的一作。罗剑岚博士目前是伯克利人工智能研究实验室(BAIR)的博士后研究员,与Sergey Levine教授合作。2022年回归学术界之前,他曾在Google X担任研究员两年,与Stefan Schaal教授一起工作。他于2020年在加州大学伯克利分校获得了硕士和博士学位。此外,他也曾在DeepMind和Everyday Robots工作过。
我非常钦佩罗剑岚博士对自己学术路线的选择和坚持。有些人坚持着一条少有人走的路,孤独但坚定,直到这条路被更多人看到,他终将会引领这条路。关于强化学习+真机这条路线,希望以下文字可以让你也了解这条经历过一些故事的具身路线。
查看原文目录
以下为本文目录
👇
1. 自我介绍
2. 什么是真机+强化学习
3. 强化学习+机器人的发展脉络
4. RL+真机怎么解决暴力搜索的问题?
5. 真机+RL完全没用到仿真吗?
6. RL+真机是一个什么样的训练过程
7. 泛化性问题
8. 为什么坚持真机+RL
9. 在北美目前IL和RL哪个路线更受欢迎?
10. 18年的RL+真机和今天有什么不同?
11. Hil-SERL有什么局限性?
12. 关于RL+仿真
13. Hil-SERL开源吗?
一些想法
1. 自我介绍
我是2015年开始在伯克利攻读机械工程博士,最初的方向是机器人控制,当时正值机器人学习(robot learning)领域初步兴起的阶段,特别是2015至2016年间。从那时起,也逐步将研究方向转向机器人学习,主要和Pieter Abbeel以及Sergey Levine等学者合作,此阶段,我的研究集中在强化学习,尤其是将强化学习应用到真实机器人。
2019年开始,我在谷歌多个机器人部门任职,包括Google X、DeepMind等,与Stefan Schaal教授合作。Stefan Schaal原来是USC的教授,是马普所的founding director,在2015年之前,Stefan Schaal算是整个机器人学习领域的泰斗,彼时的机器人学习没有引入视觉更多侧重在机器人动态系统学习。整个欧洲学派,包括Jan Peters,Aude Billard等研究者,都是在他的学术体系中发展起来的。
2022年,我回到Sergey团队做博后,主要研究高样本采样效率高性能的真机强化学习和操控方面,以及大模型相关的应用。
2. 什么是真机+强化学习
在仿真强化学习中,目前比较成功的方向主要集中在强化学习与运动控制(RL + locomotion)上。相关研究通常是完全基于状态,或者通过学习一个表征(latent space),然后再Sim2Real或者Real2Sim2Real在现实世界与仿真环境之间做一个对齐。
但我主要关注的是在现实世界中一些非常复杂且重要的场景,比如物体接触和可形变物体等。这些场景中,需要依赖视觉输入(如RGB图像和相机感知),仿真中的策略往往难以在现实世界中取得理想效果,二者之间的差距较大。
现在用强化学习做物体操作相对冷门,但在2017-2018年期间,有不少人对此进行了探索,但当时强化学习面临许多问题,比如样本效率低等,这使得训练过程十分困难,导致许多人放弃了这一方向。但我始终相信这个问题的重要性,所以一直坚持这个方向的研究。
总体来说,我的研究是在有视觉输入的条件下用强化学习算法进行真机训练,尤其是对于一些模仿学习(imitation learning)无法达到100%成功率的任务,在涉及物体接触等物理交互的场景中,能在一到两个小时内训练出达到100%成功率的模型,尽管这只针对特定任务,而非广义化任务,但其鲁棒性和抗干扰能力非常强,这些在仿真环境中是很难实现的。
3. 强化学习+机器人的发展脉络
强化学习(RL)的历史可以追溯到八九十年代,那个时候的算法相对简单,早期的一些研究者,如Stefan Schaal等尝试将其应用于运动控制,例如DMP和policy gradient等方法的结合,这个阶段的研究是没有视觉输入的。
到2017和2018年,谷歌开始在真实机器人上应用强化学习,这些研究主要集中在抓取任务上,但由于抓取任务存在更好的解决方案(例如使用标注数据),这部分工作并没有继续深入。
在2019至2020年,有一个重要的研究工作是ETH团队发表的两篇论文,展示了如何在仿真环境中训练强化学习模型,并结合了领域随机化(domain randomization)。这些研究表明,即使仿真环境不是完全真实,也能得到在现实世界中表现合理的策略。他们的工作主要集中在运动控制上,这也逐渐成为现在大家做运动控制比较主流的一个方案,就是在仿真里训练,然后teacher-student做蒸馏。
这里我想说的是,在运动控制任务中,基于模型的控制MPC方案非常成功。但控制或基于模型的控制问题是入门门槛比较高,你可能需要读个5年的PHD,把Dynamics、把控制的这些都过一遍你才会搞,后面的性能优化需要有很强的工程支持。仿真和强化学习把运动控制的门槛降低了,提供了一个更容易上手的工具。
强化学习在运动控制上性能很容易到90%或95%就提升不上去了。如果你的模型在某些情况下,比如特定的拐角案例(Corner Case)上表现不佳,你可能会发现自己无从下手,除了不断增加数据来优化策略(无论是TRPO还是PPO),也不知道该怎么做。然而,如果是基于模型的控制(MPC),虽然调参数很难,也不容易使其正常工作,但你确切知道哪些参数需要调整,因为每个参数都有其物理意义。ETH团队在最新的研究中(如2023年和2024年的工作)已经将MPC与强化学习结合起来。
至于强化学习对于机器人操作,其实一直没有取得太大的突破。操作的难点不在于模型本身的不确定性,而在于外界的不确定性。运动控制的难点在于模型本身的不确定性,比如模型问题让机器狗迈错步子之类的问题,但这比较有限,是一个相对简单的问题。而在操作中,机械臂的动作是确定的,你让它向左走,它就一定会往左走,就像特斯拉的自动驾驶一样。你真正担心的是外部的不确定性,比如前面是否有卡车,或者路上是否有其他障碍物。
在操作任务中,比如捡起USB插头并将其插入USB槽,问题在于接触力的分析和刚体接触的复杂性。在真实世界中,视觉信息是连续的,环境的变化几乎是无穷无尽的,需要处理的复杂度几乎是无限的,这才是真正的难点。因此,在真实环境中进行训练是必要的。虽然现在有些成功的深度学习仿真系统,但如果你构建了一个仿真器,从中学习出的策略是不可能超越仿真器本身的能力的。最终,你的仿真器会限制你的策略学习。
用仿真去构建一个和真实世界一模一样的环境是很难的事情,你一定要自己去和这个真实的世界去交互才会有最真实的反馈。在强化学习中,有一个术语叫做基于人类的强化学习(RLHF),而在物理世界中,我们可以称之为基于物理世界的强化学习(RLPF),因为物理世界提供了丰富的反馈。我们不能因为使用仿真器解决了一个相对简单的问题就认为它一定会解决另一个难得多的问题,从而不去解决这个困难问题的本质,反而被困在“鞍点”里,去绕路构造这个困难问题的近似(proxy)来尝试去解决它。这样长远来看,会失去找到全局最优解的能力。
当然,利用真实环境进行训练是很有挑战性的,因为你需要考虑的因素非常多。要求采样效率非常高,并且需要确保整个系统协调运作,但这是难而正确的事情。因为这是能够达到100%成功率的唯一有效路径。
在我们最新的研究(如Hil-SEARL)之前,大家基本上放弃了在真实环境中用强化学习做操作的训练,认为训练出的策略效果不佳,训练时间过长,整体过程也很复杂,因此许多人已经不再进行这种训练。
然而,在今年1月份,我们发布了SEARL,它能够在真实世界中在十几到二十分钟内学习出100%的策略。这一框架引起了波士顿动力、斯坦福、MIT等国内外一些高校和企业的关注,他们重新开始在真实机器人上训练强化学习。此外,一些欧洲高校也开始尝试这种方法并向我们分享了他们的训练视频。
4. RL+真机怎么解决暴力搜索的问题?
在仿真中通常使用的算法是PPO,使用PPO时,每次训练后得到的数据必须丢弃,然后重新开始。这在仿真中没有太大问题,他们也不需要考虑采样效率的问题。
我们的方法则需要提高数据的重复使用效率,之所以能够实现样本高效,主要得益于人类的演示示范。人类通常可以提供10到20个合理的演示,作为初始解,之后强化学习将在这个范围内进行搜索,直到实现100%的成功率。
我们使用了演示纠正,并结合在线人类反馈。这种方法不需要复杂的奖励函数。举个例子,AlphaGo的策略不管走多少步,最后只关注一个结果,即胜负。它的判断标准是0和1,减少了推理过程中的偏见,这样反而提高了效果。
关于奖励函数的设计,确实非常复杂,无法简单设计出一套有效的函数来处理所有情况。很多时候,设计出来的奖励函数与真实物理环境之间存在较大差距。我们的奖励函数设置是稀疏的,不管你是长程任务还是短程任务,任务完成了就是1,没完成就是0。
我们的系统是高度可扩展的,能够在多个任务上表现良好。通过合理的设计选择,将多个系统和算法整合在一起,我们最终建立了一个高效的系统。在我们的研究中,RL并不是简单的暴力搜索,而是在初始范围内进行搜索。控制论中也有类似的概念,即利用参考轨迹设计控制器,围绕这个轨迹设计反馈控制器从而达到鲁棒。
我们的方法在加入视觉信息后,样本效率的提升更为显著。在一些复杂任务中,比如精密的PCB装配或汽车组装,我们的系统在真实环境中能在1到2小时内实现100%的成功率,显示出其高效性和可靠性。
5. 真机+RL完全没用到仿真吗?
目前我们没有使用仿真,直接在真实环境中进行复杂任务的学习。这种任务通常涉及精密的操作和多个接触点,模仿学习在这些场景中通常会遇到困难。然而,我们的系统能够在一到两个小时内实现100%的成功率。例如,在我们的研究中,我们完成了12个任务,包括动态操控和与灵活物体的接触,比如给汽车装仪表盘。
RL+真机训练过程
在动态操控中,关键在于根据反馈进行实时调整,而不是简单地执行一系列固定的动作。我们必须根据相机捕捉到的环境信息不断调整行为,而不是仅仅记住某个动作然后开环(Open-Loop)执行。如果执行与预期有偏差,就需要不断修正,这种与环境的真实互动是获取机器人行为的关键。
虽然我们目前没有使用仿真,但我认为我们可以通过预训练来减少训练时间。每个任务的初期阶段往往是在摸索基本的操控能力。如果我们能使用易获取的数据集来进行预训练,这将大大缩短训练时间。例如,通过训练,我们可以将复杂任务的完成时间缩短到20分钟,比如装汽车的飞轮和皮带等,尽管目前机器人在这些领域的表现仍然有限。
6. RL+真机是一个什么样的训练过程
汽车装配RL+真机训练过程
这是一个汽车装配任务,两个机械臂需要把一个部件举起来并安装到仪表盘上。这个装配任务非常精密,涉及到多个接口和非常精确的操作。现在的机器人还无法直接完成这个任务,它是从头开始训练的。在初期,机器人进行的是一些随机探索,类似于在环境中做一些随意的操作。我们提供了示范,然后在这个过程中,人类会不断地进行纠正和指导。
随着时间的推移,机器人逐渐掌握了基本的操作。视频是从头到尾没有剪辑的,基本上你可以看到从一开始的随机探索,到最后,机器人成功地完成了任务。经过一定时间后(比如两小时),它的成功率几乎达到了100%,几乎不会出现失误。
这些行为是通过与真实环境的互动学习到的。比如说,机器人学会了如何抓取USB并放下,或者如何拉动皮带等动作。这些行为是通过自动探索得到的。通常来说,只有通过不断的训练和反馈,机器人才能学会这些操作,强化学习算法通过动态规划,能够帮助它达到更高的表现。
7. 泛化性问题
我们这篇论文并没有处理从一个任务到另一个任务的泛化问题。SERL和HIL-SERL主要解决的是机器人操作的强化学习在真实世界不work的问题。关于多任务问题,之前也有一些工作,展示了单个任务的强化学习模型可以快速生成数据,并且这些数据可以被蒸馏到更大的模型里,进而变成一个支持多任务的模型。通过这种方式,模型能够更好地适应不同任务。
我们的目标是提供一个可靠、可用的基础工具,帮助研究人员在这个工具上进行更复杂的工作。基于我们的工具,很多后续的研究都可以继续构建,并且大家能够更清晰地知道如何实现。
8. 为什么坚持真机+RL
很多人放弃这类工作的原因之一是,它要求对机器人系统和强化学习(RL)算法都有非常深入的理解。你需要在这两个方向上都达到很高的水平,但实际上,这并不是一件容易的事。坦白说,似乎没有什么捷径可以走,必须通过自己一步步踩坑,积累经验。很多人可能会觉得,想要快速取得成果很难,可能就放弃了。我自己也觉得这个过程充满风险,短期内可能收益不大。但从长远来看,我认为RL肯定是未来解决方案的一大部分,至少我们可以看到这种趋势。我预测,现在这些大规模使用模仿学习的创业公司,在他们试过之后,知道痛点在哪之后,明年开始就会用强化学习去优化成功率,节拍数,和一定的鲁棒性。
至于说我为什么仍然坚持做强化学习+真机,记得在2019年左右,当时在Google做研究时,我就开始尝试了。我们用真机+强化学习做了一个插拔操作任务的研究,实现了100%的成功率,并且进行了1万3000次测试,所有测试结果都是成功的。而且成功率甚至超过了我们付费请的一个当时最好的机器人系统集成商,我们是真正的看到了RL的潜力。
机器人操作强化学习的很多工作在实践中很难复现。很多人都很难让RL真正起作用,尤其是最新的研究成果,大家复现这些结果的难度很大。去年6月,我和Sergey讨论能否给社区提供一个成熟、可靠的工具,使得大家可以复现这套机器人真机操作的强化学习算法,这也是SERL这篇文章的初衷。
9. 在北美目前IL和RL哪个路线更受欢迎?
模仿学习只需要通过机器人收集一些数据,做一些实验,它确实能很快产生结果,因此大家愿意去做。然而,问题在于,当你想把模仿学习的效果提升到更高的精度时,单纯依赖数据收集可能就不够了。最终,模仿学习和强化学习需要结合在一起,形成一种互补的关系。比如说,如果你希望机器人能够做到99%的准确度,强化学习肯定是不可或缺的一部分。Rich Sutton的bitter lesson说历史告诉我们learning和search是两种可以无限scale的方法。Imitation learning可以告诉我们怎么从数据中找到特征,但是没有search或者optimization (RL),它超越不了数据的局限,从而以新的方式解决新的问题。
在北美,Sergey他一直比较坚持在实际环境中使用强化学习。SERL和Hil-SERL这两个工作,也更有说服力的证明为什么需要强化学习,通过这两个工作,大家应该能看到强化学习的潜力,并且理解它为什么在这个过程中至关重要。我在北美这八九年也一直坚持在这个方向上没变过,我的愿望很简单,就是让我的技术能够被广泛应用,并且获得真实的好评。我并不是要在论文里写一些夸大的内容,而是希望我的工作能够真实有效地解决问题,并且能带给大家实实在在的帮助。
10. 18年的RL+真机和今天有什么不同?
核心算法本身并没有太大的改变,主要的进步来自于整个系统的整合与优化。Hil-SERL它的贡献在于提供了一套端到端的系统和解决方案,而不仅仅是单一的算法。过去,很多RL的研究关注的是仿真环境中的效果,通常在仿真器里进行测试,但与真实世界的脱节非常严重。Hil-SERL不同,它是一个从底层控制器到高层算法的全方位系统。底层的控制包括了阻抗控制和力反馈控制,到上层的一些算法的设计,整个系统并不仅仅是某个单一算法的优化,而是一个复杂的集成系统,各个环节紧密相连,共同起作用。
系统的设计思路就是将多个因素整合在一起,形成一个更好的整体,而不仅仅是单纯优化某个组件。比如奖励函数的设计,通过更加复杂的奖励机制帮助模型学习得更快。这不仅仅是单个因素起作用,而是所有因素共同作用,使得整个系统的性能得到提升。这也是我一直在强调的观点。
另外,我认为,许多人现在一开始接触机器人技术时,往往只是简单地收集数据,通过两个机器人或几台设备进行训练和实验,但真正有经验的老一辈机器人专家会同意我的观点:机器人本身是一个复杂的系统,不能单纯依赖某个单一组件的优化来提升整体性能。就像你不能仅仅通过更换发动机或电脑就让一辆车变得更快。机器人系统需要在硬件、软件、控制等各个层面上都做到位,才能真正发挥出它的潜力。如果你仅仅做其中的一部分,而忽视整体的整合和优化,最终的效果就会受到很大的限制。
11. Hil-SERL有什么局限性?
强化学习的采样效率与多个因素有关,主要包括状态空间(state space)、动作空间(action space)和任务的时间跨度(horizon)。这些因素直接影响到RL的采样效率,任务的复杂性越高,所需的采样数量也会增加。例如,短程任务(比如十几秒)相对容易用RL来解决,但如果长程任务(比如几分钟),可能需要其他工具或方法来辅助解决。
对于任务的偏好,尤其是涉及复杂接触、柔性物体以及精密设计的任务,RL确实有其优势,但也有局限。对于长程任务,例如将多个子任务结合在一起进行学习(如“打开门”、“关窗帘”、“倒水”),这一系列七八个任务一起学的话,RL可能会学不动。为了解决这一点,可以将任务进行拆分,每个子任务单独处理,这样RL就能更有效地学习和执行。
12. 关于RL+仿真
人类的很多任务,比如打网球,他并不是通过看Youtube视频就可以学会的。他必须自己去尝试,根据环境的反馈来调整自己的动作,最终形成一种肌肉记忆,这种记忆和大脑对物理世界定律的理解无关,他就是一种体感。这个过程是很难通过仿真来构建出来的。与其花100亿去构建一个虚拟的世界模型,我还是觉得收集真实数据来的更快效果也更好,也不用去解决Sim2Real Gap的问题。
自动驾驶公司,即使他们拥有全世界最大规模,最具扩展性的模拟器(如Waymo或者特斯拉的模拟系统),它们在训练最终模型时仍主要依赖真实数据,而非模拟数据。对今天的特斯拉来说,他积累了足够多的真实驾驶数据,他的问题在于怎么样用这些数据,不是开玩笑,去年我听说他们已经面临数据中心装不下产生的数据的问题了,现在似乎有种说法谁的硬盘多,谁就能笑到最后。
类似的教训也出现在90年代计算机视觉的发展中。当时Adobe尝试通过合成图像(synthetic images)解决图像识别问题,投入大量资源生成合成数据,然而最终这些合成图像未能成功支撑视觉模型的实际应用。反而是随着真实图像数据集,比如ImageNet,视觉模型才获得突破性的进展。仿真有他的用途,但如果从构建机器人数据金字塔的角度,真实世界数据还是会占大头。
大家现在使用仿真的一个主要观点是机器人真实数据很难获得,仿真可以瞬间生成100亿的数据,但是没有人会反对如果我有了真实数据,那么最有用的是真实数据。但这不是问题的本质,十年之后我们有一亿个机器人部署在真实世界中,不断分享着他们的真实物理数据(physical experience),那时候我们再来看现在我们的困局,很多问题将会不存在,很多观点将会变得无关紧要。我们现在有的数据量,部署的机器人,都不足以让我们产生确切的科学结论,所以才会百家争鸣。远的不说,谁先第一个部署1000台人形机器人到工厂里,他们24x7传回来的数据就足以让我们产生新的范式,新的科学结论,我们先从这些半封闭的空间的问题入手,一旦我们对问题有了更深的了解,得出的方法论才会更进一步延伸到无约束的空间里的问题。
13. Hil-SERL开源吗?
我们将整个项目完全开源,并且特意选择了MIT许可证,以便让更多人能够使用。从机器人到强化学习(RL),所有的内容都将端到端开源。你提到的关于是否易用的问题,实际上像一些本科生几天就能将其搭建起来,而且还能够在此基础上进行扩展。我们做这篇文章的初衷并不是为了发表论文,发论文对我来说并没有实际意义。
我们花了大量时间重新设计并验证整个代码库,确保它在各种环境中都能顺利运行。通过这些反复的测试,确保大家能够拿到这个工具后,直接接入并顺利使用。
一些想法
风险投资这个行业,入行已有七八年,虽然投的项目里有一些跑的非常不错,但确实也没有投出超级独角兽。有的时候非常感慨如何才能投出个“拼多多”,至今还无解。对我个人来说,so far非常喜欢这个职业,但不得不承认取得终极的成就感,真的非常难,更多的是遗憾和错过。一些项目自己很欣赏但奈何推不动;一些如今炙手可热的项目在早期临门一脚仅一念之差没投,这类遗憾和错过每个投资人也都经历过。怎么和自己和解?把每一次经验教训变成下一次反应的依据。除此之外,写博客也是和自己和解的一种方式,在一系列工作没有直接转化的时候,沉淀自己,逐步提高,守得住寂寞,才配得上繁华。
References:
SERL
HilSERL