在具身智能爆火2年之后,在2024年的年尾,我们聊一个理想很丰满但现实很骨感的问题:具身智能可靠性!这次论坛,我们邀请了在解决可靠性问题最有机会的两条路线,RL和model based control的代表性学者,来一起交流如何将机器人可靠性逼进99.9x%大关。
这期文章是直播内容的总结,我也将直播音频编辑成播客,可以去小宇宙APP搜“ReSpark”这档栏目。ReSpark是我和几位看机器人方向的投资人伙伴共创的栏目,我们希望能够在大行业下,从现在开始记录,记录那些推进这个领域前进的学者、创业者、投资人在不同阶段的成果、故事和心路历程。
When intelligence reshapes reality, the future sparks now!Welcome to Respark!我们会陆续推出具身智能领域的商业访谈,欢迎大家订阅播客。
查看原文目录
以下为本文目录
👇
1. 嘉宾介绍
2. 是掀起浪潮的人,也是浪潮推起的人
3. RL和Control之于Locomotion
RL和Control本身都不是方法,而是问题
Sim2Real RL是一种基于模型的方法
Sim2Real RL优势一:更强的离线计算能力
Sim2Real RL优势二:可以绕开状态估计问题
Control的优势一:具备在线计算能力
Control的优势二:具备很多不错的结构
RL和Control结合
RL和Control结合的工作推荐
RL与Control在实际应用上的表现对比
RL的优势
从RL的角度来看与机器人的结合
4. RL和Control之于Manipulation
操作问题对机器人为什么这么难?
为什么要用真实世界数据来解决操作问题?
操作和移动问题的本质不同
Manipulation路线之争
Control的方法对操作任务的局限性
在仿真里解决操作问题的局限性
模仿学习和强化学习结合在解决操作问题机会
5. 如何将通用机器人可靠性逼进99.9x%?
模仿学习和强化学习结合在解决操作问题机会
RL对人形机器人控制可靠性的迭代
行业应用传统控制和强化学习哪个用得多?
6. How to Make RL Great Again?
1. 嘉宾介绍
罗剑岚:我目前是伯克利人工智能研究实验室(BAIR)的博士后研究员,博士学位同样在伯克利获得。曾在谷歌工作两三年后,我又回到了伯克利。从 2015 或 2016 年起,我专注于机器人学习领域,主要研究机器人操作技术。当时,这一领域尚未被广泛称为“具身智能”。
石冠亚:我目前是卡内基梅隆大学(CMU)机器人研究所的助理教授,于 2023 年加入 CMU,算是学术界的新兵。我博士毕业于加州理工学院控制系,师从控制领域的多位大师,如 Richard M. Murray 和 John Doyle。从 2017 年起,我开始研究“控制与学习”(Control+Learning)的结合,至今在强化学习与控制交叉领域已有七八年的研究积累。
博士毕业后,我在华盛顿大学跟随 Byron Boots 教授做博士后,专注于机器人学习领域。本科阶段,我毕业于清华大学。今天的主题让我非常兴奋,这个问题我从本科时期就开始思考,已经接近十年了,很期待与大家讨论,或许还会抛出一些大胆的观点(笑)。
卢宗青:我来自北京大学计算机学院,主要研究方向是强化学习算法。我自 2017 年回国后一直专注于强化学习的研究,近年来也逐渐涉足机器人领域。此外,我还在跟进大模型的相关研究,尤其是关于视觉标记化(Vision Tokenizer)以及交互学习的相关内容。
朱秋国:我来自浙江大学控制学院,担任副教授,同时也是云深处科技的创始人。我长期致力于人形机器人和四足机器人的研究,早期以传统控制理论为主。自 2019 年起,我与国外学者合作,开始涉足强化学习方向,并主要带领研究生团队开展相关研究。
2. 是掀起浪潮的人,也是浪潮推起的人
石冠亚:我觉得机器人与其他领域的最大区别在于它是一个系统性工程,由多个模块组成,比如可以类比为大脑、小脑和肌肉。大脑对应高层算法,小脑负责全身控制,还涉及硬件等多个方面。
读博时,我的导师 Joel W. Burdick 提到一个“波浪理论”(Wave Theory)。他说,机器人领域每次成为热点,就会掀起一波浪潮,推动技术进步。虽然可能无法直接通向通用人工智能(AGI),但总会留下成果,为下一次浪潮奠定基础。我非常认同这个观点。
至于为什么选择机器人领域,我认为机器人是一个极好的研究平台,可以承载各种科学探索。比如你可以挑战极限,开发跑步机器人,也可以从材料科学或算法的角度出发。这个领域非常多样化,能够激发我持续研究的热情。
在观点方面,我一直坚持“真实环境中的学习”非常重要,而不仅仅依赖端到端学习或大规模数据。去年一场关于“Data is all you need?”的讨论会(大模型能带来通用机器人吗?),投票结果是 50:50,这表明对这一话题的看法还很分化。我认为真实数据和结构化的学习框架依然不可或缺,这既是我的看法,也是我坚持的方向。
朱秋国:我从事机器人研究已有 15 年,主要聚焦于人形机器人,同时也在研究四足机器人。最初我们与清华大学合作参加 ROBOCUP 人形机器人比赛。当时的愿景是,到 2050 年组建一支人形机器人队伍,能够战胜人类足球队。这对机器人研究提出了非常长远的目标。
人形机器人是一个极好的研究平台,但也充满挑战,尤其是控制稳定性方面。我们的目标是让机器人不仅能走出实验室,还能适应复杂的真实环境。比如在 2010 年前后,我们实验室尝试让机器人走出实验室,到操场上走路。这看似简单的目标,耗费了近十年才实现。这让我深刻体会到,机器人研究是一个需要长期坚持的方向。
在这过程中,理论和实践都需要不断升级。对我来说,热爱机器人是基础,而长期的坚守和耐心更是不可或缺。
罗剑岚:我最初在伯克利研究控制领域时开始接触机器人学。第一个项目是机器人操作,传统控制方法中,状态估计和控制是分离的,但在复杂操作场景下,状态估计往往非常困难,这限制了传统方法的应用。
2015 年,我接触到伯克利团队的端到端学习方法,尤其是《Guide Policy Search》这篇论文。这种方法直接从感知到控制进行优化,不再依赖精确的状态估计,给了我很大的启发。尽管操作任务仍然充满挑战,但端到端学习方法凭借其广泛的适用性,正在成为解决复杂操作问题的重要方向。
卢宗青:我的研究起点与大家略有不同,早期主要聚焦于强化学习算法,应用范围多在 MuJoCo 和游戏领域。随着大模型的发展,我们尝试将强化学习与大模型结合,期望开发出通用智能体(Agent),能够完成多种复杂任务。然而,我们发现即便有大模型的支持,很多问题仍需要在真实环境中与物理世界交互才能更好地解决。
因此,我们逐渐将目光转向机器人领域,尤其关注 Locomotion 和 Manipulation 任务。结合真实环境中的数据,我们探索如何利用大模型更好地理解物理世界。比如,在视觉理解方面,目前大模型的能力还很薄弱。我们正在研究如何通过视觉、触觉等多模态交互,提升大模型对物理世界的理解。
机器人作为与物理世界交互的载体,是未来实现更强通用智能的关键工具。接下来的研究重点,将是如何让大模型更高效地融入真实环境的数据和场景。
3. RL和Control之于Locomotion
RL和Control本身都不是方法,而是问题
石冠亚:我的第一个观点,算是个“暴论”吧。我觉得 RL以及Control本身都算不上是一种方法,而应该是一个问题。我觉得强化学习的定义就是有一个马尔可夫决策过程(MDP),包含奖励(Reward)和系统动态特性(Dynamics),目标是优化奖励,找到策略用于控制,这和Control本质上是一回事。其定义就是面对动态系统去设计策略以满足一些限制,不能因为Richard Belleman提出“S、A、R、S”这套表述就说它们不同。
Richard Bellman 提出的“S, A, R, S”是强化学习中马尔可夫决策过程(MDP)的一种表述方式,其中:S (State):表示系统的状态,描述了环境或系统在某一时刻的情况。A(Action):表示代理(如机器人)在当前状态下可采取的动作。R(Reward):表示系统在某一状态下采取某一动作后获得的奖励,通常用来衡量行动的好坏。S'(Next State):表示采取某个动作后,系统转移到的下一个状态。这个框架是强化学习的核心,用于描述在不同状态下,代理通过采取行动获得奖励,并根据奖励调整行为,以达到优化某种目标的策略。
因为RL和Control本质是问题,所以他们都有很多算法,比如Sim2Real RL就是很具体的方法,我可以在像MuJoCo、SR游戏这类做Locomotion的主流仿真器里,用近端策略优化算法(PPO)训练策略,再应用到现实世界中,这跟剑岚做的很多真机+ RL完全不同,我觉得它们的差别比RL与Control的差别还大。
我的观点是,它们是两个不同的问题,得更具体地去探讨。就拿强化学习来说,我们得明确具体讨论的是哪种类型的强化学习。比如是“仿真到现实的无模型强化学习(Sim2Real Model - Free Reinforcement Learning)”呢,还是当下很热门的“学习世界模型(Learning word model)”、也就是基于模型的强化学习(Model-based reinforcement learning),亦或是在真实世界里开展的无模型强化学习呢?像剑岚近期就有不少很棒的相关工作。
我觉得这些不同类型的强化学习其实差别挺大的。另外,还有离线强化学习(Offline reinforcement learning),有很多演示数据(Demonstration)的时候,不光能做模仿学习,还可以进行离线强化学习。我觉得它们之间的差别甚至比强化学习(RL)内部不同类型之间的差别还要大,这是我的第一个观点,第一个暴论。
Sim2Real RL是一种基于模型的方法
说到 Locomotion,目前在这方面最流行的RL方法就是仿真到现实强化学习(Sim2Real RL),就是先在虚拟仿真(Simulated)环境里,运用近端策略优化算法(PPO)或者其他类似的算法去训练出一个策略,之后再把这个策略部署到现实世界当中去。我的第二个“暴论”就是,我认为 Sim2Real RL是一种基于模型的方法。你想想它的操作流程就能明白,首先得有一个你比较信赖的模型,比如仿真器(Simulator),然后在这个仿真器里训练出一个策略(Policy),之后再把这个策略部署到现实(Real world)当中。
Sim2Real RL优势一:比MBC有更强的离线计算能力
不过我觉得它和 MBC在两个维度上是不一样的,那它的优势在哪?在我看来,Sim2Real RL最大的优势,在于其离线计算能力近乎无穷。也就是说,它可以离线从成百上千乃至上万条轨迹(Trajectory)当中去学习策略,有充足的时间去进行优化,从而找到合适的策略。 像MPC这类大多数基于模型的控制方法,其实它们所有的算力运用都是在线上的。就是说,我得在线去确定机器人下一步往哪儿走,它并没有离线的算力。
所以我觉得这就是 Sim2Real RL和MBC在算力运用方面第一个主要的不同点,也就是算力到底是用在离线阶段(Offline)还是在线阶段(Online)。“离线”的定义,就是在机器人开始运行之前进行相关运算;而“在线”就是机器人一边运行,一边去计算相应的内容。
Sim2Real RL优势二:可以绕开状态估计问题
然后第二个我觉得 Sim2Real RL相对MBC最大的优势在于,它在一定程度上绕开了状态估计(State estimation)的问题。在传统的控制里,我们一般遵循分离原则(Separate principle),比如说要用模型预测控制(MPC)去控制一个人形机器人,在这之前,大概率得先搞一个状态估计器(State estimator),去估计机器人自身的速度、角速度等物理量。
从某种程度上,在传统控制里,状态估计(Estimation)其实和Control一样,都是要面对的问题。说到底,你得清楚机器人所处的状态、得知道机器人此时此刻在什么位置。而强化学习(RL)在一定程度上能绕开这个问题,因为它可以同时学习策略(Policy)和状态估计器(State estimator)。
拿目前在 Locomotion方面最成功、最流行的逻辑来说,师生网络学习(Teacher Student Learning)。自2020年Science Robotics发布论文“Learning quadrupedal locomotion over challenging terrain”之后,大概有几千篇文章都遵循这个逻辑,一直到现在,差不多5年时间把师生网络学习推到了顶峰。
师生网络学习是什么意思?就是先在仿真环境(Simulator)里训练出一个所谓的“教师策略(Teacher Policy)”,这个“教师策略”知晓一切,比如它知道仿真器里的所有信息,像地面的各种情况、机器人的速度等等,这些我们称之为特权状态(Privilege state)。 然后,这个“教师策略”(Policy)是没办法直接部署到真机上的,因为在现实中,你没办法知晓地面情况,也不清楚机器人的绝对速度等信息。不过在RL里,利用这个“教师策略”后,可以将它提炼到一个叫“学生策略”(Student policy)的东西里,这个“学生策略”的输入是你所能观测到信息的历史记录,也就是“过去n步”的相关情况。目前这套方法已经很成熟了。
就是因为有这种师生学习框架,所以绕开了状态估计(State estimation)这个问题。相当于在实际应用中,你不需要获取真实的状态,可以直接利用感知信息的历史记录就可以进行控制了。 我觉得这两点就是强化学习(RL)最大的优势。
Control的优势一:具备在线计算能力
而对于 Control,我认为它也有两大优势。第一点是跟RL刚好完全相反。首先,Control具备在线计算能力。Sim2Real RL存在的问题是,你在仿真环境里训练出一个策略后,一旦应用到线上,这个策略就固定住了。哪怕这个策略效果很差、很不理想,你也没办法去实时调整它,除非你再去做真实世界的RL,而且基本上都会受到Sim2Real GAP的影响。如果仿真器质量很差的话,那产生的误差就会很大。但Control有个很重要的思路,就是可以进行类似MPC那样的操作,能够一边让机器人运行,一边进行相应的计算。
Control的优势二:具备很多不错的结构
Control的第二个的优势就是它具备很多很不错的结构。现在大部分流行的 RL算法,其实就是近端策略优化算法(PPO),大家都用它,因为它是同策略(Onpolicy)的,大家也不太在意采样效率。它最终呈现出来的性能表现还算比较好,而且操作起来也相对简单,不过它本身并没有什么特定的结构,这就导致有时候它会收敛到一些我们不想要的状态,比如一些很奇怪的状态。但控制就不一样了,它有很好的结构,能够借此提高采样效率,这就是它的一个优势所在。
RL和Control结合
我很多研究的核心思路,就是尝试将 RL与Control相结合,例如把Control的安全性融入RL中,或者借助Control良好的结构使强化学习变得更具稳健性。最后,我和前面三位老师有一个共识,最有效的学习方式最终还是要落实在真实世界当中去开展和验证。
我对于当前仿真(Simulation)方面的进展并不是特别乐观,因为我始终觉得,开发出一个非常完美的仿真器本身就是极为困难的一件事。我们不能期望能有达到通用人工智能(AGI)水平的仿真器出现,然后凭借它去解决所有问题。所以,一定要以某种方式,在真实世界里去做学习(Learning)才行,只不过我所采取的角度是将RL和Control相结合去做真实世界里的学习。
RL和Control结合的工作推荐
第一个,我做过很多人形机器人相关的工作,其中有一套逻辑是我个人特别喜欢的,那就是别让 RL直接进行一对一(n to n)的输入输出操作。我觉得当下有不少论文,就是用 RL去输出比较高层的信息,打个比方,要是去控制一个人形机器人,为什么非得让强化学习(RL)去输出每个电机的扭矩呢?其实可以让它输出一些更高层的信息,比如可以让它输出速度、加速度等信息。 我觉得这是个挺有意思的方向,我有不少相关论文,大家可以搜一下“CAJun”就能找到,也可以直接进入我实验室主页看看那些视频,视频里机器狗跳跃等展示的成果,其实都是基于这个逻辑做出来的。
第二个,给大家推荐的一系列工作(Real2Sim2Real),是带有“现实到仿真(Real to Sim)”的特点。我没直接做Sim2Real的工作,而是先进行Real to Sim,再做Sim2Real。我个人挺看好这个方向,就是不在固定不变的仿真器里学习,而是到现实中获取数据来改进仿真器,之后再基于改进后的仿真器进行学习。 这个方向我觉得也挺不错的,我们近期在这方面也开展了一些工作。
第三个,就是基于 MPC相关内容(Learning-based Dynamics+MPC)。更有意思一点的做法是,我们先学习一个世界模型(World model),然后再利用MPC去进行控制操作。这方面我们最近有挺多文章的,比如说DIAL-MPC 的相关研究挺热门,很多人都在用,因为它的代码相对于传统MPC简单好用很多。我们做了很多关于学习动力学(Learn dynamics)的工作,就是在现实环境里把动力学模型学习出来,之后再运用基于采样的模型预测控制(Sampling-based MPC)去开展后续的Control。 因为基于采样的模型预测控制算是一种最灵活的MPC方法了。
RL与Control在实际应用上的表现对比
MPC+WBC方法
朱秋国:早期在机器人上我们大量运用了 MPC +WBC(全身运动控制)这类方法,做了不少相关工作。但从整体效果来看,采用 RL的方法能更好地展现机器人全身运动能力。
MPC和WBC在RL出现之前算是比较主流的方式,因为无论是面向人形机器人还是四足机器人,它们的全身模型很复杂,当要去求解这种高维度的最优问题时,不仅需要大量计算,还得保证在线的实时性才行。
MPC处理简化模型的长时域最优化问题
所以我们运用 MPC时,往往会对模型进行简化,也就是处理简化模型的长时域最优化问题。在这个过程中,需要进行建模,比如先将其简化成单刚体模型,复杂一点的话就变成机器人模型。在此基础上,通过预测来保障机器人状态轨迹的可预测性,进而确保机器人的稳定性。但做完简化模型那一步后,大家发现存在问题,因为简化后的模型很难真实反映机器人全身动力学的特点。
WBC处理复杂模型的短时域最优化问题
于是我们的研究进入了第二阶段,也就是处理复杂模型的短时域最优化问题,就是所谓的全身运动控制(WBC)。在这个阶段,要建立机器人的全身动力学模型,然后计算出当前的最优控制以保证实时性,用全身运动控制(WBC)来弥补模型预测控制(MPC)因简化模型而产生的问题。这项工作确实开展了挺多,也取得了比较好的效果,不过运动的灵活性还是比较固定。我们通过这种方法做出的效果,很难与波士顿动力Atlas机器人相媲美,Atlas呈现出的效果是最好的。
在很多场景下,我们现在用的机器人算法还是以传统的模型预测控制(MPC)加全身运动控制(WBC)这种方式为主,因为这种方式比较稳定、可靠,也容易解释和分析。不过这种方式也会带来一些问题。
MPC+WBC的问题
第一个问题,比如对于腿足机器人,它的运动模式是足部离散运动,在它跳跃或者行走、跑步的时候,要怎么保持它连续跳跃的稳定性?如果采用传统方法,就会遇到几个问题,像怎么保证机器人在规定时间内接触地面,还有接触地面后怎么保证它能快速响应之类的问题。要是还用传统的优化方法框架去处理的话,比如把时间纳入到优化问题里,就会发现这个优化问题会变得极为复杂,而且现在大部分人运用这套方法时,往往会忽视这个问题。
第二个问题是,关于触觉感知,怎么能让它在模型预测控制(MPC)起作用前就发挥作用呢?很有可能等检测到相关信息时,机器人就已经摔倒了。这些是我们在使用传统模型控制方法过程中会碰到的一些问题与挑战,有些问题很难解决,甚至根本没办法解决。
RL的优势
那么 RL还是有它的优势,前面石老师讲过的那些优点我就不赘述了。我觉得RL在控制领域里有点类似镇定器,在与环境交互接触的过程中,靠着这样一套强化学习的模型,能够确保机器人稳定可靠。所以现在我们推出的人形机器人、机器狗、轮足机器人,我们实际运用的都是 RL这套方法。在运用过程中,无论是发挥全身动力学的能力,还是实现全身的协调性,都能展现出更高的灵活性。
所以我们目前主要的研究重点还是放在 RL上,但这并不意味着基于模型的方法就没用了。在浙大这边的研究中,我们带的研究生已经开始尝试在RL技术基础上,融入一些MPC的思路或设想,去开展一些更具挑战性的工作。
我觉得从原来单纯用 MPC,到后来使用RL,再到现在进行MPC与RL相结合,可能就是在这个领域不断摸索的一个过程。
从RL的角度来看与机器人的结合
卢宗青:我先回应一下冠亚刚才提到的问题。首先,无模型强化学习(Model free RL)和Control解决的其实是相同的问题,面临的数学问题也是一样的,只不过解法不同罢了。
我一直在从事强化学习相关工作。对于机器人,尤其是人形机器人的解法,我们侧重的角度可能和大家不太一样。从人的角度来看,我们更多基于一种分层的假设框架,在高层可能更多涉及姿态方面的调控,或者说并非传统意义的控制,而是通过姿态去影响,而在下层,比如低层级策略,去进行具体的控制操作,好比针对人形机器人,就是过控制电机或其他控制量来实现相应姿态。
所以我们更关注与物理世界的交互,而在交互过程中需要融入视觉信息。毕竟人在控制自身身体时,会融入大量视觉信息,还有触觉信息等各类从外部能感知到的信息。也就是人形机器人如何与物理世界进行交互。
而且就人形机器人而言,我们可以利用大量与人相关的数据,包含互联网上能获取到的视频等资料。那如何依据这些数据让机器人实现对自身身体的控制?对于下层策略来说,不管是运用近端策略优化算法(PPO)在仿真器里训练,还是采用模型预测控制(MPC)的方法,只要能达成上层所给出的目标就行。我觉得这样的思路或许更容易构建出一套系统,从而更好地解决相关问题。
对于 Locomotion,目前多数情况下,不管是用RL还是MPC的方法去处理,解决的都是同样的问题。但我觉得其中更关键的是,怎样融入额外的模块,以此来考量物理世界中的相关信息。另外,就物理世界中的信息而言,学习动力学(Learning Dynamics)可能是相当困难的事。像其他学者提到的构建世界模型,要想在视觉层面以及触觉层面真的构建出一个完整的仿真器或者世界模型,我认为难度很大。所以从我的角度来看,在现实世界中去学习或许会更好一些。
4. RL和Control之于Manipulation
操作问题对机器人为什么这么难?
罗剑岚:大家刚才都在聊 Control,我本身也是控制背景出身,虽说现在不写控制方面的论文了,但也接受过完整的相关训练。我觉得控制是非常有效的,它的有效性已经体现在我们生活的方方面面了。汽车需要运用控制,我们靠着控制技术把人送上了月球。就好像如今我们做科研也不会再去专门引用牛顿三大定律了,因为它已然是既定存在且确实有效的。
我们具体把控制放到机器人这个范畴里来看,其实很多方面是存在不少问题的。因为就像冠亚所说,机器人是一个很大的系统,你可以说汽车是一种机器人,飞机也是机器人,腿足机器人同样是机器人,机械臂做操控也是一种机器人技术。这涉及到的很多问题都不一样,无论是无模型(Model-free),还是基于模型(Model-based),都需要具体问题具体分析。
总体来讲,大家可能主要在做三件事,第一个是导航(Navigation),第二个是移动(Locomotion), 第三就是操作(Manipulation)。我们探讨的这些方法论,要是套用到这三个不同的问题、不同的情境当中,那实际上是在说不同的事。
比如刚才冠亚提到的端到端,在这三个问题里,它的表述其实是不一样的。比如说针对导航做端到端,我不知道该怎么做,感觉要是把整个地球都绘制一遍地图来做,那这肯定不行的。应该是通过视觉基础模型获取语义信息,接着进行地图构建、同时运用即时定位与地图构建(SLAM)等技术。
而对于 Locomotion,这是个很有意思的问题,大家刚才一直在说仿真器之类的工作,从本质上讲,这其实意味着要对物理规律进行逆向推导。“在对物理规律进行采样时,其实就是在做基于模型的控制”,对于这个观点,我其实挺认同的。 仿真器提供了一个更好的计算工具,但它并不能直接给出一个策略(Policy),得使用优化器(Optimizer)才会有相应的策略。
然后再来说说 Manipulation方面,这其实是另一个问题了。在机器人学里存在一个著名的悖论,叫莫拉维克悖论(Moravec's Paradox)。它所阐述的内容是这样的:回顾50年的人工智能发展历史,我们会发现,对人类而言简单的事,让机器去做却很难;而那些人类做起来难度较大的事,机器人操作起来反倒简单。比如,我们能够教会机器下围棋,像IBM的深蓝早在20年前就可以下棋了,后来AlphaGo打败了李世石。然而,像拿起水杯这类在人类眼中极为简单的动作,对于机器来说却异常困难。针对这一现象,有着诸多解释和争论。
Moravec's Paradox(莫拉维克悖论)是机器人学家和人工智能研究者 Hans Moravec 在 1980 年代提出的一个观察,描述了人工智能系统在执行任务时的反常现象:对于人类而言简单的任务,比如感知和运动控制,对机器却极其困难;而复杂的任务,比如逻辑推理和数学计算,对机器来说却相对容易。莫拉维克指出,这种悖论源于人类智能的非对称性:“低级”技能(如感知和运动控制)基于数百万年的进化,深深嵌入了生物的感知运动系统中;而“高级”技能(如逻辑和数学)发展时间相对较短。
莫拉维克悖论提醒我们,在设计智能系统时,不应该低估生物低级技能的复杂性。它揭示了在构建通用人工智能(AGI)时,真正的难点可能不是让机器完成逻辑推理,而是让它们自然地感知和与现实世界交互。
之所以会出现这种情况,是因为人类历经了数十亿年的漫长进化,而数字化以及真正拥有智能,其实是相对较近几千年才发生的事。所以,让机器掌握相应的动作(Movement),要比让它获得推理能力(Reasoning)以及内在的推理智能难得多。不管怎么说,这实际上就是操作(Manipulation)需要解决的核心问题。我们怎样才能让机器人像人类一样去操控,去与物理世界进行交互,并且能可靠地完成这些事。
在这里,无论是端到端的方法,还是其他方法,与之前提到的导航(Navigation)或移动(Locomotion)其实存在一些显著的不同。为什么这么说呢?因为在操作任务中,通常会涉及到一些具体的物品和任务情境。比如,当你有一个机器人,它的前方往往会有一个相对固定的工作区域。无论是移动机器人,还是其他类型的机器人,通常需要先通过局部运动等方式导航(Navigate)到指定的位置。之后,在这个固定空间里,不论是工厂、家庭,还是其他应用场景,机器人面前的物体尺寸和任务范围一般是相对确定的。
在这种情况下,使用端到端的方法是有一定成功概率的,因为机器人的工作范围是有限的。在一个固定的工作区域中,不管是在工厂、家庭,还是其他场景,机器人面前的物体尺寸和任务范围通常是相对确定的。这种环境特点使得端到端方法能够在特定任务上表现出一定的效果。然而,这种成功依赖于对特定环境的数据训练和验证,确保模型在有限范围内具备可靠性和鲁棒性。
我不太容易陷入关于到底是端到端还是非端到端的争论中。我可能更关注这个问题究竟要如何才能被解决。至于是不是端到端,我们可以想想这样一件事,Jeff Hinton在他2018年的图灵奖演讲上,说了这么一句话。他说最开始的语音系统,如果你想用一个神经网络去替代系统中的一部分,那这个神经网络会慢慢地把其他部分侵蚀掉,然后开始在整个系统里循环运转、不断扩张,就如同杆菌那样,会把系统的其他部分也全都“吃”掉,最终整个系统就完全变成由神经网络主导的样子了。
但是即便如此,我的重点在于,对于 Manipulation而言,实际上是可以学到这样一个策略的。端到端的优势在于没有中间的偏差,并且可以直接针对目标进行优化。而且,Manipulation为我们提供了这样的环境和设置来做这件事,实际上可以使所有情况都适配到。
为什么要用真实世界数据来解决操作问题?
现在我们再回到这个问题:我们为什么要使用真实世界的数据呢?我们先抛开那些非常具体的技术问题,先来思考一些基本的问题。今天研讨会的主题是如何将机器人的可靠性逼近到 99.9%或者100%。我们可以思考的一个问题是:机器人为什么达不到100%呢?
既然达不到 100%,这就意味着我们的模型、或者其他什么东西也好,和实际环境是存在一定差距的。只有缩小这个差距,才有可能达到100%。那么,在一个存在未知信息的环境中,要如何缩小这个差距?除了和这个环境进行交互,把未知信息获取回来,然后以某种方式进行优化之外,没有别的办法。这是最通用、最具扩展性的方法。
你可以说我们能够设计一些东西来满足特定需求,然后构建一些模型,让它们去适配一两个特定的任务。就好比如今我们有这类专用模型,它就专门负责做一件事,速度特别快,而且成功率能达到 100%。
但要是有 1000个任务、1万个任务等等情况的话,那不可能每个任务都按这样的方式去做。尤其是我们现在想要的是通用型、带机械臂的机器人去执行任务的话,虽然各个任务具体细节或许不一样,但总体的基本逻辑都是一样,你得先有一个初始的设想、猜测,然后再与跟环境进行交互,最终把那些缺失的部分补上。
通过某种方式来构建这样的机制,比如说 RL,确切来讲就是强化学习的定义所描述的那样,具体如何操作,我们有很多种做法,有人说要用基于模型的强化学习(Model-based RL),有人说用无模型的强化学习(Model-free RL)。其实我可能不会特别倾向于其中某一种,它们各有各的长处。
总结一下,先说说为什么要采用 RL。在现实世界里,要实现高性能的操作并达到高可靠性,对于每一个环境来说,最通用、最具扩展性的办法必然是强化学习。而且它并非是一种被动的数据学习,不是简单地去收集一些离线数据就可以了。如果想要达到100%的可靠性,那就一定要与环境进行交互,而要实现与环境交互,就必须得运用强化学习,这是比较基本的逻辑。
操作和移动问题的本质不同
在 Manipulation领域选择强化学习而非传统控制,有着深刻的原因。今天我们讨论的一个重要主题是Manipulation和Locomotion的对比,这两者在本质上是完全不同的问题。
对于 Locomotion,主要的挑战在于机器人本体的不确定性。这种不确定性相对有限,例如机器人可能踩到石子,或者路面出现打滑等情况。从机器人本体的角度来看,这些不确定性的影响是可以量化的。在控制领域,我们有一整套数学工具来应对这些问题,其中之一就是鲁棒控制(Robust control)。鲁棒控制的核心思想是对不确定性进行定量建模,进而确定最坏情况的界限(Worst-case bound)。只要实际的不确定性在这个界限范围内,设计出的控制策略就是有效的。
然而,Manipulation的情况则完全不同。Manipulation的主要挑战来自外部世界的不确定性,而不是机器人本体的不确定性。机器人本体是一个经过精心设计的确定性系统,但外部世界的复杂性是无限的(Unbounded complexity)。这些不确定性可能来自视觉、物理交互、触觉感知等多个方面,而对这些因素进行全面、精确的建模几乎是不可能的。尽管我们可以对其中的某些部分进行建模,取得一些成果,但始终无法完全掌控这些外部复杂性。
这正是 Manipulation问题需要强化学习(RL)的原因所在。RL通过与外界的交互,能够更好地适应外部环境中的不确定性。从本质上来说,Manipulation和Locomotion是两类截然不同的问题:Locomotion可以通过控制理论中现有的工具(如鲁棒控制)较好地解决,而Manipulation则需要通过RL等数据驱动的方式,去应对外部世界的复杂性和不确定性。
Manipulation路线之争
王建明:目前技术路线不一,我留意到主要有几个,首先是模仿学习加真机的路线,像以扩散策略(Diffusion policy)或者其他以Aloha为代表的模仿学习路线,能产生一系列比较好用的策略(Policy);其次是罗博士Hil-SERL为代表的RL+真机的路线;第三是RL+仿真来解决操作问题的路线;还有一条是对仿真进行优化,比如添加一些可微的元素进去,例如通过可微分模拟的方式来构建虚拟环境的世界模型。
石冠亚:我一直有个比较大胆的暴论,我觉得彻底解决机器人的操作问题其实和解决 AGI没有区别。打个比方,就拿“开”这个动作来说,像开瓶子、开杯子、开可乐、开门,虽然都用“开”这一表述,但实际的动作完全不一样。我觉得要是有一个策略(Policy)能解决“打开任何东西”这个问题,那它和AGI就没什么区别了。
而且,从衡量指标来看,我个人很容易分不清到底是因为任务选得好,所以效果不错,还是因为方法本身确实有了一些实质性的突破。另外,我特别赞同刚才说的那几个分类。不谈利弊,我可以跟大家讲讲我对它们的看法。
我觉得第一类属于“大力出奇迹”的做法。就是先收集大量的演示数据(Demonstration),然后采用行为克隆的方式。其实现在做离线强化学习的人挺少的,大家普遍都是直接进行行为克隆。刚才提到的扩散策略、ALOHA,还有近期在物理智能层面的Pi 0,都是遵循这一个逻辑。
第二类 Sim2Real,采用这种方式的人相对少一些,但我觉得还是挺有意思的。其中最有名的应该就是2019年OpenAI做的用Sim2Real方式转魔方的项目。
第三类,有很多微调相关的做法,就是先进行预训练,然后再做微调之类的操作。
另外第四类,你之前没提到,我可以补充一下,就是用传统控制来做验证的情况其实也是存在的。不过它最大的问题就是不太能泛化。比如说,你要是设计了一个转笔的策略(policy),可能就只能转某一种特定的笔,要是笔的质量变为原来的2倍、长度变为原来的2倍,可能就没办法转了。
第五类是基于模型的方法,感觉这类比较小众。就是先学习一个模型,然后再去做控制。就像剑岚说的,它的难点在于你不仅要预测状态、帮助预测目标数据,而且做建模本身就很困难。这类工作虽然小众,但确实存在。我知道像加州理工学院(Caltech)、麻省理工学院(MIT)有人在做,他们研究诸如粒子动力学(Particle Dynamics)之类的内容,然后基于此开展工作。(这条路径是Learning-Based Dynamics Model+MPC,我们会在近期推出一个关于这条路线的专访)
罗剑岚:我也来谈谈自己的看法吧。如果我们想要实现 AGI,要对人类智能进行逆向工程,那所需的计算能力,单是用来处理人类的各种动作行为,几乎就是无穷无尽的。
Control的方法对操作任务的局限性
就 Control方法用于Manipulation来说,它存在不少问题。在机器人学刚开始形成一门学科、逐渐兴起的时候,那时并没有视觉相关的技术,就如同处在“盲人摸象”的状况里。从理论构建角度看,控制的核心是HJB方程,该方程要求输入的数据起码得是可微的,或者说要相对平滑,理想状态下要比上一时刻更平滑才行。
HJB 方程(Hamilton-Jacobi-Bellman 方程)是动态规划中的一个核心数学工具,用于描述一个最优控制问题的解。它是由 Richard Bellman 提出的动态规划原理发展而来,结合了 Hamilton-Jacobi 方程,因此得名 HJB 方程。
然而,要是遇到高维度并且不平滑的输入感知数据时,与之相关的那些理论基础就会出现状况,HJB就会失去作用,如此一来,控制的基础也就被动摇了。一旦出现这种情况,不管在何种场景下,控制方法基本上就没办法发挥作用、失效了。
而机器人操作(Manipulation)必然是涉及感知这一要素的。如果你要处理感知相关的问题,就目前来看,最好的办法是通过学习(Learning)的方式。既然操作(Manipulation)是需要感知参与的,那么操作就必然要借助学习了。
不过,这并不是说控制(Control)就完全没有作用了。就拿现在机器人应用中一个比较大的话题来说吧,比如在码头场景下,有体型巨大的机器人要完成搬运货物的任务,可能是四五个机器人一起协作,把货物从里面取出来、然后再放上去。在这种情况下,我们应该运用运动规划(Motion Planning)的方法。并且,我们不但要采用目前最快、最好的在线运动规划模型,还要利用相关验证机制,把这些运动规划都逐一验证一遍,确保其准确性达到100%才行。要是不这样做的话,就很容易出现机器人之间相互碰撞,或者机器人误伤人之类的严重情况。
再说回操作。我们说的是那种有机械臂的机器人,它前方有一个工作区域,区域里有一些物体需要进行操作。看上去策略学习在这种情况下并没有那种特别复杂、特别难处理的动力学问题,但关键在于,如果我们能够解决其中哪怕仅仅 5%或者10%的问题,那对于我们实现机器人走进千家万户的梦想来说,都会是一个很大的进步,机器人也会变得非常有用了。
在仿真里解决操作问题的局限性
第二点,来谈谈仿真的问题。我觉得当前存在一个比较突出的点,就是如果我们采用基于学习的操作方法,涉及到仿真与实际应用这两方面对比的时候,会出现这样一种情况:由于机器人目前还没有被大规模部署,所以就没办法获取到足够多的实际数据,进而也就难以开发出更好的模型。
当大家围绕“操作”这个核心进行讨论时,有人会说,操作能够生成大量的数据。但要是采用仿真的话,其难点就在于要把仿真做得准确、完善。
我并不是仿真方面的专家,所以只能从一些比较基本的原理角度出发。这就好比,要去做仿真就相当于要去模拟整个宇宙。可要是我们有真实的数据的话,我们要做的其实就是构造一个机器人的大脑。而宇宙是包含了大脑的,建一个宇宙比建一个大脑要难得多,所以我们应该先去建大脑。
以特斯拉为例。特斯拉一开始在车辆投入使用前,可能还面临数据不足之类的情况,可一旦它的车跑起来之后,情况就大不一样了。我昨天还看了些相关数据,特斯拉现在一年生产出来的真实行驶数据能达到 500亿里程,这时它面临的问题根本不是有没有数据了,而是这些数据多得完全存不下,他们现在都没有足够的硬盘去存储这些来自各个摄像头等渠道的数据。
我们现在思考相关问题,总是想着仿真器能够生成海量的数据,可实际上,真实世界里像特斯拉这样的公司产生的数据量都已经大到难以处理了,关键问题在于:我们要拿这些数据怎么办。我们应该是思考怎么去利用好这些数据,而不是仅仅着眼于仿真器能生成多少数据。
我确实觉得仿真是非常有用的。如果今天要开一家自动驾驶公司,要是有人跟我说不打算构建仿真器,那我肯定得问问这是为什么,因为没有仿真器的话,软件集成之类的工作根本没办法开展,整个业务流程也会难以运转起来。仿真器对于像抓取放置(Pick and Place)这类相对简单些的、涉及运动学(Kinematic)的操作问题还是挺有帮助的。
不过,操作(Manipulation)问题的核心在于,一方面,我们得先处理好视觉输入;另一方面,我们还要处理非常复杂的物理相关情况,像物体之间的接触、流体的影响以及物体的变形等等复杂因素。与其费很大力气去构造一个像模拟整个宇宙那样复杂又庞大的仿真,还不如利用真实的数据,用真实数据就不存在任何的 GAP,然后再去深入思考怎样基于这些真实数据来制定出更好的策略,这就是我比较核心的一个观点了。
石冠亚:我非常认同剑岚的这个观点。哪怕是人也是如此。我们平时叠衣服、叠被子,我们之所以能做到这些,绝对不是因为我们会去求解纳维-斯托克斯方程。我们端起一杯水的时候,我们也不清楚这杯水具体的动力学原理。人在进行这些操作的时候,往往是凭借着直觉来更好地利用经验和感觉的。
说到仿真器,很多时候它其实是有点“用力过猛”了,做了过度的模拟(Overkill)。我们没必要去模拟所有的东西,只需要模拟那种凭直觉就能把握的、关键的部分就可以了,这其实也和Locomotion相关联。
那为什么局部运动在现有的框架里是可行的呢?这是因为目前它基本上只处理到了一类仿真相关的问题,就是刚体动力学方面的问题,它其实并没有过多涉及到像流体、颗粒材料等等更复杂的情况。
罗剑岚:谈到直觉物理学,其实在操控(Manipulation)任务中是个很有意思的话题。换个角度来看,操控通常存在于一个较低维度的流形(Manifold)中,也就是说,我们并不需要真正去解那些复杂的物理方程。例如,许多动态操作场景,比如鞭子的挥动、筋膜的运动等,实际上几乎无法用传统方法去求解,因为它们涉及非常复杂的偏微分方程(PDE),而这些问题本身的求解难度极高。
如果尝试在偏微分方程的外环上进行优化,再在线上进行实时计算,这种方法在人类操作中显然是不现实的。我可以肯定,人类的大脑并不是通过求解偏微分方程来完成这些任务的。相反,人类依赖的是一种直觉物理(Intuitive physics),这种能力是通过与环境的长期交互逐步形成的。比如,当你看到某个物体的位置,伸手去拿,或者在某处翻找,这些动作看似简单,却反映了人类对物理世界的直觉理解。
事实上,这种能力的形成远早于现代科学的发展。几万年前,人类已经可以钻木取火、拉弓射箭,而现代科学和数学体系的建立不过近 300年的事情。当时,我们既没有偏微分方程,也没有用抽象的数学工具去理解世界。由此可见,人类大脑在操控和操作中一定不是通过解偏微分方程来实现的,而是通过直觉与环境交互形成了一种与物理世界高效对接的能力。
5. 如何将通用机器人可靠性逼进99.9x%?
模仿学习和强化学习结合在解决操作问题机会
我们再来谈谈模仿学习和强化学习,我觉得这两者并非是完全相互排斥的。模仿学习能够给我们一个很好的起始点,但如果要达到 100%的成功率,那就必须得用强化学习了,也就是要和环境进行交互,把最后的那部分性能提升上去。
而且我们从现在的相关工作中也能看到,强化学习其实原本是需要大量数据的。不过最新的成果显示,它其实只需要和真实场景交互 1到2个小时就行了,并且我相信在未来,连这1到2个小时都不需要,因为很多时候它是在弄清楚一些非常基础的操作能力,一旦我们有了预训练,这个时间可能会缩短到20分钟。
最后我再补充一点。我们为什么要把某个指标逼近到 99.9%呢?
如今部署在全球的机器人大概有 500万台,其中95%都是位置控制型的,它们就跟“瞎子”一样,只是简单地重复编码好的程序。它们就是固定地从A点移动到B点再到C点,从1961年通用汽车发明了第一条生产线起,一直到现在,我们所做的不过是在原有基础上进行了一些优化,从根本上来说,其实并没有太大的改变。
要想真正发挥作用,成功率实际上得是百分之百才行,99%都太低了。每一次出现故障、失败都是有成本的。要是在生产线上,成本体现就是整个生产线得停下来,直接反映就是你的资金收益在减少,得有人去弥补这个损失成本。
有人可能会讲,你说的是工业机器人需要百分百的成功率,可家庭机器人有个百分之七八十的成功率就够了。其实我也思考过这个问题,我可以举个很形象的例子。就在昨天,我去伯克利的体育馆打球,那儿有个自动售卖机器人卖水,用的时候就是把信用卡贴上去,它就会把水拿出来递给你。我过去这一个月里经常去那儿,可昨天我把卡贴上去后,水本应该从出口出来的,结果却掉下去了,而且我还没办法把水取出来,这就产生了成本,明码标价就是那瓶水的价格,2.75美元。所以说,这不是没成本,任何情况都是有成本的。
大家再想象一下,要是星巴克的机器人每 5个小时就把咖啡洒地上一次,又或者家里的机器人每周都把厨房的杯子、盘子之类的东西往地上摔一次,这些都是损失,毕竟这都是在和物理世界做交互。我倒不是说我们就别去做家用机器人了、只搞工业机器人。我觉得当下是处于一个比较关键的阶段,在急切需要半约束、受约束的环境里,这样的环境能让我们去研发解决方案,探索新的科学成果。等我们把相关问题弄明白了,或许就能把成果拓展到家用机器人等领域了。而且家用机器人还涉及数据收集以及隐私方面的问题,毕竟谁也不想家里的机器人在自己睡觉或者做别的事情的时候盯着自己,或是把数据传回去用于训练。
所以我觉得,我们现在所处的这个阶段真的是首次开始系统、全面地去思考一种比较通用的解决方案,未来咱们不用太担心数据方面的问题,数据会像飞轮转起来一样不断积累、运转起来。那一旦到了那个阶段,我们该怎么去思考这 99.9%成功率的问题呢?那肯定得是强化学习和模仿学习相结合才行,这两者并不是完全相互排斥的关系,关键是一定要和环境进行交互,它是动态变化的,而不是静态的。
RL对人形机器人控制可靠性的迭代
卢宗青:我先聊聊刚才提到的 Manipulation方面的事。今年我们在操控方面做了不少工作,先是在模拟器里用强化学习进行训练。我发现只要把问题定义清晰了,强化学习是比较容易解决问题的,当然这里指的是给手部添加触觉信息的情况。
不过在模拟器里训练出的强化学习策略,解决不了实际问题。因为我们发现训练完后,模拟器里大多是基于点云的,但是很难泛化。真机采集的点云和模拟器里看到的点云完全不一样,所以在我看来,Sim2Real的gap比较难解决。
但是这项工作有个启示,给我们传递了一个比较重要的信息:机器人要是具备触觉信息,完成 Manipulation任务就会更容易些。我觉得这也是个比较直观的见解,毕竟盲人也能完成各种各样的操控任务。
不过我认为,对于 Manipulation来说,就像刚才冠亚讲的,这本身就是个大难题。其实对于某个特定的问题,不管是模拟器、Sim2Real,还是真机+RL,都能比较好地解决这个特定问题。最关键的是泛化问题,就是我要怎么得到一个策略,让它可以完成各种各样的操控任务呢?在我看来,这是非常难的。而且对于这个问题,目前来看,很难有数据来驱动这样一个模型的学习,这是比较关键的点。
所以对于你刚才问到的人形机器人相关内容,人形机器人有两条胳膊、两只手,我们解决相关问题采取两步走的方式,因为目前我们没有从机器人端采集下来的数据,或者说数据量没那么多。我们前期会利用人的数据去生成人的姿态,输入是视觉信息,输出就是姿态。我们把这一步称作“预训练”,也就是用互联网上大量但质量不算高的数据去训练模型,使其输出手部的姿态。然后再依据一些真机的数据,比如遥操采集的数据,去做后训练(Post training),以此来实现泛化性。
我觉得这是在刚才提到的四条技术路线之外,另外一条可行且值得尝试的技术路线。这条路线主要聚焦在泛化性上,而不只是着眼于如何完成某个 Manipulation任务的思路。
对于机器人可靠性的问题,我个人觉得,要是依靠模仿学习、强化学习这些方法,人形机器人不太可能达到 99%以上的可靠性。就好比人去抓东西,可能抓一万次也会有一次失误。毕竟它不像工业机器人处于固定场景中,我希望看到的具身AI的应用,肯定是在开放场景里的应用。就像剑岚刚才说的,不同场景下的产品有不一样的需求,在有些情况下,可能百分之七八十的成功率就够了。
另外,对于我们这套技术方案而言,RL主要是为了执行上层模块给出的指令,不管是姿态(Pose)也好,普通指令也好,本质上是用于控制电机之类的控制量。所以在我看来,它的完成度并非特别关键,反而更上层的高层次策略或者像姿态生成模型这类做法,怎样达到较高可靠性才更重要。
下层的 RL策略,即便去训练,也就是那样一个结果,在最佳情况下,能找到一个最优策略(Optimal policy),可它的上限是由给定的问题本身决定的。至于怎么去给出这个问题,可能是我们需要进一步思考的地方。
行业应用对可靠性要求极高,传统控制和强化学习哪个用得多?
朱秋国:关于可靠性这个问题,从学术界角度看,很难将一种方法在实验中的可靠性(比如达到 99%或者90%)直接套用到产业产品中。我想其他老师也会认同这一点,因为实验数据和实际应用中的可靠性不太一样。
就产品可靠性而言,我认为可以分为几个阶段,其中包括我们内部也在讨论的机器人本身硬件的可靠性问题,我们经常会提到一个“无故障运行时间”的概念。
“无故障运行时间”是评判机器人是否稳定可靠的关键指标。比如在电力巡检场景中,客户要求机器人在三个月内不能出一次问题。
那如何评判机器人的稳定可靠性呢?正如几位老师所讲,主要涉及几个方面。一是硬件本身的问题,对于机器人而言,连接的部件、关节越多越复杂,出问题的概率就越大。所以要让复杂的人形或四足机器狗在行业应用中长久保持稳定,就得提高硬件本身的可靠性。而在提高可靠性方面,首要解决的就是系统本身的可靠性问题,像机械结构、电控系统以及底层软件系统能否长期稳定可靠,这是个很大的挑战。
到了第二步,我们会更关注软件算法层面的问题,比如基于传统方法和基于模型的方法。从理论上讲,只要代码没写错,基本不会出什么问题。但要是结合其他算法,比如在机器人完成自主导航时,要让它实现精准定位,情况就不一样了。
这里面就存在挑战,因为算法本身还要解决环境动态变化,像随季节改变等环境变化时的适应性问题。所以,第二步可能要着重解决软件算法层面对于可靠性的评估问题。由此可见,产业界做可靠性和之前讲的情况不太一样,这是我们目前遇到的主要问题。
另外,关于四足机器人用 RL还是Control的问题,目前更多还是用Control方法来进行实际运行。不过,现在我们已经开始逐渐尝试,尤其是面对Locomotion能力提升的情况,我们在想办法把RL方法结合进来,不管是传统的SLAM方法,还是新型的Position+Navigation这类方法,都在做相应部署。到今年年底,我们会试着在相对固定的环境中,采用RL方法去适应不同地形等应用场景。
但我们面临的一个关键挑战是,在这种场景下,如果机器人出现翻倒或其他问题,那要如何确保机器人不去破坏原场景,不碰坏周边的瓶瓶罐罐?我们考虑或许得引入 RL或者一些规则进去,这样当机器人出现上述状况时,就能保证它不会产生额外风险,进而确保机器人在场景应用中的安全性。
从应用角度看,四足机器人发展到现在已经没什么本质问题了。就运动能力而言,虽说有时会展示一些极限运动能力,像从几米高的地方跳下来还能保持稳定,但从应用层面来讲,其实并不需要这么酷炫的动作。所以在我看来,当下四足机器人的 Locomotion能力,已经可以满足很多场景下的运动需求了,这方面是没问题的。
刚才卢老师说得很对,人形机器人的关节复杂度更高,四足机器人就 12个关节,人形机器人却有几十个关节。在应用过程中,如何保证其本身的稳定性是个很大的挑战。所以人形机器人确实还需要更长时间去发展。我跟很多人聊这个问题时,大家常常迫切希望看到人形机器人能在现实生活中应用起来,但我觉得这得循序渐进,得先看人形机器人适合在哪些场景中应用。
比如现在把人形机器人提供给高校老师当作课题科研平台,这是没问题的。让它站在咖啡机前给大家倒杯咖啡,或许也还行。但要是让它走进家庭、走向工业真正投入应用,我觉得还有很长的路要走,这会是个不断持续迭代的过程。不管是硬件层面,还是刚才提到的算法层面,特别是 Manipulation层面,都得用更长远的眼光去看待人形机器人的应用问题。
石冠亚:我们做 Humanoid sim2real相关工作大概有一年半了,MPC、RL方面的工作也都做了,所以对人形机器人的可靠性挺有感触的。
我很认同朱老师刚才的观点,尤其是他对于当下哪些任务能实现、哪些任务可能还得等很多年的判断。我再补充几点:第一,Safe和RL一样,是个很宽泛的概念,不能一概而论,Safe有多个维度。最底层的是硬件的可靠性、稳定性,这非常重要。比如Chris Atkeson教授,他是电影《超能陆战队》里大白机器人原型的创作者,他认为除非做成大白那种机器人,否则Safe是不可能实现的,意思就是要实现安全,得让硬件本身就安全,无论怎么折腾都不会伤人,这和算法没关系,更多是结构、设计上怎么做到柔顺性(Compliance)之类的。
第二,很多人也在讨论,Safe本身是一方面,另一方面是Recover,也就是兜底。我觉得现在对很多机器人来说,Recover可能比Safe本身还难。像波士顿动力与现代的合作、Agility Robotics的产品Digit与亚马逊仓储的合作,还有Figure与宝马的合作,我觉得对它们而言,机器人摔倒这事的影响,远不如摔倒后爬不起来的影响大,它们目前的痛点就在没有兜底,机器人摔倒后不容易爬起来。而四足机器人现在有相对成熟的方案,本身就很稳定,即便有点趔趄甚至摔倒了,也能很快爬起来,人形机器人之前在兜底这块就比较困难,这都是不同维度的情况。
另外,谈 Safe就跟谈毒性不能抛开剂量一样,抛开泛化性、成本谈Safe也不合理,到底要达到百分之多少的安全程度呢?一方面得看任务是不是对安全性要求极高,比如Space X火箭回收的安全要求肯定和其他机器人不一样。另一方面,泛化性也很重要,我很认同朱老师的判断,像一些简单任务,不需要很强的泛化性,比如在户外走走,只做Locomotion,或者重复性任务,比如不停地给客人端咖啡,以现在的技术是比较有望打造出可靠系统的。
中间那层我称之为面向企业(ToB)应用,区别于面向消费者(ToC),机器人在企业应用中,像在工厂造车之类的场景,需要一定的泛化性,但又不需要特别强的泛化性。比如宝马与Figure合作中,机器人只需不断安装电池,安装电池虽有五个步骤,可能存在一些不确定性,但这些不确定性是可以控制住的。 然后车型是有限的,比如装宝马的七八个车型,我觉得在短期未来,从安全性角度这是可以去追求的方向。
但要是问什么时候能把人形机器人放进千家万户,让它完成各种不同任务,像扫地、看孩子、做饭,还要求达到 99.999%的安全程度,我觉得目前技术还达不到,我们还有两三个问题没解决,哪怕是人可能也较难做到这点。
要是问我期望的技术路线,我不太相信 One Shot Safe,就是部署了就百分百安全。我觉得在现实世界中得有纠错机制,刚部署时可能还是会出些问题,这里我指的是在开放环境里机器人怎么实现安全,目前我们还没找到解决方案。我畅想的解决方案是,一开始可能会有不安全的时候,或许可以加入人工干预环节(Human in the loop),比如让人帮忙做些标注等,然后它能渐近性地(asymptolically)越来越好,我觉得渐近性安全(asymptotically safe)是目前我们能期望的最好状态了。
最后,Safe还有另外一层含义,很多做安全性研究的人,是有比较特定的、可以验证的,类似创建规则那样的安全概念,这种Safe我们现在是有工具去实现的,比如规定机器人不能撞到物体,这种情况下,像可达性(reachability)等很多控制理论的工具就能拿来用了。
关于人形机器人的 Safe问题,很多时候没办法给出一个明确的Safe定义。比如我们之前聊的很多Manipulation的例子,像开门,什么叫不安全的开门呢?可以列出一万种不同的故障情况,所以我觉得这很难定义。
总结来说,首先硬件的安全很重要;其次,兜底恢复能力(Feel safe)很重要,有时候在很多场景里它比安全本身还关键;第三,谈安全一定要结合场景对泛化性的需求程度。最后,我们课题组做的很多工作,包括很多控制器(Controller)相关工作,其实是针对比较特定的、可验证的、像创建规则里涉及的机器人碰撞这类安全问题,而很多操控方面的安全是没办法这么去定义的。
6. How to Make RL Great Again?
石冠亚:我能不能问其他老师几个问题?机会难得。其实我有个思索已久的问题,我感觉现在 RL算法本身的更新近乎停滞了。我想讨论一下 RL算法本身还有没有创新空间?我一直觉得这些RL算法并不是专门为机器人设计的,它们太通用了。为什么PPO既可以用于语言模型的人类反馈强化学习(RLHF),又能用于机器人学习呢?这本身不就有点奇怪吗?包括对于学生而言,我们还要不要去做一些强化学习算法的基础研究,去找到一种特别适合机器人领域的RL算法呢?
卢宗青:我先来回答一下。就像冠亚刚才说的,目前在 RL算法层面的研究确实不多,从PPO到SAC之后,没有特别大的进展。在我看来,RL本质上是一个MDP,我们思考的是用什么方法来解决这个数学问题,所以它本身就是比较通用的的数学方法表述(Math method formulation)。
从数学角度讲,它是在实践中比较好的解决算法。比如 PPO在实践中就是比较好的方法,实际上它是策略梯度加上价值函数这样一种演员-评论家框架。
对于机器人来说,能不能设计出一个好的强化学习方法呢?我觉得可以从机器人学习的特性角度出发来进行设计。我个人认为是可行的。因为机器人的一些约束条件和我们通常研究算法、做实验时的约束条件是不同的。如果把这些约束条件考虑到算法设计中,肯定会产生一些差异。就像剑岚做的Real world的强化学习,和已有的方法肯定不一样,它结合了离线(Offline)和在线(Online)的方法来做机器人学习。
总的来说,从强化学习算法角度,要得到一个特别好的通用算法是比较难的。但对于机器人学习而言,我们能否更好地定制一个针对机器人学习的强化学习算法,我觉得还有很多可以探索的空间。
罗剑岚:我谈谈自己的理解。 2017、2018年的时候我就觉得别去搞MuJoCo,因为没有解决实际问题。我们当时的问题就是为什么在PPO和SAC之后,没有新的算法出来?或许得看看PPO和SAC是怎么被发明出来的。当时它们是为了解决一些根本性问题,像在MuJoCo里小人跑不起来、Humanoid站不起来这类问题,等这些问题解决了,MuJoCo基准测试(Benchmark)被攻克了,自然就没新算法出现了。
所以我更多地在想,要是再有进展,一定要从根本上想清楚我们要解决的核心问题是什么。要是真有下一轮强化学习基准测试的突破、面临重大挑战时,得先想好要解决什么样的大问题,别重蹈覆辙。
具体到这个问题上,RL的下一个前沿方向在哪?分开来讲,对于Locomotion和Manipulation,我觉得朱老师总结得很好,Locomotion应该用Control,Control肯定是个解决方案。原因很简单,不管是Locomotion还是别的情况,都是有模型的,没模型机器人根本造不出来,既然有模型,那就得用Model-based control,而且确切知道模型是什么后,要思考如何与RL较好地结合起来。具体来说,得考虑一些特定指标(Specific metrics),要是有模拟器,可能就不太需要考虑样本效率了,英伟达想卖显卡,估计也不会太考虑这个。
那比如要考虑性能(Performance)、安全性(Safety)等方面,思考它们怎样更好地有机结合,我觉得这是个挺有意思的待解决问题。 据我所知,现在就算是像PPO里“Teacher Student”模式,Sim2Real GAP还是存在。要是真用控制的话,在处理物理模拟、进行下一步模拟事件等涉及样本物理、控制移动、物理移动等情况时,怎么用好这套机制来做自己想做的事 ?
Manipulation和Locomotion相比,现在Zero-shot学习的训练时间要一到两个小时,我觉得还能进一步缩短。要是想缩短的话,就得思考怎么构建一些基于视觉的通用能力,这可能就得回头想想怎么构建数据集、怎么构建任务以及怎么运用强化学习了。
再往远一点说,可能五年后会有 100万台机器人部署在现实世界,不断传回大量数据,而那些数据都是异构的、隐藏的、广泛的,那我们该怎么做预训练呢?因为强化学习的预训练和行为克隆的预训练不一样,这也是为什么BC+RL看起来没太大区别,它们的训练目标不一样,一个是最大化数据集的对数似然(BC),另一个是最大化价值函数(RL),所以实际上是超越数据集去发现新东西。
我们要怎么进行预训练呢?能不能模拟物理情况,搞出更具扩展性的强化学习呢?在存在大量异构数据的这种情况下,要如何进行预训练,并且实现快速应用呢?我说的可是在真正大规模的情形下,这或许会是一个比较关键的重点所在。
我觉得在我个人未来五年的研究计划里肯定得有这一项内容。但为了做这件事,不可能说在开源算法开发的时候,真的把每个算法都放到 1万台机器人上去测试,那样成本太高,对实际情况也会造成不小的影响。
总结一下,为什么 PPO、SAC之后没什么新算法出现,就是因为它们把当时要解决的问题处理得很好了,我们现在需要新问题。我确实觉得,强化学习原则上提供了一种算法框架,如果它从根本上来说没问题、是合理可靠的,那不能因为现在有一些困难、存在局限性,就彻底放弃它,我们应该让它逐步变得更好,这样才能朝着更高更好的目标迈进。因为它不光是告诉你怎么复制、怎么预测、怎么从数据里找特征,要是想达到很高的优化程度,比如99.99%、100%,光有数据不行,还得有优化,这是很关键的,所以未来的解决方案里肯定得有优化这一环节。
访谈中提到的论文:
Guide Policy Research
https://graphics.stanford.edu/projects/gpspaper/gps_full.pdf
DIAL-MPC
https://lecar-lab.github.io/dial-mpc/
CAJun
https://yxyang.github.io/cajun/
罗剑岚主页:https://people.eecs.berkeley.edu/~jianlanluo/
石冠亚主页:https://www.gshi.me/
朱秋国主页:https://person.zju.edu.cn/0011353/657053.html
卢宗青主页:https://www.ai.pku.edu.cn/info/1139/2783.htm
BC