最近一段时间,我很喜欢做一些人形机器人的全身运控的科普,最近也采访了几位在这个方向上有代表性工作的一些学者。在上一篇访谈中我们提到,Peng Xue Bin是从动画(animation)的角度切入人形机器人运控专访Xue Bin(Jason) Peng:探索人形机器人全身运控的通用控制器。本期的采访嘉宾李钟毓则是从基于模型的控制理论来切入人形机器人运控,他用六年的博士生涯探索足式机器人的全身运控。
李钟毓博士毕业于加州大学伯克利分校,在Koushil Sreenath 教授的指导下开展研究。他的目标是打造安全、智能且敏捷的腿足机器人,使其成为更好的“人类伙伴”。他的研究主要聚焦于结合基于模型的最优控制与无模型的强化学习,来解决腿足机器人的控制与规划问题,也致力于推动腿足机器人能力边界的拓展,使其不仅仅局限于行走功能。
李钟毓博士将于2025年秋季加入香港中文大学(CUHK)机械与自动化系担任助理教授,研究方向为人形机器人、高动态机器人与具身智能,他正在招收优秀PhD/Postdoc/Intern,欢迎感兴趣的同学加入他的实验室!
查看原文目录
以下为本文目录
👇
足式机器人小脑的构建
1. 基于模型的运动控制
2. 基于RL的运动控制
3. 足式机器人的运动操作任务
4. 多智能体协同控制
5. 安全性问题
一些问题
6. 怎么定义小脑
7. 足式机器人的运控从基于模型的控制到RL过渡的关键因素
8. 足式机器人的通用控制器
9. 怎么理解RL的泛化性不好
10. RL的sim2real从不可能到可能
11. 硬件底层透明的重要性
机器人小脑
我的 PhD 论文题目是“The Robot Cerebellum: Toward Safe, Agile and Intelligent Legged Robotics”。主要在二足机器人领域的三个核心能力上做出了一些突破:第一是敏捷性(agility),第二是智能性(intelligence),第三是安全性(safety)。我做的一系列工作都围绕这三个方面展开。
整个博士期间工作的核心是构建一个“机器人小脑”系统。 这个概念源自人类小脑的功能——小脑主要负责全身的动作控制与协同,有一定的智能学习和自适应能力,能够在意识不到的情况下规避障碍物,实现一些下意识的安全性行为。这些都是小脑负责的功能,而我希望在机器人系统中也构建这样一个模块。
在过去六年的 PhD 阶段,我在伯克利做了很多这方面的探索。我有一种感觉,就是我们离真正“能思考的机器人”已经非常接近了。当然,未来还有很多后续工作值得推进,但我认为下一步的方向,很可能是从小脑向大脑跨越。也就是说,结合更多感知与环境信息,让大脑与小脑配合处理更复杂的任务,从而让机器人具备真正的环境理解和复杂行为能力。
我的研究主要可以分为三个关键词:agility、intelligence、safety。在这三个方向上,具体的技术路径分为五个模块。
1. 基于模型的运动控制
我们最开始做的第一个模块是Structure Motion Intelligence,核心就是用基于模型的方法,把机器人的动力学模型嵌入到一个结构化的优化框架里。我们希望在这个框架下,无论是采用在线还是离线的方式,都能运行优化算法,并将优化得到的结果直接让机器人执行出来。
在这条路径上,我们其实做了很多工作。我们最早实现的,是让二足机器人可以完成一些具有表现力的动作(expressive motion)。这个过程是完全用优化方法完成的。我们会先人工设计一条轨迹,然后通过优化算法求解出一套控制策略,使机器人可以在不依赖学习的前提下精准执行这些动作。
同时,我们也探索了一些参数自调整方法,也就是让机器人在已有控制器的基础上,进一步自动调整某些参数,以优化整体控制性能。这一部分还是在基于模型控制的框架内完成的。
但很快我们就遇到了问题。那个时候还没有强化学习的概念,我们完全靠优化方法来驱动运动控制。我们逐渐意识到,基于模型的方法有一些根本性的限制。
首先,就是模型本身与真实机器人之间存在显著的偏差。也就是说,我们手里拿到的动力学模型,即便很精细,跟真实机器人还是有 gap 的。这个差距我们后来定义为 model-to-real gap。模型再好,也不能完全覆盖机器人的非理想性,比如摩擦、柔性、迟滞等非线性因素。
为了解决这个 gap,我们尝试了几种办法。其中一个策略是:提升优化求解的频率。如果优化器能跑得非常快,那么很多误差我们就可以当作扰动处理掉,不再需要额外建模补偿。但这就带来一个新问题——现在很难在控制层用一个复杂模型去做高速的实时优化。大多数优化模型都太复杂,没办法满足控制频率的需求。
第二种方法其实就是人工调参。我们一开始是通过人手动去在控制器上调整一堆参数,这些参数有时候还会被丢进优化器里,用优化算法去跑。但实质上,这整个过程非常像一个人在手动跑强化学习。你相当于自己设定一个奖励函数,然后靠自己的直觉、经验和实验结果去调这些参数,让系统的输出行为能够尽量符合你的预期和设想。
这个做法的最大问题在于,整个开发流程是非常慢的。今天你调好了一套参数,明天可能就不能用了。因为机器人是一个动态系统,每天都在发生变化——比如电机磨损、机械结构松动、关节温度过高、摩擦系数变化等等。这些硬件因素直接影响控制器性能。
这种方式其实只能作为一种展示型路线:你沿着某个方向做下去,一定可以调出非常漂亮的 demo。比如波士顿动力的控制器就非常强大,它们做出来的 demo 极具视觉冲击力、也非常稳定。但问题在于——这种方法很难 scale up,很难扩展,不能泛化。
2. 基于RL的运动控制
所以我们后来就在想,能不能彻底抛弃模型,不用基于模型的方法,而是让机器人自己去通过强化学习,学出这些高动态、通用的动作控制能力。像走路、跑步、跳远这种任务,能不能靠机器人自己训练出来,而不是人调出来。在当时,这是一个非常激进的想法。当时大家都不认为强化学习可以直接在真机上运行,普遍共识是:强化学习只能在仿真里做,到了真机就不行。
当时比较有代表性的就是Xue Bin Peng老师的工作。他们做的DeepMimic,看起来在仿真里效果非常好,表现力很强。但从 robotics 研究者的角度看,我们一开始是非常怀疑它能迁移到真实机器人上的。主要原因是:那套方法做了很多理想化的假设。比如在训练时环境里你可以完全知道机器人的所有状态,所有关节的位置、速度都能拿到,模型也跟训练环境完全一致。训练完了之后,直接在同样的仿真里部署。
但在真实世界里,这种假设根本不成立。所以当时我们都觉得——这种方案离真机部署还很远。不过很幸运,我们当时都在伯克利,我们组和Xue Bin Peng老师所在的Sergey和Pieter组当时就是一起在做一件事:怎么把强化学习部署到真机(real hardware)上。那段时间我们做了一系列相关工作,主要是在 Cassie 平台上开展的。
我们最早是在 Cassie 上做走路(walking)的任务,第一次真正做出来是在 2020 年年中,虽然我们的文章是 2021 年发出来的,但实际完成时间是 2020 年。这意味着我们这项工作其实和 ETH 等团队的早期强化学习控制器研究是同期完成的。当时的那一批工作,现在看起来就是最早把强化学习真正应用到 locomotion control 的那一批人。虽然大家当时做得都比较初级,但已经形成了一股推动力。
我们那篇文章最大的一个突破点,不仅仅是证明“强化学习控制器可以在真机上跑”,更重要的是:我们展示了这种控制器具备非常强的补偿能力和鲁棒性。这点在当时是让很多人震撼的。比如说,在我们的实验中,机器人如果在某种情况下几乎就要倒了,只要你稍微把它扶回来——这个控制器是不会崩溃的,而是可以继续运行,把机器人从一个极度不稳定的状态恢复到稳定状态,继续行走。
这对基于模型的方法来说,是极难实现的。因为基于模型的方法一旦出了所谓的 region of attraction(可控域)之外,整个系统就会直接崩溃,无法恢复。也就是说,一旦扰动超过边界,你再怎么努力,系统也拉不回来了。
但强化学习控制器不是这样,它在控制策略中隐含了大量对扰动的经验反馈。在你把机器人拉回来之后,它可以自动适应当前状态并重新稳定下来。这种恢复能力当时是前所未有的,效果非常令人印象深刻。
也正因为这个效果,让很多人开始重新思考强化学习在真实机器人运动控制中的潜力。很多研究者因此开始进入这个领域,认为强化学习方法在实际系统中是“真的能跑”的,是有现实意义的,而不仅仅是留在仿真里。
我们其实做了很多方法层面的探索,我觉得这些方法都挺好的。在过去这几年里,我们这个方向几乎经历了一个从零到一、再到多的完整过程。这段经历其实挺不容易的,毕竟整个强化学习用于二足机器人控制这个领域真正开始系统发力,也就这短短几年时间。
在这段时间里,我们在这个方向上持续推进了很多工作。一开始我们做的是 walking,基础的走路控制。后来我们开始尝试更复杂的跳跃任务,比如跳远、跳高,甚至是一些比较复杂的动态跳跃。
我们当时的目标是,用一个控制器就能完成各种跳跃任务。比如说,这个控制器既能完成立定跳远,也能跳到桌子上、往后跳,甚至跳起来转圈。这是一个非常激进的设想——我们想把整个二足运动控制器的通用性推向一个很高的极限。
这个方向上我们确实花了很多时间,也拍了不少视频,最终的效果其实也挺好的。比如,我们用两个控制器,就完成了 19 个不同跳跃动作。这个控制器是不依赖任何预编程的,不需要为每种跳跃单独设计策略。只要给定一个落点,机器人就能跳过去。全部都是在仿真中训练完成的,之后直接部署到真实机器人上,不需要额外调参。
为了让这个控制器具备这么强的泛化能力,我们在方法上也做了很多工作。第一个关键点是——我们设计了一套阶段性训练(multi-stage training)的方法,让控制器可以清楚理解当前任务处于哪个阶段。第二个关键点是——我们提出了一个叫 dual-history approach 的结构:一方面使用较长时间跨度的 input-output history(也就是机器人的输入输出历史),另一方面也加入短期的状态反馈,这样组合起来能让控制器更快、更准确地估计当前机器人本体的动力学状态。
这一设计让控制器具备了隐式自适应能力,也就是说,它在不需要外部干预的情况下,能够自己适应当前机器人硬件的变化,比如动力学参数的漂移、接触状态的改变等等。这正是我们能让同一个控制器完成这么多跳跃动作的核心技术基础。
接下来我们还做了跑步控制,比如控制机器人完成 100 米、400 米这样的持续运动,这篇论文的重点其实并不是“我们做了多少个 demo”,而是想表达我们建立的系统性强化学习方法论。我们希望回答的是:怎么构建一个通用性强的控制器架构,通过合理的训练方法与控制结构,能支持不同类型任务的控制需求。
我们训练出来的控制器也在实际中表现得非常稳定,比如我们有一个走路控制器,我们在一年半的时间里反复测试,每隔一段时间重新部署、重新运行,控制效果都保持一致。包括跳跃、跑步这些控制器,我们也都有类似的长期验证结果。控制器的表现非常一致,没有明显退化,这种长期稳定性(consistency over time)是非常关键的,也是在真实系统部署中非常有价值的一点。
有一个非常关键的点,其实也是我们从 demo 阶段迈向真实可用控制器的分水岭,那就是:机器人系统中始终存在 model-to-hardware gap。我们可以拿到机器人的模型,但模型永远不可能完美描述现实。很多关键参数,比如关节摩擦、转动惯量、脚底与地面的摩擦系数,这些参数在真实机器人里随时间是会不断变化的。
举个具体的例子,我们当时在跑步实验中,机器人只跑了一圈,鞋底就被直接磨掉了。磨损之后,摩擦系数就变了。你要换鞋底,重新跑。但这时候,机器人的动态响应已经和训练时完全不一样了。还有关节也会磨损。我们做跳远实验时,冲击力非常大,连续几次之后机器人关节的状态就发生了改变。也就是说,你在仿真或训练时调出来的控制器,哪怕表现很好,部署后几天它可能就失效了。
所以我们很早就意识到:如果控制器本身不具备自适应能力,它就无法真正部署。你可能拍一个非常漂亮的视频,但几天后机器人状态变了,控制器就彻底不行了。我们当时就是为了证明:我们的控制器可以适应本体的变化,我们特地选择了在机器人状态不断变化的环境中反复测试。我们要验证控制器能不能在这种动力学变化的过程中仍然稳定运行。
对于机器人控制这个问题,我们当时做了一系列研究路径的推进。最开始是用优化方法,用结构化模型来训练控制器。后来我们逐渐转向强化学习的方法,完全丢弃模型,让机器人自己通过经验学习策略。也可以说,我们是从单体二足机器人在 agility(敏捷性)上的控制能力出发,一步步把这个方向往上推,尽可能提升它的上限。现在其实很多工作都在尝试做类似的事,很多人也参考了我们早期的一些方法或者思路。我觉得这很正常,毕竟这类工作在当时属于比较前沿的尝试。
当然,那时候我们做的还是 single-agent,也就是一个机器人自身的能力构建。但我们从一开始就知道——机器人不仅要能走、能跑、能跳,它最终还得能“做事”,才能产生真正的系统价值。所以我们在 PhD 期间其实很早就开始关注:怎么让机器人做更复杂的任务,比如 manipulation(操作任务)。
3. 足式机器人的运动操作任务(Whole-body loco-manipulation)
我们在 PhD 期间很早就开始关注足式机器人能不能做操作任务(manipulation task)。当时大概是 2021 到 2022 年左右,那时候的人形机器人平台还远不如现在这么成熟,多本体的配置也不常见,很多机器人平台其实根本没有“手”。
所以我们就在想:在没有手的情况下,能不能让足式机器人也能做一些工作?
后来我们找到一个非常好的切入点,就是:用脚去踢、去推、去拉,来完成一些非抓取类的操作任务。我们把这种操作方式称作 nonprehensile manipulation。也就是说,我们不再依赖末端执行器(比如机械手),而是靠脚部或者身体其他部位非接触地与环境交互。
像开门、推门、拉门,甚至关灯这种动作,其实不一定需要一只手去抓住把手。你只需要轻轻碰一下门,它就能开。所以我们就开始尝试在足式机器人上实现这类动作。我们最早是在一个四足机器人平台上做的这类任务。第一项是精准射门:让机器人踢球,把球踢进指定的位置。后来我们扩展到了更多场景,比如扑点球。球从不同方向飞过来,我们的机器人要通过不同的控制策略去做出反应。它可以走一步去拦球,也可以直接跳起来去挡,甚至可以切换步态去追球或者扑球。
我们在这个过程中尝试了很多组合动作,实际上是把多个底层控制器组合起来,从而完成一个整体上看起来非常复杂的高动态操作任务。后来我们进一步探索了更复杂的任务,比如边走边运球,过程中还要绕过障碍、绕过地面上的坑洼。这些任务需要在运动控制、避障和球体交互三者之间同时进行动态协调。
再往后,我们还尝试做了一步更进一步的研究——让机器人通过 imitation learning 去学习人类的操作示范。我们的思路是:通过人的示范去教机器人控制腿部来完成操作。人可以用手直接带动机器人的腿部,做一些动作,然后机器人从这个示范中学习这些控制模式,包括动作顺序、接触策略、力度大小等等。这种方式让机器人不仅能执行任务,还能从人类行为中学习如何应对新的操作环境。
这里的核心思想其实就是“分层控制”(hierarchical control)。虽然现在大家都在谈分层,但我们是真正按这个理念推进的。底层我们采用的是一个通用的强化学习控制器,它的目标是让我的腿能够跟踪各种末端轨迹。基于这一能力,我们在上层再去训练一个专注于任务规划的控制器,也就是规划末端执行器——也就是腿的轨迹。
这个上层控制器可以采用多种方式:它可以是一个强化学习的策略,也可以是一个模仿学习的模型,甚至可以直接从仿真环境中学习,也可以利用真实世界的数据训练,或者将两者结合——先在仿真中预训练,再利用真实数据做微调。我们在这整套框架上做了很多探索,这种结构的通用性也得到了验证。
我们主要在四足平台、也就是 locomanipulation 这套系统上做了大量实验。其实四足往人形迁移并不复杂,你可以把四足机器人的前肢理解为人的手,后肢就是人的腿,逻辑是一样的。本质上,任务还是单个机器人与物体之间的交互问题。
4. 多智能体协同控制
后来我们进一步思考:如果一个 agent 已经能完成任务了,那多个 agent 如何合作呢?
我最早做的不是机器人的多智能体任务,而是人机协作。我们有一个项目是用机器狗做导盲,它带着一个被蒙眼的人引导他走路,相当于一个“导盲犬”。这其实是机器人与人的协作问题。
之后我们又做了三个四足机器人合作拉一个重箱子的任务。它们用绳子把箱子一起拖过一个非常狭窄的通道。这个任务用的是中心化优化方法(centralized optimization),我们也在里面做了很多加速处理。
再后来,我们做了一篇文章,实现了多个四足机器人在无需中心化信息的前提下协作拉动重物。每个机器人运行自己的控制器,不依赖其他机器人的状态信息,也就是说控制是完全去中心化的(decentralized control)。在任务执行过程中,我们甚至可以动态移除一个机器人,比如从四个机器人变成三个,它们仍然能迅速调整队形,顺利完成任务。
这个工作是用多智能体强化学习的方法完成的。多机器人协作本身就是一个非常难的问题,因为单个机器人已经不容易控制了,多个机器人在真实环境中的协作挑战更大。但我们通过分层架构和强化学习方法,逐步把这个问题推进了。
那多个机器人怎么去合作,尤其是在真实的、真机环境里,其实是一个非常有挑战的问题。我们刚刚提到的所有工作,其实都已经是在真实世界中进行过大量实验验证的,不是在纯仿真中做的。这一点很关键,因为很多强化学习系统在仿真中看上去效果很好,一旦部署到真实环境就会遇到各种不可预期的问题。
整个思路其实还是基于“分层控制”的框架,特别是对于这种复杂系统(比如四足、双足、人形机器人),这种架构是非常有效的。我们底层是一个稳定可靠的控制器,它可以快速响应、维持动态稳定性。而上层则是面向任务的规划控制器,负责决策目标轨迹、合作策略等等。这种上下分工的架构让系统更具扩展性和适应性。
每个方向上我们都做了很多尝试和实践,包括单个机器人的任务优化、多智能体之间的协作学习,以及不同学习方法(强化学习、模仿学习等)的组合应用。我们做到了让多个机器人之间,在完全不依赖中心化信息的前提下,也能顺利完成合作任务。这在真实世界中是非常不容易的。
5. 安全性问题
但在解决协作问题之外,我觉得最关键的问题其实还是安全性。
尤其是当我们研究的是人形机器人,它本身就是为了在人类环境中运行而设计的。那在这种场景下,安全性一定是优先级最高的。如果一个大模型(如 LLM)说错了话,可能只是信息错误,但如果一个机器人控制出错,那可能会直接撞到人,造成实际伤害,这是不能接受的。
所以我们非常关注如何给基于学习的方法加上控制理论层面的安全性保障。比如说,学习方法(尤其是强化学习)在高动态任务中表现非常好,动作灵活、响应快速、泛化能力强,但它的行为不一定完全可预测,我们不知道它在什么时候会fail。那这就需要借助控制理论,给基于学习的策略加一个“安全壳”或者“安全边界”。比如说,当它接近障碍物(不管是墙体、环境结构还是人)的时候,系统能够保证不碰撞、不违反某种形式化的安全约束。
我们在这方面也做了很多尝试,比如研究如何构建可验证的安全区域(safe set),或用概率方法建模策略的可靠性边界,从而确保在真实部署时,哪怕是基于学习的控制器,也不会做出伤害人的决策。
6. 怎么定义小脑
我一直觉得,“小脑”这个概念在机器人研究里其实是比较模糊的,尤其是在我们讲人形机器人时,大家对它的理解并不统一。如果我们把问题稍微具体一点,落到足式机器人或者四足机器人上,可能会更容易进行明确的界定。因为这些系统的首要任务非常清晰:那就是保持平衡、完成基本运动控制,包括站立、行走、奔跑、跳跃等。
我们知道,在人类的神经系统中,小脑主要负责的是运动控制、协调和平衡功能;而大脑则更多处理感知、认知和决策。用这个生物学结构类比到机器人系统中——我们可以说:“小脑”在机器人中的功能对应于控制整个身体运动的底层控制模块。也就是说,所有 locomotion control(步态控制)、全身动作协同、自适应控制、条件反射式的安全性反应等,其实都可以归类为“机器人小脑”范畴。
比如,在我们自己的研究中,很多控制器能够实现高动态运动、自动适应机器人动力学变化(比如关节损伤、脚底磨损等),这就体现了生物小脑中的自适应性。这种“受伤之后还能继续走”的能力,不依赖于大脑做复杂规划,是在运动控制器内部完成的。
又比如,人在遇到危险时的快速条件反射(比如手碰到火会瞬间缩回来),这类反应并不是通过大脑复杂思考,而是通过下意识的反射弧完成的。从机器人角度说,这正是我们想要赋予小脑系统的功能之一:实现非显式反应的安全保障机制。
因此我会把以下这些任务和功能归入“小脑”的定义中:基础运动能力:包括走路、跑步、跳跃等。动态自适应能力:对摩擦力变化、动力学扰动、结构损耗等进行隐式补偿。即时反应与安全机制:不依赖大脑决策的快速避障、姿态恢复、碰撞规避等行为。低层控制执行与反馈整合:追踪轨迹、稳定控制、处理 proprioception(本体感觉)等。
而“大脑”的范畴则是更高层的认知与任务决策。比如:感知目标并做出决策(我应该抓可乐还是抓雪碧?),处理多模态信息(视觉、语言、语义等),进行长程任务规划(我要去学校,那我要怎么走?路径规划与导航),多智能体协作与角色分配(谁来做什么任务?怎么分工协作?)。
所以,我的研究定位其实就是想在机器人系统中构建一个“类小脑”的模块,让它不仅能运动,还具备一定的自适应性、安全性和条件反射式智能,最终让机器人在没有大脑介入的情况下,也能完成基本稳定可靠的身体控制任务。
当然,这种区分在实际应用中仍然有模糊地带,像合作策略到底归不归小脑,可能见仁见智。但从工程系统架构和生物学启发来看,用“小脑控制底层运动与安全,大脑负责认知与任务决策”这个框架进行区分,是目前我认为相对清晰和有操作性的定义方式。
7. 足式机器人的运控从基于模型的控制到RL过渡的关键因素
我始终认为,基于模型的方法(model-based control)在机器人控制领域依然非常有价值。首先,像波士顿动力这样的公司,其实并没有完全放弃基于模型的方法——他们始终在使用,只不过现在也能够借助强化学习(RL)取得越来越优秀的结果。
整个机器人控制 community 在过去五年左右的时间里,经历了一个明显的思想转变过程。以我们自己为例,我们组接受强化学习思路得非常快。因为我们很早就把强化学习策略部署到真机上,效果又确实非常好,整个团队也因此变得非常兴奋。
当然,也有一些学者在最初阶段持怀疑态度,认为强化学习的控制策略不够“优雅”,不像基于模型的方法那样有明确的数理结构、解析形式、可解释性强。他们会更偏好像最优控制、非线性 MPC 这类构造性强的控制方法。不过随着越来越多实验结果验证强化学习在实际机器人系统中的性能优势,大家也开始逐步接受这类方法。
从时间线上看,大约从 2020 年起,包括 ETH、我们组、Oregon State University、Google的研究团队等,开始系统性地推动 RL 在 locomotion control 领域的真实部署。到了 2024 年,整个学术社区已经基本形成了一个共识:模型方法与强化学习并不是对立的,而是可以互补的,各自适用于不同任务和系统约束。
强化学习方法之所以发展迅速,我觉得有两个很重要的推动因素:第一,对数学与建模的要求相对较低,新入门者更容易上手。相比于传统优化控制方法,RL 不需要构建完整动力学模型,也不需要解决复杂的约束优化问题。第二,大量的开源工作和工具链,极大降低了学习和实验的门槛。包括 ETH、NVIDIA 等机构发布了很多开源仿真平台、GPU 加速引擎和训练框架,教程和示例项目也非常丰富,使得很多本科生、研究生可以快速搭建强化学习控制系统,而不需要从零开始构建一个优化求解器。
这也导致一个新的趋势:越来越多的新人选择直接从强化学习入手,而不是从传统的基于模型控制起步。
不过,从研究视角来看,我认为这并不一定是好事。强化学习虽然工程落地性强,但它目前仍存在几个关键问题没有很好解决:首先,自适应能力不稳定,强化学习控制器今天可能表现很好,如果模型训练或者构造的不好,一旦系统参数变化,比如摩擦系数、电机性能退化等,它很可能就无法有效自适应。这种长期稳定性问题一直是个挑战。其次,缺乏形式化的安全性保证,强化学习控制器往往是一个神经网络的黑盒结构,而机器人系统本身又极其复杂,两者结合之后很难预测在未知场景下的行为。这就会带来安全性风险:比如机器人可能在错误的状态下采取了危险动作,撞人、跌倒等——这在真实应用中是不能接受的。
我们在研究中也一直在探索如何用控制理论方法为强化学习策略增加安全性保障。比如我们提出的一个重要发现是:当一个机器人被训练得非常好、控制效果足够优秀时,它所形成的闭环控制系统其实近似是一个全局线性系统(globally linear system in closed-loop)。一旦我们知道这一点,就可以把原本的“黑盒”问题转化为“线性系统”的控制问题。我们可以基于这个线性模型,使用传统的基于模型方法,对其进行形式化安全性验证与限制。这种方式相对务实,也具有工程上的可操作性。
当然,这里还有很多值得研究的问题:什么样的系统或者训练条件会导致闭环控制器表现为线性?这个“线性近似”是否具有普适性,适用于所有机器人平台?如何有效提取并利用这种结构性?我认为这些问题正是未来几年强化学习与控制理论融合研究最值得关注的方向之一。
8. 足式机器人的通用控制器
机器人控制器的自适应能力确实可以看作是迈向“通用控制器”的第一步。现在整个领域都在讨论所谓的 generalist control,但其实“通用性”本身是个多层次、多维度的问题。
第一,单一机器人本体的自适应:时间上的通用性
最基本的一层,是在同一个机器人本体上实现时间维度上的自适应。比如我以 Cassie 为平台,虽然硬件是固定的,但随着使用时间推移,它的动力学会发生变化,比如关节磨损、摩擦力下降、电机性能退化。这时,一个真正通用的控制器应该能够在不重新训练的前提下,自动适应这些本体变化,并保持稳定控制性能。这一点我们已经在前面的实验中反复验证过,也算是通用性构建的第一层基础。
第二,跨机器人平台的控制迁移:结构上的通用性
往更高层走,是现在大家都非常关注的cross-embodiment generalization——即跨不同机器人本体的通用性。例如,我是否可以用一个控制器同时控制 Boston Dynamics 的 Atlas、Unitree 的 Go1,甚至是形态、关节结构完全不同的 humanoid 或 quadruped?这需要控制策略对底层动力学、自由度分布、甚至机械构型具有强自适应能力。
我自己是相信这是可能的,从理论上肯定可以实现。但问题在于:它真的有必要吗?
一个控制器支持多个不同机器人平台,听起来很强,但它的训练成本可能是指数级增长;控制性能是否还能保持对每个本体都“足够好”,这是个实际问题;它可能会牺牲掉“专用控制器”对单一平台的极致优化效果。
强化学习本身就存在泛化性不强的问题,尤其是面对 multi-modal distribution 时,如果状态-动作分布发生较大变化,单一策略很难适应,这在现实中也是一个瓶颈。
第三,任务级通用性:多任务、多模态适应
再往上一层,是通用控制器在多任务或多技能场景下的泛化能力。也就是说无论是走、跑、跳、转圈;或者从 locomotion 过渡到 basic manipulation;不管是在什么环境、面对什么目标;控制器都能保持一致性表现,并具备一定的任务间迁移能力。
在这方面,我认为我们可以借鉴大模型(large model) 的思路——如果把各种任务、各种机器人构型全部输入系统进行联合训练,理论上控制器应该不仅能“记住”这些任务,还能在面对新组合、新任务时出现某种程度的“涌现能力(emergent behavior)”。
比如从任务 A(跳远)与任务 B(避障)中,学出一个任务 C(跳远避障);或从 humanoid 上学出的控制能力,迁移到四足机器人上;或者通过模仿学习(imitation learning)看到人类演示的新任务后能快速泛化。
9. 怎么理解RL的泛化性不好
我确实觉得,强化学习(Reinforcement Learning, RL)在控制器泛化性上的表现是不足的。我们有非常直观的实验例子来说明这一点。
在我们做 locomotion 的过程中,像走路(walking)、跳跃(jumping)、跑步(running)这些任务,我们都是分别训练的独立控制器。比如跑步控制器虽然非常强,能支持变速、转弯等复杂动作,但它始终是在“跑步”这个基本运动模式之下工作;它无法迁移到跳跃或者正常走路等任务上。
我们当然也尝试过使用一个统一的强化学习控制器去学习多种任务,比如同时学走路和跑步。但我们发现这样训练出的控制器在多个任务上表现都不如分别单独训练再部署的控制器。也就是说,虽然多任务控制器“能用”,但单任务专训的控制器效果明显更好。这暴露出一个关键问题:强化学习策略在任务泛化上的能力是有限的。特别是当任务分布差异较大、动力学模式截然不同的时候,强化学习很难找到一个统一策略能兼顾所有任务表现。
起初我们怀疑可能是数据量的问题,但我们进一步增加数据量后也发现,训练收敛速度和效果提升并不明显。所以,这并不是一个可以简单通过“多训一点”就能解决的问题。我们后来观察到,目前在一些人形机器人新工作中,有很多尝试把上肢任务(比如操作类动作)和下肢 locomotion 任务(走、跑、跳)放到一个体系中来训练。这类控制器在仿真中也能跑起来,看起来“泛化”程度更高。
但仔细看方法,大多数研究其实采用的是一种 teacher-student 结构:首先用强化学习为每个具体任务单独训练一个task-specific policy;然后再通过imitation learning(模仿学习)或者 policy distillation,把这些子策略蒸馏(distill)到一个统一的大策略网络中。这种方式的优点是每个基础策略都有良好性能;蒸馏后的 unified controller 具备一定的任务切换与组合能力;避免了直接用强化学习去训练“通用控制器”本身在训练效率和稳定性上的问题。
我个人认为,这可能是目前较为合理的工程路径。我们绕开了强化学习原生泛化能力弱的问题,用模仿学习做策略融合与泛化控制。而强化学习仍然承担了任务级别的最优策略训练,这种分工协作是更务实的方案。
当然,这也意味着真正具有涌现能力的“单一控制器学会所有任务”的方向仍然充满挑战,特别是在 locomotion 这种高动态、高维度的控制问题上。我们还有很长的路要走,去理解如何构建更好的训练结构、更强的策略表示能力,以及更自然的多任务统一学习范式。
10. RL的sim2real从不可能到可能
我们一开始觉得强化学习只能在仿真里做,真机上是不可能成功的。这一变化过程我觉得很有意思。
第一点,是我们开始用了历史信息。像 Xue Bin Peng老师早期的工作,他的强化学习模型是基于仿真器里的全状态信息训练的。他能知道机器人的全部本体信息,包括每一个 link 的位置、每一个关节的位置和状态,这些都可以直接从仿真环境中拿到。但这些信息在真实机器人上是拿不到的。比如机器人的基座速度(linear velocity),你在真机上是没有办法直接测量到的,以前要通过状态估计器估计,现在也不是特别精确。
后来我们做法是,不直接去依赖当前那一帧的状态信息,而是把一段时间的历史信息输入进去。也就是说,用一段时间内机器人的输入输出,比如电机控制量、传感器读数,把这一段历史作为输入,就可以估出当前的 base 状态。
我们进一步发现,通过这段历史信息,甚至可以估出每个关节的惯量、质量参数等内部动力学特征。这些估计方法可以用数学公式去建模,是可以做的。一旦这些状态可以估出来,我们就可以调整控制器的参数,让它对本体的变化实现自适应。这样,控制器就不会因为本体状态的变化、损耗而失效。
这个方向后面其实出现了很多工作,包括“要不要用历史信息”“历史多长合适”“历史信息怎么编码输入”等问题,很多人都在研究。我们自己也做了大量实验对比,我觉得我们的方法通用性会高一些,但当然不同平台差异很大,也不好说。
第二点是硬件的问题。如果硬件跟不上,控制器就算在仿真中再好,也没法部署到真实机器人上。特别是执行器的性能,如果关节响应不好,跟不上仿真给出的参考轨迹,那就完全跑不起来。比如有的机器人用的是舵机,那种低成本方案,它的响应能力和可控性就非常差。你给它一个目标速度,它执行不出来,甚至会震荡或者过热停机。
强化学习控制器本质上是一个高频的指令输出模块,它给出的往往是理想的关节位置或速度的目标值。在仿真中,这些目标被严格执行,仿真一步一步往下推进;但在真机上,你给出这个目标,执行器做不到,控制就完全失效了。
而现在的一些机器人平台,比如 Cassie,包括一些高性能的 quadruped,它们的关节是比较强的,响应非常快,执行也非常准。这些硬件平台就可以支撑强化学习控制器真正去跑那些高动态策略。
所以,我觉得强化学习能够跑在真机上,是两方面共同作用的结果:一方面是我们在算法上,开始用历史信息去补偿不可观测的状态,做状态估计与自适应控制;另一方面是硬件平台的提升,让执行器能真实追踪仿真中给出的目标轨迹。
中间还有一类 gap,就是仿真模型本身就不准。比如质量参数、摩擦系数这些建模参数和真实值差别很大,这是仿真和真机之间另一个偏差来源。
我们可以通过一些方式去弥补这个 gap,比如 domain randomization——对仿真参数做扰动来增强策略的鲁棒性。但更重要的还是控制器输出的指令本身能不能被硬件很好地执行。因为仿真里你每一步给的是理想例距,认为机器人执行了这个例距后就到了下一步。但真实机器人上执行器是有延迟、有非线性响应的,它可能根本追不上这个例距。那仿真和现实之间就又出现了新的误差。
如果你的硬件不够好,所有这些算法优化其实都是白搭。所以我觉得,这个过程的变化,就是算法和硬件共同往中间走,最后才汇合到一起。
11. 硬件底层透明的重要性
我觉得这是一个非常好的问题,确实值得深入讲一讲。我们最近之所以一个从关节层全面开源的人型机器人Berkeley Humanoid Lite ,其实正是因为我们在做控制的过程中,切切实实地感受到现在市面上很多关节存在的问题。这也是我们组最近一系列工作的出发点之一,包括我们组的另一些同学也专门在做这方面的重构。
从我们做控制的人的视角看,硬件必须是透明的(transparent)。也就是说,从我们下发一个期望的关节速度或者位置(即例距命令)开始,到最后这个命令如何被转化为电流,再传到电机、驱动关节,这整个链条我们都需要知道发生了什么。
当然,我们可能不关心硬件中间每一层的控制细节,但我们对它的性能特性是非常敏感的。比如说,一个多大规格的机器人,它的电机最高转速是多少?在这个转速下它实际能提供的加速度或者速度极限是多少?它的响应是否线性?有没有明显的死区或者不稳定区域?这些都会直接影响到我们控制器的性能上限。
执行器一旦变成黑盒,那我们做控制器的人就非常被动了。我们根本无法判断一个控制策略失败是算法问题,还是执行器本身的非理想响应造成的。如果我们用的是外部集成好的硬件关节,或者商用闭源系统,其实都会面临这个问题。我们根本不知道命令发下去之后,中间发生了什么事情。但如果硬件做得不好,那这个响应链条就不可信。上面算法再好,下面执行不到位,那控制效果就注定不好,这对控制工程师来说是非常痛苦的。
我们组最近做了两套完整的人形机器人设计,动因之一就是希望能在硬件层面也拥有更大的透明度与掌控力。这样我们才能去尝试更高动态、更高性能的控制器。也就是说,只有当我们对整个系统从指令下发到电流环闭环响应全流程都能掌握,我们才能大胆去推高控制的边界。
这也是我们要开源的原因之一。开源意味着整个系统是透明的,每一个人都能知道自己拿到的控制命令最后是怎么执行的。只要出了问题,不需要靠猜,你知道问题可能出在哪一层,是例距解算问题?是通信延迟问题?是电流环带宽不够?你都能一步步去 debug。
这个思路其实跟控制策略的架构也有点像——端到端策略 vs. 分层控制器。端到端很酷,但出了问题你不知道是哪一层坏了;而分层架构虽然复杂,但你能精准知道问题在哪一块。我们在Berkeley Humanoid Lite上开源的关节,其实也是类似的理念——把整个硬件层的响应系统变成一个分层结构,每一层都可追溯、可调试、可验证,才能真正为上层高性能控制策略
打下坚实的基础。
12. 招生
如开头提到,李钟毓博士目前正在为他在港中文的实验室招生,仍有很多名额:博士(26 Fall入学)、博士后(最早25 Fall入职)、访问学生(本科生/硕士,随时加入)。欢迎对人形机器人、具身智能、控制理论感兴趣的同学加入!申请方式感兴趣的同学请发送一封英文邮件到: zhongyu_li AT berkeley.edu. 请包含以下内容:
标题格式:[Application] PhD/Postdoc/Visiting Student - Name - Which Track (VLA/Humanoid/Control Theory/Design)正文简要介绍自己的研究兴趣和过往经历,附上英文简历。有国奖的同学请标明。
References:
李钟毓主页:https://zyliatzju.github.io/