人形机器人通用控制器系列,继专访Xue Bin(Jason) Peng:探索人形机器人全身运控的通用控制器和对话李钟毓:如何构建足式机器人的“小脑”两篇采访之后,这期文章,我邀请到了人形机器人通用控制器领域家喻户晓的PHC这篇论文的作者罗正宜博士。
罗正宜(Zhengyi Luo)博士毕业于CMU,他的导师是 Kris Kitani 教授。在此之前,他于2019年在宾夕法尼亚大学获得了本科学位,并曾在 Kostas Daniilidis 教授的指导下开展研究工作。罗正宜博士的的研究兴趣主要集中在视觉、学习与机器人技术的交叉领域。主要研究方向包括人体姿态估计、人-物交互建模、人类运动建模等。
查看原文目录
以下为本文目录
👇
学术经历
1. Character Animation阶段
2. UHC阶段
3. PHC阶段
4. PHC2Real阶段
关于PHC
5. PHC简介
6. PHC乘法控制策略介绍
7. 怎么从AMASS动捕数据中学习
8. PHC后续之PHC 2 Real
9. PHC后续工作之全身运控
10. PHC用到的强化学习方法是什么
关于通用控制器
11. 怎么理解“通用控制器”
12. 通用控制器的难点在哪里
13. 通用控制器有哪些典型工作
学术经历
1. Character Animation阶段
在本科期间,我在宾夕法尼亚大学做了很多和 AR/VR 相关的项目,从 2016 年开始就已经在使用这类技术。在 2018 到 2019 年间,我在苹果的 Vision Pro 团队实习,我当时认为 AR/VR 的进一步发展需要更强的智能系统。我设想的是,当我戴着 AR 眼镜看到某个物体时,它可以立即告诉我这个物体的用途,我觉得这是一件非常有意义的事情。
在苹果 Vision Pro 实习期间,我的工作是基于物理引擎进行角色动画(character animation)的开发。我们小组当时的目标是为 AR 环境设计角色动作,希望在增强现实场景中,一个虚拟的人形机器人可以自由活动。我所做的项目是基于Jason Peng的 DeepMimic 和 MCP(Multiplicative Control)系统。
之后,我进入CMU读机器人硕士。切入点仍是计算机视觉,因此我做了一些与human video pose estimation相关的工作。在这个过程中,我逐渐意识到,我希望把苹果实习时做的内容与当前的研究结合起来,也就是将 pose estimation 与 embodied AI 在仿真环境中进行融合。
我注意到,在做 pose estimation 时,如果没有加上约束,系统生成的动作会显得不自然。所以我开始引入物理仿真,通过添加物理量与限制,让动作表现得更加逼真、自然。这个方向在当时被称为 physical grounding。与此同时,我的师兄袁野也在进行相关研究。在他的指导下,我开始尝试将计算机视觉和虚拟引擎结合起来,开发基于物理约束的角色动作系统。
2. UHC阶段
在 2019 年到 2020 年间,我开始做 UHC 项目。受到Jason Peng相关工作的启发,我希望构建一个控制器,能够执行任意的 pose sequence。这对控制器的泛化能力要求极高,因此我希望这个控制器能完成整个 process。于是我提出并开发了 UHC 项目。某种意义上,UHC 实现了这个目标,但同时也没有完全做到。

UHC
原因在于 UHC 使用了一种叫 residual force control 的机制(由我的学长袁野开发)。这种方法可以类比成“提线木偶”:在机器人的每一个关节上施加一股额外的力,让它能够保持站立,相当于用不可见的线将机器人悬吊。这种设置简化了控制器的学习任务,甚至可以说让机器人“飞起来”。它使用了一种辅助力的形式,降低了学习难度。
在这个基础上,我继续进行了两篇相关的研究工作。一篇是 UIC(Kinematic Controller),之后又发表了一篇在 NeurIPS 2022 的论文 Embodied Scene-aware Human Pose Estimation,分别涉及第一人称和第三人称的人体姿态估计。这两篇研究都基于 MuJoCo 模拟器,运行在 CPU 上。
2022 年,我进入英伟达实习,这是我博士生涯的第二个转折点。当时,Jason Peng也在英伟达,于是我开始直接与他合作,并在 Jason 老师的指导下进行研究。在这期间,我完成了一篇论文 Trace and Pace,这是一个在 Isaac Gym 上开发的人形机器人控制器,能够应对各种地形,包括阶梯和不规则地形。
Trace and Pace
这是一个重要的节点,因为 Isaac Gym 的并行仿真功能将原来需要一周时间的训练任务压缩到一天以内,大大提升了实验效率。这让我可以快速测试各种控制器。同时,我也从 Jason 那里获得了关于控制器训练的重要 insight。
3. PHC阶段
2022 年秋季,我以visiting researcher的身份进入Meta。在 Meta,我参与了 Reality Lab 的项目,主要研究 character animation(也就是人形形态) 和 avatar 系统。他们的目标是开发 AR/VR 应用中的虚拟角色,并在物理引擎中完成动作生成。当时我决定重新尝试推进 UHC 项目,并尝试移除 residual force,也就是把“拐杖”去掉。我开始使用 Isaac Gym 快速训练系统,同时利用 AMASS 数据集进行训练。
2023 年 3 月,我完成了一个控制器(也就是PHC),它可以学习并重现 AMASS 数据集中的所有动作。我意识到,一旦我能通过 motion tracking 任务控制一个机器人执行这些动作,我就具备了完成更复杂任务的 motor skill 基础。在此基础上,我开始设想,如果我想让这个机器人以某种速度奔跑、穿越复杂地形、或者抓取物体,这些任务可以通过已有的运动技能组合实现。我们将这些称为 motor primitives 或者 motor control。
PHC
接下来,我思考如何复用这些已经掌握的人类动作,这促使我开始了 PHC 项目的研究。该项目的目标是构建一个泛化的 motion representation,从今天的角度看,也可以称为 behavior foundation model。核心是构建一个 latent space,用于复用已学习的运动技能。
这个概念在运动控制领域其实并不新。人类并不是每次面对任务时都要重新学习如何控制身体。我们的大脑中预存了一些基础 motor skills,部分甚至是先天具备的。我希望机器人也能具备类似的能力:通过预训练获得一组基本动作能力,然后在新任务中调用这些技能完成目标,这种方式称为 motor skill reuse,也常用于 character animation。
4. PHC2Real阶段
到了 2022-2023 年,也就是第三个转折点,Elon Musk 宣布要开发人形机器人。这让人形机器人领域突然变得非常热门。我看到这则新闻时想到,自己也在做人形机器人,只不过都在虚拟世界中。我原本设想的路线是继续在虚拟世界中研究几年,把各种任务能力做到极致,比如赋予机器人视觉系统、任务理解能力,让它能在虚拟空间中搬运物品、整理场景等。
我认为在虚拟世界中构建 embodied AI 系统是非常有价值的研究方向。因为在物理引擎中,行为是受物理规律约束的,因此具有很强的研究意义。我当时预计,这一系列研究会逐步反哺 AR/VR、计算机视觉等方向,之后再进入机器人领域。但Optimus的发布打乱了这个节奏。同年,伯克利团队发表了《Learning Humanoid Locomotion with Transformers》一文,我开始意识到仿真到现实的通道已经初步具备条件。
2023 年底,我们已经可以在市面上买到人形机器人,所以和同在CMU的PhD何泰然开始了PHC在真机上的尝试(H2O)。但从某种角度说,当时我们的目标跨度可能过大。PHC to Real路径走得有些激进,因此在ASAP项目中我们选择了“退一步”,先做DeepMimic to Real。我认为,现在业界大多数人也在探索 DeepMimic 到 PHC 的迁移路径,我自己也在进行这方面的工作。
OmniH2O
ASAP
在现实人形机器人平台上实现通用控制仍然非常困难。我一直认为,现实中的方法大约落后 animation 领域三到四年。尽管现在已经有了许多技术积累,但仿真到现实仍存在差距,不过进展正在加速。
关于PHC
5. PHC简介
关于我做的 PHC(Perpetual Human Controller)这个工作,其实我刚刚也提到了一些。它最初的出发点,更多是从 character animation(角色动画)这个角度来思考的——也就是“角色控制”这一问题。
在我开始做 PHC 的时候,我脑海中其实已经有一个理想的 demo 画面:给我一台相机,镜头对着我,当我做出一个动作时,屏幕上的虚拟人形就同步做出相同的动作。或者说,我要是控制一个机器人,它也应该在我做什么时跟着做什么。这种设想,放在今天(比如2025年)可以被称作是一种“遥操作”或“镜像控制”,但在我开始这个项目时,业界还没有一个现成的 controller 能够做到这一点,尤其是在实时性和动作泛化能力上。
要实现这样的目标,控制器必须具备非常高的泛化能力。因为我们面对的是一个 camera-based 的输入——不是传统的 motion capture studio,也不是多视角的高精度系统,而是只有一台单目相机去做动作识别。这意味着人的姿态估计会非常 noisy,而且输入的数据没有严格的约束(constraint),这就要求控制器不仅要能处理各类动作,还要能对噪声输入有一定鲁棒性。
PHC 的设计目标之一,就是让人形机器人在面对这些“非理想输入”时,依然能够正确执行动作。比如说,即使它因为输入太噪、姿态估计失败而跌倒了,它也应该能自己重新站起来——这也是我取名为 Perpetual Human Controller 的原因之一:它不仅要“持续”地控制动作,还要具备一定的自我恢复能力。
这个设想其实源于一个更早的需求。当时已经有一些类似 DeepMimic 的系统,可以从参考动作中学习一段 motion,但每段动作都需要重新训练一个模型。而我的目标是做一个统一的控制器,不管你输入什么动作序列,它都能执行出来,而不是每次重新训练。因为我自己也做人体姿态估计,所以我特别希望我的系统能做到:任何姿态估计结果进来,机器人就能立刻做出相应的动作。
为此,我采用了当时最大规模的高质量动作数据集——AMASS,它是由 MPI 的 Michael Black 教授团队构建的,汇集了多个 motion capture 数据集,总共约 1 万条多样化的人体动作序列。我从 2020 年就开始尝试用这个数据集训练控制器,最开始是在 MuJoCo 这样的仿真器里做,断断续续做了两三年都没有完整做出来。
转机发生在 2022 年暑假,我在英伟达实习期间接触到了他们开发的 Isaac Gym,它是一个基于 GPU 的大规模并行仿真平台。在那之后,我的强化学习训练效率大幅提升,速度比在 CPU 上跑快了非常多。这重新点燃了我继续完成 PHC 的想法。
于是到了 2023 年,我重新着手这个项目,正式制定了两个核心目标:第一,构建一个实时 demo,用摄像头捕捉人类动作,机器人可以实时跟随执行,形成完整的“镜像控制”。第二,用一个统一控制器,学习 AMASS 数据集中所有动作序列,实现覆盖 97% 以上人类动作的控制能力。
这两个目标是相辅相成的。因为如果我的控制器能很好地学会 AMASS 中的所有动作,那么将来通过单目相机捕捉到的人体姿态——哪怕存在噪声——也更有可能是 controller 已经“见过”的运动模式。这样一来,就能在实际使用中大大提升动作还原能力和稳定性。
所以,PHC 项目最终的愿景就是:打造一个具备强泛化能力、容错能力,并能覆盖人类大多数自然动作的人形机器人控制系统。
6. PHC乘法控制策略介绍
乘法控制策略(Progressive Multiplicative Control Policy, PMCP)
当时我做 PHC 的时候,有一万个 motion capture 动作序列。我决定全部学习,不挑选子集。我使用 Isaac Gym,可以同时模拟 2000 个环境,即同时模拟 2000 个机器人。我从这一万个动作序列中随机采样 2000 条,用于训练和评估。
PHC 的核心目标是确保每一条 motion sequence 都被成功学习。这与传统的 animation 论文不同。动画方向的研究更关注视觉效果,只要模型能复现若干关键动作、呈现良好视觉就算成功。但我的目标是做姿态估计、做 universal controller,所以我要求模型必须对每一条 sequence 都具备完整复现能力。
为此,我引入了多个衡量指标。首先是 success rate(成功率):指模型是否能从头到尾复现整个动作序列,如果中途失败,例如姿态偏差过大或跌倒,则计为失败。我还引入了 MPJPE(Mean Per Joint Position Error),即每个关节点与参考动作之间的平均位置误差,用于衡量模仿精度。此外,还加入了 acceleration error,用于评估动作是否过于抖动或不稳定。
训练过程中,我发现 success rate 很难提升,一直稳定在约 97%。这意味着还有大约 3% 的动作序列没有成功学会,大约是 300 多条。我开始逐条检查这些失败的序列。
失败的原因大致分为两类。一类是 corrupted 数据,即原始动补中存在 artifact,导致动作本身就不连贯。另一类是极难的动作,比如 cartwheel、backflip 等高难度翻转动作,控制器无法有效学习。
但我在分析过程中也发现一个现象:如果单独只训练一条 sequence,模型是可以 overfit 的;训练十条 sequence,也可以学会。这启发了我接下来的做法。
我首先训练所有数据,直到仅剩那 300 条学不会的序列。然后我将这 300 条单独拿出来,重新初始化一个网络,继续训练。训练完成后,仍可能剩下 30 条更难的序列,再单独挑出,继续使用新初始化的网络训练。
这种方式类似于 progressive network(Google 提出的一个方法),也就是不断为更复杂的任务增加新的网络容量,就像大脑中生长新的神经突触一样,以处理更难的问题。
最终,我得到了 3 到 4 个相对独立的小网络。每个网络负责学习一组特定的 motion sequence。如果需要模仿某个具体动作,我可以选择相应的网络进行推理。这种机制和 Mixture of Experts 有些相似。
PHC 和 MOE 的主要区别在于,PHC 中的每个子网络都是 frozen 的,即训练完成后参数不再更新。我再训练一个叫 composer 的控制模块,用于在 inference 时动态地选择使用哪一个子网络,从而避免 catastrophic forgetting(灾难性遗忘)。
这个框架还支持一个额外功能:学习“倒地后再站起”的动作序列。这个任务与 imitate reference motion 差别很大,是一种自由度更高的控制问题,同时强化学习也存在忘记先前技能的问题。
最终,我训练出了一个既能模仿高质量动作,又能支持从地面重新站起的 controller。我认为这个 framework 在 achieving high success rate 的同时也具备了灵活性。虽然后期我也实现了更高效的训练方法,不一定非得分成多个网络,但如果有其他扩展需求,这个结构仍然是非常可用的。
7. 怎么从AMASS动捕数据中学习?
关于 AMASS 数据集,它包含了大约一万条高质量的人体动作捕捉(motion capture, 简称 mocap)数据。这些数据都是高精度的,来自专业的动补系统,具有非常细致的动作姿态信息。在我做 PHC(Perpetual Human Controller)这个项目时,我的目标就是要让控制器能够学习并重现这些数据中的所有动作。
在这个过程中,我们使用了模拟器环境,所以所有控制都是通过强化学习实现的。AMASS 提供的是一种所谓的 kinematic motion(运动学动作),也就是说,它只给出每一帧人体的姿态(例如关节角度),但不会告诉你这些动作在物理上用了多大的力、受到了怎样的动力学影响。换句话说,它并不包含关节施力或身体受力的动态信息。
因此,我们需要通过强化学习的方式,让控制器自己“学会”这些力是如何作用的。在 PHC 的设置中,输入是下一帧的目标动作(比如姿态、速度等),输出是当前帧每个关节所需施加的力矩(torques),从而让机器人身体运动去匹配目标动作。
这个任务我们称为 motion tracking,也就是“动作跟踪”。每一帧的输入是目标动作,控制器输出一组关节力矩,让机器人在物理仿真中执行并尽可能贴近这个目标动作。
PHC 的亮点在于,它不是为一条固定的动作轨迹单独训练控制器,而是用一个控制器去学习 AMASS 中任意一段动作,甚至是任意一段的任意部分。这种能力表明它的泛化性很强——只要 AMASS 数据里出现过的动作类型,PHC 都能精准重现。
而且由于 AMASS 的覆盖范围很广,涵盖了多种人类常见姿态、动作模式,一旦控制器能够很好地拟合其中的大部分序列,在实际使用中也就具备了执行“绝大多数人类自然动作”的能力。当然,如果输入的数据本身质量不好,比如太 noisy,控制效果也会下降。
8. PHC后续之PHC 2 Real
基于 PHC 和姿态估计的能力,我们也希望将这些动作迁移到真实世界。因此,我们开展了 H2O、Omni H2O、ASAP、HOVER 等项目。这些工作在真实人形机器人平台上进行,难度显著增加。尽管尚未完全实现模拟器中的效果,但我们始终在持续推进。
我倾向的研究路径是,先在仿真环境中将方法和系统效果完善,在虚拟环境中完成充分探索和验证,再逐步迁移至现实世界。通过这种方式,我们可以在方法论层面上先完成动画驱动和早期实验的打磨,再逐步适配现实条件。
在现实环境中,很多数值设定和模型假设都不再成立,导致实际部署的难度远高于模拟器环境。因此,现实中的进展速度相对较慢,但我认为模拟与现实这两个方向都具有重要意义,且都值得持续深入研究。
我刚刚提到的 PHC 的 demo 理想形态是:我给你一个相机,对着一个人,人做什么,机器人就做什么。H2O 实际上就是在实现这件事情,H2O 使用的正是 PHC 中同一套基于单目相机的人体姿态估计方法。由于时间紧迫,当时并没有重新训练模型或开发新系统,而是直接复用了 PHC 中已有的 pipeline。我们将这套系统接入,即可实现人做什么,机器人就做什么。
虽然当时还没有进一步命名 H2O 为 PHC 的衍生版本,严格说它完成的是全身动作的模仿。尽管最终的呈现效果还有不少待改进的空间,但整套 pipeline 和 framework 实际上已经搭建完成。也就是说,从人的动作映射到机器人的动作这条路径——从单目相机进行姿态估计,再到机器人完成动作执行——这套流程已经贯通。这可以看作是 PHC to Real的一个初级版本(baby version)。
之所以没有直接称其为 PHC2real,主要原因在于其效果仍未达到仿真中的水平。造成这个差距的原因是多方面的,其中包括硬件本身的限制。当时使用的是 Unitree 的 H1 机器人,它在执行某些灵敏动作方面存在困难,可能并不具备完成这些高精度模仿的能力。而现在的 G1 平台可能已经具备实现其中一部分动作的能力,但当时的 H1 还无法达到这种表现。
关于 OmniH2O 和 H2O,它们之间的区别主要体现在输入形式与使用场景上。OmniH2O 项目的出发点是为了更好地实现遥操作。如果使用第三人称相机去做遥操作,其实是非常困难的。因为在那种视角下,操作者很难感知机器人当前在做什么。这种视角缺乏沉浸感和同步性,因此我们当时的想法是,想要做基于第一人称视角(egocentric)的遥操作——让人看到的和机器人看到的是一致的,从而完成各种动作控制。
为此,我们希望系统能够支持 VR 接口,也就是通过虚拟现实头显实现第一人称操控。这类任务需要有对应的基础模型支持,在 OmniH2O 和后来的 Hover 项目中,我们训练的基座模型与 PHC 的训练方式是相同的,都是一个高质量的 motion tracker。
OmniH2O 项目中我们还加入了一个蒸馏过程:即我们从一个完整输入的教师模型中提取知识,再教给只拥有部分输入的学生模型。具体而言,PHC 的控制器使用的是全身的动作信息输入,但在蒸馏过程中,我们只提供给学生模型少量的关键点输入,例如三个点位,通过模仿教师模型的行为来学习完整的控制策略。
这个蒸馏机制,使得学生模型能够在只有有限输入信息的条件下复现较为完整的人体动作,而教师模型则保持和 PHC 相似的结构与能力。通过这种方式,我们建立起一个训练框架,使系统可以适配 VR 等多样化输入,而不再局限于传统的全身动补数据,因为后者在实际使用中较难获取。
9. PHC后续之全身运控
UHC 和 PHC 本质上做的是相同的事情,只是 PHC 实际上将这件事完成了,并成为后续工作的基础。在 PHC 之后,我在模拟器中开展了 PULSE,OmniGrasp,随后是 PDC。PDC 从基本的动作控制进一步发展为学习控制先验(control prior),可以理解为构建一个行为基础模型(behavior foundation model),并在此基础上扩展到操控任务(manipulation),包括视觉操控(visual manipulation),例如通过佩戴视觉设备完成操作。
OmniGrasp
这是一个完整的系列,目标是在虚拟世界中实现人形机器人对各种动作的良好控制,进一步完成物体抓取等具有实际意义的操作。整个方向是使人形机器人在虚拟环境中更具实用性,探索其在虚拟世界中所能承担的更多高价值任务,以及如何实现更高层次的决策控制能力(high-level brain functions)。
我认为,机器人控制迄今为止仍未彻底解决的一个问题,就是如何在已有技能的基础上进行技能复用(skill reuse)。目前即使我自己训练新的控制器,往往也仍然需要从头开始。PULSE 的目标,是希望能够复用 PHC 中已经学会的动作。既然这些动作已经通过训练全部掌握,我认为在解决新的任务时,它们应该可以被重新利用。人类本身也是这样做的——面对新任务时,不是从零开始学习,而是调用已有的动作技能。
PULSE 项目的核心,就是为人形机器人建立一个高效可用的技能库。在这个技能库构建完成之后,我们可以通过强化学习解决新的任务,让机器人在执行任务时自主选择、调用已有技能。但这个技能库不应该是预定义的、固定的,例如游戏中按下一个按钮执行一个特定动作的方式,而应具有高度通用性和多样性。因此,我们需要将这些技能嵌入到一个隐空间(latent space)中。
这种设计方式与图像生成模型中的思路类似,比如 Stable Diffusion 使用编码图像信息,不在像素空间直接生成图像,而是在一个学习到的隐空间中建模图像的统计结构。动作控制也可以采用类似的策略:构建一个能够表达大量人类动作技能的隐空间,将这些技能结构化地表示出来。
一旦这个隐空间学习完成,我们在训练新的控制器、完成新的动作或任务时,就可以直接在已有技能空间中组合、搜索和微调,而不是从头开始训练。
10. PHC用到的强化学习方法是什么?
都是PPO,因为在 character animation 这个方向,当前主流依然是采用 PPO(Proximal Policy Optimization)算法。PPO 在动画任务中应用广泛,主要原因在于其稳定性和通用性都非常强。从 MuJoCo 到 Isaac Gym,不需要对算法结构做大幅调整即可迁移使用。
PPO 的 scalability 也表现得很好——不管是只有 32 个环境,还是扩展到 2000 个环境,都能稳定地训练出有效策略。这也是目前它仍然被广泛采用的主要原因之一。
虽然我也认为未来可能需要探索更先进的算法,但在现阶段,PPO 的可用性实在太高,导致即使有替代方案,也很少有人真正投入使用。
关于通用控制器
11. 怎么理解“通用控制器”
在我看来,“通用”这个词本身其实就不是特别明确。它更像是一种我们希望达到的理想状态,而不是一个已有明确边界的概念。就像“通用人工智能”一样,虽然大家都在谈论,但它到底指什么,还是有很多不同的理解。
我在使用“通用”这个词时,其实也遭到过一些质疑。比如我的导师(Kris Kitani)就并不喜欢这个说法,觉得它不够具体。但对我来说,我所理解的“通用”,是指一个控制器能够实现非常多样的人形动作。也就是说,一个控制器,不是只针对某一个动作去做优化,而是能让人形机器人完成一个人类在开放空间中可以做出的各类动作。
我在写第一篇涉及“通用”这个概念的论文时,其实想表达的是这样的设想:如果一个人在一个空旷场地里,他是可以做出走路、跑步、跳跃、简单的物体交互等等自然动作,那我希望我的人形机器人也能通过同一个控制器做到这些事情,而不是每个动作都依赖一个独立设计的控制模块。
现实情况是,现在我们看到的许多真实人形机器人,它们的控制系统往往是专门为某个任务设计的。比如某些机器人可以走得很好,但就不能跳;另一些能跳舞、甚至跳不同段落的舞蹈;还有的可以打拳,但如果你让同一个机器人去完成不同类型的任务,比如又跳又打或者同时搬运物体,那就做不到了。
而我想追求的“通用性”,是指一个机器人,能够像人一样完成多种任务,覆盖我们日常能想到的大部分身体动作。这种能力,应该来自于一个统一的控制器。
我当时的想法是:既然我们已经在做人形机器人了,就不应该人为限制它“只能做某些动作”。我们应该努力让它做到尽可能多的人类动作。尽管硬件方面现在还没完全成熟,但从很多主流厂商展示的 demo 来看,硬件已经越来越接近这个能力水平了,应该足以支撑起这种通用控制的尝试,所以现在更多的是一个软件的问题。
12. 通用控制器的难点在哪里?
关于“难度”这个问题,我自己的感受是:当我们真正把事情做出来之后,回头再看,它其实比我一开始预想的要简单一些。但真正的挑战,不在于实现本身,而在于在没有先例的情况下是否值得去做、是否能做出来——这在2019到2022年间尤其明显。
当时业界其实并不确定,一个控制器是否真的能够泛化到多种不同的动作。我那时候关注了很多Jason Peng老师的工作,大概从2019年就开始 follow 他的研究。那个阶段,很多基于人形机器人的控制器,其实已经能非常好地完成某一个特定的任务。比如说,一个控制器专门设计来完成走路、跳跃、甚至打拳,这些在单个任务上都能做得非常好。
但问题在于:怎么让一个控制器“通用化”,也就是说,它能泛化到多个不同类型的动作? 这在当时还是一个未知的问题,没人能说清楚到底能不能做到。包括我自己在刚开始做这项工作时,心里也没有把握。
所以我的研究就围绕这个问题展开,一步步地去试——比如说,怎么设计训练方式更有效?输入怎么处理,才能更好地引导控制器学到不同类型的动作?在训练过程中,应该加入哪些策略,让模型真正能学到跨动作类型的泛化能力?
在这个过程中,我花了很多时间在设计训练机制、控制器的输入结构,以及任务覆盖的广度上。最终也是通过持续地调试和实验,逐步把控制器的泛化能力提升上来,向真正的“通用控制器”目标靠近。
13. 通用控制器有哪些典型工作?
在做人形机器人控制的过程中,我其实是从动画(animation)的角度切入的。现在很多人形机器人的控制,尤其是我们常见的一些 demo很多在方法上面是从动画驱动开始的。它们展现的效果,其实和五年前的 animation-based 方法非常接近——但是把之前在动画里做出的动作效果在真实机器人上实现了。
除了我们上面提到的PHC以外,还有其他lab在探索这个方向。比如 Meta 曾经发表过一个叫 ScaDiver 的项目,目标也是构建一个可泛化的控制器。此外,还有像最近MaskedMimic 这样的工作,包括Jason Peng老师在讲座中也提到过,都在尝试让一个控制器完成多种任务,不再局限于“一个控制器对应一个动作”的传统模式。
现在,业内也逐渐有了一个新的术语,叫做 Behavior Foundation Model(行为基础模型)。这个词可能比“通用控制器”更贴切,它的含义是:我们可以训练一个统一的行为模型,它就像是一个行为层面的基座模型,能够支持我们去完成各种各样的复杂任务。
举个例子来说明我当时做 PHC 遇到的一个真实问题。当时有像 DeepMimic 这样的系统,它可以实现一个控制器实现一段动作(single motion tracking),也就是你提供一段参考动作,它就可以学习并重现这段动作。但问题是:每一段动作都要重新训练一个模型。这显然无法满足我当时的需求。
我的需求更接近一种姿态驱动:我希望无论输入是什么样的人体姿态(比如从姿态估计系统获得的),我的人形机器人都能立刻复现这个姿态动作。这意味着我不能只训练几个特定的动作,而是必须让系统覆盖几乎所有人类的动作类型,甚至说,要让它能执行人类99%的常见动作。
从这个角度来看,我认为这已经非常接近“通用控制”的定义了,甚至可以说,它就是在构建一个行为基础模型(Behavior Foundation Model)的早期形态。
References:
UHC:https://github.com/ZhengyiLuo/UHC
PHC:https://www.zhengyiluo.com/PHC-Site/
OmniGrasp:https://www.zhengyiluo.com/Omnigrasp-Site/
PULSE:https://www.zhengyiluo.com/PULSE-Site/
PDC:https://www.zhengyiluo.com/PDC-Site/
OmniH2O:https://omni.human2humanoid.com/
HOVER:https://hover-versatile-humanoid.github.io/
ASAP:https://agile.human2humanoid.com/
罗正宜社交媒体:
X/Twitter: @zhengyiluo
LinkedIn: Zhengyi (Zen) Luo
Website: https://www.zhengyiluo.com/
Google Scholar: https://scholar.google.com/citations?user=lHPTxGsAAAAJ&hl=en
小红书:正合时宜