返回全身运动控制系列

全身运动控制

专访Xue Bin(Jason) Peng:探索人形机器人全身运控的通用控制器

与Jason Peng回顾DeepMimic、AMP、ASE、MaskedMimic与通用控制器。

渣大米2025-04-2726 分钟阅读微信公众号原文
文章目录

对于从事人形机器人运动控制的朋友来说,Xue Bin(Jason)Peng 的名字一定不会陌生。过去一年中,我们看到大量高质量的人形机器人拟人演示出现在各个平台上,而这些演示背后的技术基础,很多都可以追溯到 Jason 早期提出的一系列开创性工作,包括 DeepMimic、AMP(Adversarial Motion Priors) 和 ASE(Adversarial Skill Embedding) 等。这些方法极大地降低了人形机器人模仿学习(Imitation Learning)的技术门槛,可以说,Jason 的研究奠定了今天人形机器人实现灵活、自然运动控制的重要基础。

Xue Bin(Jason)Peng目前是西蒙弗雷泽大学(Simon Fraser University, SFU)的助理教授,同时也是英伟达(NVIDIA)的研究科学家。他的研究工作主要位于计算机图形学与机器学习的交叉领域,重点关注使用强化学习进行虚拟角色运动控制。

值得一提的是,Jason 的学术成长路径也极具代表性。他的导师——Michiel van de Panne、Pieter Abbeel和Sergey Levine,分别是角色动画(Character Animation)和机器人强化学习(Robotics + RL)领域最具影响力的顶尖教授。

Jason 在硕士阶段,师从不列颠哥伦比亚大学(UBC)的图形学专家 Michiel van de Panne,这位教授不仅是 Character Animation 领域的奠基人物之一,同时也是 Andrej Karpathy(前 Tesla AI 总监)的硕士导师和 ETH Computational Robotics Lab教授 Stelian Coros 的博士导师。

随后,Jason在加州大学伯克利分校(UC Berkeley)攻读博士学位,师从机器学习领域重量级学者 Sergey Levine 和 Pieter Abbeel,在强化学习(Reinforcement Learning)与机器人智能领域打下了扎实而深远的基础。

这期访谈,我们的话题覆盖Jason的研究经历以及他的几篇人形机器人全身运控的奠基性工作,包括他对未来通用控制器构建的思路以及对人形机器人硬件的建议。相信这期访谈对于从事人形机器人软硬件开发的朋友们多少会有些帮助。

这里要特别感谢杨顿博士和张强博士帮忙筹备采访及对访谈稿的校正。也感谢王志成博士,石豪杰博士以及庄子文博士贡献了多个关键的访谈问题。本期采访播客可以在小宇宙上搜索“ReSpark”收听。

查看原文目录

以下为本文目录

👇

从图形学到机器人

1. 导师的影响

2. 从图形学到机器人的Sim2Real

3. 机器人的挑战

4. 怎么做Sim2Real

经典工作介绍

5. DeepMimic

6. AMP

7. ASE

8. Masked Mimic

强化学习vs模仿学习

9. 怎么比较在locomotion方面模仿学习和强化学习的优缺点

10. RL在操作上的瓶颈在哪里?

机器人大模型

11. 怎么看VLA?

12. 在运控方面产业界是否超越了学术界?

13. 未来的研究方向-通用控制器

14. 未来的通用控制器怎么做?

15. Latent Space是否必要?

16. 是否看好MOE?

17. 对目前的人形机器人硬件有什么建议?

从图形学到机器人

1. 你的两位导师Michiel(角色动画领域最具影响力的教授之一)和 Pieter Abbeel(机器人强化学习的开创者之一)分别是如何影响你的研究和思维方式的?

Michiel他是我在英属哥伦比亚大学(UBC)读本科和硕士期间的导师。说实话,如果不是因为他,我现在可能根本不会从事我目前这份研究工作。当时我对计算机图形学很感兴趣,想在这个领域尝试做一些研究。Michiel是 UBC 做角色动画方面的教授,于是我主动联系他,希望能参与一些动画方向的研究项目。这也就是我进入这个领域的起点。

那时我其实还没有考虑过机器人领域,只是单纯想做和图形学相关的方向。动画看起来很有趣,但那时基本还没有引入机器学习,主要还是靠传统的运动学方法或手工设计的控制器。

直到后来,DeepMind发表了一篇关于使用深度Q学习做运动控制的论文(Continuous control with deep reinforcement learning)。我们看到那篇论文后,开始深入研究强化学习和深度强化学习,把它作为训练虚拟角色控制器的一种方法。这是一个转折点,让我慢慢进入了机器学习这个领域,并将其与动画结合。

之后,我在伯克利(UC Berkeley)读博士,开始和 Sergey Levine 以及 Pieter Abbeel 合作研究,也就逐渐将这些技术应用到真实机器人的控制上,而不只是虚拟世界。

所以无论是 Michael,还是后来的 Sergey 和 Pieter,对我的职业生涯都产生了非常深远的影响。我感到非常幸运能与他们合作,如果没有他们的引导,我可能现在完全在做另一条路的事情了。

2. 你的研究经历了一次转变,从图形学中虚拟角色的技能学习,转向了基于奖励机制的真实机器人训练,可以说是一种 sim-to-real(从仿真到现实)的转变。在你看来,这两个方向之间最大的区别是什么?

我觉得当我开始接触真实机器人时,有一件事让我很意外:很多在仿真中理所当然的事情,在现实中其实非常难做到。

举个例子,状态估计(state estimation)在真实机器人中比我想象的要难得多。在仿真环境中,我们拥有完全可观测性,可以轻松获取所有信息,比如位置信息、速度、甚至智能体的全部内部状态,这些数据都是直接可用的。

但在现实中,当我开始做机器人项目后,哪怕只是获取机器人的线速度这种最基本的状态信息,都变得非常困难。你需要额外的传感器、估计算法,最终得到的结果还可能是带噪声的、不太准确的。

所以我认为,“部分可观测性”(partial observability)是我从仿真转向现实机器人时遇到的最突出的挑战之一,直到现在,这仍然是一个非常棘手的问题。

什么叫部分可观测性:

在一个系统或环境中,如果智能体(agent)无法获取关于系统完整状态的全部信息,那么这个环境就是部分可观测的。换句话说,智能体做决策时,只能“看到”环境的一部分,它的观察是不完整、不确定或带噪声的。举个例子,一个机器人在房间中移动,但只有前方的摄像头输入,它看不到身后和侧面的情况,这就是一个“部分可观测”的问题。要解决这个问题,机器人需要“记住”它从哪里来,或者通过多次动作建立对环境的估计。

全可观测环境(Fully Observable)

你在下棋,能看到棋盘上每一个棋子的位置和状态 —— 所有信息都可见,你可以基于完整信息做出最优决策。

部分可观测环境(Partially Observable)

你戴着墨镜在迷雾中开车,只能看到前方几米的路况,而不是整条路线。这时候你必须根据有限的观察、过去的经验和内部记忆来判断当前状态并做出行动。

3. 在与真实机器人打交道的过程中,给你留下最深刻印象的是什么?

状态估计确实是让我印象非常深刻的一个挑战。但除了这个,还有一个很大的问题就是:现实中的动力学系统并不是静态的(non-stationary)。在仿真中,系统的动力学几乎是固定不变的。这意味着你可以很容易地复现实验:一个控制器只要成功运行一次,基本上就可以无数次重复,每次的行为表现都非常一致。

但在真实机器人上,动力学系统是持续变化的。一个控制器今天可能运行得很好,但过一段时间,它的表现就可能完全不同。举个例子,机器人使用时间长了以后,电机发热,就会导致系统动力学发生变化。所以,一个10分钟前还能正常运行的控制器,可能在你再次运行时就不再有效了。

4. 你是如何应对 sim-to-real 转移中的挑战的?

我认为在进行 sim-to-real 转移(即从仿真到真实环境迁移)过程中,主要面临的挑战包括:部分可观测性、系统不确定性,以及现实中机器人动力学的非静态性。我们目前应对这些挑战的核心方法是使用域随机化(domain randomization)。在大多数研究中,我们会在仿真环境中训练控制器,然后将其直接部署到真实机器人上。

为了缩小仿真与现实之间的“现实差距(reality gap)”,我们在训练时会对仿真中的物理参数进行大量随机扰动,比如质量、摩擦、延迟和传感器噪声等。这种方法可以促使控制器学习到更强健、适应性更强的策略,从而更好地泛化到真实环境中的不确定性。所以到目前为止,域随机化仍然是我们在 sim-to-real 转移中使用的最主要的工具。

经典工作介绍

您能否为我们系统性地梳理一下您的主要研究方向与项目?这些工作的核心思想是什么?它们分别在解决哪些关键问题?

5. DeepMimic

我可以从我们早期的一个工作 DeepMimic 说起。DeepMimic 的核心思路其实很简单:就是将深度强化学习与动作跟踪(motion tracking)结合起来。这项研究的初衷是想构建虚拟角色,能模仿人类执行各种动作技能,用于动画或虚拟环境中。

原文视频演示

DeepMimic

在 DeepMimic 之前,很多动画领域的控制器设计都在借鉴机器人学的做法,比如轨迹优化、最优控制、或有限状态机(finite state machines)等。这些方法的最大问题在于:不具备通用性,需要大量人工设计。每种新技能都要从头设计一个控制器。比如要模拟“走路”就要一套专门的控制器,“跳跃”又得重新设计一套。如果是翻滚或杂技类更复杂的技能,那需要投入的时间和精力就更多了。这种方法在长远来看是不可扩展的。所以很多过去的研究只能聚焦于极少数具体行为。

我们在 DeepMimic 中希望构建一个通用的框架,可以再现任意人类动作技能。为此,我们采用了深度强化学习,通过它训练神经网络控制器。神经网络是一种非常强大的函数逼近器,可以表达非常灵活和复杂的策略。它使我们无需为每个技能去手工设计有限状态机,而是可以使用统一的神经网络架构来适配所有技能。

什么叫有限状态机:

“有限状态机”(Finite State Machine,简称 FSM)是计算机科学和人工智能中一种非常经典的建模方法,用来表示系统在不同状态之间的转移关系。有限状态机是一种在任意时刻只处于一个状态的模型,系统会根据输入触发状态之间的转移。

DeepMimic 的另一个关键部分是动作跟踪(motion tracking)。当我们有了神经网络控制器,接下来的问题是:如何训练它去执行各种不同的技能?在传统做法中,你通常需要为每种技能设计一个定制的奖励函数。比如“走路”用一套 reward,“跑步”又是另一套。但这种方式同样不具备扩展性。

我们的方法是采用统一的奖励机制:就是让控制器去跟踪一个参考动作(reference motion)。给它一个目标动作(比如动捕数据),然后让控制器逐帧去模仿它。我们发现,只用这个简单的跟踪型奖励函数,配合策略梯度强化学习方法,就可以让模型学会各种动作技能,而无需为每种技能都手工设计控制器或奖励。

所以相比为每个技能设计控制逻辑,我们只需要提供不同的参考动作,再用相同的训练目标去优化,就能得到对应的控制策略。这就是 DeepMimic 的基本思想。

6. AMP

在 DeepMimic 之后,我们的一个重要后续项目是 AMP(Adversarial Motion Priors)。DeepMimic 提供了一个通用框架,可以通过动作跟踪(motion tracking)逐帧模仿参考动作来训练控制器。这种方式在希望角色精准复现某一特定动作时非常有效。事实上,现在我们在很多人形机器人展示中看到的精彩行为,很多背后都是基于这种跟踪技术实现的。

但它的一个关键限制是:这种训练方式下的控制器非常“僵硬”。它们往往只能一遍遍“播放”相同的动作序列,不能偏离预设轨迹,也不能很好地适应新任务。

原文视频演示

AMP

因此,在 AMP 项目中,我们希望构建一个更加灵活的模仿学习目标,让控制器不再被“逐帧跟踪”所限制。我们的核心想法是:用“分布匹配”来替代“轨迹跟踪”。与其要求角色复刻某个精确轨迹,不如训练控制器去生成与数据集整体动作风格相匹配的动作。

我们使用了类似 GAN(生成对抗网络) 的思路,进行对抗式模仿学习:首先训练一个判别器,判断一个动作是来自真实数据集,还是模拟角色生成的;同时训练控制器,去“骗过”这个判别器,也就是生成看起来像是真实动作的数据。

这种方法带来了更高的灵活性,控制器不需要逐帧跟随某一条特定动作;它可以拼接、组合不同动作片段;它可以泛化到数据集中没有出现过的新行为;还能在此基础上完成一些数据中并未明确包含的任务目标。所以 AMP 提供了一个更强大、更适应性的模仿学习框架,用以推动动作控制的发展。

在使用 AMP(Adversarial Motion Priors)时,很多尝试复现的用户反馈说,策略往往只学到单帧之间的转换,结果导致角色“原地踏步”,无法移动。你在实验中有遇到类似的问题吗?你觉得这是 AMP 方法本身的局限吗?

是的,这种“原地踏步”的现象确实可能发生,具体取决于你的设计选择。如果策略陷入一个局部最优,它可能只在一两帧之间来回转换,导致角色看起来卡住了,无法产生移动。

但这个问题通常可以通过扩大判别器的时间窗口来解决。也就是说,不是让判别器只看到两帧,而是给它比如说10帧的动作序列。当判别器能观察更长时间范围的行为时,像这种“卡在单一状态转换中”的不自然行为就会更容易被识别出来,从而促使策略学到更流畅、真实的动态动作。

7. ASE

在机器人运动技能训练的过程中,很多方法会使用隐空间(Latent Space)来提取各种特征,但隐空间并不是人类可以直观理解的空间。您在研究过程中如何控制隐空间上数据的安全性(即防止异常数据造成策略行为异常)?

这是一个非常关键的问题。我们在后续的一个工作中提出的方法叫 ASE(Adversarial Skill Embedding,对抗式技能嵌入),就是专门为了解决这个问题而设计的。

在很多模型中,特别是采用 VAE(变分自编码器)结构的模型中,一个很常见的问题是隐空间中会出现“空洞区域” —— 有些 latent 编码会被解码成完全不像训练数据的行为。虽然目前还没有完全完美的解决方案,但 ASE 尝试通过一种类似 GAN(生成对抗网络) 的方法来缓解这个问题。

具体来说,ASE 中我们把控制器视作一个解码器,它的任务是把一个 latent 编码映射成一个动作序列,这个动作要看起来像真实的数据动作。然后,我们再引入一个判别器,来判断这个生成的动作是否符合真实数据的风格 —— 和训练 GAN 的方式很类似。

这种对抗式训练的一个重要优势是:它会促使模型尽可能让隐空间的每一个点都能被映射成看起来“像样”的行为。这能有效减少latent 空间中出现“异常区域”的概率,降低策略出错的风险。

当然,我们也不能保证百分之百不会出现奇怪的行为,有些 latent 编码可能还是会导致不自然的动作输出。但我们发现,像 ASE 这样用对抗训练得到的模型,整体上比传统方法更鲁棒、更稳定。

8. Masked Mimic

MaskMimic的Sim2Real GAP怎么样?

MaskMimic与在真实机器人上的部署之间仍然存在非常大的差距。在模拟环境中,我们已经可以训练出控制器,能够复现上千条动作片段。但在现实机器人上,目前大多数系统还处于一种我称之为 "DeepMimic阶段" —— 也就是说,一个控制器往往只能执行单个技能或单个动作片段。

原文视频演示

Masked Mimic

相比之下,动画系统现在已经能训练出支持上千种技能的控制器,但要将这样的高容量控制器可靠地迁移到真实机器人上,目前还做不到。

关键的问题在于 “从模拟到现实的迁移”(sim-to-real transfer):哪怕你在模拟中训练得很好,把控制器部署到真实机器人上,通常还是需要在现实中进行大量手动调参才能让它跑起来。而如果你训练的控制器包含了成千上万种技能,那在现实中对这些技能逐个调试和验证的成本几乎是无法接受的,这就是当前技术最大的瓶颈之一。

强化学习vs模仿学习

9. 在你看来,模仿学习(Imitation Learning)和强化学习(Reinforcement Learning)在运动技能学习中的优缺点分别是什么?你认为哪一个更有长期潜力?

我不太确定模仿学习和强化学习是否真的可以直接类比。因为这两者本质上是正交的范式(orthogonal paradigms)。模仿学习可以通过监督学习或强化学习来实现,具体取决于你手头的数据类型。而强化学习也可以作为一种实现模仿学习的方法,但它也可以完全不依赖演示数据,通过 reward 直接训练控制器。所以它们并不是严格意义上的对立方法。

但如果一定要比较的话,比如模仿学习 vs 纯强化学习(pure RL),后者完全不依赖演示数据,那我们可以从以下角度来看:

纯强化学习的优点是:你不需要依赖任何演示,你只需要定义一个目标,然后直接训练控制器来优化这个目标。这种目标可能是人类设计出来的 reward function。好处在于,它有可能会发现一些更优的行为模式,甚至是人类没有想到的策略。比如像 AlphaGo 这样的系统,它能发现一些超出人类策略的解决方案,这就是强化学习的力量所在。

但纯强化学习的问题也很明显:你通常需要非常复杂的 reward 设计,才能引导 agent 学到你想要的行为。比如你希望 agent 完成一个特定行为,那 reward function 就要非常精心设计,否则 agent 可能不会学习到期望的结果。所以这就是强化学习的一些优点与缺点。

至于模仿学习,它的优劣基本上正好是反过来的:它的优势在于你可以通过引入演示数据(demonstration),更容易地引导 agent 的行为,因为训练目标就是去模仿数据中的行为。

这样可以让 agent 更容易产生人类风格的行为,或者更符合预期的动作表现。

但模仿学习也有自己的缺陷:收集高质量演示数据并不容易,这取决于你研究的具体任务,有些任务可能很少有人类能够很好地完成,那相应的数据也就难以获取。另一个问题是:模仿学习训练出的控制器,行为空间会更受限,它往往只能学习人类曾经做过的行为,缺乏发现新颖策略的能力。换句话说,它可能会在某种程度上限制 agent 的探索性和创造性。

10. RL在操作上的瓶颈在哪里?

我觉得现在强化学习在操作任务(manipulation)中没有像在运动控制(locomotion)中那么广泛使用,一个主要原因可能是,操作任务中还有“低垂的果实”可以先做 —— 比如用行为克隆(behavior cloning)和监督学习,这些方案目前已经相当有效。对于操作任务,你可以比较容易地构建一个远程操控(teleoperation)系统,然后收集大量人类演示数据。拿到这些数据之后,就可以用监督学习训练一个控制器,这个方案效果通常还不错。

但在运动控制这块,比如腿式机器人,你很难收集到高质量的演示数据。所以在这个领域,我们几乎一开始就被“逼着”用强化学习。因此,目前在操作任务里,大多数控制器还是基于监督学习和行为克隆训练出来的。不过我认为,随着发展,操作任务最终也会走上类似的路径。

不过我认为,这类VLA模型最终也会遵循LLM的发展趋势。在大型语言模型(LLM)中,我们通常也是先经历一个监督学习阶段,在这个阶段,我们使用大量人类数据对模型进行预训练。但如果希望模型在特定任务上有更好的表现,或者要让模型针对某一具体任务进行专门优化,我们通常还需要进行微调,或者是进行针对特定任务的强化学习。

我想,未来对于操作模型来说,可能也会走上类似的路线。也就是说,现阶段我们可以通过监督学习,利用大量遥控操作的数据对模型进行训练;但如果真的想在某一个具体的操作任务上达到最优性能,那么在这个基础上,可能仍然需要借助强化学习微调(RL fine-tuning)来进一步优化模型表现。

机器人大模型

11. 越来越多的人开始关注将大型模型(如 VLA)应用于机器人领域。您如何看待大规模架构在机器人技能学习中的作用?

我认为这类大型多模态模型非常有前景。而且我们确实已经从这些模型中观察到了非常有趣的涌现特性,也就是说,这些大型模型能够展现出一些自发产生的复杂行为。

但我认为当前的主要瓶颈在于这些模型的推理速度。推理时间较长,使它们很难在实时的低层控制中发挥作用。这有点像“慢思维”和“快思维”之间的差别。我觉得很多VLA模型未来可能更多地作为高层规划器使用,运行频率较低,它们主要负责制定总体规划。而这些规划最终需要由更小、更快、更高响应性的低层控制器来执行。所以我认为这些多模态模型确实很有前景,但目前特别是在低层控制方面,还缺少一个优秀的控制器,能将高层的指令有效地转换为具体的低层动作执行。

我认为这些VLA模型可以应用在一些节奏较慢、动态性较低的任务中,比如操作类任务,像是简单的抓取与放置。这类任务用运行较慢的VLA模型是没问题的。但如果你想实现像全身的敏捷运动控制这种高动态的操作,那就必须依赖能以更高频率运行的控制系统。而现在,我们的计算能力还不足以让这些大型的多模态模型实现那样的目标。

12. 在机器人运动控制(locomotion)领域,您认为工业界在某些方面是否已经超过了学术界?

是的,我认为在某些方面,工业界已经变得更擅长让机器人展现出高度敏捷、类似人类的行为。这是因为,如果你是机器人制造商,你会对机器人系统的底层结构有非常深入的理解,也知道如何从特定的机器人中发挥出最佳性能。而我认为,这类见解往往是像我们这样在学术界的人所缺乏的,因为我们本身不造机器人,我们只是从制造商那里购买机器人。所以在展示类人机器人令人惊艳的敏捷动作演示方面,工业界确实比学术界具备明显的优势。

但我认为,当前学术界也有其优势,尤其是在开发一些更通用的控制模型方面。这些模型并不仅限于复现某个具体行为,而是朝着更通用的控制基础模型方向发展,目标是能够复现人类能够执行的各种行为。从这个角度看,我觉得学术界在这些通用控制模型的探索上可能略领先于工业界。不过话说回来,这些学术模型所产生的运动质量,可能还达不到工业界展示中那样流畅或自然的水平。

13. 在未来的研究方向中,您有哪些感兴趣的领域?或者您认为哪些方向是特别有前景的?

目前我感兴趣的研究方向是开发更通用的控制模型。与其为某一个特定技能设计专门的控制器,我们更希望能构建出可以复现人类各种运动技能的通用模型。我认为我们已经从一些研究中看到了希望,比如Maskedmimic和CMU团队的一些成果(PHC) 。但目前这些控制方法中仍然缺少一个关键问题的解决方案——我们该如何确保控制器能够生成看起来自然的行为?另外,当你拥有了这样一个通用控制器之后,又该如何有效地将它迁移或重用于新的任务?目前我们能够复用的控制器,大多仍局限于非常简单的任务,比如简单的导航行为。因此,我们未来希望努力的方向就是:如何发展这些更强的通用模型,并使它们能够被复用于更复杂的任务中。

14. 未来的“通用控制器”应该是什么样的?我们在构建更大规模控制系统时,可以从生成模型中学到什么?

我认为未来的通用控制模型,其本质也会是生成模型。我的看法是:未来的控制器将不再是传统意义上的控制模块,而是像生成图像或文本那样的生成式模型,只不过它们生成的是运动指令(motor commands)。未来我们会看到越来越多生成模型直接作为控制系统的核心架构。

接下来要解决的问题就是:我们该如何以可扩展的方式训练这些生成式控制器,使其能处理大规模数据集?如果数据集中包含动作标签,那目前来看,监督学习依然是在多个领域中最具扩展性的训练方法。但如果没有明确动作信息,就需要采用强化学习。在我们的实践中,基于运动跟踪的强化学习方法在大规模数据集训练上效果最好。

正如你提到的,像AMP这样的算法,以及一些对抗式模仿方法,在扩展规模时容易出现模式坍缩问题(mode collapse),即模型只输出少数几类行为,丢失了多样性。但我们发现,如果使用运动跟踪作为目标函数,这个问题会大大减轻。这类似于监督学习与对抗式学习(如 GANs)之间的差别。

因此,在我们近期的研究,比如 Masked Mimic 项目中,我们重新采用了基于跟踪的训练方式,来训练生成式控制模型。

15. 您认为我们是否需要引入一个潜在空间(latent space)?比如使用高斯分布,或者傅里叶变换之类的方式来构建?在设计控制器时,是否需要一个这样的潜在空间结构?

我并不认为潜在空间(latent space)是绝对必要的,它不是一个“必须有”的组件。潜在空间只是生成模型用来表达复杂分布的一种机制,但我们也可以在没有潜在空间的情况下构建出优秀的生成模型。比如大语言模型(LLMs)就是非常强大的生成模型,它们并没有显式地依赖潜在空间。我认为在控制任务上,也可能采用类似的方式。

不过话说回来,目前我们使用的很多主流生成模型,确实都采用了某种形式的潜在空间。比如扩散模型(diffusion models)就是典型代表,它们在当前来看是效果最好的生成模型之一。因此,虽然潜在空间可能会有帮助,但它并不是非用不可的关键。我们真正需要的,是一个足够灵活且强大的生成架构,能够捕捉和表达多模态行为的复杂分布。

16. 通用控制器会是某种形式的MOE吗?

总的来说,我不太倾向于使用“专家混合模型”(Mixture of Experts)那种每个专家分别训练的方式。问题在于,如果你为不同技能分别训练控制器,然后再尝试将它们组合在一起,其实很难保证它们之间能够很好地协同工作。

比如,不能保证不同专家之间的动作能够稳定地切换与衔接,这会让整个系统变得脆弱、不稳定,难以实现最优的控制性能。当然,在大模型(比如语言模型)中确实也有“专家混合层(MoE Layer)”,但那种结构不是简单把多个独立模型拼接在一起,而是作为一个整体架构的一部分,进行端到端训练的。

我个人认为,这种集成式的 MoE 架构 —— 即模型内部使用专家层、并进行统一训练 —— 比将多个分开的专家模型后期组合起来要更有前景。作为一种基本的研究理念,我个人更倾向于端到端训练,而不是将模块分开训练后再试图组合在一起。

17. 对目前的人形机器人硬件有什么建议?

对我来说,由于我的大部分研究依赖于仿真到现实迁移(sim-to-real transfer),所以我对硬件设计者最大的期望是:尽量设计出更容易模拟的机器人。

具体来说,希望能够确保,第一,电机的行为尽可能接近理想的PD控制(比例-微分控制);第二,机器人的运动学结构(kinematic structure)可以在物理仿真中轻松复现。这样可以最大限度地缩小仿真与现实之间的差距(sim-to-real gap)。机器人电机的动力学特性(motor dynamics),可能是我们在实际工作中最常遇到的最大仿真到现实差距(sim-to-real gap)之一。

什么是PD控制:

PD控制,全称是 比例-微分控制(Proportional-Derivative Control),是一种非常常见的控制策略,尤其在机器人学、自动控制和仿真物理引擎中大量应用。它的核心思想是:控制器根据当前位置误差(位置差)和误差变化率(速度差)来计算控制输出,去驱动系统达到目标状态。简单来说,P控制负责驱动,D控制负责刹车与稳定。

在仿真和实际机器人之间迁移(sim-to-real transfer)时,如果电机行为能很好地近似一个理想的 PD 控制器,那么仿真器里的动作与真实机器人动作差距就会更小,也更容易控制。

References:

Jason Peng主页

https://xbpeng.github.io/

DeepMimic

https://xbpeng.github.io/projects/DeepMimic/index.htmlAMPhttps://xbpeng.github.io/projects/AMP/index.htmlASEhttps://xbpeng.github.io/projects/ASE/index.htmlMasked Mimichttps://xbpeng.github.io/projects/MaskedMimic/index.html

石麻笔记 · 全身运动控制