返回Human Data系列

Human Data · EP06

Human Data EP06—Mocap+Video:GAE

围绕GAE,讨论动捕与视频数据融合、遥操作、成功率及通用全身运动控制。

渣大米2025-11-0717 分钟阅读微信公众号原文
文章目录

国庆前,具身社区都被一段真人穿戴诺亦腾惯性动捕设备来遥操人形机器人的视频惊艳到,遥操延迟很低,动作多样性丰富,完成度很高。Human Data系列在前三期全部基于动捕数据的三篇论文采访Human Data EP01-MoCap:TWIST、Human Data EP02—MoCap:GMT、Human Data EP03—MoCap:Exbody2以及第四第五期基于视频数据的论文采访Human Data EP04—Video:VideoMimic、Human Data EP05—Video:HUB之后,也采访了这篇名为GAE:General Action Expert(身外化身系统)的工作。

原文视频演示

GAE(9月)

GAE这篇工作的主要参与者是西湖大学博士生王悦凡博士,他目前在西湖大学王东林老师组里读博,本科毕业于哈工大。一起来来了解下他在做GAE这个工作过程中的一些心得。

查看原文目录

以下为本文目录

👇

1. GAE的核心思想

2. GAE的方法介绍

3. 关于数据源

4. 关于视频数据

5. 不同模态数据占比

6. 采样阶段主要依托哪一类数据集进行训练?

7. 不同的遥操方式

8. GAE是目标是一个全身通用运动控制器吗?

9. 雕花还是scale

10. 自采动捕数据规模

11. 成功率

12. 遥操到自主执行的周期

13. 未来方向

1. GAE的核心思想

我们一开始的目标,就是希望在人形机器人的运动控制上实现通用化。这个项目从去年启动时,就希望构建一个类似于“机器人的小脑”的系统——用单一模型去控制机器人,实现对多样化运动的统一学习与生成。

在今年 3 月,我们发布了一个阶段性成果,展示了多个机器人跳舞、执行不同动作的效果。虽然那时模型的 zero-shot 能力还不够强,但我们发现它已经能通过快速微调(fine-tuning)在新动作上表现出色,因此决定展示这项成果。这些 demo 的意义在于证明模型具备了“基础模型(foundation model)”的潜力——能高效生成多种机器人动作。

原文视频演示

3月成果

从 3 月到国庆的半年间,我们持续优化模型。到国庆时,它已经能在无需微调的情况下,根据任意动作输入,在机器人上生成流畅、连贯、自然切换的复杂运动。这标志着我们从“尝试通用模型”到真正实现具备通用运动能力的机器人基础模型的关键跨越(文章视频展示的就是国庆前的成果)。

这个模型的原理是:输入人类的动作序列,模型就能推理出相应的机器人执行动作。3 月份发布的视频之所以需要剪辑,是因为在不同动作上还需要进行一些微调。到了 9 月发布的那段六分钟长视频中,模型已经能够直接接收任意人类动作输入并在机器人上自然执行,不再需要额外调整或剪辑,整体表现更加连贯流畅。

2. GAE的方法介绍

从方法上来说,我们并没有采用什么特别独到的思路,当然其中也有一些改进和创新的点。但在机器人这个领域,最终的呈现效果往往不是由某个单一算法决定的,而是多个环节共同作用的结果。

要做到一个非常好的整体效果,就需要把每个环节都做到极致。比如在训练算法这一部分,我们与以往的人形机器人工作相比,可能没有本质上的差异,但我们在每个技术细节上都做了小幅优化。无论是在算法设计、实现方式还是工程落地上,我们都投入了大量精力。正是这些环节上的一点一滴改进,叠加在一起,才让最终的整体表现更加出色。

整体的架构其实没有太大变化,和之前的人形机器人工作差不多,都是用强化学习的方式,把人的运动参考轨迹作为输入,同时加入机器人本体的感知信息,然后输出控制机器人的 action,整个框架基本没变。

3 月到 9 月之间主要的不同在于,我们对模型训练的 human motion tracking 这个范式做了 scaling,也就是扩大了训练规模、数据集规模,还有模型的规模,各个方面都做了扩展。9 月份发布的结果就是这个 scaling 之后的效果,可以看到随着规模的扩大,模型在人形机器人上的表现相比之前有了很大提升。

3. 关于数据源

我们三月份的模型当时用的也是开源数据,但后来发现不管怎么调整、怎么改动,模型的上限始终存在瓶颈。我们后来意识到,问题主要出在数据的多样性不够。数据多样性不够的话,就会带来很多泛化问题。比如说,如果我只有两条轨迹,一条是以 1 米每秒跑步,另一条是以 3 米每秒跑步,那我就得考虑如何让模型泛化到 2 米每秒的情况,这就需要在方法上去做各种改动和调整。但如果我有非常丰富的数据,从 1 米每秒到 3 米每秒之间每 0.1 米每秒都有对应的轨迹,那模型的泛化能力自然就会很好,至少在这个分布范围内,它的表现一定会更好,也不需要额外去考虑怎么学两米每秒的问题了。

后来我们认为,提高数据多样性是模型训练中最关键的一步。我们也对数据扩充的方式做了一些调整。因为动捕数据虽然精度高,但采集成本很高,设备也很贵,而且采集需要人工操作,时间成本也很高。所以我们就引入了一些其他数据来源,比如视频中的人类动作数据,这类数据更容易获取,但精度比动捕要低一些。我们综合考虑之后认为,这些数据对模型训练都是有价值的。虽然在训练过程中我们在采样上做了很多平衡,但总体来说,这些不同来源的数据都必须被用上。视频数据量大、覆盖多样,是提高泛化能力的重要来源。

我们还从模型未来的使用角度考虑。如果最终的目标是开发一个通用的人形机器人“小脑”,让所有人都能用我们的模型去控制机器人,那控制方式就不能只依赖动捕。因为动捕设备价格昂贵、佩戴麻烦,还需要校准,普通用户不太可能通过这种方式来控制机器人。

所以我们的模型必须具备兼容性——既能执行高精度动捕数据输入的轨迹,也能执行来自其他方式的人类动作参考轨迹。比如,这些轨迹可能来自视频估计,也可能是通过其他 AI 模型(例如 text-to-motion)生成的。虽然这些轨迹的质量不如动捕高,但模型也必须具备适应它们的能力。因此,在训练过程中,我们有意识地加入了来自各种来源的数据。这对于模型未来的通用部署,以及训练数据多样性的扩充,都有非常积极的作用。

4. 关于视频数据

我们的数据量非常大,相比之前的工作规模要大很多。比如 AMASS数据集大约有一万多条,而我们的数据规模达到了百万级轨迹,总时长达到上万小时。数据来源也非常多样,包括动捕数据、视频数据,以及其他一些数据采集方式。同时,我们还对这些数据进行了处理,并使用了一些数据增强手段来进一步扩充数据量。最终,我们构建了一个极其庞大且多样化的数据集,为模型训练提供了非常坚实的基础。

我们三月份的模型是在大约一万多条的 AMASS 数据上训练的,训练阶段表现很好,在仿真中各个动作都能拟合得不错。但当我们把模型部署到真机上做实时测试时,发现效果明显不如仿真,尤其是面对一些训练中未见过的动作时。即便这些动作和训练数据类似,也会有细微差异,而模型对这些差异的泛化能力有限。那时我们就意识到,虽然模型在有限数据上学得很好,但它其实“记住了”训练分布,并没有真正学会跨分布的泛化。

我们后来判断,问题根源在于数据的覆盖度不足。如果数据能更丰富,能包含人日常活动中各种自然动作,那模型在部署时就能应对更多情况,人的动作也不需要再被约束。由此我们开始系统性地扩充数据集,用各种方式增加数据来源和多样性。

另外,我们还发现,如果训练只使用动捕数据,而测试时使用视频估计得到的轨迹,就会出现明显的 domain gap。所以我们意识到,训练阶段就必须包含多种数据来源——不仅要覆盖更多动作类型,还要囊括不同的采集方式。只有这样,模型才能在各种实际部署场景下都保持稳定表现。

5. 不同模态数据占比

比例上来说,我们虽然收集了很多数据,但真正对最终效果起关键作用的,其实是训练阶段的采样比例。我们在训练过程中会动态调整采样策略。高精度动捕数据的准确性高,能为模型提供更可靠的学习目标,让模型收敛更快。

而视频估计的数据精度相对较低,在训练时信号会更噪声化、不稳定。所以我们采用了一种类似“课程学习(curriculum learning)”的方式,在训练过程中动态调整比例——让模型先用高精度动捕数据学习稳定的控制模式,再逐步加入视频数据和其他来源的数据。在多个并行的仿真环境中,我们会灵活分配不同数据源的使用比例,比如哪些环境使用动捕数据,哪些使用视频数据,哪些使用其他数据源,以此来平衡训练的精度与泛化能力。

我们的训练并不是简单地把所有数据堆在一起。我们虽然总体上有很大的数据量,但这些数据是分成不同来源的数据集的,比如动捕数据集有若干条,其他来源的数据集也各自独立。在训练过程中,我们会从不同数据集中采样,并且通过可调节的比例来控制各类数据的使用量。这样既能保持动捕数据对模型稳定性的帮助,也能通过其他来源数据提升模型的泛化能力。

6. 采样阶段主要依托哪一类数据集进行训练?

在训练早期,为了让模型更快学会基本的动作控制,我们主要依托动捕数据,因为它精度高、信号稳定,有助于模型建立基础的模仿能力。

但在后期,随着模型能力提升、性能逐步稳定,我们会逐渐加入质量相对较低的数据,比如视频估计的轨迹数据。虽然这类数据的奖励信号存在噪声,精度不如动捕,但此时模型已经具备一定的模仿能力,输出空间也能稳定在目标轨迹附近,因此不会被噪声引导偏离太多。整个训练过程中,我们会根据模型的学习进度动态调整不同类型数据的采样比例。

之前三月份的那个模型是要Finetune一下的,就是它执行的时候需要再做一次调整,但现在不需要了,zero-shot的效果非常好。现在我们训练的通用模型考虑到了更多部署时的需求,比如说部署的时候可能会有不同的控制方式,所以训练的数据就必须包含各种来源的数据。

另外我们也考虑了输入上的多样性。动捕是全身轨迹,但有时候输入可能不是全身的,比如只穿半身动捕、或者是外骨骼系统,那输入的点就不全,可能只有上半身,甚至只有两个手。像 VR 的控制可能就只有头和两只手三个点。我们在训练的时候也做了相应处理,比如有的环境只训练三个点,有的训练上半身的点。这样模型最后不需要再翻,它的通用性很强,不仅能做各种动作,也能用各种方式去做动作,用不同配置形式都能执行。

7. 不同的遥操方式

我们支持不同的方式来遥操人形机器人。我们的模型可以输入若干个关节点作为参考轨迹,比如只输入半身、或者只输入两只手,也可以来自不同的数据来源。这些输入方式模型都能兼容。

视频里展示的是诺亦腾的惯性动捕设备来遥操人形机器人,因为动捕输入的精度最高,所以呈现出的效果也最好。当时我们发视频主要是发布在短视频平台上,不是论文展示,所以我们希望把最好的效果呈现给大家,因此选择了动捕作为控制方式。后续在论文里我们会展示更多不同输入形式的结果,比如用动捕控制的效果、用视频估计(例如普通 RGB 相机)控制的效果,或者用 text-to-motion 模型生成的输入去控制的效果。这些方式我们的模型其实都能支持。

8. GAE是目标是一个全身通用运动控制器吗?

它就是一个通用控制器,所以我们也把它叫作“General Action Expert(通用行为专家)”。我们的目标就是做一个真正意义上通用的能力体系。之前很多工作仍然局限在某一种方式或有限的动作范围内。我们认为,与其不断去调整训练算法或模型架构(比如是否用 MOE,这类调整最终可能只带来 1%–2% 的性能差异),不如从其他关键环节入手——比如训练数据的多样性与规模、重定向质量等方面,因为这些因素往往能带来 10%–20% 甚至更大的性能提升。所以我们更关注这些对模型通用性影响更深的要素。

我记得之前的类似工作比如OmniH2O里确实有一个比较关键的动机,就是要兼容各种控制形式。包括 Hover 的工作,他们也做了不同的输入方式,比如关节角、位置或速度输入等,都是在解决输入形式兼容的问题。但我觉得核心还是在于怎么去真正解决这个问题。如果模型的训练仅局限在动捕采集的小规模数据上,只是去改训练范式、算法或者模型结构,其实很难真正实现大家所期待的那种通用模型。我们的思路是从数据规模和多样性出发,通过更广泛的训练分布去支撑模型的通用能力。

9. 雕花还是scale

网络本身的改变其实影响比较小,数据和其他的一些环节影响会更大。因为最后大家看到的都是视频、demo,看的是效果。我们的视频出来之后,大家觉得效果比较好,其实这里面数据对训练影响很大,但除了数据之外,还有很多影响观感的地方,比如延迟。延迟这一块我们也做了优化,从模型部署的角度去尽量降低延迟,这里面涉及很多细节的环节。最后要做到好的效果,其实是需要整体的整合,才能把整个表现做得比较好。

一般做学术论文,可能就是提出一个有创新点的方向,做完之后展示一下这个点做和不做的差别,论文就完成了。但我们这次做这个项目做了一年多,是在整个流程的各个环节都去尝试优化,包括前面说的数据收集,收集完之后怎么把数据重定向到训练中用的那个人形机器人动作上。然后在模型训练的过程中,因为我们做了 scaling,就出现了一些在以前人形机器人领域没怎么遇到的问题,但在语言、视觉大模型里面会遇到的类似问题,我们这边也会遇到。包括模型训完之后部署到机器人上怎么解决遇到的问题,部署的时候怎么优化使用体验,比如减少延迟。每一个环节我们都有去做大量工作,所以最后呈现的视频观感上大家觉得不太一样。

10. 自采动捕数据规模

我没有特别去统计我们自己采集的动捕数据规模,但我们自己采的数据主要有两个来源。一方面,我们会针对 AMASS 里缺失的一些动作去补采,比如某些姿态或动作类型不够的部分,不过这类补采的量其实不多。另一方面就是长期积累的结果。我们这一年多的时间里经常要上机调试,每次调试时都会穿动捕设备,而这些调试过程中的数据都会被记录下来,最后都纳入训练数据集。

所以在早期阶段,我们主要还是依赖 AMASS 数据,但随着时间推移,我们自己采集的数据也越来越多。相当于每次上机测试都会积累一批新的动捕数据,日积月累,最终我们自采的数据量也变得相当可观。

我们本身在测试时就要穿动捕服,让机器人执行各种动作、尝试不同任务。每次的动作轨迹都会有些不同,这些数据都会被自动记录下来。

关于设备,我们的系统是支持多种动捕形式的。早期我们用的是相对廉价、精度较低的动捕设备,后期则换成了更高精度的光学动捕系统。目前我们不止一套设备,都可以使用。不同设备确实会影响展示效果——如果视频中有人出镜,那动捕精度会影响人和机器人的动作一致性;精度低时可能会有轻微偏差。但如果视频中只看机器人,模型本身输出的动作是连贯流畅的,这和动捕设备的精度关系不大。换句话说,动捕设备主要影响的是人机同步的视觉观感,而不是模型自身的控制性能。

11. 成功率

成功率很高,我们在 B 站上发的那段六分多钟的视频,全程没有失败,这个视频是从头到尾一镜到底的。到目前为止,我们的模型在上机调试过程中从来没有摔过。有时候动作幅度大,会出现轻微抖动或者踉跄,但从未倒地。相比之下,三月份的模型在测试时就容易出现失误,视频里的机器人身上当时还能看到很多“伤疤”,但现在的模型鲁棒性已经非常高,能应对各种扰动。

然后关于自主性的问题,其实我印象比较深的是Sergey Levin在一次访谈里提到的观点——人形机器人真正达到 AGI 的时间点并不重要,更关键的是它什么时候能在现实世界里执行有限的任务。因为只有机器人能在开放场景中完成一些工作,它才能在执行中积累数据。目前做自主性最大的问题就是数据——实验室或工厂采的数据种类太有限,缺乏开放世界的多样性。

这和自动驾驶的逻辑类似,车不可能只在实验室里训练,而是要从开放道路中获取各种复杂路况的数据,才能不断迭代。同样,机器人也需要在开放环境里执行任务,通过实践积累真实交互数据,才能让模型不断提升。

也就是说,机器人一开始先在有限场景下完成任务,积累数据,再用这些数据去优化模型,让它能做更多的事。这样就会形成一个人机协作—数据积累—模型迭代—自主性增强的正向循环。

所以最初能真正落地的系统,一定是一个人机协作系统。完全自主的机器人哪怕在有限场景下也太难实现,而只要“人+机器人”组合能在生产效率或使用体验上带来提升,就已经具有现实意义。

我们的目标也是这样:先让“小脑模型”实现高质量的人机协作,比如用动捕、摄像头、VR 等方式实现全身遥操作。只要这套系统足够完善,它本身就具有实用价值。未来,当人控制机器人时,机器人记录下的图像、运动和交互数据,都能反过来帮助训练“机器人大脑”。也就是说,现在由人控制,未来机器人就能学会自控。我们认为,“小脑”阶段的积累,将会为“机器人大脑”的发展提供非常重要的推动力。

12. 遥操到自主执行的周期

这个真的很难判断,因为开放世界的场景太复杂、太多样了,要让机器人在各种环境下都能适应,这个周期确实不好估计。但如果只看我们现在的全身遥操作方案,我觉得在很短的时间内,大家就能看到它被方便、有效地使用,这个阶段会来得很快。

至于自主性的提升,我觉得关键还是取决于“小脑”的普及程度。也就是说,当越来越多的人使用这种遥操作系统时,机器人执行任务过程中产生的数据就会积累起来。这个数据积累的速度,决定了“机器人大脑”训练与进化的速度。

如果“小脑”方案的应用仍然只停留在少数实验室或研究机构里,或者只是一些封闭场景(比如表演等),那数据积累会很慢。但如果它能真正推广开来,让普通用户、开发者都能通过各种方式控制机器人,那么数据积累就会指数级增长,自主能力的迭代也会随之加快。

最后,整体演化的速度还会受到很多外部因素影响,比如硬件的可靠性、成本、商业化落地的节奏等等。不过总体来说,我们认为通过“小脑”这种方式去收集数据,是让“机器人大脑”实现真正通用智能的一条可行路径。毕竟就目前来看,大脑这一侧想要做到真正通用,现有的数据量还是远远不够的。

13. 未来方向

之前视频里大家看到的主要还是机器人在平地上的一些动作,虽然我们在不同地形上也有一定的泛化能力,但这块还没有做到非常完善。接下来我们会重点加强与地形的交互(比如不同地面的适应能力)以及与物体的交互。这些都是我们进一步完善模型、提升通用性的关键工作方向。

石麻笔记 · Human Data · EP06