关于Human Data,我们在2025年用了大半年的时间去展现以及科普一些最前沿的学术工作,集锦可以参考总结篇:Human Data—The “Key” to Robot Data。去年的工作汇总更多的是在全身运动控制,在进入2026年,随着EgoScale等工作发布,我们看到了人类数据在机器人操作上的可能性。在EgoScale发布的同期,一篇名为“To Summon a Sensorimotor Ghost”博文吸引了我的关注,我也非常荣幸能够邀请到这篇博文的作者Danfei来做这次专访。Danfei Xu也是我在2025年AI+Robotics华人图谱关注到的学者,他在AI机器人领域有很多出色工作,尤其近两年在如何利用人类数据上有很多探索,比如EgoMimic, EgoBridge, InMimic, EMMA以及EgoScale。
Danfei Xu是Georgia Tech的助理教授,同时也参与NVIDIA Research的部分研究工作。他于 2021 年在斯坦福大学获得计算机科学博士学位,师从李飞飞(Fei-Fei Li)和 Silvio Savarese,本科毕业于哥伦比亚大学工程与应用科学学院。他的研究范围比较广,从较为传统的机器人问题,比如manipulation planning和motion planning,到一些较新的方向,例如imitation learning、learning-based planning以及robot foundation models等。我们这次访谈主要聚焦在一个最近比较受关注的问题:机器人是否能够从人类数据中学习,以及能否从这些人类数据中提取出对机器人有用的知识。
这篇文章比较长(1.6万字),建议可以先收藏,再慢慢学习,也可以去小宇宙上收听这期访谈播客。
查看原文目录
以下为本文目录
👇
第一部分 为什么会关注Human Data
1. 基于人类数据的分类
第二部分 关于Human data的建模和采集
2. 不同技术路线对应的人类数据?
3. 如何获取多模态的人体数据?
4. 视觉信息是否应该带深度?
5. AI眼镜公司有机会替代Aria吗?
6. 可穿戴眼镜普及的推动效果?
7. 第一视角和第三视角哪种视角更有用?
8. 第一视角的数据可以是RGB吗?
9. 真正可以scale机器人的human data的收集方式
10. 机器人数据的收集需要等穿戴设备先普及吗?
11. 人体局部和全身数据怎么协同?
12. 全身和局部数据采集能放在同一个设备里?
第三部分 关于人类行为的建模
13. 怎么对人类行为进行建模?
14. 人类行为建模有哪些尝试?
15. 怎么看真机数据采集?
16. 近期的几个工作介绍
17. human data使用的takeaways是什么?
18. 怎么看现在操作上的sys2和sys1?
19. 如何将System 2围绕长期目标实现?
20. 世界模型会是System 2 的基础架构?
第四部分 关于Human-robot transfer
21. 怎么解决Human-robot transfer问题?
22. 真正的通用机器人是否遥远?
23. 通用机器人什么时候有雏形?
第五部分 To Summon a Sensorimotor Ghost
第一部分 为什么会关注到Human Data
Human Data其实是一种数据来源,它和真正用于机器学习或机器人学习的算法之间,并不是一一对应的关系。现在我们看到利用人类数据进行机器人学习的方法,大致可以分为两类。
1. 基于人类数据的分类
第一类是模仿学习。这种方法可以理解为把人当作一种“特殊的机器人”,从这种机器人的行为数据中进行学习,然后再把学到的策略迁移到真正的机器人系统上。
另一类是近年来比较热门的方向世界模型。在我看来,这在某种意义上也可以理解为一种更广义的模仿学习,只不过它对人类未来行为的建模更加丰富。例如,人接下来要完成的任务可能会以视频的形式生成出来,然后再基于这些视频进行规划,把这些高层表示转化为具体动作,最终让机器人去执行这些任务。
第二部分 关于Human data的建模和采集
2. 不同技术路线更依赖哪种类型的人类数据来训练机器人?
我觉得大家对human data其实有很多不同的理解。我可以先整体概括一下几种常见的形式。
第一种是用于全身控制的人类数据,比如人形机器人的全身控制任务。这里最常见的是动捕数据(motion capture data),也就是纯粹的动作数据。可以把它理解为在人体各个部位放置动作捕捉传感器,从而记录人的运动轨迹。这类数据通常被当作一种参考信号,或者在强化学习中作为奖励信号。具体做法是把这些数据放到模拟器中,通过强化学习训练策略,然后再通过sim-to-real的方式迁移到真实机器人上。我们现在看到的一些机器人跳舞、跑酷等动作,很多就是通过这种方式实现的。本质上,人类在这里更多是作为一种动作标准,告诉机器人我们希望它完成怎样的一组动作。
第二种是视频数据,比如第一视角或第三视角记录的人类执行任务的视频。研究者可以利用大型视频模型来学习这些数据,从中建模人类行为,并进一步生成或预测未来的行为,然后再将这些信息用于机器人规划和控制。
第三种是我们在研究中更关注的一类人类数据。总体来说,我其实不太相信存在一种“最好的”human data表示方式。评价一种人类数据是否有价值,我通常会看两个标准。第一是它是否具有可扩展性(scalable)和可迁移性(portable)。如果一种数据采集方式成本非常高,只能在特定实验室环境中完成,那它就很难规模化。第二是它是否能够真实地捕捉人类的决策过程。如果我们把人看作一个系统模型,那么输入是视觉、听觉、触觉等感知信息,输出是动作或其他行为模式。如果能够同时记录这些输入和输出,那么就相当于把人当作一个能够感知并做出决策的智能体,把这个决策过程的数据记录下来,再用这些数据去训练模型。
从这个角度来看,我们更倾向于把人类数据理解为:对一个具备感知和决策能力的个体的输入—输出过程进行记录,并基于这些数据去学习模型。这也是我们比较认同的一种human data的形式。
3. 如何获取多模态的人体数据?
我们确实会使用可穿戴设备来采集数据,但这并不是因为“既然能采集这些数据,所以就使用它们”。更根本的原因是:如果我们希望训练出的模型能够像人一样与自然世界交互,那么模型的输入和输出就应该尽量与人类一致。
例如,人类获取视觉信息并不是通过第三视角的视频,而是通过第一视角的视觉输入。同时,人类的触觉感知也不是“物体如何被感知”,而是“我们如何感知物体”。也就是说,这些信息本质上都是以自我为中心(egocentric)的数据。
因此,如果我们希望真实地记录人类与环境交互的过程,就需要采集这种以人自身为中心的感知与行为数据。可穿戴设备正是实现这一点的一种手段:通过佩戴在人体上的传感器,我们可以记录人的第一视角视觉、触觉以及动作等信息,从而获得更接近人类真实输入—输出过程的数据。
4. 视觉信息是否应该带深度?Project Aria的眼镜和其他视觉感知设备有什么不同?
我先简单介绍一下Project Aria,这是Meta Reality Labs(也就是Meta负责AR/VR研究的部门)开发的一款研究原型设备。它并不是面向消费者的产品,而是一种研究平台。目前只有部分高校和公司能够申请使用。如果申请获得批准,Meta会向研究团队免费提供一些这样的设备。
Project Aria的核心优势在于,它在以人为中心的感知数据采集方面,提供了非常高质量的能力,可以说在全球范围内都属于顶级水平。例如在视觉方面,它支持双目视觉和多摄像头系统,并对很多基础的光学问题做了非常精细的处理,比如运动模糊去除、成像校正等。
这款设备本身集成了五个摄像头。由于多摄像头系统在进行3D重建时需要精确知道各个摄像头之间的相对位置,因此系统会持续进行在线标定,实时校正相机之间的相对位置,并进行各种光学补偿。在此基础上,它可以利用视差信息进行三维重建,并运行VIO(Visual-Inertial Odometry,视觉惯性里程计)来估计设备在空间中的位置。
此外,这个系统还提供手部追踪,可以估计手的状态。最新一代设备(第二代)还能够捕捉质量非常高的深度信息。总体来说,在所有与第一视角视觉感知处理相关的基础能力上,它都达到了非常高的技术水平。
后来我和他们团队交流时了解到,他们在SLAM方面的性能也非常强。在一些公开benchmark 上,他们的系统精度可以达到96%,差距非常明显。这其实是他们在过去十多年持续投入研发所形成的一种技术壁垒。
在我们的研究中,我们会利用这些设备提供的数据,例如深度信息、手部状态估计等,来重建人类与环境交互过程中的输入—输出信号,从而训练机器人模型。不过,这种设备也有一个明显的问题,就是可扩展性不强——并不是所有人都能获得这样的设备。
5. AI眼镜公司有机会替代Aria吗?
比较难。比如这款眼镜在佩戴一段时间之后会出现轻微发热,而温度变化会导致内部零件发生热膨胀,从而使摄像头之间的相对位置产生细微偏移。对于多摄像头系统来说,这种偏移会直接影响标定精度。
因此,他们会把热效应也纳入系统建模中:根据设备的温度变化和材料的热性能,对摄像头之间的相对位置进行持续校准和补偿。也就是说,系统会根据设备的热反馈动态调整calibration,把这种由于热膨胀带来的误差也考虑进去,并进行实时修正。
他们的工程实现已经精细到这个程度,这也是为什么它在视觉感知和空间定位等基础能力上能够达到非常高精度的原因。
6. 这类可穿戴眼镜的普及对具身数据获取有什么推动效果?
第一,可穿戴设备从定义上来说,就是用来采集以人为中心(egocentric) 的数据,因此它天然适合记录人类与环境交互时的第一视角信息。
第二,这类设备提供的一些基础能力——比如SLAM、三维重建以及手部状态估计——对于我们这类研究非常关键。这些能力实际上构成了模型训练中非常重要的监督信号来源。如果没有这些基础模块,我们就很难获得可靠的监督数据,也就无法有效地训练相关模型。
因此,这类设备不仅仅是硬件本身,更重要的是其配套的软件能力。像SLAM、重建以及手部状态估计等功能,构成了整个系统中最关键的一部分。
7. 第一视角和第三视角哪种视角更有用?
如果要选择的话,我还是更相信第一视角数据。
首先,很多机器人本身也是以第一视角来观察世界的。比如现在的人形机器人,不可能通过房间角落里的一个摄像头来观察自己在做什么。只要机器人能够在一个空间里自由移动,它的视觉传感器必然是安装在本体上的,因此从这个角度来看,第一视角其实是一种比较自然、也比较合理的设计。
第二,我们关注的很多问题其实都发生在手和物体之间的交互上,而第一视角通常能够更清楚地看到这些交互过程。
第三是可扩展性。如果把摄像头固定在某个位置,其实能够采集的数据范围是有限的;相比之下,把设备直接佩戴在身上,人走到哪里就可以在哪里采集数据,这在数据规模扩展方面会更加方便。
但第三视角的数据互联网上更多,这件事情其实也挺有意思的。我大概在2024年的时候,在CoRL做过一次报告。当时我的一个想法是,如果未来XR,也就是AR/VR 设备逐渐普及,那么我们可能会获得大量的第一视角数据。因为像YouTube上的大部分视频其实都是第三视角的数据。
但后来事情的发展有点出乎我的预期。我也不太确定具体原因,从2025年开始到现在,egocentric data突然变得非常热门。我现在大概能数到已经有五六十家公司在专门采集这类数据。
而且这些数据通常都非常干净,比如会带有动作标注等各种结构化信息,很多处理都已经提前完成了。相比之下,如果是从YouTube这类互联网视频中获取数据,往往还需要进行大量清洗和预处理。所以从长期来看,这类第一视角数据的规模其实可能会非常大,甚至未必会比互联网数据少。
8. 第一视角的数据可以是RGB吗?还是一定需要深度信息?
这个其实也不一定。现在有一些算法其实可以从单目数据中恢复深度信息。
不过我觉得还有几个方面的原因。一个是很多公司其实也并不完全清楚这些数据应该怎么用。他们只是觉得这种数据似乎很有价值,既然大家都认为它有用,那么去采集这些数据本身就可能会有市场。
但实际上,绝大多数人并不知道应该如何利用这些数据来训练机器学习模型。因此,他们也不太清楚在数据采集过程中哪些信息是最重要的。所以我觉得目前这个阶段,可能整体上处在一种供给甚至大于需求的状态。
9. 真正可以scale机器人的human data的收集方式是刻意收集?还是顺道收集?
我觉得这里大概有两个方面的考虑。
第一是这些数据到底是否可用。比如数据的格式、以及后期处理之后能不能真正用于模型训练,这一点其实非常重要。不同设备采集的数据,在后处理上的难度差别非常大。举个例子,如果只是用第一视角的单目摄像头采集数据,那么之后做手部跟踪或者手部状态估计其实会非常困难。因为手在图像中的大小会随着距离变化,而在单目情况下你很难准确知道手离相机到底有多远,所以状态估计的误差会比较大。如果是双目系统,情况通常会好一些。因此,从这个角度来看,用一些专门设计的设备来采集数据是有优势的。
但从另外一个角度来说,我觉得在人类视角的数据中,真正重要的其实并不是那些刻意设计出来的行为。很多最有价值的行为,往往是人在不经意之间、没有刻意思考时做出来的。例如你关冰箱门的时候,可能会顺手用脚把门关上,而不是用手。
而在很多机器人数据采集中,流程通常是非常标准化的。比如会有明确的采集指令:用右手去推冰箱门的上部,然后重复采集一百次,每次动作都尽量保持一致。但真实的人在日常生活中并不会这样操作。
因此,如果能够采集到大量这种自然产生的、非刻意的行为数据,我觉得会极大丰富我们现在用于训练机器人模型的数据类型。
10. 机器人数据的收集需要等穿戴设备先普及吗?
不过从现实情况来看,一些专门做数据采集并出售数据的公司其实已经在形成一个很大的市场。比如他们可能会在劳动力成本比较低的地区组织大规模的数据采集。
但主要的问题还是一样:他们其实也并不清楚什么样的数据真正有用。所以现在的情况往往是,这些数据公司会和像我们这样的frontier labs,或者真正做研究的公司,一起不断探索。某种意义上,这本身也是一个研究过程。
这些公司会先采集一批数据,然后卖给研究机构或公司;如果对方觉得某些数据确实有用,就会反馈给这些数据采集公司。随后,这些公司就会根据这些反馈,调整他们的数据采集方式。
所以最终也有可能出现一种情况:经过一段时间的探索之后,大家逐渐形成共识,发现最有价值的数据其实是那些自然产生的、不经意间的行为数据,而不是那种严格按照指令、重复采集一百次完全相同动作的数据。当然,这个结论现在还不确定,未来也可能会有不同的发展方向。
11. 人体局部和全身数据怎么协同?
最主要的一点是,目前机器人的能力还没有发展到可以很好地处理全身控制的程度。尤其是在我们关注的manipulation研究里,还很难完成一些真正复杂的whole-body manipulation任务。
比如说,一边开门,一边把一个非常小的物体精确地放到某个台面上,这种需要全身协调的任务其实非常困难。所以目前很多研究还是把问题拆开来做。
一条路线是做whole body control,但基本上是“盲”的,也就是说并不依赖复杂的视觉输入,而是更多去模仿人类示教的动作,把人的动作复制到机器人身上。
另一条路线则是训练vision-to-action的模型,也就是输入视觉信息,输出动作策略,但通常只关注手部操作,而不会涉及完整的全身控制。
这两条研究路线现在基本是分开的,不过我觉得在接下来一段时间里,可能很快就会开始融合。一旦这两条路线结合起来,那么真正来自日常生活环境中的in-the-wild human data就会变得更加重要。
因为人在现实生活中做任何事情,其实都不只是动手。比如做饭、整理东西,甚至是在桌面上操作物体时,身体也会自然地参与运动。所以全身的数据其实是不可避免的。
之所以现在很多数据采集会刻意限制,比如要求人尽量不要动头、不要动身体,是因为这样可以把问题简化。但如果真的要做大规模数据采集和更真实的机器人学习,这种限制是很难维持的,很多真实行为在这种条件下其实根本做不了。
所以随着研究逐渐推进,越来越多类型的数据都会变得有价值。
例如我们去年年底也做了一个工作叫EMMA(Egocentric Mobile Manipulation),主要是研究如何从第一视角的人类数据中学习策略,让机器人同时完成移动(底盘)和操作(手臂)的协同控制,比如学习移动导航策略。
目前我们还没有做到真正的whole body control,比如下蹲、复杂身体动作之类的能力,但已经开始探索底盘和手臂的协同控制。我觉得这个方向的发展会很快,可能在接下来的几个月里,就会看到越来越多相关的工作开始研究这类问题。
12. 全身和局部数据采集是否有可能放在同一个设备里?
这是个很好的问题。其实有一些设备理论上是可以通过第一人称视角来恢复全身动作的。比如Aria Gen2前面的摄像头视场角可以达到大约170°–190°,在很多情况下甚至可以看到身体的大部分区域。所以从理论上讲,通过第一视角视频来recover全身动作是可以做到的。
不过如果从目前实际可用的方案来看,我觉得很多情况下还是可能需要一些额外设备,比如手环或者脚部的小型追踪设备来辅助获取更准确的身体状态。
当然,如果看像Quest,它们其实已经实现了一定程度的全身追踪。这些系统并不一定需要手环或脚环,也可以仅仅通过前置摄像头来估计用户的全身动作。虽然精度不一定特别高,但确实已经可以做到基本的全身姿态估计。
第三部分 关于人类行为的建模
13. 怎么对人类行为进行建模?操作是否可以参考BC+RL?
我们这里说的人体行为的“建模”其实和全身运控里的建模不太一样。很多情况下,人们说建模,更多指的是动力学模型或者运动学空间里的建模,也就是从几何层面去描述人体,比如这个身体结构是怎样的、关节如何运动等等。这类问题其实更接近图形学或者传统机器人学的范畴。
但我这里说的建模并不是在讨论manipulation和whole body control的区别,而是一个更根本的问题:我们如何实现一种sensor in, action out的系统。也就是说,我们希望机器人不仅仅能完成走到某个地方、坐下、下蹲这类动作,而是能够在日常生活或自然环境中进行真正智能的交互。
从这个角度来看,这种建模和动力学建模是完全不同的概念。我所说的建模,其实是希望通过学习大量人类的输入—输出数据,让模型本身也能够产生类似人类的行为。
但这是一件非常困难的事情。因为现在大多数模仿学习模型的方式其实是这样的:模型看到当前的一帧图像(instantaneous observation),然后通过一个很大的神经网络直接生成一个动作;下一帧图像进来,再生成另一个动作。也就是说,它基本是在做一种从当前观察到动作的即时映射。
而人类并不是这样工作的。我们在感知世界时,并不是把当前这一瞬间的视觉输入直接映射成一个动作。我们其实是在对世界进行时间上的建模,在脑中形成一个关于环境的持续状态模型,然后动作是基于这个模型产生的,而不是只基于当前这一秒看到的东西。
比如说,我现在在做饭,正在切菜。突然我想起来烤箱没有关。但这并不是因为我现在看到的画面——比如我面前正在切菜的场景——触发了这个动作,而是因为我记得半个小时之前做过的事情。所以我会放下手里的事情去关烤箱。
这说明在人类行为中,视觉输入和动作输出之间并不是简单的映射关系。中间存在一个非常复杂的过程,可能涉及记忆、时间建模以及对世界状态的持续理解。
所以我认为,如何建立这种模型——能够从大量人类的输入输出中学习,并生成类似人类行为的系统——是一个非常核心的问题。我甚至觉得这可能是机器人领域的一个圣杯。如果这个问题能够解决,我们可能就离机器人领域的“ChatGPT 时刻”不远了。
14. 学术界或工业界现在有哪些主要的思路或尝试在推进这个方向?
我觉得其实很多人都在暗中思考这件事情。之所以robot learning——也就是基于机器学习的机器人研究——现在这么火,尤其是在ChatGPT出现之后变得更火,很大程度上是因为大家开始觉得这条路径是可行的:如果能够堆足够多的数据,也许真的可以解决一些非常困难的问题。
比如Tesla的FSD,本质上也是通过大量数据去学习这种从感知到决策的映射关系,最终训练出一个模型。很多人会觉得,机器人领域可能也可以通过类似的方式实现突破。
不过问题在于,具体应该怎么做其实还没有共识。比如需要多少数据、需要什么样的数据、怎样的学习方式最合适,这些问题目前都没有非常明确的答案。
我自己的一个判断是,人类数据可能会非常重要。但也有人有不同的看法。整体来说,大家只是普遍相信一件事情:如果能够积累足够多的数据,再加上足够多的研究投入,这个问题应该是有机会被解决的。
15. 怎么看真机数据采集?
还有一点我想补充的是:现在人能够采集到的机器人数据,其实某种程度上是一种弱化的人类数据。因为在很多情况下,你需要通过遥操作来控制机器人完成任务,也就是说,人是通过机器人去执行动作的。
但当你通过机器人来操作时,你自己的能力其实已经被限制了。很多人类原本可以完成的复杂或精细动作,在这种情况下是做不到的。因此,从某种意义上讲,这种数据已经弱化了人作为一个行动主体本身的行为能力。
所以从另一个角度来看,直接从人类数据开始其实可能更有优势,因为我们可以获得更丰富、更自然的数据。当然,把这些人类数据迁移到机器人上本身是一件非常困难的事情。
不过一个可行的思路是把问题拆开来看:一方面先做人类行为的建模,学习人类的感知—行动模式;另一方面再研究如何把学到的这种prior或模型迁移到机器人系统上。这两件事情其实是可以分开进行研究的。
16. 近期的几个工作介绍
其实EgoMimic、EMMA、EgoScale这些工作本质上都在同一条研究路线之上。中间还有一些相关工作,比如EgoBridge、InMimic等。它们背后的核心逻辑是一样的:把人类数据当作机器人数据来使用,并且和机器人数据混合在一起训练机器人模型。
在这个过程中会遇到一个问题:人类数据和机器人数据的分布差异很大。因此中间需要做很多处理,比如把人类数据变得更像机器人数据,或者把机器人数据变得更像人类数据。具体方法包括一些校准、表示层面的对齐等,通过机器学习的方法让这两个原本差异很大的distribution更好地对齐。
EgoScale 这项工作其实可以理解为EgoMimic 的一个“规模化升级版本”。如果我们把人类数据的规模提升到一个以前没有达到过的数量级,比如现在已经有两万多个小时的数据,会发生什么?过去我们一直很头疼的一件事情是:机器人和人类差别太大。比如机器人用的是机械夹爪,而不是人手。虽然我们把采集人类数据用的眼镜也装在机器人上,让机器人和人类看到的是同样的视角,但手还是完全不一样的。当时机器人的灵巧手还不够好,自由度也不够高,所以这种差异很难弥合。
现在,比如NVIDIA的一些新工作里,机器人已经有了更高自由度的灵巧手,以及更接近人类的上半身结构。如果硬件能力和数据规模同时提升,我们就可以看看系统最终能够达到什么水平。某种意义上,这就是一种 “scale up everything and see what happens” 的思路。
当然也有一些不同方向的尝试。例如我们和Physical Intelligence(π)的合作工作 “Emergence of Human to Robot Transfer in Vision-Language-Action Models”,思路就不太一样。它的核心假设是:如果底层的pretrained foundation model足够强大,并且已经见过很多不同机器人的数据,那么再加入人类数据时,学习会变得更容易。因为模型已经接触过很多不同的机器人形态之后,人类的数据其实也没有那么特殊。比如从结构上看,人类和一个7自由度机械臂之间的差异也未必那么大。
这篇工作主要就是在验证:如果先训练一个foundation model,然后再加入人类数据,模型的能力会不会进一步提升。
但如果从更高层次来看,这些工作的核心思想其实是类似的:想办法让人类数据和机器人数据变得更加一致,从而能够在同一个模型里进行学习。
17. 你们在human data使用和方法上的核心经验或关键takeaways 是什么?
这个问题其实很难在短时间内讲清楚,因为里面有非常多的细节。大部分真正重要的信息其实都已经写在论文里了,尤其是那些比较确定、比较有价值的部分,基本都已经在paper里面公开了。
至于一些更细节层面的东西,我们其实也不太确定它们到底有没有普遍的价值。有些细节可能在某些情况下是有用的,但未必在所有情况下都成立。所以我们没有把这些内容写成一个明确的“新贡献”。也就是说,并不是刻意不讲,而是我们自己也不确定这些细节到底有多重要。
比如一个很关键的问题是:手部状态估计的准确度,到底对后续模型学习有多大的帮助。这个问题其实我们也没有完全搞清楚。在实验过程中,我们通常会固定一个模型和一套数据,然后在一些方面做变化,比如改算法、改某些模块。但有些因素我们并没有做特别细致的消融实验。
一方面是时间有限,另一方面是实验还没有细化到那个程度。所以对于一些因素,我们更多只有一种经验层面的理解。如果要让我非常确定地说某个细节一定有用、或者一定没有用,其实现在也很难下这样的结论。
18. 怎么看现在操作上的sys2和sys1?
这是一个非常大的话题。就System 1/System 2来说,从目前robot learning的研究现状来看,我们现在所谓的System 2其实更多是一种比较临时性的东西。
比如现在很多做法是用大语言模型(LLM)或视觉语言模型(VLM)来做高层规划。例如给机器人一个任务:“给我做一顿晚饭”,模型会生成一个步骤序列:第一步做什么,第二步做什么。这通常就被称为机器人系统里的System 2。但我觉得这其实只是一个makeshift System 2。它并没有真正实现人类System 2所承担的那种推理功能。因为在人类很多planning和reasoning的过程中,实际发生的推理并不是用语言表达的。
举个简单例子:当你去拿一个瓶子时,你可能需要施加大约两牛顿的力,让它刚好克服瓶子和桌面之间的摩擦力。但你在做这个动作的时候,并不会在脑子里用语言去描述“我要施加两牛顿的力”。很多这样的推理其实是隐性的、身体性的,而不是语言形式的。
所以从这个角度来看,我觉得我们现在在robot learning里的System 2研究其实还没有真正开始。目前更多只是利用大语言模型在语言理解方面的能力,构建了一个勉强可用的高层规划系统。
但如果要解决一些真正困难的问题,比如复杂的物理操作任务——举个例子,像一些需要动脑子的物理小谜题,比如把两个环扣在一起或者把它们解开——这种类型的问题其实需要非常细致的物理推理。在这个层面上,我们目前还没有取得真正有意义的进展。
所以我的感觉是,如果未来真的要在System 2方向上取得突破,很大一部分可能还是需要通过数据学习来实现。而在这些数据中,我认为人类数据可能是最有价值的。因为人类已经能够解决很多复杂的物理推理问题,如果模型能够从人类行为数据中学习,并捕捉那些无法用语言表达的行为模式,那可能会是一条比较可行的路径。
19. 理想中的System 2应该是围绕长期目标来规划和组织行为,如何实现?
其实刚才讲到这里,我突然意识到,我们要解决的问题并不是某一个具体的问题,比如System 2 for robot learning。而是一个更广泛的问题:所有不能通过语言表达的问题,基本都属于这个范畴。
也就是说,只要是那些无法用语言明确描述的推理问题,都需要被解决。只有解决了这些问题,我们才有可能让机器人真正完成很多日常生活中的事情。
而这些问题其实非常困难。我觉得人类语言本身可能只是目前的一种local optimum。因为现在我们正好有非常强大的自然语言模型,所以很多研究都围绕语言展开。但如果我们真的要做non-verbal reasoning——而这其实占据了我们日常行为中非常大的一部分——那么仅靠语言显然是不够的。
在这种情况下,我觉得未来可能还是需要更多的数据,尤其是那些能够反映人类真实行为和推理过程的数据。
20. 世界模型是否有可能成为实现System 2的基础架构?
关于world model,现在这个方向里的模型种类其实非常多,所以我可能先讲两种我觉得比较接近的形式。
一种是这样的:给模型一个比较长程任务的描述,比如“make dinner”。然后这个video model会生成一个下一步需要达到的关键状态。这个状态可能是一张图,也可能是某种环境状态,比如说它生成一个结果,表示“接下来两秒钟你应该达到这个状态”,或者“接下来两分钟应该达到这个状态”。如果模型能够生成这样的状态,其实某种程度上说明它已经在解决问题了。从output space的角度来看,这种能力会比较像我刚才说的system two。
另外一种是比较传统意义上的dynamics model。也就是说,我们需要对物理世界做建模。比如说,我把一个东西往前推5厘米,那世界会发生什么变化?这是在做一种未来世界状态的推断:根据当前状态和你的动作,去预测未来的状态。
这两种类型的模型这几年其实都在发展,也都有可能成为某种system two的雏形。但是这两种方法各自都有很大的问题。
第一个问题是video prediction model。它最大的问题是没有办法做抽象。我们人在做system two reasoning的时候,其实并不是在pixel space里思考。比如说你在想象自己要揉一个面团的时候,你不会在脑子里想象这个面团未来每一个像素长什么样。你只是会想这个面团会变成一个球,或者变成一个长条。也就是说,我们是在某种抽象状态空间里思考。
所以问题就变成:怎么样去学习这种抽象?什么样的抽象空间更适合做reasoning?有没有可能根据任务不同,自动使用不同层级的抽象?
比如说,如果我现在在做planning,我说“明天我要飞去洛杉矶”。那我不会去想我每一步脚怎么走,而是会想“我要去订机票”。这是一个很高层的抽象状态。
但如果我现在要画一幅画,那我可能需要非常精确地决定第一笔落在哪里。为了决定第一笔,我需要知道最后这幅画大概长什么样。不同任务需要的抽象层级其实是完全不一样的。而现在很多world model或video foundation model其实只能回答一个问题:下一张图长什么样。
第二个方向是动力学模型。但动力学模型也很难。因为现实世界的动力学非常复杂。比如桌子上有一部手机,我把它往前推。如果我推的时候稍微歪了一点点,它的运动轨迹就可能完全偏离原来的方向。所以在稍微长一点的时间尺度上,你就很难预测未来状态。
所以不管是video model还是dynamics model,这两个方向其实都非常困难。
第四部分 关于Human-robot transfer
21. 怎么解决Human-robot transfer问题?
如果我们真的能够建模人类,那么接下来的问题就是:怎样把这个人类模型放到机器人里面。这件事情本质上就是一个grounding的问题,也就是我的prediction最终要怎样通过机器人产生实际效果。
广义上讲,我们真正想达到的目标是:如果我们希望世界中产生一个和人类相同的结果,比如把这个瓶子拿起来,那么机器人应该采取什么样的动作?因为机器人和人是不一样的,所以它可能需要用不同的动作,才能达到和人类一样的结果。
如果从更第一性原理的角度来理解,这件事情其实很直接:有些事情人能做,机器人做不了。比如一个机器人如果只有两个自由度,那它就不可能完成一个七自由度系统能完成的动作,至少在某些情况下就是这样。
所以顺着这个逻辑往下推,human和robot之间的embodiment gap越大,retargeting也就是 transfer这件事情就越难。反过来说,如果我们真的能造出一个和人类几乎一模一样的humanoid,那其实很多transfer的问题就不再存在了,因为human-trained model直接就可以拿来用。
所以我最后的结论其实是一个有点无聊的结论:我们一方面需要更像人的机器人,另一方面也需要更强的retargeting algorithm。这两件事情必须同时推进。因为如果机器人本体不像人,那么很多transfer本身就会非常困难。
至于transfer algorithm本身,现在大家其实有很多不同的做法。比如我们过去做的大部分工作,更多是一些机器学习层面的方法,例如representation learning之类的思路。最近也有一些方法是在做更接近real2sim2real的方向:比如先把真实的人放进simulation里面,再让机器人去替代人类,然后训练一个reinforcement learning的算法,让机器人学会产生某些动作,并最终达到和人类对物体操作相同的结果,比如把瓶子拿起来。
所以现在其实已经有很多不同的方法在尝试解决这个问题,但我也说不好哪一种方法最终会是最好的。
22. 从商业落地角度看,真正的通用机器人是否仍然比较遥远?
这个问题其实和human data的关系没有那么直接,但总体来说我的感觉是:在某些任务上其实已经可以落地了。
现在比较典型的一类任务是那些对机器学习来说非常“sweet spot”的任务。比如说叠衣服。这类任务在传统机器人方法里其实很难做,因为衣服是软体物体,很难建模。但用新的方法,比如基于数据驱动的学习方法,就可以通过大规模数据采集来解决。这正好形成一个很好的结合点:传统方法做不了,但新方法又很容易通过数据去解决。
所以关键的问题是:还能不能找到更多这样的sweet spot。也就是说,找到那些既有实际需求、又适合用数据驱动方法解决的任务。如果这些任务能够带来足够的商业价值,并且投入和回报之间能够形成一个比较有说服力的经济模型,那它们就很可能成为真正落地的场景。
我觉得接下来一两年里,一个很重要的问题就是:哪些任务是传统自动化方法很难解决的,同时又能够通过新的数据驱动方式进行大规模数据采集和训练。
当然,如果未来真的在general robot model上取得很大的突破,那么可能就不需要再去专门寻找这些特定场景了,因为理论上什么任务都可以做。
23. 通用机器人大概什么时候可能会出现一个初步可用的形态?
我觉得如果要说一个比较通用的目标,可以这样理解:比如我们有一个model,它能够去解决“任何一个合理的任务”,大概40%的成功率。如果用这样一个标准来定义的话,我觉得两三年之内应该是有可能做到的。
但这个40%的水平,大概会像当年的GPT-2。我记得当年GPT-2 刚出来的时候,我用它写过一些代码,也用它改过一些论文。当时我的感觉是,它其实挺弱的,大部分时候还是需要自己改很多东西,但有些地方确实已经开始变得有用了。
所以那种感觉大概就是:能用,但很多地方还不太行,你还是需要自己做很多修改。不过你已经能看出来,它确实可以做很多事情。如果是类似这种程度的能力,我觉得在机器人领域,两三年之内可能就会出现。
一旦一个开放性的科学问题被转化成一个工程问题,那其实离真正理解并解决这个问题就不远了。因为工程问题通常意味着路径已经比较清晰,接下来更多是通过scaling、优化和工程实现一步一步把它做得更好。
我之前写那篇博客,其实主要是想表达一件事情:类似GPT的机器人模型是可行的。
但它可能不像很多人现在想的那么简单。不是说只要不断scale teleoperation data就可以做到。这也不完全是数据量的问题,而是数据类型的问题。
用teleoperation的方式采集数据,确实可以解决一些具有商业价值的任务,比如叠衣服、插网线、检查网线之类的操作,这些任务是可以落地的。
但如果我们的目标是做真正具备人类能力的机器人,那我觉得teleoperation data可能并不是一条正确的路径。这大概是我在那篇博客里想表达的核心观点。
第四部分 To Summon a Sensorimotor Ghost 博客翻译
2024 年末,我在 CoRL 做了一场演讲,提出了一个简单的观点:人类数据其实是伪装成另一种形式的机器人数据。我的核心论点是,只要具备足够的传感器采集能力和状态估计技术,人类行为就可以被记录并视为另一种“机器人”的数据——虽然形态不同、执行器和传感器系统不同,但本质上仍然是一个在相同物理规律下运行的“从感知到动作”的映射。借助 Meta Reality Labs 的 Project Aria 眼镜,我们在 EgoMimic 工作中给出了早期证据:机器人的性能确实可以随着传感器化的人类数据规模增长而提升。随着消费级可穿戴设备的兴起,我们现在已经能够直接记录这种映射的大部分输入和输出,从第一视角视觉到头部、手部甚至全身运动。我当时预测,全球规模的人类经验数据时代已经不远了。
自那之后,行业格局已经发生变化。我原本认为消费级可穿戴设备的普及会是主要瓶颈,但事实却是,已经有几十家公司在收集和出售第一视角的人类数据,而且几乎每周都会有新的公司出现。全球规模的传感器化人类数据集,比我预期的更快到来。然而,一些关键问题仍然没有改变。我们仍然在努力跨越“具身差距”(embodiment gap)。仅凭人类数据实现机器人零样本执行仍然遥不可及。大型视频预测模型虽然很有前景,但预测一个看似合理的未来并不意味着在真实接触条件下能够产生有效动作。在预测未来和物理执行之间,仍然存在“最后一英寸(或一牛顿)”的差距:几毫米的误差、几毫秒的延迟、或一牛顿的力差,都可能决定物体是滑落还是稳定。目前,这个差距仍然需要大量机器人数据、精细的人类传感器化以及机器人硬件协同设计来弥补。
同时,我认为建模人类不仅仅是为了制造更好的机器人。它本身就是一个重要的科学目标。从大规模数据中恢复人类的感觉运动智能仍然是一个基本且尚未解决的问题。机器人只是其中一个应用场景,更大的问题是:我们是否能够通过学习模型恢复人类的感觉运动智能本身。
1. 现代 AI:召唤灵魂
现代 AI 本质上是一个知识转移问题,我们试图将人类知识大规模转移到机器中。大型语言模型是最典型的例子:它们吸收全球规模的文本,并将其压缩为一个参数化函数,然后通过强化学习和偏好优化进一步调整输出。但智能的来源仍然是人类生成的内容。Andrej Karpathy 曾把训练现代语言模型描述为“召唤灵魂”。这些灵魂是人类语义知识的统计蒸馏,是我们集体认知的近似复制品。虽然不完美,但它们足够强大,可以再现人类知识结构,从而进行推理、解释和创造。
在机器人领域,我们也在尝试类似的事情,只是成功程度远低得多。我们试图召唤一个“感觉运动灵魂”:不仅是人类写下的知识,而是人类如何感知、适应并在物理世界中行动。目前最流行的方法是遥操作,但遥操作会扭曲人类行为。许多自然、细微的感觉运动智能并不会进入数据集,因此我们得到的只是人类能力的一种简化版本。
2. 灵魂在哪里?
人类行为中有一种非常“动物性”的部分,其中很大一部分发生在意识无法直接访问的层面。这种行为快速、反应性强,并且深度结合了运动和感知,也就是所谓的 System 1。例如,当有人拍你的肩膀时,你会转头;当物体掉落时,你会伸手;当有东西飞向脸部时,你会本能地闪躲;当皮肤感觉到热时,手会在语言产生之前就迅速缩回。这些反应不是经过计划的,也不是通过理性推理得到的,而是由进化和长期与物理世界互动形成的反射机制。
遥操作很难捕获这种层面的智能。它依赖连续的感知—动作闭环,需要毫秒级的反馈。即使延迟很低,遥操作接口也会迫使操作者采取更“刻意”的行为。反射动作被转化为通过摇杆或 VR 控制器进行的操作,而且反馈往往经过强烈过滤。除此之外,日常人类数据还包含遥操作几乎无法捕获的另一类信息:人与人之间的互动。现实世界中的大量互动是社会性的,例如递物、共享工具、协调注意力、通过动作传达意图。这些互动很难通过机器人模拟,但在日常生活中自然发生。如果我们的目标是恢复人类对物理和社会世界的具身先验,那么我们需要记录真实生活中的行为,而不是刻意设计的演示。很多时候,平凡的日常行为可能比精心设计的演示更有价值。
3. 如何召唤灵魂?
假设我们能够大规模捕获自然的人类感觉运动行为,接下来的问题是:我们能否学习产生这些行为的函数?如果观测足够丰富、动作捕获足够完整,是否存在一个可学习的函数,可以像人类一样把感知映射为动作?换句话说,我们是否可以通过行为克隆来学习人类。
语言模型通过预测下一个词学习,而感觉运动模型的对应方式则是根据感知预测意图和动作。当这种目标不断扩展规模时,可能会产生类似语言模型中的新兴能力。在语言中,大规模训练带来了上下文学习、推理和代理能力;在动作预测中,它可能产生物理常识,例如理解物体会掉落、堆叠会倒塌、重物难以移动、光滑表面需要调整。这种理解不一定表现为显式的物理模型,而可能直接体现在行为中,例如稳定抓取、细微推动和快速修正。就像语言模型可以在没有语法规则书的情况下掌握语法一样,具身模型也可能通过预测行为本身来内化物理规律。
我们已经有一些证据表明这种方法是可行的。NVIDIA 团队的最新研究显示,人类数据存在明显的规模规律:预训练的人类数据越多,模型对人类行为的建模能力越强,并且能够在真实环境中泛化。我们还观察到一些新兴能力,例如一次学习新的灵巧操作任务以及强语言指令理解能力。在 EgoScale 工作中,我们发现随着预训练人类数据规模的增加,行为预测能力以及人类到机器人的迁移能力都显著提升。
更进一步的问题是:System 2(需要努力思考的部分)是否也能够从这种人类克隆中涌现?一个仅通过多模态输入输出训练的模型,是否能够产生长时规划、长期记忆以及复杂的物理推理能力?在语言模型中,当规模和上下文足够大时,推理能力会自然出现。在具身系统中,这可能表现为一种物理世界中的“代理能力”:模型不仅预测人类下一步会做什么,还能够围绕目标、未完成动作以及未来状态组织行为。
4. 给灵魂一个身体
即使我们成功召唤了感觉运动灵魂,我们仍然需要给它一个身体。预测并不等同于控制。一个能够预测人类行为的模型,并不自动知道如何通过某个机器人执行这些行为。我们需要将可能的人类未来分布转化为机器人可执行的控制序列。这需要一种“效果驱动的重定向”:目标不是复制人类轨迹,而是复制其对世界产生的效果。系统需要推断机器人应该做什么,才能在不同运动学结构、柔顺性、延迟和力限制下实现相同的结果。这是一个困难的逆问题,不仅需要逆动力学,还需要实时控制。
许多研究试图通过视觉对齐或视频预测来缩小这一差距,但真正的挑战在于物理交互。对人类来说稳定的抓取,对机器人可能失败;人类可以依赖毫秒级反射,而机器人控制带宽可能不足。有些人认为强大的逆动力学模型可以解决问题,但学习这样的模型本身可能与预测问题一样困难甚至更难。让机器人更像人类可以减少问题复杂度,但即使是人形机器人,执行器、柔顺性和控制约束的差异仍然存在。另一种方法是硬件与数据协同设计,例如 UMI 系统,通过限制人类行为来适应机器人能力。虽然这种方法有效,但长期来看,更可扩展的路径是让机器人和模型适应真实的人类行为,而不是反过来。
5. 总结
如果过去十年的 AI 主要是关于建模语言、图像和视频,那么未来十年将是关于建模行为。问题已经不再是我们是否能够大规模捕获人类行为,因为这个未来已经到来。真正的问题是,我们是否能够从这些数据中学习得足够深入,以恢复产生这些行为的智能结构。如果成功,其结果不仅是更好的机器人,还将是人类在物理世界中行动方式的第一个学习得到的理论。机器人只是这个理论的第一个应用场景。
Ref:
Danfei Xu主页
https://faculty.cc.gatech.edu/~danfei/
To Summon a Sensorimotor Ghost 博客
https://x.com/danfei_xu/status/2027034645892624528
文章中提到的工作引用可以参考上述Danfei的博客