对一直跟踪石麻笔记的朋友们,有几篇文章一定印象深刻,第一篇就是Diffusion PolicyDiffusion Policy—基于扩散模型的机器人动作生成策略,第二篇是Robot Data系列第一篇,基于视频数据工作ATMEP1对话高阳、汶川:如何利用互联网人类视频训练机器人大模型(ATM—RSS 2024满分论文);第三篇是Robot Data系列的最后一篇,数据组合POCOEP9对话王理睿:如何处理机器人领域中极为异构的数据集和任务。这三篇工作看似没有关联,但背后其实都关联到同一个人,也就是本期访谈的嘉宾Du Yilun。
他是第一个将Diffusion Model应用于机器人动作生成的学者(Planning with Diffusion),也是第一个提出通过视频预测来做机器人轨迹预测的学者(UniPi)。我们过往采访的这三篇工作都某种程度上可以关联到Du Yilun始终坚持的研究方向Engergy Based Model上。
和Du Yilun博士的交流让我自己受益匪浅,我自己也感慨非常感谢石麻笔记这个媒介,让我何其有幸可以和这么多优秀的学者交流他们的学术历程和思考。对于和我一样,最近一直在思考VLA是否可以真的把通用机器人做work的人,请你一定要听听这期播客,看看这期文字整理。
播客:专访Yilun Du:基于EMB和视频生成的具身智能研究路线(在微信公众号原文中收听)
在端到端模仿学习之外,还有很多更具想象力,更有前景的路线,无论是Yilun坚持的EBM还是视频生成,亦或是之前我们采访过的对话李昀烛:通用操作新解法——基于学习的动力学模型坚持的Learning Dynamics+MPC路线,还是专访Xue Bin(Jason) Peng:探索人形机器人全身运控的通用控制器和专访罗正宜:解密PHC——人形机器人通用控制器坚持的通用控制器的路线,每一条路线都值得被更多业界的人看到。
Du Yilun目前是哈佛大学 Kempner Institute 及计算机科学系的助理教授,同时也是 Google DeepMind 的高级研究科学家。他于MIT电气工程与计算机科学系获得博士学位,导师是 Leslie Kaelbling 教授、Tomas Lozano-Perez 教授以及 Joshua B. Tenenbaum 教授。此前,他也在 MIT 获得本科学位,并曾在 OpenAI 担任研究员,在 FAIR和Google DeepMind 担任实习生与访问研究员,并曾获得国际生物奥林匹克金牌。
他的研究聚焦于生成模型、决策制定、机器人学习、具身智能体,以及这些工具在科学领域中的应用。他的研究目标是发展能在物理世界中自主行动的智能具身体。主要致力于利用生成式 AI 建立世界模型,从而将系统化的规划与迭代式推理引入到学习型智能体中。在这一背景下,生成式 AI 面临的关键挑战包括缺乏充足的建模数据,以及模型在未见过情境中的泛化能力。他通过构建可组合的生成模型来应对这一挑战,具体方法是使用能量地形学习(Energy-Based Models, EBMs)这一思想,以实现超越有限数据范围的泛化能力。他的早期 EBM 研究也促成了 2020 年扩散模型的发展。
查看原文目录
以下为本文目录
👇
学术经历
1. 比较重要的研究工作
基于可组合能量图谱的具身智能路线
2. 学习可组合的能量图谱来构建可泛化系统
3. 什么是能量图谱?
4. 进一步解释能量模型
5. Diffusion Model和能量图谱模型的关系
6. Diffusion Model和机器人的结合
7. 为什么会坚持EBM这个方向?
8. 为什么特别关注可组合性和泛化能力
9. 怎么理解可组合性?组合的是什么?
10. 这条路线的受关注度怎么样?
基于视频生成的具身路线
11. 看好具身哪个方向?
12. 目前基于视频的方法有哪些?
关于智能的理解
13. 你对“智能”的理解?
14. 语言和图像的智能实现了吗?
15. 通用机器人这个AGI的终局远吗?
关于具身路线的探讨
16. 目前具身的路线哪些可以落地?
17. 为什么这么看好视频生成路线?
18. 怎么看端到端VLA?
19. 为什么VLA效果差但很多人都在讲?
20. 为什么不看好RL?
21. 你认为目前通用机器人最大的问题是什么?
22. 记忆的问题和3D空间记忆是两个问题吗?
23. 怎么对比语言和从物理载体中获得的智能?
24. 具身方向未来会有突破的环节
关于通用机器人研究方向的探讨
25. 为什么具身当下的研究没有新意?
26. 对于新进入这个领域的同学的建议
学术经历
我现在刚刚开始在哈佛大学担任助理教授。在此之前,我在 DeepMind 工作了一年。更早之前,我在 MIT 攻读并获得了博士学位(PhD)。我的研究主要聚焦于生成模型(generative models)与机器人(robotics)的结合。
早期我做了很多关于能量模型(energy-based models, EBM)的工作。大约在 2018 年,我曾在 OpenAI 工作一年,那时候我们开始研究 Early compositional models(ECM)。从 2018 或 2019 年起,我们进一步推进到大规模动态建模(large-volume dynamics),逐渐发展为基于空间结构(square-based)和扩散模型(diffusion models)的方法。所以我很早就开始探索 diffusion models,并将它们应用在机器人任务中,将 EBM 与 diffusion 的理念融合进机器人系统中。
我们实验室的核心方向就是机器人,因此我一直在探索如何将这些生成建模的想法用于智能机器人上。最终的目标,是构建出真正智能的机器人,能够在各种环境中完成多种任务——比如在家庭中,既能帮你切菜、做饭,又能洗碗。
除了对通用智能机器人的构建感兴趣之外,我也在思考如何让生成模型更具可扩展性(scalable),如何通过它们更好地完成复杂任务,甚至发展出全新的生成式模型范式。
1. 比较重要的研究工作
首先,是我早期刚开始做 EBM(Energy-Based Models)时的一篇 paper,那篇工作蛮有创新性,因为当时主流都还在研究 GAN,而我们是比较早去探索Denoising的Process来做图像处理的。
后来我们也做了一些 Compositional Generation的研究,探索如何把不同的energy 组合起来做生成,这方向我也觉得挺有价值。另外,在vision方面,我们也有一些工作,比如说如何利用energy-based model去处理不同风格或内容的图像。
再后来就是我们那篇关于planning with diffusion的工作,以及后续的Diffusion Policy这个工作。
我们还做了几个和video相关的研究,其中一个是UniPi这种video generation,还有一个是video-language planning,尝试把video model、language model和action model 结合在一起,用于做复杂任务的 planning。
此外,我们也做了一篇关于多语言模型协作的工作,叫Multi-Agent LLMs,研究如何把多个大语言模型协同起来完成任务。
最后一篇是我们最近做的工作,探索如何用energy-based models 来做reasoning,这也是我博士期间比较后期的研究方向。
总体来说,大概就是这些 paper,它们分别在模型架构创新、效率提升和多模态协作方面做了一些探索。这些工作的核心方法大多数还是围绕 EBM 展开的。虽然也有一些不是,比如我们做 Multi-Agent LLMs 的那篇,是在探索如何把不同的语言模型组合成一个multi-agent system,这个就不完全是基于 EBM 的。但整体来看,EBM 的思想贯穿了我博士期间大部分的研究方向。
基于可组合能量图谱的具身智能路线
2. 学习可组合的能量图谱来构建可泛化系统
我的PHD Thesis题目是Learning Generalizable Systems by Learning Composable Energy Landscapes,即通过学习可组合的能量图谱来构建可泛化系统,三个关键词,可泛化,能量图谱,可组合。
我认为机器人学习面临的最大问题就是缺乏足够的大规模数据。比如,如果我想训练一个类似于大型语言模型(LLM)那样的模型用于自然语言处理,那么网上已有的大量文本数据都可以拿来训练;但如果我想训练一个机器人,比如教它洗碗、做饭,那我能用的数据就非常有限。即便我可以通过人类演示收集一小部分数据,仍然难以覆盖到各种不同的环境与任务设定。
因此,我在思考的一个核心问题就是:在缺乏大规模数据的情况下,如何设计一个系统,能够在未见过的场景或任务中依然表现出色?这就是我提出的 Compositional Structured System(CSS)背后的动机。
CSS 的核心思想是采用组合式结构(compositional manner)来建模。不是去训练一个超大的单一模型,而是将问题拆分为多个较小的、专注于不同子任务的模型。这些子模型可以在需要时进行重新组合(recombine),从而适配新的任务设定。这种方式使模型具有更强的泛化能力,尤其是在面对从未见过的任务时。
这个思路很像我们写程序的方式:当我们要构建一个复杂系统(比如一个 Web Server 或搜索引擎)时,不是从头写一个大函数,而是调用和组合许多小的功能模块(functions),让它们协同工作。同样,在机器人系统中,我们也希望构建一套类似的“技能库”或“模块库”,使得不同模块可以被灵活地组合,从而执行各种复杂任务。
如果我们单独训练一个 end-to-end 的巨大策略网络(intent policy),那它对环境变化会极其敏感——比如机器人稍微变小一点、桌子高一点、光照强一点,系统就可能完全失效。相比之下,组合式建模可以将任务分解为许多更稳定、通用的子问题,从而提升系统在新环境下的适应能力。
进一步地,我们选择使用能量模型(Energy-Based Model)作为组合这些模块的方式。原因在于:通过能量函数来组合不同模块,可以以一种更优化驱动(optimization-driven)且连续空间友好的方式进行组合,而不是简单地用一个模型去依赖另一个模型的输出。
具体来说,我们可以将每个子模型看作一个带有约束(constraint)的能量项:第一个模型负责一个约束,第二个模型负责另一个约束,第三个模型再负责第三个约束……最后我们通过优化这些能量函数的联合来得到最终的控制策略。这种方式避免了模块之间必须“串联调用”的结构,提供了更灵活、结构化的组合方式。
在当前生成式 AI 领域快速发展的背景下,比如大家在训练 LLM、视频模型、决策模型,我们发现 energy-based 的组合框架还可以帮助我们把各种训练方式不同、功能不同的模型整合在一起。你可以同时拥有一个语言模型、一个视频模型、一个动作模型,而 energy-based formulation 给了你一个机制,把它们都整合到一个系统中。这正是 energy model 的强大之处。
3. 什么是能量图谱?
关于 EBM(Energy-Based Model),它其实是一类比较早期的生成模型。其核心思想是:通过构建一个能量函数,把真实数据(比如真实的照片)的能量调低,而将其他不符合数据分布的样本能量调高。换句话说,就是用能量的高低来区分“好”的样本和“差”的样本。
EBM 是一种通过能量函数(energy function)来定义概率分布的模型。在这种模型中,每一个输入(如图像、状态等)都有一个对应的能量值,能量低的表示更“可能”或更“合理”的输入,能量高的表示不太可能的输入。不像生成模型(如GAN、VAE)显式地产生样本,EBM 的目标是学习一个能区分“好样本”和“坏样本”的能量函数。你可以理解为,它在“评价”一个样本是否符合某种数据分布,而不是直接去生成它。
我们在 2019 年早期就在探索用 EBM 来生成图像,当时还发过一篇 OpenAI 的博客,展示如何利用这种方式生成逼真的图像。这种思路在很多方面其实和后来的 diffusion models 很相似,尤其是在引入dynamics的部分。我们用梯度(gradient)进行图像采样,用的是类似 Langevin Dynamics 的方法,这种基于动力学的采样机制后来也成为 diffusion model 的基础之一。
Langevin Dynamics(朗之万动力学) 是一种模拟粒子在热浴(thermal bath)中运动的数学方法,广泛用于统计物理、采样算法(如 MCMC)、生成模型(如 EBM 和 diffusion model)中。它的核心思想是:在势能(或能量)引导下运动的粒子,同时也受到热扰动(噪声)和摩擦力的影响。
实际上,我们后来的 score-based 和 diffusion-based 的生成方法,都可以看作是我们那套基于 EBM 的早期工作的延续或演化。所以从某种意义上说,我们当时做的东西可以看作是 diffusion models 出现前的一个重要前。
4. 进一步解释能量模型
能量模型这个概念,其实可以追溯到大约二三十年前的图模型(graphical models)领域。在当时,无论是有向图模型(directed graphical models)还是无向图模型(undirected graphical models),都试图通过多个“因子(factors)”的乘积,来刻画一个复杂系统中不同部分的联合分布。这些因子可以分别建模系统中的局部约束或子结构,然后通过联合建模的方式构造出整个系统的表达。
能量模型(Energy-Based Model)本质上就是这种无向图模型的一种形式(这里关于能量模型,笔者暂时也不能透彻的理解,恕我不能展开科普,等后续接触更多这类工作再深入理解)。在这种建模方式中,每个 component 可以用一个能量函数来表示,系统的整体行为则由这些能量函数共同决定。
我们后来提出将这种能量模型的组合方式(compositionality)引入神经网络体系中,并进一步扩展到 embodied AI(具身智能)领域。也就是说,我们不是简单地学习一个 end-to-end 的大模型,而是将任务分解为多个子模块,每个模块表示一个局部结构或子任务,分别用神经网络形式的能量函数来表示,再通过优化这些函数的总能量来组合成一个完整策略。这就像是把早期 graphical models 的思想“神经网络化”了。
虽然以往没有太多人将这种能量组合的方式系统化地用于神经网络中,我们的研究正是尝试把这一经典思路延续并扩展到现代机器学习,尤其是 embodied intelligence 这个方向上。除了机器人领域,我们也在探索这种方法在其他更广泛的场景中的应用。
5. Diffusion Model和能量图谱模型的关系
其实我很早就开始研究 diffusion model,大概在 2018 年、2019 年的时候我们就在做 energy-based model(EBM)。当时我们发现,EBM和score-based model几乎是一模一样的。
Score-based model(也叫 score-based generative model 或 score-based diffusion model)是一类基于估计数据分布的梯度(score function)来生成样本的生成模型。这里的 "score" 指的是数据的对数概率密度的梯度。Score-based model 的核心思想是学会数据分布的“上升方向”,然后沿着这个方向,从噪声一步步走向真实数据。
在 EBM 里面,你是去学习一个energy function,然后用基于能量的采样方法,比如 Langevin dynamics,来生成图像;而在score-based model里,你并不显式地学习energy,而是直接学习 energy 的梯度(score function)。但无论是哪一种,两者用的都是相同的 Langevin 采样过程,所以在机制上其实是一致的。
有很多论文也都提到,其实这两个模型本质上就是一样的,只是表述不同,甚至没有必要专门叫成score-based model,其实可以直接认为是energy-based model的一种形式。从这个角度来看,diffusion model也可以被看作是一种特殊的score-based model,所以 diffusion model 和 EBM 之间的关系其实非常紧密。
Energy,就是我有一个能量的landscape,比如说我有些照片是低的energy,有些照片是高的energy。然后我想生成一个sample,我是从一个noise sample 开始,然后在这个energy function上跑优化:我先跑一步gradient descent,在这个energy landscape上往低的方向走,然后我加一点noise,再跑一步gradient descent,再加一点noise——我们就是跑这个 Langevin sampling的过程。这样一步步跑下来,最后你就会到达一个低能量的区域,这时候你就得到了一个低 energy 的照片,这个就是你生成出来的样本。
你会发现,这整个 Langevin sampling 的过程本质上就是 “gradient + noise”,其实跟 diffusion model的反向过程是完全一样的。所以从这个角度来说,这两个model 是非常相似的。
6. Diffusion Model和机器人的结合
我早期主要从事能量模型(Energy-Based Model, EBM)的研究,始于2019年左右。我们逐渐发现,diffusion model 与 EBM 在本质上非常相似。因此,我们将之前许多关于 EBM 的论文用 diffusion 的术语重新表述,并撰写了相关工作。
我们曾有一篇名为Model-Based Planning with Energy-Based Models的论文。后来,我们将这篇2019年的论文框架迁移到diffusion model的范畴中,我认为这大概是最早将 diffusion model 应用于机器人领域的尝试之一。
之后,我们与舒然和迟宬尝试将Planning with Diffusion for Flexible Behavior Synthesis
这篇论文中的方法应用于真实机器人任务,实验结果表明,该方法效果不错,这也是Diffusion PolicyDiffusion Policy—基于扩散模型的机器人动作生成策略这篇工作的背景。
7. 为什么会坚持EBM这个方向?
我觉得这类模型特别有意思。那段时间,生成模型领域特别火爆,尤其是基于编辑(Edit)和决策(Decision)的方法,我觉得这是我以前从未见过的东西,非常吸引我。那时候我在 OpenAI,有个同事lya Sutskever非常喜欢EBM,他经常跟我说,他相信未来十年、二十年生成模型都会基于 EBM,所以他天天跟我讨论这个话题,我也就信了。
而且我刚开始读博士时,发现Diffusion Model开始火起来了,我自己也挺喜欢 EBM 这种思路。我们那时候写了不少相关论文。虽然当时这类模型还不是特别流行,相关论文也不多,但我觉得它们和后来的 diffusion model 非常相近。
所以我想,既然这样,不如把之前做的工作重新用 diffusion 的术语来写,这样可能更容易被更多人接受和阅读。毕竟之前那些论文关注度不高,因为当时做的人不多,大家也不太了解这些内容。用 diffusion 的表达方式,能让更多人看到这类工作。
8. 为什么特别关注可组合性和泛化能力
假如你有一个能量函数,也就是一个能量地形(energy landscape),那么想把两个模型组合起来其实很简单。你只需要把这两个模型对应的能量函数相加就可以了。举个例子,一个模型定义了它想生成的样本能量,另一个模型也定义了它想生成的样本能量,那么把这两个能量函数相加,最终的模型就是在这两个能量函数的“中间”生成样本。
这就是能量模型的好处——可以非常自然地将多个模型组合成一个整体,而这只是简单的加法操作。这也是为什么用能量的形式来表示模型,是一个非常合适的方式,能够方便地组合不同的模型。
第二个点是为什么特别强调“泛化”。当你把不同的模型组合起来之后,你就能让系统在没见过的任务或环境中表现得很好。因为组合后的系统可以覆盖更多不同的能力和约束,能够应对多样化的未知任务。
我觉得机器人领域永远面临的一个核心问题是:我们没有太多的数据,怎么让机器人在没见过的环境或任务中依然能够完成目标?现在很多 imitation learning 或diffusion policy,都是基于有限的示范数据训练的,模型只能在类似环境下表现好。
但这并不是真正聪明的机器人。比如很多人在做仿真强化学习,他们在仿真环境中反复训练,然后再在真实环境中测试,环境几乎一模一样,这样的泛化能力其实很有限。
如果你真正想打造聪明的机器人,必须让它能够在没见过的环境和任务中,依然能做出良好表现。这才是机器人领域最根本、最重要的挑战。
9. 怎么理解可组合性?组合的是什么?
你可以在不同的层级进行组合。举例来说,你可以把大型语言模型(Large Language Model,LLM)作为高层的推理模块,负责告诉你“我想做饭”,它会生成具体的步骤,比如“先切菜”、“去找食材”。
接下来,你可以用第二个层级的模型,比如视频模型(video model),把 LLM 输出的高层指令转化为视觉理解任务,理解实际的场景和物体状态。
第三个层级则是动作模型(action model),负责将视觉信息转化为具体的动作执行,比如机器人手臂的运动轨迹。
实际上,有很多不同的方式把多种模型组合起来,组合的对象不必仅限于策略(policy)。例如,你可以同时把视觉模型和动作模型结合起来。
此外,你还可以把不同的约束条件(constraint)组合在一起。比如在抓取任务中,你会有多个约束:机器人手臂的轨迹不能碰撞其它物体,必须能够成功抓取目标物体,放置动作要平滑且连续,不能突然跳跃等。这些约束也可以被建模成不同的能量函数,然后一起组合,形成一个整体的策略或规划。
你也可以把不同的模型组合,比如动力学模型(dynamics model)和策略模型一起联合优化,以实现更优的控制效果。
总之,组合有很多方式,既可以是模型之间的组合,也可以是约束之间的组合。其实这和传统机器人学中使用的各种经典算法有相似之处,我们可以借鉴这些经典算法的思想,把它们转化成现代的组合模型框架。
10. 这条路线的受关注度怎么样?
目前使用这种方法的人还不是特别多。因为大家现在更多想的是:如果我们有大量的数据,用端到端的方式去训练模型,能不能直接学出有效的能力?这是目前大家关注的问题。
我觉得,未来几年我们会发现,即使拥有海量数据,单纯训练大型模型的效果也未必特别理想。到那时,大家会开始思考如何在模型中加入更多结构化的设计。
我相信,随着时间推移,这种基于结构组合的方法会被越来越多地采用。但现在仍处于比较早期的阶段,大家大多还是先尝试用端到端训练大模型,看看效果如何。大致来说,我估计在两三年到三四年之后,这条技术路线会逐渐被更多人认可和采用。
基于视频生成的具身路线
11. 您认为在 embodied AI 路线上还有哪些比较有前景的方向?
我最近主要在做视频模型(video model),尝试用视频模型直接驱动机器人的策略,或者做端到端学习。
其实,我觉得大型语言模型(LLM)虽然强大,但它们对物理世界的理解和低层控制的能力其实有限。相比之下,视频模型在学习物理知识方面更有优势。比如,当视频模型看到开门、抓杯子这些动作时,虽然它的物理理解不算非常精确,但它确实掌握了不少物理相关的信息,也知道如何完成具体的动作。
举个例子,视频模型能够展示切菜的动作到底是什么样子,这在机器人执行具体任务时非常有帮助。而大型语言模型对真实物理过程的理解相对较少,比如当你问它“怎么从一个地方走到另一个地方”或者“怎么做饭”,它的回答往往缺乏物理细节,甚至对现实世界的理解比较浅显。
视频模型能直接利用视觉信息,这让它对现实世界的感知更直观,因此把视频模型和机器人技术结合起来,是一个很有趣且有潜力的方向。虽然现在这个方向的研究越来越多,但相比 LLM 或大规模多模态模型来说,关注度还没有那么高。不过我认为它的意义更大,也更符合机器人对环境感知和动作的需求。
12. 目前基于视频的方法有哪些?你们主要采用的技术路线又是什么?
目前常见的一类做法是:有了视频模型后,先用它去生成一些视频数据,然后再将这些数据喂入 VLA(Vision-Language-Action)模型中,希望借此提升下游模型的表现。
而我们的方法不太一样。我们更强调将video model直接作为planner来使用(Unipi)。具体来说,我们给定当前的一帧图像,由video model生成一段未来的视觉视频序列。根据这段预测视频,我们就可以推断出当前应该采取的动作。因为如果知道未来每一帧应该处于什么位置,那么规划出当前的动作其实是一个相对简单的问题,只需要通过controller进行解析。
所以我们的流程是:用video model做高层规划(video planning),然后通过一个闭环的控制器(closed-loop controller)执行这些计划,并在执行若干步后重新用video model进行一次新的规划。我们认为这种结构是更合理、更具前景的。
相比之下,目前很多其他工作要么是直接做video-based planning,要么就是让video model 用来生成数据,然后把这些数据作为训练样本提升其他模型的表现。但我们观察到,当前的 VLA 模型泛化能力仍然有限,控制策略的质量也不高。而通过video model生成的数据,其逆动力学建模(inverse dynamics modeling)也往往不够准确,因此这种“生成数据再训练”的方式效果并不理想。我们认为,直接把 video model 用作high-level planner是更合理、更有效的一条路径。
用video model去造data,是指利用视频生成模型去合成各种各样的机器人轨迹的图像数据。具体做法是先用video model合成机器人执行不同任务时的视频或图片,然后再用一个IDM(Inverse Dynamics Model)去对这些图像进行动作标注,从而获得包含视觉和对应动作的训练数据。这种方式可以扩展已有的数据量,用于训练更强的视觉-动作模型(如 VLM)。
关于智能的理解
13. 生成模型和机器人的交叉,如何共同服务于你对“智能”的理解?
我觉得智能或者AI,最终都离不开机器人这个载体。如果我们真的想实现真正的AI,这个AI必须能够在真实环境中完成各种各样的任务。视觉、自然语言处理、机器学习这些其实都是解决不同的小问题,它们都是大问题里的部分。
我认为最大的核心问题是:我们怎么才能打造出类似人类那样的、具备通用能力的 AI,也就是所谓的 AGI?这其实和如何造一个通用型的机器人是同一个问题,二者本质上是一致的。
所以我认为,通用机器人其实就是AI需要解决的终极问题。虽然距离真正实现还很远,很多细节和方法还不明确,但我觉得这是AI领域的最终目标。其他很多研究方向,其实都是这个终极问题里的子问题。
14. 语言和图像的智能实现了吗?
我觉得现在语言理解其实也不一定完全解决了。比如说,如果我把模型当作一个 agent,跟它说很多话,模型的表现其实并不是特别理想。它可以回答一句话的问题还不错,但如果我要跟它做多步交互,每一步都需要它做出反应,这时候效果就会明显下降。
视觉方面的模型情况更复杂。稍微复杂一点的文本描述,比如“椅子最右边有个桌子,桌子右上角有一杯水,水杯上面还有个碗”,这种细节丰富的描述,模型往往不太能准确理解。同样,如果我给模型一张照片,问它里面具体有什么,它的表现也不尽如人意。
所以我觉得无论是语言还是视觉,虽然现在有些模型看起来效果不错,但距离真正做到灵活、准确的理解和交互,还有很大的差距。
15. 通用机器人这个AGI的终局是否更遥远?
我觉得现在做通用机器人确实有点早。有时候这种情况有点误导人,大家会觉得只要收集了大量数据,训练模型做某个任务就能成功。但实际上,我们做了很多实验,甚至在 Google 期间,我们也尝试过一个Gemini robotics 项目,我觉得我们的VLA模型比别的确实强很多。
可是当我们在真实环境,效果却远没有预期那么好。这就说明了,虽然模型在某些指标上看起来不错,但距离真正能用的机器人系统还很远。所以我觉得现在很多创业公司去做通用机器人,可能还为时过早。
关于具身路线的探讨
16. 目前具身的路线选择上,哪些是短期内可以落地的路线?
从短期来看,我个人觉得如果用 video model 去做规划(planner)这类任务,是比较有潜力的。比如在制造业的工厂里,做一些相对简单的任务:比如用机械手把一个零件放进一个孔里,或者把几块东西组合起来,再把一个东西放到另一个物体上面。我感觉用 video model 在这些场景下效果应该不错。同时,也可以用 imitation learning 来训练决策策略,类似diffusion policy。这两种方式短期内都可能在这些简单任务上取得一些实际成果。
但我觉得像用强化学习(RL)去做这种问题,效果可能不会好。我们以前做过类似的尝试,发现如果你在模拟环境里硬编码了整个环境,那其实不如直接用示范数据(demonstrations)去做一模一样的问题,泛化能力非常有限。至于VLA这个方向,我的经验是对实际应用帮助不大,所以我也觉得那条路短期内不太现实。
17. 为什么这么看好用video model做 planner?
在传统机器人领域,我们有很多运动规划(motion planning)的方法。如果想做更通用、更具泛化能力的机器人,规划能力是非常关键的一环。我也参与了不少关于 diffusion-based planning 的工作,我觉得这是一个非常重要且有前景的方向。
18. 怎么看端到端VLA?
我觉得这个思路挺合理的,但我有个疑问:动作数据和语言数据其实非常不一样。你在训练时把动作数据和语言数据放一起,可能会丢失一些推理和因果关系的信息。我现在还没看到把大语言模型(LLM)直接应用到动作学习上有什么明显的帮助。
我认为这种路径其实存在问题。其实有很多不同的研究方向和方法,如果做创业,我觉得尝试其他方式可能会比简单复制VLA这种模式效果好很多。因为根据我的经验,这些VLA模型实际效果都很差,真的去试一试就知道了。
19. 为什么VLA效果差但很多人都在讲?
我觉得主要是因为大家普遍很信任大语言模型(LLM)的强大效果。虽然 LLM 在视觉方面的表现其实并不算特别好,但因为语言模型本身效果出色,他们认为把视觉能力和语言能力结合起来,应该会非常有用。
他们进一步把动作也加进去,这样模型不仅能理解语言和视觉,还能执行动作,听起来这个故事很完整,很容易让人信服。所以很多团队都选择走这条路线。但我的看法是,实际效果可能并没有那么理想,距离真正可用的系统还有差距。
20. 为什么不看好RL?
我觉得强化学习(RL)在机器人控制方面面临几个关键问题。
首先,很多环境里的reward设计并不理想。在locomotion上,我可以明确告诉模型每一步该做什么,这样 reward 是比较清晰的,RL也比较有效。但是在操作(manipulation)任务中,大部分步骤其实没有明确的reward,导致很难学到好的操作策略。
另外一个问题是状态空间。做locomotion时,观察到的状态维度很低,sim和real差异不大,所以基于RL的策略还能奏效。但做全身控制或操作时,物理差异大,状态空间也非常高,直接用RL从仿真训练到真实环境的效果很难保证。
最后,任务的horizon(时间跨度)也更长。locomotion可以每步给 reward,但操作任务往往要经过几千步之后才有反馈,这导致 RL 很难有效学习。
综上,这些是我觉得强化学习在机器人控制,尤其是复杂操作上的最大挑战。
尽管有人依然在尝试用RL解决操作问题,但尝试大多数还没真正奏效。通常他们只是在做一些非常简单的任务,比如让机械手抓一个立方体,然后转动一下。这样的任务 reward 设计比较明确,状态空间也相对简单,往往也不用复杂地操作整个机械臂,只是做一些局部动作。
所以目前强化学习在操作领域的应用,更多还是停留在解决这些比较简单的问题上。
21. 你认为目前通用机器人最大的问题是什么?
我觉得现在要解决通用智能的问题,关键点有好几个,但我认为还有更大的挑战。
首先,一个特别大的问题是现在大多数策略模型根本没有记忆。它们通常只根据当前这一帧的观测来预测动作,完全不利用之前的历史信息。举个例子,如果机器人在环境中走动,环境变化了,某个物体可能暂时看不到了,但模型没有记忆,它就“忘了”这个物体在哪里。现在的模型一般只在固定场景里工作,物体位置不变,所以没这个问题。但如果要做真正智能的机器人,必须有“记忆”,这点非常关键,但目前大家很少涉及。
第二个问题是快速学习能力。人类遇到新环境或新工具时,可以很快学会使用,而现有模型缺乏持续学习的机制,不能不断地吸收和适应新知识。
第三,在线学习也很重要。人其实大部分时间是在与环境交互过程中学习的,而目前很多模型训练和部署是分离的,缺少这种持续的在线适应。
最后一个我觉得同样重要的是感知的多样性。我们人类在操作时不仅靠视觉,还依赖触觉、力觉等多种感知信息。比如说做精细操作(dexterous manipulation)时,触觉和力觉特别关键,但目前这些感知信号很少被用到,这也是一个被忽视但非常重要的方向。
22. 记忆的问题和3D空间记忆是两个问题吗?
刚才提到的第一个问题——记忆,其实跟现在很多定位和导航系统里的空间记忆不太一样。比如自动驾驶汽车有三维地图记忆,但我说的记忆更多是动态和任务相关的。
举个例子:如果我想做操作任务,比如打开一个柜子门,然后翻找里面的东西,再把门关上。模型要怎么记住自己之前看过柜子里的哪些东西呢?你光用三维模型来记忆,很难做到这一点。因为三维地图只能告诉你空间结构,但它没法帮你记住“我在柜子里翻找过,那里没有我要的东西”。
所以,光靠三维空间记忆,往往是不够的。真正的智能体需要一种更灵活、更语义化的记忆,能够记住操作过程中发生的具体细节。
23. 怎么对比语言中获得的智能和从物理载体中获得的智能?
我的感觉是,如果你去看人的发展历史,其实我们花了大量时间在学习各种运动控制的技能,或者是在环境中学习物理规律等等。这些学习远早于语言的出现——语言其实只是在人类历史的最后一万年才突然发展出来的。也正是有了语言,才有了后来的所谓“智能”。
所以我觉得,从历史上看,人类的技能其实是在与真实环境互动中逐步形成的。如果我们要理解人的智能,可能真的需要先造出一个“聪明的机器人”。这就意味着智能本质上不是从语言中来的,而是从与世界的交互中来的。
现在大家很关注语言模型,但我觉得如果你仔细观察就会发现,这些模型其实并不真正理解物理世界。比如说,我给你几个物体,让你想象从一个地方把它搬到另一个地方,这类涉及物理因果的推理,当前的大语言模型往往效果都不太好。再比如,我给你几张照片,问你“我想把这个东西扔到那边,应该怎么做”,模型也常常回答不上来。
所以我怀疑:如果没有真正的物理世界经验,仅靠语言,我们真的能学到智能吗?尤其是当你希望一个模型完成一些长程、复杂的任务,比如持续进行十几步、二十几步的推理和操作时,现在的模型就会开始出问题。
我觉得,这类能力可能只有在智能体与环境进行真实交互时,才能慢慢学会。也就是说,要获得真正的智能,可能还是得回到物理世界,从生物或历史的角度看,这基本是绕不开的。所以,光靠语言模型,我看不太清楚它们能不能最终达到我们想象中的人工智能。我知道很多人在尝试这条路线,但在我看来,这种路径并没有那么清晰能通向“真正的 AI”。
24. 具身方向未来会有突破的环节
其实我也说不清楚下一个最大的突破到底是什么。如果我知道的话,我可能早就去做了(笑)。但我现在的感觉是,大家做的东西都太像了。我记得大概五年前,每次去开会的时候,每篇 paper 都挺不一样的,各种方向都有,每个人都在探索不同的思路。但现在感觉几乎全是跟 LLM 或者 diffusion model 有关的 paper,而且内容都很相似。
我自己是觉得,我们应该多去想一些不一样的方向,这才是最有意思的。现在很多人做研究都有一种共识,觉得只要把一个 LLM 或者 vision model套到机器人上,智能问题就能解决了。但我其实不太相信这条路是那么直接的。
这让我想到 2015 年、2016 年那会儿,大家也特别乐观,觉得“我们有 perception,有操作,加上点 RL,不就能搞定通用智能了吗?”但实际上一点都没那么简单。现在这波思路其实跟那会儿也差不多,就是把已有的模块往上一叠,以为就能跑通所有任务。我觉得稍微想一想就知道,这事可能没那么容易。
总的来说,我觉得现在很多人做研究的视角还是太近了,太关注当下已有的框架,而没有去往远处多看一步。
关于通用机器人研究方向的探讨
25. 为什么具身不火的时候百花齐放,反倒现在火了方向却单一了?
我觉得现在这种研究同质化的趋势,其实背后有几个原因。
首先就是,有太多公司在做这个方向了,特别是聚焦在 LLM + vision + action 这一套 pipeline 上。所以当你看到很多公司都在用这种方式出 demo、发 paper、拿融资,那大家自然也就会跟着去做。毕竟你身边的人都在做,而且你未来可能也想去这些公司,那你就更容易被这个风向带着走了。我觉得这是一个很现实的动因。
其次是现在发 paper 的环境也变得越来越卷了。你不做这些“热”的方向,比如不去堆一个 LLM + VLM,然后做个 fancy 的结果,别人可能就根本不会注意到你的工作。因为这个领域现在太大了,信息量又多,大家都只能看那些最显眼、最符合主流范式的东西。你做点冷门但其实有深度的研究,反而很容易被淹没。
还有一个更深层的问题是:这个 field 发展太快,人进得太快了,新人太多。这导致很多 lessons learned 没办法真正传下来。比如我们这一批人已经研究了几年,可能已经意识到某些方向其实并不好做,或者效果有限。但新进来的人还是会选择那些看上去最简单、最直接的路径去试,比如“我加一个 LLM,再堆点 data,就能出个结果”。
于是,这就变成一个循环:越来越多人重复去做那些“看上去最靠谱”的路线,但其实整个领域就被卡在那,缺少真正的进步。
所以我觉得问题挺复杂的,既有行业风向的影响,也有学术机制本身的推动,再加上整个领域扩张太快,大家都在试图追赶的时候,就很容易形成这种同质化的局面。
我觉得这是目前最大的问题,尤其是在最近这两年,特别明显。我经常会有一种感觉:怎么每个月看到的 idea 都一模一样,甚至三年之后还在重复这些东西。太多新的人进来了,他们可能没有太多积累,就会直接做出这些看上去“新”但其实是老的东西。
26. 对于新进入这个领域的同学,方向选择上有什么建议?
我一直觉得,做研究的时候可以选择一些没那么火的方向。写 paper 的时候我从来不是特别着急,也不太担心别人会不会抢发一篇跟我一模一样的文章。我觉得如果一个方向够远、够新,那你哪怕写完之后拖一年才投稿,这篇文章读起来还是有价值、有意思的。相反,如果是做特别火的方向,像神经网络这种,大家可能都在做同样的问题,那种情况下就很难保持差异化。
所以我一直觉得,做研究最好还是找个离大家远一点的方向。一个判断方式就是:假设我完全不读别人的 paper,也不关心当前的热点,我就按自己的思路探索一两年,最后写出来的 paper 还是挺有意思的,那大概说明这个方向够独立、够远了。
读 paper 的话,我也不觉得一定要追最新的。其实很多四五十年前的老 paper,包括早期 AI 和 model-based approaches 的经典书籍,里面有很多现在看起来仍然很有启发性的想法。我通常喜欢先读这些“老东西”,理解其中的本质,再去看一点新的工作。对我来说,很多传统的 AI 思路反而更有意思。
举个例子,Marvin Minsky 在 1960 年左右写过一篇叫Steps Toward Artificial Intelligence的文章。那篇文章里讲的方法,其实现在我们还在用。他提到可以做 learning——现在我们用的就是 neural network。他还说可以做 reinforcement learning、做 planning、做 search,甚至包括如何 update network。这些方法几乎就是我们今天看到的每一个热门研究方向。
很多现在看起来“新”的东西,实际上几十年前就已经有人系统性地提出来了。比如一年前 RL 还不火,现在又火了,其实早在很久以前就有人做了。说到底,只要你去读一些老一点的 paper,很多核心的东西其实都在那里了。
我反而觉得,真正能提出有价值创新点的,往往是那些对历史了解得更深、理解更透的人。而现在读新 paper 有时候反而看不到那么清晰的方向感,但如果你回头去看早期的一些工作,其实能学到非常多。
References:
Du Yilun个人主页:
UniPi: Learning universal policies via text-guided video generation
https://research.google/blog/unipi-learning-universal-policies-via-text-guided-video-generation/
Learning Generalizable Systems by Learning ComposableEnergy Landscapes
https://yilundu.github.io/thesis.pdf
Model-Based Planning with Energy-Based Models
https://arxiv.org/abs/1909.06878
Planning with Diffusion for Flexible Behavior Synthesis
https://diffusion-planning.github.io/
Diffusion Policy
https://diffusion-policy.cs.columbia.edu/
Steps Toward Artificial Intelligence
https://courses.csail.mit.edu/6.803/pdf/steps.pdf