返回机器人学习与基础模型(RFM)系列

机器人学习与基础模型(RFM)

GenDP:3D动态语义对Diffusion Policy泛化性的提升

从GenDP出发,讨论3D动态语义、通用操作与空间智能。

渣大米2025-01-0219 分钟阅读微信公众号原文
文章目录

Diffusion Policy(Diffusion Policy—基于扩散模型的机器人动作生成策略)是模仿学习领域近些年出现的非常有效的策略,继去年采访了Diffusion Policy的作者迟宬博士之后,我也计划基于Diffusion Policy的提升工作做一个系列,DP3+iDP3:如何利用3D输入提升Diffusion Policy的泛化性展示了将3D图像输入替代2D图像输入可以极大程度的提高Diffusion Policy的泛化性,GenDP: 3D Semantic Fields for Category-Level Generalizable Diffusion Policy则探索了在增加了3D语义信息之后,Diffusion Policy的性能将如何提升。

Diffusion Policy在执行复杂的机器人操作任务中表现出卓越的能力,但它们缺乏对几何形状和语义的明确表征,这通常限制了它们在未见过的物体和布局上的泛化能力。为了增强Diffusion Policy的泛化能力,GenDP提出了一个新的模仿学习框架,通过 3D 语义场融入明确的空间和语义信息,使用 3D 语义实现物体类别级别的泛化性(category-level generalization),同时更加强调语义理解(semantic understanding)的作用。

GenDP关于3D语义信息的理解基于另外一篇名为D3Fields: Dynamic 3D Descriptor Fields for Zero-Shot Generalizable Robotic Manipulation的工作。 D3Fields是一个将动态3D语义信息融入机器人操作表征的工作。在和GenDP和D3Fields一作汪怡暄的访谈过程中,他也详细的介绍了独立于模仿学习、强化学习、传统MPC之外的另外一条路径:Learned Dynamics+MPC,这条路径来源于汪怡暄的导师李昀烛。而汪怡暄在GenDP和D3Fields的两个工作,则融合了他老师的老师MIT Russ Tedrake教授组的Control和斯坦福李飞飞教授组的3D,这大概就是传承的迷人之处。

汪怡暄目前是哥伦比亚大学计算机科学系的博士生,师从李昀烛教授。在进入哥伦比亚之前,他曾在伊利诺伊大学厄本那-香槟分校攻读博士学位,并且获得了密歇根大学和上海交通大学的本科学位。希望以下文字,可以让你对加入3D语义信息的Diffusion Policy和Learn Dynamics+MPC有一些了解。

查看原文目录

以下为本文目录

👇

1. 关于GenDP

GenDP的核心思想

GenDP的效果如何?

如何获取3D语义信息——D3Fields

3. Learned Dynamics+MPC

D3Fields和GenDP的核心框架

Dynamics+MPC中的MPC

Dynamics+MPC中的Dynamics

Learn Dynamics+MPC属于什么范畴?

4. 空间智能

3D动态语义和空间智能

空间智能都包含哪些方面?

3D空间感知和通用机器人

1. 关于GenDP

GenDP的核心思想

原文视频演示

GenDP 之前,我们有一个名为 D3Fields 的工作,它的特点是能够在一个空间视角下(比如只有四个RGBD摄像头)实现 3D 场景的表征,并同时提供语义信息。这一过程无需训练专属的神经网络,速度也非常快。基于这个高效的表征能力,我们产生了一个想法:是否可以将 D3Fields与Diffusion Policy 结合,从而提升Diffusion Policy的泛化性能?

Diffusion Policy的一个主要问题是泛化能力相对有限。因此,我们希望通过结合3D和语义信息的表征,帮助其在泛化能力上取得突破。这是我们探索的起点。在过程中,我们尝试了多种方法,并发现如果将3D点云数据作为输入,同时融合语义信息通道,就能够显著提升Diffusion Policy的泛化能力。

这背后的动机很大程度上源自我们之前工作的优势:D3Fields的速度快、表征性能优越,非常适合用于模仿学习。而这些特点恰好可以与Diffusion Policy的需求相结合,从而推动这一方向的探索。

GenDP的效果如何?

GenDP更关注在未见过的物体上模型的性能表现,diffusion policy在已见环境和物体中表现不错,GenDP希望提高DP在未见过物体上的表现。我们提出的方案基于3D和语义表征。这种表征的优势在于,当面对不同物体时,如果它们在3D和语义上相似,模型的性能也会保持稳定,从而实现较好的迁移能力。例如,两个不同的杯子可能在我们的表征下被描述为相似的,这使得模型可以在不同物体间平稳地转移。

如果没有语义信息仅依赖几何表征是不够的,比如,如果想扶起一个倒置的可乐瓶,几何表征只能看出它是一个类似的瓶子,而无法区分瓶口和瓶底,可能导致机械臂错误地抓住瓶底,造成液体洒出;如果抓取一把刀,我们希望机械臂能抓住刀把而不是刀刃,而语义表征可以让模型区分刀把和刀刃,从而选择更安全的操作。

因此,我们的工作致力于解决两个核心问题:第一,如何在未见实例上实现良好的泛化能力;第二,如何通过语义信息增强几何表征,从而让模型不仅能适应新场景,还能在任务中表现得更加安全和智能。

如何获取3D语义信息——D3Fields

原文视频演示

我们的工作利用了之前的 D3Fields,一个显著的优势是它不需要额外的训练。只需按照常规的Diffusion Policy流程收集数据即可,不需要对模型进行专门的重新训练。语义信息的提取部分依赖于DINOv2,这是一个大模型,能够将图像中的每个像素映射到一个高维的特征向量。例如,对于一个杯子,它可以将杯子的把手部分和其他杯子把手的特征映射为相似的高维向量。通过这种方式,我们可以利用这些语义特征来更有效地表征场景和物体。

比如说在实际应用中,使用Feature Fields可以实现这样的效果:即从一张图片的某个目标位置找到整个场景中所有相似目标的位置。例如,当鼠标指向杯子边缘时,系统可以高亮显示场景中所有的杯子边缘;或者当鼠标指向叉子的把手时,它能够准确找到并标注所有叉子的把手。这种基于特征对应关系的能力使得我们可以更好地理解物体的语义信息,比如什么是“把手”,并在任务中利用这些信息。

这种语义信息需要一些简单的标注,对于同一类物体,只需要标注一次。这种标注过程非常简单,比如对于一个杯子,只需点击四个点即可完成,操作非常容易。之后的语义提取主要依赖单个 DINOv2 模型,通过它的强大能力自动处理剩余的部分,从而实现语义信息的提取和应用。

D3Fields的动机来源于以下观察:许多基础模型在某些任务上表现非常优秀,例如Segment Anything和DINOv2。这些模型在无需大量训练的情况下,就能展现出强大的性能。然而,它们的局限在于主要聚焦于2D图像相关的任务,而我们在机器人任务中需要对3D环境的理解。

以机器人任务为例,像是将一双鞋放到鞋架上,不仅需要知道鞋架在哪一层(3D空间理解),还要在动态环境中完成操作。生活中的任务往往是动态的,例如推开一双鞋或者完成炒饭这样的操作,它们并非静态场景。因此,一个好的Representation需要具备以下三个关键特性:第一,3D 空间理解(3D Understanding),能够理解场景的三维布局;第二,动态环境理解(Dynamic Understanding),能适应环境的动态变化;第三,语义理解(Semantic Understanding),例如摆放鞋子时,需要知道鞋头和鞋尾的位置,从而正确地对齐摆放。

基于此,我们设计了一个框架:通过多个摄像头采集观测数据,并利用基础模型提取信息,将这些结果融合到3D表征中,从而实现对环境的3D、语义和动态理解。这样的表征具有以下优势,首先它不需要额外训练,能够直接使用基础模型,实现即插即用;另外,即使在视角有限的情况下,仍能取得较好的效果。

相比去年同期的一些工作,我们的工作无需重新训练,也无需依赖密集的摄像头布局,就能获得一个高质量的三维表征。这就是 D3Fields 的核心理念,有了这样高效的3D表征后,我们可以应用于许多任务,比如对象检查和无需训练的零样本对象重排(zero-shot object rearrangement)等任务。这种方法不仅简化了操作,还拓展了其在实际场景中的应用范围。

3. Learned Dynamics+MPC

D3Fields和GenDP的核心框架:Learned Dynamics+MPC

D3Fields核心框架主要是训练一个dynamics model,并基于该模型进行规划。相较于流行的模仿学习和强化学习,dynamics model+MPC有许多独特的优势,例如针对一个新的任务,通过改变目标函数,机器人即可以通过解决优化问题来完成任务。除此之外,dynamics model+MPC更加的可解释。具体来说,dynamics model 的作用是预测给定当前的观察和一个动作后,未来的观察状态和物体状态会是什么样子。有了这样的模型,我们就可以尝试不同的动作,预测这些动作会导致的未来状态,从而找到最优的动作。通过解决一个优化问题,可以规划出最理想的 action。这种方法通常是将dynamics model与一个MPC框架结合使用。

这种方法的理论基础可以追溯到李昀烛老师的一些早期工作,尤其在可变形物体的操作上应用广泛。而GenDP则采取了更加传统的模仿学习框架,流程上比较常规:收集数据,直接通过模仿学习的方式训练模型,与其他模仿学习方法的基本流程类似。这种方式简单高效,但两种框架在特定任务上的适用性可能会有所不同。

我觉得他们的核心信息可以总结为几个关键点。第一个是如何高效地使用基础模型,在感知层面我们应用了Dino-v2和Segment Anything。第二个关键点是,我们不需要非常密集的观测数据。实际上,只需要四个RGBD摄像头就足够了。第三,我们不需要进行额外的训练。当你获得一个新的模型时,你可以直接替换旧模型,整个系统都可以继续正常运行,而且更新过程非常快速,不需要重新训练。

Dynamics+MPC中的MPC

MPC有很多种,最传统的MPC是依赖于明确的数学模型,比如已知输入x和输出y之间,这个之间的函数可以通过解析式表达出来。这个函数也可能是数据驱动的,我们通过收集数据来训练一个模型,让其学会在输入x的情况下预测输出y,这样的一个模型也可以被拿来作为MPC。我们就是后者。这也是李昀烛老师早期的一些工作中经常采用的方式:就是学习一个 dynamics,然后用学到的这个dynamics做MPC。

D3Field 采用的正是这种方法。具体来说,我们首先构建了一个表征(representation),然后展示如何利用这个表征来完成downstream task,在任务选择上,我们选择了Learn一个dynamics+MPC这样的方法。

Dynamics+MPC中的Dynamics

关于dynamics的问题,可以分为简单和复杂两种情况。最简单的dynamics可以用明确的方程式描述,例如在开车时,车辆的动态模型是直观的:踩油门会加速,踩刹车会减速,转动方向盘会改变车辆行驶的角度。这种情况下,车辆的行为可以通过数学模型直接描述出来。

但在现实世界中,很多场景的动态行为并不容易用明确的方程表达。例如,当你推动一根绳子时,绳子的运动是高度非线性的,很难用人为的方式直接写出完整的动态模型。同样,像捏面团这样的任务,形状变化也无法用一个明确的方程描述清楚。比如,当你捏一下面团,它的形状会发生变化,但这种变化很难通过公式预测。

对于这种复杂的动态系统,需要收集大量数据来训练模型。具体来说,通过记录多次操作过程,获取连续的状态变化数据(例如,上一帧面团的形状、捏的动作以及下一帧面团的形状),我们可以通过这些数据训练出一个动态模型。这样,当面团处于某种形状时,系统可以预测在某种捏合动作下它的形状会如何变化。这种方法被称为learn dynamics。

这个方法的思路可以追溯到李飞飞组的一些工作,比如RoboCraft和RoboCook都是基于这种框架:收集数据,训练一个dynamics模型,然后基于模型进行预测和规划。这种方法确实很有潜力,而且目前在学术界和工业界还不是特别拥挤的领域,仍然有很大的研究空间。

相比于模仿学习,这种方法在某些方面有显著优势。模仿学习在实际使用中会遇到很多问题,尤其是在训练和测试阶段。例如,在训练过程中,你可能会观察到loss曲线的变化,但根据大家的经验,这个loss和最终policy的表现往往没有直接关系。在实际测试之前,完全不知道policy的效果是好是坏。这种不确定性非常令人头疼。更麻烦的是,很多模仿学习的工作流需要不断采集数据、训练模型、测试效果,然后发现问题,再采集更多数据继续训练。这种循环效率非常低下,尤其是当问题复杂时,可能需要大量的数据,而你甚至不知道采集多少数据才够。

相较之下,基于dynamics的方法更具直观性和解释性。通过dynamics模型,你可以预测系统的未来状态,并将其与实际结果对比,直接判断模型的好坏。这种方式使得训练阶段就可以评估模型的准确性。此外,这种方法还可以用来进行更可解释的规划和控制。你可以明确知道生成某个action的原因,而不是像黑盒那样输出一个结果却无法理解其背后的逻辑。

实际上,dynamics model也可以理解成是一个world model,只是world model是一个更时髦的名字,之前大家都是叫dynamics model。它的核心理念是,通过学习世界如何变化以及与之交互时会产生什么反馈,建立对现实世界的理解。我认为这种方法非常有前景。一方面,它具有实际落地的潜力;另一方面,它也吸引了学术界和工业界的广泛关注。在探索如何通过dynamics模型或world model来实现更高效、更可解释的规划和控制时,这个方向仍有许多值得深入研究的空间。

Learn Dynamics+MPC属于什么范畴?

这套方法不属于RL或IL的任何一个范畴,某种程度上它算一点MPC。关于Locomotion,目前主流的方法是要么MPC,要么RL。但在Manipulation方面,我们也用MPC,但我们用MPC的方式和locomotion里面用的MPC是不一样的。在Locomotion中,机器人本体的某个动作可以通过施加的力和运动的角度、速度之间的关系精确建模,这些方程可以直接写出来。这种 analytical model 非常适合用于传统的 MPC 框架。

然而,在 manipulation任务中,MPC的使用方式就有所不同,我们会更多关注和环境交互是什么样子。比如,在操作面团或橡皮泥时,捏的动作会引起形状的变化,这种动态关系往往难以用明确的方程式描述。这种情况下,需要通过收集数据,训练一个 learned model 来学习这些复杂的动态行为。有了这样的模型之后,也可以将其用于MPC。这说明,MPC是一个非常通用的方法,只要有一个动态模型(无论是解析模型还是学习模型),都可以基于该模型来进行规划和控制。

总结来说,MPC的核心在于需要一个对环境或物体的动态理解的模型。这个模型既可以是由人手工写下的解析模型(analytical model),也可以是通过数据驱动学出来的模型(learned model)。一旦有了这个模型,无论是locomotion还是manipulation,都可以用来进行控制任务。

4. 空间智能

3D动态语义和空间智能

空间智能是一个非常广泛的概念,我们的工作和空间智能确实有一定的相关性。我们非常专注于场景的3D表征和理解。尽管2D表征有它的优势,比如直观、无需过多处理等,但在现阶段,3D表征展现了更大的潜力。

3D表征的一个重要价值在于它可以帮助我们构建整个世界的结构,比如了解世界的形状、位置坐标以及如何将多种信息与3D环境进行关联。这正是空间智能的核心部分:如何有效理解环境,并以什么样的方式对环境进行建模和表示。只有在具备良好环境表征的前提下,机器人才能具备相应的能力去完成复杂任务。

这也是我一直比较关注的研究方向,从D3Fields到GenDP都是围绕如何对环境建立高质量的3D表征展开。例如,我们最近的一项工作是通过建模一个scene graph(场景图)来引导机器人探索环境。这个场景图可以帮助机器人了解环境的布局,比如开柜子或探索物体所在的位置。这些任务都需要一个可靠的3D表征作为基础。

因此,我们的研究确实与空间智能紧密相关,从环境的三维表征到如何让机器人通过这样的表征去理解和操作环境,这始终是我们的核心方向之一。

空间智能都包含哪些方面?

我对空间智能的理解主要集中在几个方面。首先是语义的理解,比如说要知道物体是什么以及它的功能。以杯子为例,杯子的把手是可以用来抓取的,杯子本身可以盛水;又比如在削土豆皮时,需要知道皮可以通过刀削掉。这种理解属于空间智能中对语义的感知。同时,空间智能还包括对物体位置的理解。比如,要知道一个物体现在在哪里,如果移动后会去哪里,这种对空间位置的感知非常重要。另一个关键方面是动态理解,比如,在削土豆皮的过程中,当刀划过去时,土豆皮会与土豆分离;或者当推动一个物体时,它会移动到新的位置。动态理解的核心是预测环境在动作之后会发生的变化。

总结来说,空间智能主要包含三方面:几何、语义和动态理解。几何是对物体形状和位置的感知,比如如何以正确的方式抓取一个物体,知道它在空间中的具体位置。语义是对物体及其功能的理解,比如知道门的把手可以推开或者衣服可以折叠。动态则是对交互结果的预测,比如切割物体会导致分离,或者推动物体会改变其位置。

此外,这三个方向的理解并不是单一的,而是分层的。以语义为例,有高层次的语义,比如机器人需要完成“从车站买票上车并下车”这样的复杂任务,这需要它识别屏幕、车票并理解如何找到对应站台;也有低层次的语义,比如识别门把手并知道如何推门。同样,动态理解也分层次,比如高层次的动作序列预测和底层具体交互的即时变化。

3D空间感知和通用机器人

我对当前机器人智能的理解是,可能存在两种主流的解决方案或方向:一种是基于空间智能,通过对3D环境的理解来构建解决方案;另一种是,像PI,忘记3D,直接image in-action out ,采用端到端的方法,一个大模型来完成所有任务。

在我看来,虽然端到端的方法有很大的潜力,并且能够带来一些令人惊艳的演示,但它在短期内(比如五到十年)可能难以真正解决复杂的问题。尽管未来随着硬件(如GPU)性能的进一步提升,它或许会取得更好的表现,但目前仍然需要对3D环境有更明确的理解来支持复杂任务。

举例来说,如果机器人进入一个新的环境(比如家里或公共场所),并被要求完成一个任务,比如帮忙拿一瓶水,它需要知道水的位置,记住茶水间的具体方位,找到茶水间,然后导航过去。这个过程需要它在环境中建立空间记忆,并通过3D表征来定位和规划。如果没有这种空间理解,机器人仅依靠当前的观测很难完成导航和定位,更不用说动态任务了。

此外,完成任务的过程中,机器人还需要动态记忆。例如,打开柜子寻找物品时,它需要记住哪些柜子已经打开,哪些柜子打不开,以及每个柜子中存放的内容。仅靠端到端模型很难实现这种长时间的动态交互和记忆。

虽然端到端模型在很多场景下非常有用,但将所有计算负担都放在这种模型上是不现实的,也没有必要。比如,SLAM(即时定位与地图构建)技术已经非常成熟,可以高效地实现环境的建图和定位。如果利用现有的地图和模型来完成导航,比完全依赖一个大型端到端模型更有效率。

此外,大型模型处理长时间任务的能力目前仍存在局限性。以GPT类模型为例,尽管它在语言任务中已经能处理很长的上下文,但视觉任务的上下文规模远远大于语言任务。比如,一张 128×128 的图像就有1万多个像素,视频任务中每秒10帧则意味着每秒需要处理十万个像素,若任务持续三分钟,处理量将达到千万级别。这远超当前大模型的上下文处理能力。

因此,把所有计算都依赖于end-to-end模型并不现实。我倾向于认为未来可能会是两种方式的结合:一种是基于3D表征和空间智能的解决方案,用于建立环境理解和定位;另一种是在特定任务中,利用 end-to-end 模型来解决某些具体问题。这种组合方式可能是短期内更可行的方向。当然,这只是我目前的一些猜测,未来可能会有更进一步的发展。

References:

D3Fields

https://robopil.github.io/d3fields/

GenDP

https://robopil.github.io/GenDP/

汪怡暄主页

https://wangyixuan12.github.io/

李昀烛在mpc+dynamics的代表性工作

https://hshi74.github.io/robocook/

http://dpi.csail.mit.edu/

石麻笔记 · 机器人学习与基础模型(RFM)