返回机器人学习与基础模型(RFM)系列

机器人学习与基础模型(RFM)

DP3+iDP3:如何利用3D输入提升Diffusion Policy的泛化性

讨论DP3、iDP3、3D视觉输入与机器人策略泛化。

渣大米2024-11-2516 分钟阅读微信公众号原文
文章目录

最近半年我发现越来越多的创业公司在尝试Diffusion Policy,很多人也提到我当时的访谈记录Diffusion Policy—基于扩散模型的机器人动作生成策略很有帮助,我也非常开心能够将最前沿的学术成果以更通俗易懂的方式让更多人了解。前段时间RSS 2024有一篇文章3D Diffusion Policy,它在Diffusion Policy的基础上,用3D视觉信息代替2D视觉信息做输入,使得策略的泛化效果大幅提升。

我很荣幸邀请到DP3(3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations)的一作迮炎杰来聊一聊DP3。我也邀请了DP3的指导老师许华哲对3D数据来源和DP3与大模型的结合做了补充。

在DP3的基础上,迮炎杰做了一些改进并将这个策略部署到人形机器人上,进一步提出了iDP3(Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies)。跟过去需要多个场景的数据才能泛化的Diffusion Policy不同,iDP3仅仅使用一个场景的数据就把人型机器人的操作泛化到了很多现实场景。我们也将在这篇文章一起呈现DP3和iDP3这两个工作。

许华哲是清华大学交叉信息研究院(IIIS)的助理教授,在此之前,他曾是斯坦福视觉与学习实验室(SVL)的博士后研究员,师从吴佳俊教授,博士毕业于伯克利人工智能研究中心( BAIR),导师是Trevor Darrell。他目前也是国内具身智能创业公司星海图的联合创始人。

迮炎杰目前是斯坦福大学计算机科学专业的一年级博士生。他的研究主要集中在构建通用机器人智能。他在上海交通大学获得了计算机科学的本科学位,在本科期间,曾与王小龙和许华哲两位老师合作。

查看原文目录

以下为本文目录

👇

1. 3D Diffusion Policy方法简介

2. 2D和3D的Encoder有什么区别?

3. 3D和2D在获取难度和训练效率方面如何比较?

4. 3D数据和2D数据在规模化的角度如何对比?

5. 互联网数据如何帮助到Diffusion Policy?

6. DP3在物体感知方面比DP有提升吗?

7. 为什么选择多指?

8. 关于仿真和现实世界

9. iDP3和DP3相比改进在哪些方面?

10. iDP3没有用到任何仿真吗?

11. 关于数据采集

12. 许老师的一些补充

1. 3D Diffusion Policy方法简介

Diffusion Policy的效果确实很好,但它的输入是2D的图像,从而导致在有限数据下,策略的泛化性能并不好。我们想到如果用更丰富的视觉信息(比如3D信息)来提升模型的感知能力,是否可以进一步提升Diffusion Policy的泛化效果。

我们首先进行了一项简单的思想实验,想验证3D数据是否对任务有帮助。我们设计了一个简单的实验,用一个有小爪子的机器人来达到空间中的某个目标点。我们提供了五个训练数据,让机器人学习如何达到这些点,然后在1000个不同的目标点上进行测试。

实验结果显示,当我们使用3D数据时,机器人对空间的感知能力显著提高,能够更好地达到均匀分布在空间中的目标点。而使用2D数据时,机器人只能在某个平面上聚焦,无法在整个空间内均匀分布。这证明了3D数据在空间理解上的优势。

原文视频演示

基于这个实验,我们进一步探讨了如何设计3D部分的模型。起初,我们尝试了复杂的网络结构和额外的损失函数来进行学习,但最终发现,简化后的模型效果也足够好。我们只保留了一个简单的编码器,将3D数据输入后,能够高效地进行处理。最终,我们去掉了所有不必要的部分,仅保留了一个核心,即输入需要是稀疏点云,模型结构是几层线性加几层非线性的MLP。这种简化的设计在实验中表现良好,能够在多种任务和泛化实验中取得不错的效果。

这一模型被命名为3D Diffusion Policy,我们认为它需要承担得起这个名字的重量,即作为Diffusion Policy的3D版本提升。复杂的模型比较容易在单一benchmark上过拟合,而我们追求的是在所有task的通用性,就像原始的Diffusion Policy那样。因此,在设计过程中,我们尽量极简化了模型,也因此在很多task上都取得了通用性。

2. 2D和3D的Encoder有什么区别?

我们需要先理解图像处理中的2D数据和3D数据的区别。2D图像可以看作是一个高度(H)乘宽度(W)的矩阵,而3D数据则不同,它不仅仅是一个矩阵,而是一个由Voxel(小方块)组成的立体结构,可以想象成一个魔方。当然,关于3D该如何表征在学术界仍然是一个热点话题,比如近年的NeRF和Gaussian Splatting。在这个研究中,我们采用了一种高效而且经典的表达方式—,即点云。我们把世界表征为一种无序的点集合,即每个点代表世界中的某一位置,这些点可以随机排列。

对有视觉背景的人来说,可能已经熟悉2D和3D数据处理的区别。我们的研究重点是处理无序点集合,因此我们不能直接应用2D图像处理的方法,不能使用传统的卷积操作。关于如何处理无序点集合,有很多研究讨论了这一问题,比如PointNet等经典方法。这些方法有一些核心设计,而我们的研究对这些设计进行了简化,仅保留了最核心的模块。通过这种简化,我们能够更高效地处理3D数据,同时保持较好的性能。这种方法不仅让模型变得更简洁,也更容易理解和应用。

3. 3D数据和2D数据在获取难度和训练效率方面如何比较?

高质量的3D相机的价格确实比2D相机要贵一些。但是,他们采集同样的数据所需的时间是一样的。比如,你需要采集机器人抓取物体的数据,只需多花点钱买一个好点的相机,就能提高数据质量。虽然高质量3D相机的成本较高,但使用3D技术能减少所需的数据量。例如,你在2D条件下可能需要采集一两百条数据,而在3D条件下可能只需要十几到二三十条数据。从这个角度看,3D数据采集更高效,需要的数据量更少,因此3D在这方面优于2D。

众所周知,在现实世界中获取高质量的3D信息是一个难题。举个例子,我们在论文中使用了RealSense L515相机,它能够提供相对准确的点云数据。如果换成另一种更常用且便宜的D435相机,它只能提供大致的深度信息,但深度的准确度较低,导致点云质量很差。如果用D435相机运行我们的算法,会发现其在现实世界中的效果不如预期。

4. 3D数据和2D数据在规模化的角度如何对比?

从数据规模化的角度,比如利用互联网上的数据集,2D数据具有明显优势,因为互联网上有大量的图像数据,而3D点云数据则相对稀少。然而,是否意味着3D数据无法实现规模化呢?也不尽然。目前视觉技术在不断发展,很多研究已经在利用图像来进行深度估计和点云生成。例如,今年的CVPR会议上,有些论文展示了仅通过一两张图像就能生成高质量的3D数据。从技术发展的角度来看,3D数据在未来具有很大的扩展潜力,并且随着技术的进步,也有望实现规模化。

5. 互联网数据如何帮助到Diffusion Policy?

如何利用网络数据来辅助机器人学习也是一项重要的研究课题。一个比较简单且常用的方法是,将这些数据用于自监督预训练,来预训练视觉编码器。这是一种非常普遍和常见的方式。具体来说,Diffusion Policy可以大致分为两个部分,在我们的论文中也提到过:一个是视觉感知部分,另一个是决策部分。视觉感知部分可以通过图像或视觉数据进行预训练,从而利用互联网数据。而决策部分则需要具体的动作信息,这类信息无法从网络数据中获取,因此很难通过网络数据来提升决策部分的性能。

6. DP3在物体感知方面比DP有提升吗?

现实世界非常复杂,变化多端。比如光照条件会有所不同,物体也会有变化。比如每次用饺子皮重新捏,形状都不一样。即使位置稍微不同,在图像中可能只是小小的变化,但对机器人来说,却可能找不到确切的位置,因为它无法准确知道在XYZ轴上的具体位置,只能看到图像中的轻微平移。

原文视频演示

此外,光照的变化也会产生影响。比如早上录制的视频,如果在下午再测试,结果可能会有很大不同。这些现实世界中的变化使得我们的方法在这些场景中更具优势和适应性。核心点在于加入了3D信息,使得对世界的感知更清晰。

7. 为什么选择多指?

不同人有不同的看法。有些人认为用两指或三指已经足够了。但是我们选择使用多指,因为我们认为机器人应该像人手一样灵活,可以做各种不同的任务。所以我们的任务是尽量找一些比较难的操作,比如用两指卷东西,这种操作很难做到柔性。还有,比如去抓取一个大物体,用两个手指肯定抓不住,只能用多指。

在个人的研究方向上,选择3D和选择多指是类似的思路,我觉得多指是长远来说更好的,因此想要更多研究多指的操作。我个人更喜欢追求更大的目标,并尽力将其实现,而不仅仅是重复已知可行的工作。和2D数据相比,3D数据未来的潜力更大。虽然现在3D数据采集困难且硬件成本高,但我认为它有更广阔的前景。关于多指操作,现在可能还不如两指的灵巧,但随着技术进步,已经有许多技术能够实现高度灵巧的操作。

8. 关于仿真和现实世界

我认为从这个项目中我得到了一个感觉,那就是现实世界非常复杂,而仿真则非常简单。然而,许多学术界人士可能会更偏向于在仿真环境中快速测试想法,而不在真实世界中设计和验证奖励机制。许多其他研究者也会从仿真开始他们的工作。我认为这种方法当然没有错,因为仿真确实更加方便,并且可以避免机器人研究中的实际挑战。但对于一个更注重机器人学的研究者来说,仿真过于简化,无法完全反映现实世界的复杂性。真正对机器人有用的算法必须经过大量在现实世界中的验证。这也是为什么我们后来又提出了iDP3,一个在现实世界大量验证的算法。

我对DP3不太满意的地方在于,它对点云感知的质量要求太高。正如我之前提到的,L515采集到的点云比D435的质量高,对应的模型效果也好很多。这是目前机器人学的一个重要挑战,假设你处于一个完美的仿真场景中,所有的条件都已经设置好,那么在这种理想情况下进行模拟可能会相对简单,你只需考虑如何进行规划。但在现实世界的大多数场景下,要想获得这样高质量的感知输入是非常困难的。我们期望不论使用何种3D采集终端,都能产生类似的效果。最理想的情况是,即使不使用3D终端,而是使用2D终端,通过算法获得3D信息,也能产生同样好的模型效果。

9. iDP3和DP3相比改进在哪些方面?

在DP3的基础上,我们提出了改进版的DP3模型,并将它部署到人形机器人上,并在实验室环境下完成一些操作任务。

原文视频演示

iDP3在人形机器人上的部署效果

结果显示iDP3在真实机器人的操作部署方面有很好的泛化性能,包括视角泛化、物体泛化和场景泛化。

原文视频演示

视角泛化

原文视频演示

物体泛化

原文视频演示

场景泛化

和DP3相比,iDP3在方法上主要有两个改进。第一个改进是将世界坐标调整成以机器人为中心的坐标系,DP3的缺陷是需要进行坐标校准,即在世界坐标系下标定相机坐标。iDP3我们做了一个改进就是将相机的坐标系从世界坐标转换为相机自身的坐标系,这个视角的改变让这个坐标以机器人为中心,而不是以环境为中心。这意味着当环境发生变化时,对系统的影响会显著降低,这也是我们在多种方法和场景中展示其适用性的主要原因。

原文视频演示

Ego Centric视角

第二个改进点是,在引入上述调整后,策略学习(policy learning)的难度有所增加。在这里,我借鉴了When Do We Not Need Larger Vision Models?这篇文章的一些思路:我们可能并不需要更大的视觉模型,而是通过提升输入图像的分辨率来提高效果。有时比起增加模型的复杂度,直接放大图像分辨率反而更有效。因此,在我们的设计中,我并没有选择去扩展视觉编码器,而是专注于提升数据的质量。

10. iDP3没有用到任何仿真吗?

最开始在搭建遥操作系统时,我们用过一些仿真。在数据采集、训练和测试时完全依赖真实环境,没有再使用仿真。因为整个过程和仿真环境下的操作是完全不同的,尤其是机器人在现实世界中的运动和交互,都会受到许多因素的影响,这些在仿真中很难完全复现。因此,我们直接在实际环境中进行测试,以确保数据的真实和可靠性。

在模型搭建好之后,需要将其部署到实际的机器人上进行测试。每天的工作基本上是一个不断迭代的过程,可能我们进行了几百次的循环,不断采集数据、测试,并根据反馈调整。每次反馈都会帮助我们识别问题所在,可能是算法的bug,也可能是pipeline的设计问题,或者数据本身存在问题,甚至可能是操作人员或硬件出现了问题。

11. 关于数据采集

采数据这个过程的主要难点在于机器人无法像人类一样直观地理解环境。举个例子,当你佩戴 Vision Pro 时,眼前呈现的是机器人所看到的画面,他展示的画面并不像人眼那样高清且是实时图像。我们使用的是单目相机,它只能提供一帧图像。你试图让机器人抓住前方的物体,但你很难准确知道它是否成功抓取。这就需要非常高的熟练度,因为这个过程不仅仅是操作上的挑战,还有视觉反馈的准确性。所以整个遥操系统做的非常符合人的感受以及丝滑是很关键的。

12. 许老师的一些补充

3D vs 2D

3D 信息确实有很大的帮助,但具体以什么样的形式输入仍然是个未知领域。例如,在 DP3 中使用的是点云数据,而我们最近尝试使用深度图,效果也表现得不错。实际上,在很多情况下,这两者在性能上并没有本质区别。不过,整体来看,3D 信息的引入确实比单纯使用 2D 数据效果更好。

从长远来看,我认为 3D 信息可能可以从 2D 数据中推导出来。当我们拥有足够的 3D 数据时,通过 2D 数据就能重建出 3D 信息。这种方法可能依赖生成式模型等技术,未来的潜力非常值得期待。

3D数据来源问题

3D数据确实比较少,它的总量相比2D数据小了很多个量级。虽然激光雷达是一个选项,成本也在逐渐下降,但深度相机可能更常用一些。不过,如果要进行大规模的3D数据采集,确实会很困难。这也是为什么我认为,从长期来看,2D到3D的转化可能会更有意义。毕竟,海量的2D数据早已存在,尤其是网络上已经有大量的视频资源。与其直接采集3D数据,不如利用现有的2D数据生成3D信息。

虽然2D数据生成3D信息会存在一些偏差,但我认为这种偏差是可以通过策略(policy)来拟合的。也就是说,生成的3D数据虽然是基于估算的,有一定的误差,但我们人眼看到的东西本身也存在偏差。对于操作任务来说,有偏差并不是什么大问题。只要策略能够意识到这种偏差并进行调整,我觉得是可以的。

DP3与具身大模型如何结合?

DP3在刚提出时,并没有明确与这种具身大模型的范式结合,它本质上是一种模仿学习的方法。以Sergey提出的机器人基础模型框架来说,他的核心思想可以理解为,用少量数据直接进行模仿学习,数据效率并不高。而通过预训练后,数据效率和成功率都会有所提升。不过,目前来看,在新范式的框架下,这种diffusion head(扩散头)在post阶段的应用可能会更有价值。关于具身大模型可以参考RFM EP01:Pi和π0具身基础模型。从未来趋势看,构建和依赖强大的基础大模型仍然是非常必要的。

怎么理解Diffusin Head

比如说,在 Pi 模型里,它的基础模型是 VLM(基于PaliGemma,PaliGemma 是一个开源的VLM)。VLM 的输出有点像 GPT,它本身并不直接输出动作。那么问题来了,怎么让它生成动作呢?这里我们会加一个叫 action expert 的小模块,接在 P 模型(PaliGemma)的后面。

这个 action expert 是怎么工作的呢?它不是直接把自己的参数塞进PaliGemma 模型中,变成一个大模型来输出动作,而是通过一种 "注意力机制"(attention)去关注PaliGemma的参数。简单来说,action expert 就是“看着” PaliGemma的参数,根据这些信息生成具体的动作。

那这个 action expert 的训练目标是什么呢?用的是 diffusion 方法,更具体来说,是一种叫 flow matching 的目标。当然,diffusion 方法还有其他变种,比如 DDIM、DDPM 等。

至于为什么要用 action expert 这种小模块,而不是直接把所有东西整合进一个大模型,我猜测原因有几点:第一,如果直接整合到大模型中,训练速度会非常慢,而且参数量会变得很大。第二,这样的大模型效果反而不如单独使用一个 action expert 模块。第三,小模块更轻量,训练起来更容易,效果也更好。

References:

DP3

https://3d-diffusion-policy.github.io/

iDP3

https://humanoid-manipulation.github.io/

迮炎杰主页

https://yanjieze.com/

许华哲主页

http://hxu.rocks/

PaliGemma

https://arxiv.org/abs/2407.07726

石麻笔记 · 机器人学习与基础模型(RFM)