返回机器人学习与基础模型(RFM)系列

机器人学习与基础模型(RFM) · EP03

RFM EP03:清华RDT及具身大模型框架对比

围绕RDT-1B,对比Octo、HPT、π0与Diffusion Policy等模型框架。

渣大米2024-12-1621 分钟阅读微信公众号原文
文章目录

在Robot Foundation Model(RFM)系列,我们已经介绍了Pi0RFM EP01:Pi和π0具身基础模型和OctoRFM EP02:Octo,今天这期文章,我们将介绍一个国产具身大模型Robotics Diffusion Transformer (RDT) 1B: A DIFFUSION FOUNDATION MODEL FOR BIMANUAL MANIPULATION),这是一个基于Diffusion Transformers (DiTs)的双臂操作扩散模型。

今天这篇文章主要来自于对RDT 1B的一作刘松铭博士的访谈记录,除了了解RDT 1B本身的特性外,我也和刘博士咨询了关于目前几个主流的机器人大模型在模型框架上的区别。值得一提的是,RDT的两位一作刘松铭博士和吴凌轩博士以及其他共同作者都是清华大学计算机系朱军老师组里的学者,RDT的效果也得益于他们组里丰富的大模型开发经验。在当下的具身智能领域,其实非常需要有大模型能力的人才和科研成果融合到机器人领域,期待这个融合的过程加速。

查看原文目录

以下为本文目录

👇

1. RDT-1B介绍

2.RDT模型框架

3.RDT和与OCTO/HPT模型结构的区别

4.RDT和ACT/Diffusion Policy模型结构的区别

5. RDT与Pi0的对比

6. tr+df head vs. tr for diffusion

7. 一些问题

1. RDT-1B介绍

RDT-1B是一个具有 12亿参数的机器人大模型,是目前针对机器人操作领域最大的基于扩散的基础模型。它在目前规模最大的多机器人数据集集合上进行了预训练,涵盖 46个数据集和超过100万段操作记录。

为了增强其双臂操作能力,我们在 ALOHA双臂机器人上收集了6000多段操作记录(这是迄今为止最大的双臂数据集之一),并用于模型的微调。RDT-1B在灵巧性、零样本泛化能力和小样本学习方面树立了新的标杆。该模型支持几乎所有现代机械臂的控制,包括双臂系统、关节控制、末端执行器(EEF),甚至还支持轮式运动。

原文视频演示

我们工作的一个显著优势在于,我们专注于双臂任务。这是一个非常难的领域,之前几乎没有团队能在双臂任务上取得突破。目前大多数机器人大模型包括谷歌的RT系列,字节的GR系列都是单臂任务。而我们是目前唯一一个明确针对双臂任务进行研究并取得实际效果的团队。这一点,是我们的核心竞争力。双臂任务的动作空间维度更高,相当于翻了一倍,这导致其分布更加复杂。正因为我们设计了适合处理这种复杂性的结构,使得我们的模型可以成功应对双臂任务。动作本身是受非线性物理规律约束的。在这种条件下,双臂任务就更加有挑战性,因此他们选择不做双臂任务也是可以理解的。

RDT任务成功率相较于之前的一些基线模型,比如 OpenVLA和OCTO,都有明显的提升。至于HPT,我们没有测试,因为它和我们是同期工作——HPT大约在9月30号发布,而我们那时候已经交稿了。所以没有机会对比,也不清楚它的具体情况。Octo和HPT在实现上有许多相似的地方,本质上是一类方法的不同代表。从这个角度来看, HPT的表现会和OCTO有类似问题。而我们实验中发现,OCTO的效果其实并不理想。

至于成功率,他的评价维度有很多角度,如果复杂和简单的任务放在一起,我们的平均成功率可以到60%-70%。是目前效果最好的。

2.RDT模型框架

我们这个工作主要是探讨如何在已有数据的基础上进行更高效的训练,因此,我们选择了使用Diffusion模型与Transformer的结合结构,这种结构在文生视频中有广泛应用,特别是DiT (Diffusion Transformers)和UViT(a Vision Transformers)模型。我们将这些模型迁移到具身场景,希望能够展现出类似文生图和文生视频中的可扩展性。为此,我们做了一些调整和训练,使得模型能够在不同机器人的数据上展现更大的效率。我们的工作主要集中在模型设计和异构数据训练这两个方面。

RFM EP03:清华RDT及具身大模型框架对比 · 原文插图

3.RDT和与OCTO/HPT模型结构的区别

有相似之处,但也存在一些区别。HPT和OCTO采用的Transformer结构,整体上是以Transformer为主干,加上Diffusion head或MSE head,这种做法和我们的有两点不同。首先,他们的Diffusion仅在较小的head上发生,而我们的整个主干网络都用来做denoising。我们会认为较小的Diffusion head会极大限制地模型对多峰动作分布的表达能力。Sergey教授在最近的talk中也提到了这一点,称这是他们在Octo中做的不好的地方。因为它在某些情况下无法充分表达动作空间中的复杂分布,尤其是多峰分布的问题。因此,我们更倾向于整体采用Diffusion结构,类似于视频模型和图像生成模型,这样可以最大化模型的生成能力。

有些人可能会担心Diffusion模型在采样时可能会比较慢,或者说采样速度较慢会影响生成质量。但在我们的实验中,这种担心并没有显著体现。我们采用了一些推理加速方法,使得模型的处理速度相当快。未来,加入Diffusion Distillation相关的技巧,进一步提升推理速度,甚至可以做到1步采样(完全解决采样速度的问题)。在当前的情况下,推理速度不是问题,至少不会比自回归模型或传统Transformer模型差。关于Diffusion模型的优势,我认为它在loss计算上非常高效,能够从连续空间中采样,这种方法比其他方法更能有效建模复杂的分布。

与OCTO和HPT的模型结构的另一个不同之处在于,他们都希望在不同的机器人本体上训练独立的encoder/decoder。例如,HPT可能认为训练一个主干网络就足够了,对于不同机器人的不同动作空间训练不同的encoder/decoder。这种做法有一些问题。首先,HPT直接将图片等数据作为token输入Transformer进行self-attention计算,这会带来较大的计算开销,会比Diffusion Model慢很多,特别是在处理图像时,token数量比动作token要大很多。如果同时涉及多个传感器,可能会有几百甚至上千个token,此时进行self-attention计算时复杂度会呈平方增长,计算效率较低。相比之下,DiT结构采用的是cross attention,主体是action token,action token数量较少,通常只有几十个,这样与视频或图像进行cross-attention时,计算量会大大降低。

如果为了不同的动作空间训练不同的encoder。那么会导致不同机器人的动作空间是不同的。要利用好不同机器人的数据,从不同机器人中学习到共享的物理规律,就需要把这些不同的空间进行对齐。现在还没有明确的对齐策略。有可能需要不同机器人在相同场景做相同任务的pair-wise数据,但这样的数据显然是非常稀缺的。作为对比,我们的encoder、decoder和每一层网络都是在不同机器人中共享的,自然就是在统一的空间下学习,更容易学习到共享的规律。

再谈到HPT的一种做法——通过不同的encoder来训练不同的本体和结构。这种方法需要足够的数据量才能学习到不同本体的编码格式,而数据量不足时,这种方式会遇到困难。语言模型的成功依赖于足够的数据来学习灵活的编码格式,而在具身任务中,不同本体的数据量可能差异很大,特别是一些机器人可能没有足够的数据来学习合适的编码。

在我们的模型中,我们选择了一个更为统一的数据格式,这样可以让不同的机器人都能兼容。我们曾经认为这种做法很难,但事实上,它并没有我们想象的那么复杂。特别是在机械臂的动作空间并没有我们想象的那么复杂,很多动作的维度实际上是固定的,物理意义明确的。通过设计一个通用的格式,机器人就能够更容易地学习和理解这些动作的物理意义,而不需要去推断这些维度的含义。这样做能够减少模型在学习过程中的不确定性,提高学习效率。

此外,我们不对每个机器人单独做归一化,而是统一地处理所有的机器人的动作空间。这样也是为了避免不同机器人的空间不一样。此外,我们发现大部分机器人的物理量都是有明确的意义的,彼此间其实在scale上区别不大,例如末端夹爪的空间位置大家都不太可能会超出±3米。所以这样处理其实问题不大,不同数据集的物理意义可以明确表示。比如,0代表静止,1代表每秒一米,位置的0代表原点,1代表一米等。这些物理意义在机器人之间是统一的。因此,选择合适的单位后,不同机器人之间的数据能够协同作用,提高模型的效果。相比之下,做归一化会破坏这些物理意义,尤其是在数据量很小的情况下,归一化的效果反而可能适得其反。

4.RDT和ACT/Diffusion Policy模型结构的区别

模型框架的区别在于,对于ACT或者Diffusion Policy这类模型来说,他们是不会输入语言的,而且他们不会涉及混合的数据训练,也不会涉及多任务学习。Diffusion Policy,他们能想到用diffusion来做动作生成这件事不难,难得是他们把效果做的比较好,向人们证明了这条路可以走的通。所以他们提出的模型结构不那么重要,因为这个是可以改的,他们更重要的是提出了我要用这个模型做这个东西,比如我要用VAE或者用Diffusion Model来做这些东西,然后后面的人再去改结构,让他更加的scalable,或者加上更丰富的数据模态,和更多的机器人任务。

关于Diffusion Policy,Diffusion模型的优势在于,它在高维连续空间中进行采样的能力非常强,action满足了这一点,虽然它的维度不像图像那样高,但仍然算是高维的,这使得它能够较好地建模这种高维空间中的概率分布,建模的也更加精细。Diffusion模型的劣势是采样速度较慢,但在action任务中,这个问题并不显著。因为action的维度本身并没有那么高,因此对action来说,它采样速度不会很慢,同时在建模上具有很强的能力,它能够很好地建模diversity(多样性)和质量。这也是为什么Diffusion模型在文生图像和文生视频领域非常成功的原因,它的效果明显优于其他的概率生成模型。因此,Diffusion模型在action任务中也能够取得不错的结果,这并不是一件特别难以理解的事情。

至于ACT,它采用的是另一种方式,主要是用VAE来建模。VAE也算是一种比较强的模型,但它也有一些缺点。特别是在采样质量上,VAE往往不如Diffusion模型,因为VAE在某些假设上存在问题。比如,VAE需要假设高斯潜在变量,这使得它在建模连续分布时存在一定的局限性。很多理论研究也讨论过这个问题,为什么VAE在建模分布时容易出现模糊,diversity也比不上Diffusion模型。

VAE在图像建模时已经有了这些问题,在action任务中同样会面临类似的问题。它的精度不够高,导致它的性能不如Diffusion模型。实际上,生成模型领域有很多关于VAE和Diffusion模型的讨论。我自己也在论文中探讨过为什么没有选择VAE,原因类似。我认为,如果有研究人员专门对具身任务做VAE与Diffusion模型的理论对比研究,会是一个非常有趣的课题。

5. RDT与Pi0的对比

OCTO 和 HPT 都是较大的 Transformer 模型,其结构类似于自回归模型,比如 GPT 的那种结构。它的输出是一个 token,然后这个 token 会接一个 Diffusion Head 进行解码。也可以理解为,Diffusion 网络会以这个小的 token 为条件进行计算。这种 Diffusion 网络通常很小,可能只有几十 M。

另一类方法,比如 RDT 和 Pi0,和 OCTO 类方法的主要区别在于它们的核心计算分布。RDT 和 Pi0 的主要计算量集中在较大的 Diffusion 网络中。比如 Pi0 的 Diffusion 网络大约有 600 多 M,而 RDT 的网络达到了 1B 参数规模。这种设计通过增加 Diffusion 网络的规模,显著提升了模型的表达能力。

相比之下,OCTO 和 HPT 的 Diffusion Head 很小。这种设计虽然简化了 Diffusion 部分,但我们发现,这样的方式会限制模型的表达能力。实际上,OCTO 和 HPT 的主要计算量集中在 Transformer 主体上,而 Diffusion 网络只是一个相对简单的小模块。这种设计存在一定的建模能力缺陷。对于 RDT 和 Pi0,它们都将主要的计算量集中在 Diffusion 网络中,Diffusion 是整个动作生成过程中的核心计算部分。这也是两类方法的主要区别。

此外,RDT 和 Pi0 在条件处理(Conditioning)方式上也有所不同。 Pi0 会将条件和一个视觉语言模型(VLM)的 key 和 value 进行交互,虽然这种方法有一定的特色,但我认为这并不是方法的本质区别。真正的核心区别还是计算量的分布——是集中在 Transformer 的主体部分,还是 Diffusion 网络中。

总结来说,OCTO 和 HPT 的设计是典型的将计算量集中在 Transformer 主干上,而 Diffusion 网络较小。这种方法在建模能力上有一定限制。而 RDT 和 Pi0 将计算量集中在 Diffusion 网络中,其 Diffusion 模块是动作生成中的主要计算部分。这是两类方法的核心差异,而其他细节处理上的区别则是一些非本质的特点。

6. RDT使用的Diffusion Transformers与其他机器人基础模型使用的Transformer有什么不同

Diffusion本身是一个建模的模式,可以理解为一个loss函数,就是我要用Diffusion的loss来训练模型,然后用Diffusion的采样方式来训练他。它的核心是通过一个网络来做denoising,但对于网络架构的要求并不严格,可以是任意网络结构,很多研究使用的是CNN网络,而并没有特别强调必须用特定的结构。比如,Diffusion Policy这篇文章中,他主要用的的网络结构就是CNN,而且他发现CNN实验效果比Transformer的效果还好。可能他的Transformer的设计还有问题,比如它的归一化方法不合适,或模态注入方式不够精细。但这个不是它的问题,因为它主体不是做网络架构的。

所以,RDT用Transformer的意思是,在Diffusion的基础上,我怎么设计Transformer,怎么用Transformer来去实现这个,使它能高效处理多模态数据,并且能够更好地扩展。比如,能够喂进去更多的数据,能够更加高效的去学更多的数据,也能学多机器人的数据,这是Transformer更加擅长做的事情。这个是Diffusion+Transformer的一个特点。

另一个方案,Transformer主体的网络,这个主要讲的就是自回归,这就是语言模型VLM迁移过来的。这是另一套思路,他的主体网络架构是在做Next Token Prediction,这个和Diffusion的差别非常大。他的代表比如RT系列,OpenVLA,他们以Transformer做主干网络,来做token生成。在这类网络中,Transformer作为主体架构,数据格式可能不太固定,但基本上像语言模型一样,它将动作、图像等视为语言,将其转换为token,然后输入到self-attention层,进行自注意力计算,最终生成tokens。

这些模型的思路就是将数据像语言一样处理,使用类似语言模型的方式来解决问题——将所有输入数据都当作“语言”,然后生成tokens。至于解码过程,通常在生成tokens之后,模型会通过一个线性层(或MLP层)进行解码,最终得到预测结果。例如,像RT系列和GR系列模型就是使用离散的概率。这种方法通过将速度等连续变量(如从-1米到1米每秒的速度范围)离散化成256个离散的值,并将其转化为离散的tokens,进而处理。这就相当于将连续的速度值转化为离散的类别。

分类问题的核心问题在于,对于动作空间中的连续数据(例如速度、位置等),使用离散化处理会丢失很多信息。将一个连续的变量(如速度)离散化为多个分类标签,虽然可以转换成分类问题,但这样会丢失数的大小关系。不同离散的bins是不同的类别,类别之间是没有大小关系的,导致模型难以准确建模复杂的动作空间。实验中,我们发现离散概率在处理简单任务时效果尚可,但一旦任务变得复杂,精度就会显著下降。

如果我们直接使用MSE回归,也存在相似的问题,尤其是在多维交错的动作空间中,MSE可能会忽略各维度之间的联合分布,从而影响预测精度。因此,有的研究者希望能结合Diffusion模型的优势,来弥补自回归模型的不足。比如,在Transformer模型的最后一层加入一个小的Diffusion模块,通过二次采样来提升模型的精度和生成质量。

通过这种方式,我希望能够在一定程度上弥补自回归模型的不足。这种方法可能可以缓解一些问题,但效果仍然有限。由于扩散模型的规模较小,它的表达能力不强,因此虽然可以提供一些补充,但依然不能完全弥补自回归架构的缺陷。我的理解是,可能是因为这个小Diffusion的结构,他Diffusion的部分太少了。他其实还是类似MSE的东西加上Diffusion的能力,但没那么强,但与纯扩散模型相比,它的表现还是不如后者。毕竟,主干如果是基于自回归的Transformer结构,其能力无法与基于扩散模型的主干相比。

他们之所以使用Transformer来构建这种结构,核心思想是借鉴语言模型的能力。语言模型能够处理多种数据格式,因为它能够自动学习不同格式的特点,无需人为干预。然而,这种“偷懒”的做法也存在问题,带来的负面影响是显而易见的。例如,在建模方式上,很多潜在问题会因此被忽视。另一方面,格式不一样的前提是数据量必须非常大,比如HPT和Octo这类方法。语言模型的数据量本身就足够大,这使得它能学到不同格式之间的特点。比如,语法可以灵活变化,结论可以提前或推迟,原因可以放在前面或后面,甚至可以穿插图片和其他内容。但对于机器人来说,数据量远没有语言这么大,无法像语言模型那样灵活处理各种格式。

在这种情况下,我认为不如先选择一种通用的格式,或者说选取一种最大公约数,然后再进行人工填充。实际上,这样的做法效果非常好,比预期的要好得多。虽然机器人的格式多样,但没有语言那么复杂,通过人工选择一个合适的空间来构建格式,完全可以实现预期目标,效果也很好。我更倾向于这种方法,即选择一个最大公约数。这样不仅不会引入偏差,反而有更多的优势,能让模型学到一些先验知识,并且避免出现bug。通过这种方式,模型的表现会更加稳定,且效果会非常好。

关于目前的几个机器人基础模型使用的模型结构,我结合刘松铭给的讲解和资料总结了以下图片。GR系列是字节的机器人基础模型,RT系列是Goolge的机器人大模型,OpenVLA和Octo也是Goolge退出的机器人大模型,HPT是MIT推出的机器人大模型结构,他们的网络结构都是Transformer。和这些机器人大模型结构不同的是RDT和Pi0,这两个的模型主体结构都是Diffusion Transformers,这个模型结构本质上是一个Diffusion Model,但采用了Transformer的可扩展能力。我(编者)作为一个外行简单理解这两类模型的核心区别就是他们都用了Transformer,不同之处在于Diffusion用的多还是少。RDT和Pi0用到的Diffusion更多,效果也更好。

RFM EP03:清华RDT及具身大模型框架对比 · 原文插图

7. 一些问题

最大公约数怎么理解?

最大公约数体现在动作空间的统一上。我们之前的一个核心想法是,尽管每个机器人动作空间的表达方式不一样——有的用速度,有的用力,有的用关节角度——但我们将所有可能的物理量都拼接在一起。具体来说,如果某个机器人有某种物理量,就填入相应的位置,如果没有就跳过。我们把这些物理量统一编码成一个128维的空间。

按理说,这样的做法可能在语言和图像领域并不适用,因为在这些领域,格式的灵活性非常高,维度非常大,特别是语言模型中,词汇的维度非常庞大,要求处理的空间维度会极其庞大。但是在机器人领域,虽然动作空间存在一定的变化,但其变化远没有语言那样复杂。即使将一个十几维的动作空间映射到128维的空间,实际上也不算很大,因为Transformer处理的语言模型的维度通常是几千维,而128维对于我的Transformer来说还是相对较小。因此,它完全能够处理这么高维度的数据,并且可以直接用于训练,无需进行降维处理。

怎么理解维度?具体指什么?

维度主要是指机器人动作的指令向量维度,比如速度、角速度、加速度或者方向。空间中的速度向量就是三维。每种机器人由于其功能不同,指令类型的维度也会有所差异。但如果把所有可能的指令维度列出来,其实也就100多种左右。语言涉及的维度就太多了,如果要处理不同的语法和句法,必须将其归类成统一的格式。其实早期的语言模型就是这样做的,但语言的复杂度太高,句法和语法几乎不可枚举。可能列出来的类型就成千上万种,进一步组合的话,规模就更大了。

怎么理解PAD填充?

对于某些机器人他可能不需要特定维度,我们就去做PAD填充。举个例子,假设我的数据具有多个维度,比如速度、加速度和位置,这些是经典的维度。而在某些场景中,比如我需要控制一个机器人,但它只需要位置这个维度,速度和加速度并不需要,那该怎么办呢?

我们可以为速度和加速度填充一个预设值。这样一来,相当于将这些多余的维度补齐,使得原本的动作空间被嵌入到一个更大的空间里。这样操作后,数据格式统一,系统仍然能够正常处理。这就是“PAD填充”的核心思想。

为什么开源?

我们对大家贡献数据集并没有强制要求,因为我们的模型是开源的。我们认为最重要的一点是保持灵活性和自由度。我们投入了大量资源训练出一个机器人基础模型,希望它能在各种下游任务中发挥作用,而不仅仅是停留在研究阶段。否则,这么大的投入就失去了意义。

我们鼓励大家基于我们的基础模型,结合自己的数据进行微调,从而实现各种应用。通过我们的测试,发现这个模型的表现非常出色,不仅效果最好,而且其建模结构也非常强大。因此,我们希望这份努力不会被浪费,而是能真正被广泛应用。

同时,通过大家在实际应用中的反馈,例如模型在哪些地方不够灵活、还有哪些问题,我们可以进一步改进。我们会参考这些反馈信息,在下一版的迭代中不断优化模型,以推出更优质的版本。

References:

RDT-1B

https://rdt-robotics.github.io/rdt-robotics/

刘松铭博士主页:

https://github.com/csuastt

DiT

https://arxiv.org/pdf/2212.09748

UViT

https://arxiv.org/pdf/2209.12152

石麻笔记 · 机器人学习与基础模型(RFM) · EP03