返回Robot Data系列

Robot Data · EP10

EP10 Robot Data第一季访谈总结

回顾Robot Data第一季九篇访谈,梳理人类视频、仿真、动捕、遥操与数据组合。

渣大米2024-09-2424 分钟阅读微信公众号原文
文章目录

Robot Data第一季9个访谈记录已经陆续发布,真心感谢接受邀请的学者和对这个系列持续关注的朋友们。这9期访谈围绕着机器人数据金字塔展开,金字塔的低端是互联网数据和合成数据,这类数据量最大、成本最低、但数据质量较差;金字塔的顶端是训练某个机器人,人类遥操这个机器人本体产生的数据,虽然数据质量最高,但获取难度大、数据量小;位于金字塔中间部分的,则是介于合成数据和机器人本身数据中间的人类动作捕捉数据。就现有的机器人数据来说,机器人本体形态丰富,单一形态数据量有限,数据模态多样,因此将多种机器人数据进行融合的框架至关重要。Robot Data第一季采访的所有工作都围绕着这个金字塔的各个层级以及最终的数据融合。

EP10 Robot Data第一季访谈总结 · 原文插图

Robot Data Season 1 EP01-EP09

为了更好的总结过往的九期访谈,我会在这期文章中将之前九期文章关于各个数据路线和具体工作的核心思想介绍做一个总结和梳理。Robot Data第一季过往每期内容可以参看以下链接:

EP1对话高阳、汶川:如何利用互联网人类视频训练机器人大模型(ATM—RSS 2024满分论文)

EP2对话迟宬、许臻佳:UMI——机器人训练的物理API

EP3对话程旭欣:Open-TeleVision教你如何沉浸式遥操机器人

EP4对话王辰:MimicPlay & DexCap——如何利用人类视频和人体动捕数据进行机器人训练

EP5对话符梓鹏:HumanPlus和Mobile ALOHA的数据故事——从合成数据到真实数据再到两者的结合

EP6对话马也骋:Eureka和DrEureka如何利用LLM解决仿真+RL最重要的难题

EP7对话赵行、庄子文:机器人跑酷和自动驾驶——机器人数据从哪里来

EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述)

EP9对话王理睿:如何处理机器人领域中极为异构的数据集和任务

查看原文目录

以下为本文目录

👇

1. 互联网人类视频数据

EP1 ATM

EP4 MimicPlay

2. 合成数据

EP5 HumanPlus

EP6 Eureka & DrEureka

EP7 Robot Parkor

EP8 RoboGen

3. 动捕数据

EP2 UMI

EP4 DexCap

EP5 HumanPlus

4. 机器人遥操数据

EP3 Open-Television

EP5 MobileAloha

5. 机器人数据组合

EP9 PoCo & HPT

1. 互联网人类视频数据

EP1-ATM

我们为什么一定要用这些复杂的遥操作来获取模仿学习需要的数据?这里有一个非常重要且丰富的数据源,就是人类的视频,例如在YouTube或抖音上的视频,包含了丰富的物理信息和运动行为,这些视频本质上是宝贵的先验知识来源。然而,目前还无法有效利用这些视频,因为它们通常缺乏动作标签,没办法直接用来进行模仿学习。就算它们有动作标签,不同的研究组可能使用不同的动作标签定义和收集方式,导致数据不统一,比如,有的组喜欢用机械臂末端的移动来作为动作,有的组喜欢用每一个轴的转动来作为动作,这种不统一的数据标签也很难被用来做模仿学习。ATM这个工作就是研究如何从视频中提取经验知识。

我们的ATM的主要想法是什么?我们不想做视频预测。未来的视频图像长什么样,对于机器人控制没有任何意义。我们只需要知道每个物体的移动方向,而不在乎画面的精美程度。我们只关心运动信息。我们参考以前的人是如何建模运动的。比如,在游戏或仿真引擎中,他们不会把某一个物体建模成一个对象,而是把物体中的每一个粒子建模成一个对象,通过建模粒子之间的碰撞、挤压和相对移动来对整个场景进行建模。特别是在复杂的流体、软体物体和沙子等场景中,这种方法非常有效。

ATM的主要想法是,既然像素级的视频建模不是一个好的表征方法,那么我们能否利用类似的想法,把视频变成一些粒子的集合,建模每个粒子的运动来反映整个场景的物理规律,来为控制模型服务。EP1对话高阳、汶川:如何利用互联网人类视频训练机器人大模型(ATM—RSS 2024满分论文)

EP4 MimicPlay

MimicPlay的想法是从人类行为数据中学习机器人的控制和策略。直接从人类行为中学习机器人的动作是不可能的,因为通过相机很难精确捕捉手在三维空间中的具体位置,这导致了最终的数据无法直接用于训练机器人,因为机器人的运动方式会有所不同。因此,我们的想法是退一步,不直接学习机器人的电机动作,而是学习策略。比如说,一个较长的任务是将某个食物放进碗里,再放入微波炉加热,最后取出。虽然人类手部轨迹和机器人的轨迹会有所不同,但做这件事的先后策略,比如去哪里找把手,去哪里拉托盘,这些策略是可以共享给机器人的,这套策略我们称之为高层次的规划。低层次的控制器(low level controller)则是在拿到规划后,控制机械臂的末端复现这些动作。

高层次和低层次分开之后的一个很大优势是,高层次的规划器(planner)可以直接从人类视频中学习。这种数据是比较便宜的,可以称之为“play data”。你不需要对这些数据进行标注,比如标注你在做A还是B。只需要给定一个目标,比如某道菜,希望高层次的轨迹规划能规划出相应的策略。你可以想象在家里的厨房放一个相机,它可以捕获你每天在厨房里的策略。比如,你做一道菜时,先打开冰箱,从冰箱里拿出某个菜,然后在切菜板上切开。这些都是可以用第三视角相机轻松获取的数据。

低层次的控制器因为高层次有更多人类数据的支持,学习所需的数据量也会减少。它只需要按照规划的轨迹去执行20个步骤即可,不需要再考虑高层次的规划问题。这样,低层次控制器的数据需求很少,可能只是学了一个抓取问题或移动问题。这些移动可能只需控制机器人向某个方向移动几厘米,有时甚至不需要学习。

通过高层次轨迹规划的数据,可以很好地帮助整个系统减少机器人数据的需求。将规划问题和控制问题分开是我们当时的一个想法。高层次轨迹规划的数据通过人类行为数据来实现泛化,可以很好地帮助系统减少对机器人数据的需求。这样可以使整个系统更高效,数据需求更少。这是我们一直以来的核心思路。EP4对话王辰:MimicPlay & DexCap——如何利用人类视频和人体动捕数据进行机器人训练

2. 合成数据

EP5 HumanPlus

在HumanPlus的阶段,我们尝试将合成数据和机器人遥操数据的特点融合:一种是海量的合成数据,虽然在仿真软件中的数据量大,但质量不高;另一种是高质量的真实世界数据,但采集速度慢,无法达到海量。因此,Human Plus的主要目标是能否结合这两者的优点,即在真实世界中收集高质量数据,同时利用海量的合成数据。

HumanPlus结合了两种数据来源:一边是机器人仿真数据,另一边是人类的运动数据。关于机器人仿真数据,我们不能直接将人类的运动信息复制到机器人上,因为机器人的重量和关节结构与人类不同,直接复制可能会导致机器人失去平衡并倒下。因此,在最低层次的控制逻辑上,我们仍然使用强化学习在仿真环境中生成大量的仿真数据训练机器人。这意味着,当机器人接收到人类关节位置信号时,它会根据这些信号主动控制自己的动作,以模仿人类的动作,但同时也会考虑到自身的物理限制,以保持平衡。这种方法可以确保机器人既能够模仿人类动作,又不会因为不稳定而倒下。

通过模仿学习人类视频数据,我们可以将人类的运动模式转化为机器人控制策略。感觉就像是神经网络在控制一个人的动作,最终的神经网络输出可以直接映射到人形机器人上。由于人形机器人在形态上与人类相似,这种映射过程相对简单和直观。这使得我们可以更有效地利用人类数据来训练和控制机器人,使其能够执行类似人类的动作和任务。EP5对话符梓鹏:HumanPlus和Mobile ALOHA的数据故事——从合成数据到真实数据再到两者的结合

EP6 Eureka & DrEureka

在 Eureka 的工作中,我们提出了一个设想:能否通过LLM自动设计仿真环境,使我们能够在仿真中快速学习新技能,并迅速将其转移到现实世界中。Eureka 使用大型语言模型(LLM)来自动编写用于仿真机器人任务的奖励函数(Reward Function)。在仿真中,奖励函数就像仿真中的其他代码一样,是可以在计算机上运行的代码,而像 GPT-4 这样的LLM非常擅长编写代码。因此,在 Eureka 中,我们使用LLM来自动编写奖励函数代码。但这还不是全部,我们还要求LLM改进奖励函数代码。

为了实现从仿真到现实的强化学习,除了设计奖励函数,你还必须让仿真到现实的转移能够顺利进行。通常,仿真环境和现实世界环境之间存在很多不匹配,特别是在物理模型方面。模拟器无法完美地模拟现实世界中的重力、摩擦力等。因此,现在很流行的一种做法是进行领域随机化(Domain Randomization),即在仿真中随机化物理参数。但在Domain Randomization的过程依然有一个问题,那就是人类必须手动涉及这个Domain Randomization的参数。在DrEureka中,除了自动编写奖励函数,我们还自动化了域随机化设计。

现在,我们已经实现了奖励函数和域随机化的自动选择,我们可以部署在奖励函数分布和域随机化参数上表现最佳的策略。令人惊喜的是,我们发现将这些策略直接部署到现实世界中竟然是可行的。这意味着我们现在拥有了一个端到端的、完全自动化的仿真到现实世界的流程。整个过程完全由大型语言模型自动化完成,中间不需要任何人工干预。

这一突破性进展展示了大型语言模型在自动化强化学习任务中的强大潜力,从奖励函数的设计到域随机化的选择,再到最终策略的部署,全程无需人类专家参与。这不仅大大提高了效率,也为解决更复杂的现实世界问题开辟了新的可能性。EP6对话马也骋:Eureka和DrEureka如何利用LLM解决仿真+RL最重要的难题

EP7 Robot Parkor

关于跑酷工作,我认为核心问题主要有两个方面:一是如何设计和调整一个有效的训练策略,二是如何克服Sim2Real Gap。训练策略的设计是一个复杂的任务,涉及不同动力学约束的强化学习训练,以及技能模型的蒸馏。

过去,四足的工作不带视觉,主要依赖本体感知,而现在,我们引入了视觉感知,特别是双目深度相机,Sim2Real Gap问题在引入视觉系统后变得尤为重要。为了有效地克服Sim2Real Gap,我们需要在仿真中尽可能真实地模拟视觉感知中的深度,同时调整真实世界中的数据,使其尽量接近仿真器中的理想图像,将仿真数据和真实数据的分布尽可能接近,从而缩小这两者之间的差距。

在缩小Sim2Real Gap过程中,我们采用了多种方法进行尝试,比如填洞、去噪等,深度图在这方面表现尚可。在跑酷任务中,挑战相对简单,主要是克服地形,而克服地形的关键在于了解其深度。但是未来真正的实用机器人不应仅仅依赖深度图,而需要能够处理RGB图像。

此外,Multitask Learning(多任务学习)在机器学习中一直是一个长期存在的问题。当一个模型同时学习多个任务时,不同任务的回传梯度往往会发生冲突,会遇到每个技能的性能下降的问题。调试单个技能其实比较容易,但同时调试多个技能则很困难。因此,子文在尝试了各种方法后发现了一个比较好的策略:先单独训练每个技能,将这些技能作为教师模型,然后共同训练一个学生模型。这样的方法可以最大限度地减少性能下降,最终的成果是一个系统化的解决方案,不只是单点创新,而是全面提升了能力。EP7对话赵行、庄子文:机器人跑酷和自动驾驶——机器人数据从哪里来

EP8 RoboGen

RoboGen这个工作背后的思路是这样的:首先,我们将相关信息提取出来,然后利用这些信息去构建一个供机器人训练的环境。这个环境包括多个方面:机器人需要掌握的技能、每个技能适用的具体环境、环境的外观设计、机器人与环境的交互方式等。此外,我们还要为每个任务定义明确的完成标准,这通常通过奖励函数或损失函数来实现。值得注意的是,这些函数可以通过像语言模型这样的大型模型生成代码的方式来自动创建。我们希望自动化训练前的每一个环节,打通整个流程。这意味着从奖励函数的定义到生成代码,每个环节都可以自动化处理,使整个训练过程从头到尾实现高度自动化。这是我们想要实现的目标,也是我们最早提出的全自动化训练流程的核心理念。

在处理刚体交互时,强化学习非常有效,无论是用于运动(locomotion)还是操控刚体(manipulation)。然而,当涉及到柔性物体时,情况变得复杂,可微分模块至关重要。柔性物体,比如流体或会变形的衣服,与刚体不同。强化学习在这种情况下需要对状态空间进行有效的表示。如果我们希望超越刚体的交互,开始处理柔性物体,挑战就在于状态空间的复杂性。例如,仿真环境中通常会用粒子系统来表示这些物体,一块布可能由几十万个粒子组成。在这种情况下,用传统的基于代码的奖励函数来描述这些粒子状态是非常困难且昂贵的。第一,粒子数量巨大,直接对其状态进行描述和判断目标达成与否的成本非常高。第二,很难用明确的函数来描述像衣物对折这样的复杂形变过程及其对应的粒子状态。因此,传统方法难以适用于这些复杂的情况,这也是我们需要可微分模块的原因。它们可以帮助我们更有效地处理与软体物体的交互,简化并加速训练过程。

对于这类问题,使用梯度信息确实可以加速策略的学习效果,尤其是在与纯强化学习相比时,通过利用梯度来指导强化学习过程可以加速优化。然而,这个方向在学界仍是一个活跃研究领域,尚未有成熟的框架来将这两种方法有效结合。同时,由于梯度本身并非总是理想的,在实际优化过程中,例如接触力的梯度可能会导致优化景观不连续,从而引入噪声,影响训练效率。梯度提供的信息往往是局部的,在解决复杂的非凸问题时,局部信息可能不足以实现全局优化。这些都是当前学界试图解决的挑战。EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述)

3. 动捕数据

EP2 UMI

UMI的核心是一个物理API,我们找到了一个物理接口,使它既包含了与机器人足够相似的物理形态,同时又不限制于具体的机器人形态,成本也比机器人低很多。我可以从三个方面具体说明。

首先是可移植性(portability)问题。我们假设即使机器人本身成本很低,例如每个机器人只有1000到2000元,按照目前机器人的重量,如果我想去餐厅采集数据,需要把机器人运到卡车上,再开到餐厅,然后卸下来安装调试,基本上半天时间就过去了。每次进入一个新环境都要有这个前期设置成本,这使得获取多样化环境数据的成本非常高。UMI通过其手持设备很好地解决了这个问题。虽然UMI的夹子现在有点重,有800克,但可以放在包里随身携带。因此,我们只要人到了一个环境,比如我们去餐厅吃饭,坐下就可以开始收集数据,两分钟内就能开始工作,大大简化了获取多样化真实世界数据的过程。

其次是物理形态的相似性。在学术界中使用的研究机器人往往是一个工业机器人,加上一个平行夹爪,UMI设计时考虑到了这种常见的机器人形态。因此,UMI记录的是夹爪在空间中的六维运动轨迹,只要机器人能到达任何一个位置,具体的关节角度并不重要,甚至可以用无人机达到所需位置。因此,它在一定程度上实现了对机器人形态的无关性,无论实验室使用的是什么牌子的机器人,只要有六个自由度都可以使用。

最后是数据收集的直观性。例如,我们尝试了一个任务是投掷方块,有两类物体,圆的和方的,机器人前面有两个盆,一个是圆的,一个是方的,任务是将方块投到方的盆里,圆块投到圆的盆里。这是一个高速的动态动作,用遥控机器人来完成是非常困难的。我们之前做实验,15分钟内遥控机器人没有成功投进一个方块。如果用UMI,因为人类用这种夹子的直觉非常强,因此用UMI收集同样任务的数据速度是人类用手的一半,虽然听起来慢,但相比遥控操作任务收集速度为零已经是很大的提升。在另一个任务——转动杯子上,我们发现UMI收集数据的速度是人手的一半,而遥控操作机器人收集数据的速度比UMI慢三倍。这使得UMI在数据收集方面具有显著的优势。EP2对话迟宬、许臻佳:UMI——机器人训练的物理API

EP4 DexCap

DexCap中手上的相机是用来做SLAM的场景追踪,所以它提供的手特别是手指的精度,都是在厘米级别的,都是在一厘米以内的左右级别。所以DexCap,我称为它是一个“核武器”,它给你一个更高精度的数据。相比于第三方视角的MimicPlay的人类数据,它给的精度本来就更高。DexCap手上的相机是用来做追踪(tracking),它的目的不是为了获得图像。因为人的手和机器人的手还是长得不一样,所以出现在画面里之后还是有domain gap。所以你并不能单纯用人类手上相机的数据去直接学习机器人方案,我们试过了不太work。

DexCap手套是动作捕捉手套,每根手指上都有一个电磁场传感器,手上的相机用于定位手掌在六自由度空间里的位置。相机下方有一个电磁发射器,每个手指的指尖都有一个电磁接收器。通过电磁场实现毫米级别精度的定位,确定每个手指指尖相对于手掌的三维空间位置。再加上手掌上的相机,可以给手掌相对于胸口的相对位置,那进一步就可以获得手指指尖在相机画面中的相对位置。这个精度由胸口和手腕上的相机,以及动捕手套这套设备共同保证。

胸口相机用来定位人体相对于世界坐标系在空间的位置,手腕上的相机用来定位手掌相对于胸口的空间位置,动捕手套来定位手指指尖相对于手掌的空间位置。所以你背着这套东西走,胸口的摄像机可以告诉你人在哪里,手腕上的摄像机可以告诉你手掌相对于胸口在哪里,动捕手套可以告诉你手指相对于手掌在哪里,最终可以获得一个手指在空间中的绝对位置。这个绝对位置是高精度的,这直接保证了当你将机器人推入场景时,只需让机器人进行inverse kinematic(逆向运动学)来完成操作动作。EP4对话王辰:MimicPlay & DexCap——如何利用人类视频和人体动捕数据进行机器人训练

4. 机器人遥操数据

EP3 Open-Television

Open-Television针对目前遥操作的问题和人形机器人时代的特性提出的一种新方法。对于人形机器人而言,操作人员不可能站在机器人后面,因为会被其躯干挡住;站在旁边歪着头看也不直观,还得一直扭着脖子。此外,人形机器人是移动平台,设置过多的固定摄像头并不实际。因此,最直观的方式是让操作人员沉浸式地控制机器人,就像自己变成机器人一样。Open-TeleVision这个工作也是受这个想法启发,它的主要特点是操作人员无需站在机器人旁边或后面,也不需要以第三人称视角操作,而是戴上头盔后沉浸式地操作机器人。

这种远程操作具有以下特点:第一,沉浸式(imversive)体验,操作人员通过沉浸式远程操作看到的不是2D视频,而是3D视频,就像观看3D电影一样。左右眼看到的图像不同,从而形成自然的立体视觉。这种立体视觉可以实现对空间距离的精确估计,使操作人员能够完成很多精细的任务。第二,我们的机器人系统还配备了活动颈部(active neck),使头部能够移动。人眼在执行任务时,会使用中心视网膜的一个小区域来聚焦(foveal vision)。使用固定摄像头时,如果需要看其他地方,只能斜视或用边缘视觉,非常不便。因此,加入活动颈部使系统更加沉浸和直观。操作人员只需转动头部即可看到目标区域,而不需要歪着眼睛或使用边缘视觉。第三,活动颈部还降低了计算成本,因为操作人员只需要看到摄像头中心的一小部分图像,而不需要处理高分辨率的广角图像。大分辨率图像中有很多无用的视觉信息,处理这些信息对计算机的需求很高。聚焦于中间小部分图像后,只需转头就能看到所需内容,从而大大提高了计算效率。我们的系统可以达到大约80赫兹的帧率,而处理更大图像时只能达到40赫兹,高帧率对系统的直观性帮助很大。对话程旭欣:Open-TeleVision教你如何沉浸式遥操机器人

EP5 Mobile Aloha

到了Mobile ALOHA的阶段,相当于我们完全没有用到任何仿真软件的信息,完全利用真实世界的数据来让机器人进行学习。收集机器人在真实世界中的数据,这些数据由人类通过遥操作方式采集,并通过高效的模仿学习用少量的数据进行训练;这时候可以获得更好的、比较真实的视觉信号,比如RGB数据,还有一些语义上的数据。

这种方法面临的一个挑战是,真实世界数据的收集速度较慢。所以,Mobile ALOHA相当于是结合了一个高效的模仿学习算法,只需提供大约50次人类采数据的尝试,就可以让机器人学习并完成各种任务。这种方法高效地帮助人类采集数据,相比以往使用VR设备或3D鼠标键盘等工具采集数据,不仅速度快且易于上手。Mobile ALOHA的主要作用在于快速让人们掌握如何操作机器人,以解决几乎所有真实世界中可能遇到的问题。EP5对话符梓鹏:HumanPlus和Mobile ALOHA的数据故事——从合成数据到真实数据再到两者的结合

5. 机器人数据组合

EP9 PoCo & HPT

机器人数据获取难度大很大一部分原因是机器人的形态很多,在不同的机器人上,会有不同的方法来表示它们的某些模态,分散的机器人载体和多模态的数据模式是导致目前机器人没有完整模型的一个主要原因。我们提到的多模态,即包括RGB视觉信息、文字信息也包括点云和触觉等这些对灵巧操作任务至关重要的信息模态。为了与目前大家常说的多模态大模型里的模态加以区分,我们将这些数据类别统称为多样性(Heterogeneity)而不再称之为多模态。

除了数据多样性问题,机器人训练所用到的数据领域(Domain)也存在巨大差异,比如人类视频、真实机器人数据以及仿真数据,这也是机器人学或具身智能领域特有的挑战。每个Domain都有自己的优势和劣势,仿真中我们可以生成大量数据,但有些东西可能无法模拟,存在仿真与现实之间的差距;人类视频数据在网上有大量可用,但可能缺少动作标签,训练起来较难;而真实机器人数据非常昂贵,因此,跨Domain的研究非常困难。

如何将机器人训练数据多样性和跨多个领域的数据组合起来,提高机器人训练的通用性是PoCo这个工作最核心的思想。在PoCo中,我们把不同的策略拆分成了几个层次:第一,Task Level:在不同的任务,比如不同的工具使用,我们可以进行一些训练,使用 classifier-free的diffusion training。这样就可以在任务层次上进行组合,利用不同的工具。第二,Domain Level:在不同的领域来源,比如仿真和真实机器人上进行组合。我们可以研究如何将这两个领域的策略组合在一起。第三,Behavior Level:在测试时可以指定一些成本,比如让它的行为更加顺滑或者更加安全。我们可以直接手动编写一些任务或目标,然后进行组合。

我的 PhD 论文主要是关于异构性数据(Heterogeneous Data),其中包括了我之前的两个工作 Fleet Learning(Robot Fleet Learning via Policy Merging)和DEC SSL(Does Decentralized Learning with non-IID Unlabeled Data Benefit from Self Supervision?)其实包括PoCo,它核心思路也是如何更加高效地处理和利用这种异构性数据。这是一个更广泛、更基础的问题,除了视觉和语言领域外,几乎所有其他领域都面临数据不足的问题,但却希望能够应用机器学习。因此,他们都会遇到异构性数据的问题。

如何高效地从这些数据中提取信息?这个大问题在当前的研究中仍然未被充分探索。在整个学术界,很多研究者可能会专注于单个问题,比如一种机器人、一种任务、一个模拟环境或一个真实世界的任务,或者某种特定的算法,比如模仿学习或强化学习。但其实,把这些各类要素整合在一起,进行综合研究,我认为是非常有价值的。

现在大家都在关注大模型,如何训练一个大模型来支持多样化的任务,这其实是一个非常有意义的问题。比如到底是 30% 的模拟数据加 50% 的真实世界数据,还是 10% 的模拟数据加 70% 的真实世界数据,这些比例如何选择,目前其实并没有太多的理解,很多时候都是凭感觉进行调整。我认为,对异构性数据的研究会在未来全面支持大模型的训练和应用,这对于整个领域的发展是非常重要的。

GPT4o是一个很好的例子。过去,大家通常是以语言为中心,中间的模型必定是语言模型,输出也只能是语言。但现在显然他们提前把数据都tokenize好了,然后进行了一些异构预训练,这就是HPT里的一个想法。这样做的好处是,它能够融会贯通。最近也有一些工作表明,这种表示不同的模态最终会收敛,因为它们都是从不同的视角看待世界。EP9对话王理睿:如何处理机器人领域中极为异构的数据集和任务

References:

EP1对话高阳、汶川:如何利用互联网人类视频训练机器人大模型(ATM—RSS 2024满分论文)

EP2对话迟宬、许臻佳:UMI——机器人训练的物理API

EP3对话程旭欣:Open-TeleVision教你如何沉浸式遥操机器人

EP4对话王辰:MimicPlay & DexCap——如何利用人类视频和人体动捕数据进行机器人训练

EP5对话符梓鹏:HumanPlus和Mobile ALOHA的数据故事——从合成数据到真实数据再到两者的结合

EP6对话马也骋:Eureka和DrEureka如何利用LLM解决仿真+RL最重要的难题

EP7对话赵行、庄子文:机器人跑酷和自动驾驶——机器人数据从哪里来

EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述)

EP9对话王理睿:如何处理机器人领域中极为异构的数据集和任务

石麻笔记 · Robot Data · EP10