返回Robot Data系列

Robot Data · EP08

EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述)

与淦创和周衔讨论机器人示教数据生成、可微分模拟与物理引擎。

渣大米2024-08-2428 分钟阅读微信公众号原文
文章目录

从第一次想到Robot Data系列到现在,已经过去两个多月,更新了七期文章,来到第八期,我们一起来了解一个非常有意思的工作RoboGen,与当下通过人类遥操或者动作捕捉采集示教数据不同,RoboGen这篇工作通过生成式和可微分模拟的方式在仿真环境里进行机器人示教数据收集。它的作者来自CMU、清华、MIT、UMass Amherst、MIT-IBM AI Lab等机构,包括Yufei Wang*, Zhou Xian*, Feng Chen*, Tsun-Hsuan Wang, Yian Wang, Katerina Fragkiadaki, Zackory Erickson, David Held, Chuang Gan。

我很荣幸可以邀请到这篇文章的作者淦创(Gan Chuang)老师和周衔博士进行访谈。

淦创是UMass Amherst 的教授,同时也是MIT-IBM沃森人工智能实验室的研究经理。他在清华大学完成了博士学位,由姚期智先生指导,并曾在MIT担任博士后研究员,师从Antonio Torralba、Daniela Rus和Josh Tenenbaum。淦创的研究涉及计算机视觉、人工智能、认知科学和机器人学的交叉领域,总体目标是构建一个类人的自主智能体,能够在物理世界中感知、推理和行动。

周衔目前是卡内基梅隆大学机器人研究所的博士毕业生,导师是Katerina Fragkiadaki。他对机器人技术、计算机视觉和世界模型学习有广泛的兴趣。在加入CMU之前,他在新加坡南洋理工大学完成了学士学位,师从Pham Quang Cuong和I-Ming Chen。目前的研究重点是构建用于机器人研究及其他领域的统一神经策略和数据引擎。

作为Robot Data第八期,跟着我一起来了解一下全自动生成机器人示教数据和可微分物理引擎的一些科普吧。

查看原文目录

以下为本文目录

👇

第一部 对话周衔:如何通过RoboGen来生成大规模机器人示教数据

1. RoboGen简介

2. RoboGen的核心思想

3. RoboGen的原理

任务提议

场景生成

训练监督生成

使用生成的信息进行技能学习

第二部 对话淦创:如何通过可微分模拟构建世界模型

1. 可微分物理引擎原理简介

2. 可微模拟之于机器人学习

3. 可微模拟之于Sim2Real Gap

4. 可微模拟之于机器人数据

第三部 可微分物理引擎论文综述

一些想法

第一部 对话周衔:如何通过RoboGen来生成大规模机器人示教数据

1. RoboGen简介

RoboGen是一种通过生成式模拟(Generative Simulation)自动学习多种机器人技能的机器人代理。与其他生成式机器人代理不同,RoboGen并不是利用已有的大语言模型或生成式AI直接生成策略或者低层动作,而是采用一种生成方案,自动生成多样化的任务、场景和训练监督,从而在最小化人工干预的情况下扩展机器人技能的学习规模。

原文视频演示

RoboGen概览

值得一提的是,RoboGen的几个关键能力都是通过Genesis获得的,比如通过生成式模拟和渲染进行场景生成,比如通过可微分物理引擎进行快速技能学习等。Genesis 是一个用于通用机器人学习的生成式和可微分的物理引擎,提供了一个统一的模拟平台,支持各种材料的模拟,能够模拟广泛的机器人任务,同时完全支持可微分特性。Genesis作为下一代模拟基础设施,原生支持生成模拟:这一未来范式结合了生成式人工智能和基于物理的模拟,旨在为机器人代理解锁无限且多样化的数据,让它们能够在前所未有的各种环境中学习广泛的技能。Genesis 已经接近开发完成,预计下个月就会公开发布。

2. RoboGen的核心思想

RoboGen这个工作背后的思路是这样的:首先,我们将相关信息提取出来,然后利用这些信息去构建一个供机器人训练的环境。这个环境包括多个方面:机器人需要掌握的技能、每个技能适用的具体环境、环境的外观设计、机器人与环境的交互方式等。此外,我们还要为每个任务定义明确的完成标准,这通常通过奖励函数或损失函数来实现。值得注意的是,这些函数可以通过像语言模型这样的大型模型生成代码的方式来自动创建。我们希望自动化训练前的每一个环节,打通整个流程。这意味着从奖励函数的定义到生成代码,每个环节都可以自动化处理,使整个训练过程从头到尾实现高度自动化。这是我们想要实现的目标,也是我们最早提出的全自动化训练流程的核心理念。

在处理刚体交互时,强化学习非常有效,无论是用于运动(locomotion)还是操控刚体(manipulation)。然而,当涉及到柔性物体时,情况变得复杂,可微分模块至关重要。柔性物体,比如流体或会变形的衣服,与刚体不同。强化学习在这种情况下需要对状态空间进行有效的表示。如果我们希望超越刚体的交互,开始处理柔性物体,挑战就在于状态空间的复杂性。例如,仿真环境中通常会用粒子系统来表示这些物体,一块布可能由几十万个粒子组成。在这种情况下,用传统的基于代码的奖励函数来描述这些粒子状态是非常困难且昂贵的。第一,粒子数量巨大,直接对其状态进行描述和判断目标达成与否的成本非常高。第二,很难用明确的函数来描述像衣物对折这样的复杂形变过程及其对应的粒子状态。因此,传统方法难以适用于这些复杂的情况,这也是我们需要可微分模块的原因。它们可以帮助我们更有效地处理与软体物体的交互,简化并加速训练过程。

对于这类问题,使用梯度信息确实可以加速策略的学习效果,尤其是在与纯强化学习相比时,通过利用梯度来指导强化学习过程可以加速优化。然而,这个方向在学界仍是一个活跃研究领域,尚未有成熟的框架来将这两种方法有效结合。同时,由于梯度本身并非总是理想的,在实际优化过程中,例如接触力的梯度可能会导致优化景观不连续,从而引入噪声,影响训练效率。梯度提供的信息往往是局部的,在解决复杂的非凸问题时,局部信息可能不足以实现全局优化。这些都是当前学界试图解决的挑战。

3. RoboGen的原理

RoboGen是一个完全自动化的流水线,用于无尽且多样化的技能获取。RoboGen的流水线包括四个阶段:A) 任务提议,B) 场景生成,C) 训练监督生成,以及 D) 使用生成的信息进行技能学习。RoboGen实现了一个自我引导的“提议-生成-学习(propose-generate-learn)”循环:首先,代理会提出感兴趣的任务和技能;接着,通过合理配置空间布局,填充相关的对象和资产,生成相应的模拟环境。然后,代理将提出的高级任务分解为子任务,选择最优的学习方法(如强化学习、运动规划或轨迹优化),生成所需的训练监督,最终学习相应的策略以掌握所提议的技能。

原文视频演示

RoboGen工作原理

任务提议

这个阶段让语言智能体能够自主不断提出新任务。为实现这一点,需要通过经典的“上下文学习”(in-context learning)方法提供一些示例,让智能体理解当前任务的要求,并基于这些示例生成新的任务。在这个过程中,存在如何控制任务多样性的问题,因此需要采用有效的策略。我们的策略包括从大型物体数据集中自动采样物体,并基于这些物体的语义信息生成与其交互的有意义任务。例如,当智能体接收到一个微波炉的样本时,它可能会提出加热汤或其他食物的任务。

此外,任务生成策略还可以基于物体的affordance(即物体的可操作性),或是通过场景设定,如在客厅中指示机器人完成某些任务。智能体可以通过这些示例举一反三,生成更多有意义的新任务。给于任务的例子不是唯一的方法,但它们对激发灵感至关重要。虽然理论上可以直接询问机器人哪些任务有意义,但实际操作中需要通过具体例子来启动和引导机器人的思考过程。

场景生成

一个场景基本由两部分组成:背景(房间的外观)和前景(可交互的物体)。每个物体实际上是一个三维资产(3D mesh),这些资产的生成依赖于txt to 3D或image to 3D技术。这些领域发展迅速,经常有新方法生成更高质量的3D资产,这些是我们的一些上游模块。我们的想法是如何将这些3D资产按照一定有意义的空间配置进行摆放。最初的做法相对粗糙:首先提出任务,然后确定任务所需的物体,并将这些物体以较合理的方式放置在场景中。当时的场景中通常只有不到十个物体。

为了增加视觉信息的多样性,我们会在训练过程中添加一些干扰项。这可以帮助提高训练的全面性。我们现在的方法包括在视频或图片空间中生成像厨房这样的场景,然后提取这些图片中的信息,并将其应用到3D虚拟世界中。对于每个物体,我们可以从大型物体数据集中检索,并使用3D生成模型进行生成。此外,我们在设计一套可以生成开放世界中不局限物体种类的可交互物体(Articulated Object)的方法,预计很快会公开。3D GS并不是一种生成方法,而是一种表示方法。它的优势在于比以前的渲染方法更快。你可以使用3D GS表示从现实场景中拍摄的视频,通过生成方法在3D GS表示空间中学习这些场景。

现在也很流行一种利用3D GS来扩增现实数据,Real2Sim(关于Real2Sim在对话赵行、庄子文:机器人跑酷和自动驾驶——机器人数据从哪里来有提及)。但值得注意的是,3D GS本身只是渲染方式,没有物理属性,适合用于背景。如果背景不需要交互,可以直接放入虚拟环境中。但如果需要交互,则需要将其转换为实际的mesh,因为3D GS仅由点构成,无法进行物理交互。需要将其表面重建为mesh,并将所有前景物体从3D GS中提取出来,添加物理属性(如刚体、软体的重力和摩擦力),以实现真实交互。这种方法的核心目的是通过现实世界的数据多样性来增加在虚拟环境中交互场景的多样性。与之相对的是,你可以从头开始生成,利用噪声和生成方法在空间中创建新的内容,这些生成方法和3D GS可以在高层空间中结合,模块之间可以相互耦合。

训练监督生成

强化学习的核心在于优化目标,这个目标是奖励函数。例如,如果你想以每秒三米的速度跑步,你会设定奖励函数:速度越接近三米每秒,奖励越大。如果没有这个信息,强化学习的代理就不知道目标是什么,也不知道该如何行动。当你提出一个任务,比如向前跑时,需要定义相应的奖励函数。例如,可以设定奖励函数为当前速度与目标速度的差值,差值越小,奖励越大。这将抽象的任务转化为可以用代码表示的奖励函数。强化学习通过优化这个奖励函数来学习和掌握技能。最终,代理会知道如何完成任务,并为了实现目标而努力。具体来说,大语言模型帮助设计奖励函数,之后强化学习通过训练来实现这些奖励函数所定义的目标。

使用生成的信息进行技能学习

RoboGen的最后一步是通过上述训练获得在仿真环境下的各种各样的机器人示教数据。这些示教数据可以有两种呈现形式:一种是强化学习生成策略(policy),这是一个闭环控制系统,能够根据不同的状态采取不同的行动。这种方法适合复杂任务,通过学习来优化策略,以适应不同情况。另一种是路径规划:生成的是一个轨迹(trajectory),即在固定的状态下每一步的动作是预先确定的。适用于较简单的任务,比如将手从一个位置移动到另一个位置,不需要强化学习,只需在空间中进行规划。生成的数据也需要后续验证,失败的数据需要被筛除。

关于策略和轨迹的区别,可以从最小的层面考虑,比如说你记录了一次洗碗的轨迹,这就是一个轨迹。如果你录制了100条这样的轨迹,你可以将这些轨迹通过学习方法整合成一个策略(policy)。这个策略能够应对不同的状态(如碗的位置、颜色),并根据不同的情况采取相应的行动。一个特定的策略可能只适用于某种厨房环境和洗碗的任务,但最终目标是创建一个能够处理1000种不同任务的通用策略。实现这个目标的方法是通过模仿学习,将各种演示数据(无论是轨迹还是小规模的策略)蒸馏到一个大策略中。最终,我们得到的是一个综合了多种任务的策略。

第二部 对话淦创:如何通过可微分模拟构建世界模型

1. 可微分物理引擎原理简介

作为Robot Data文章的主题“可微分物理引擎(Differentiable Physics)”,这个词是不是给人一种每个字都能看懂但凑到一起就看不懂的感觉。查遍了知乎和B站等科普网站,除了一些关于胡渊明博士Taichi和DiffTachi的资料,也没有看到关于可微物理引擎在机器人领域应用更系统的科普。所以,矮子里拔大个,我还是决定就可微分物理引擎这个话题先写一篇科普文章。

解释:可微分物理引擎(Differentiable Physics Engine)是一种用于模拟物理系统的工具,其主要特点是可以对其输入参数进行微分。传统的物理引擎通常是基于数学模型和物理定律来模拟物体之间的相互作用和运动规律。然而,这些传统的物理引擎在计算梯度方面通常是不可微的,这使得它们难以直接应用于需要梯度信息的机器学习任务中。可微分物理引擎通过引入可微分的物理模型或数值计算技术,使得其在输入参数上具有可微分性。

什么是Simulation,比如现在有一个物体的状态,你对物体进行一个操作,机器人有了一个动作,通过动作,物体的状态发生变化,从一个状态到另一个状态,整个过程是Forward(前向)的。这种给定状态,机器人做动作,再预测下一步会发生什么的过程叫Physical dynamic或者前向仿真(Forward Simulation)。这个过程中,对机器人任务到最终的目标的距离可以算一个奖励,和RL有点像,这一步做完之后离目标更近了还是更远了,算出来一个奖励值。如果模拟器不可微,只能做搜索,这个非常低效,你可能需要几千万上亿的数据去找到哪个轨迹是最好的。所以前向仿真本质是搜索问题。

可微分物理模拟的好处是,有梯度信息,可以用梯度下降的方式找到最优解。从状态到动作到状态,每一步都有导数,有导数之后可以用梯度下降的方法求解,让奖励的数值最大。对于不可微分的物理引擎只能用搜索或者近似的梯度,可微分物理模拟是每一步都用数学公式可以精确的算出每一步的梯度,用这个梯度来做优化,结果肯定是更好和更快。

现有的大多数物理引擎实际上都不支持可微分性,这导致它的解法有局限性,必须依赖于RL或者一些Motion Planning来进行。从使用的工具角度来看,这非常受限制。但是做机器人的人可能都知道,做Trajectory Optimization是一个非常高效的方法,比RL更高效,但因为支持可微分性门槛非常高,所以这个领域的发展进展缓慢。但一旦这个问题得到解决,对于机器人学习来说,是一个革命性的进步。虽然目前RL是在仿真环境中机器人学习技能很常用的方法,但实际上,绝大多数做机器人学习的人都不认为RL是一个非常高效的学习机器人技能的方法,但是又没有其他更好的方法。我们希望能够构建这样一个具有可微分性的高效系统,尽管这条路非常漫长,工程量非常大,但是我们认为这是一条必须走的道路。

2. 可微模拟之于机器人学习

我们这套可微分物理引擎系统最早是和胡渊明的Taichi合作,可微分模拟在计算图形学(Computational Graphics)是一个很大的分支,但他们的侧重是用可微分的方式让模拟做的更准更快。在机器人领域,我们考虑的是怎么让Skill Learning(技能学习)更高效,用梯度的方式去做机器人技能学习。

比如我们21年和胡渊明合作的PlastineLab,对于PPO或者RL他们的学习效率非常低,而我们的方法学习效率是RL几个数量级的提升,这也是我们为什么后面坚定的去创建这套可微模拟系统来做机器人技能学习。当我们有了这种很高效机器人学习技能的方法之后,可以在模拟器里收集大量的机器人示例(Demonstration)的数据,再去学一些真实世界技能迁移(Real World Skill Transfer)。所以我们整体的逻辑是通过构建强大的可微分物理模拟系统,来生成和收集大量机器人操作的数据,有了数据之后,可以训练机器人技能学习的基础模型,然后再学习一个Adaptive Policy,将这个模型迁移到真实世界。

包括到后面和Shuran组合作的Roboninja也是这样一套思路,这个工作是切割各种各样的物体。这个工作里每个物体都不一样,包括中间有核的物体,这种用遥操作等是非常难构建的。我们在模拟器里构造和收集无限量的数据,让他在模拟器里学习一个policy再tansfer到真实世界。包括到后面的FluidLab、SoftZoo以及今年ICLR的一篇工作ThinSellLab都是这个逻辑。

原文视频演示

Roboninja demo

很多任务,RL训练不出来,很痛苦,Policy训练了很久也找不到,而用我们的可微引擎训练个半小时就可以找到Policy。所以可微分物理引擎是比RL更有效的寻找机器人技能学习策略的方式。但现在有个问题,现在大多数的仿真器不支持可微,这也是现在整个机器人领域的痛点。如果不支持可微,你就没有其他解法,你就只能做RL或Motion Planning,没有Trajectory Optimization的选择。可微物理引擎门槛很高,全世界做机器人可微模拟的人没多少,会写可微物理引擎的不超过100人。这也是我们做Genesis的初衷,把会写可微分物理引擎的华人都聚到一起去做这个事情。可微物理引擎对数学和编程的门槛很高,即使在计算机图形学,可微模拟也是个出力不讨好的事情。

我们整个一套东西是希望给机器人构建世界模型。人为什么学技能快,人是有一个世界模型的。Robot Intelligence从哪里来,我一直认为这个智能应该从世界模型来,这就需要给机器人建立一个“状态-动作-状态”的能力,包括需要给他建立一个非常有效的寻找动作序列做规划的能力。这个能力从哪来来,我一直比较坚持的认为需要建立一个强大的可微分物理引擎来作为机器人的大脑,来支持他学习各种技能。当然这个世界模型也可以从现实世界里学习,但共同的目的是怎么给机器人构建一个大脑,不一定是某个技能,而是更广泛的对物理世界的理解,你只有真正的有了这么一个大脑,真正的有个对物理世界的建模,你才能真正的Generalize。

3. 可微模拟之于Sim2Real Gap

目前机器人模拟器的两大难题,一个是怎么更快的在仿真里学会技能,可微模拟可以迅速地找到对于一些任务比较好的Policy。另一个难题是怎么减少Sim2Real Gap,可微模拟整个概念也是将Sim和Real更好的结合,它可以获得更好的Sim2Real Alignment,这也是可微模拟和Pybullet这类物理引擎不同的一点。对于Pybullet这种物理引擎,解决Sim2Real Gap的办法就是Domain Randomization,但这个方法非常不可控。可微分模拟有一个好处是,它可以用真实数据校正模拟数据(Digital Tune),比如有一个现实世界的视频,可以利用现实世界的视频来校正这个可微模拟器。假设,我们现在有一个真实世界视频,怎么在仿真里给他重建出来?对于可微分物理引擎,可以用真实世界视频作为目标,相当于我对仿真引擎的参数做优化,让他仿真的结果和真实世界的结果做匹配。我们可以用梯度下降迅速找到参数,让仿真和真实接近。

4. 可微模拟之于机器人数据

这里有几个概念区分下,RL、Differentiable Physics(可微模拟)和Motion Planning这些都是解决在仿真里怎么找策略(Policy)的问题;Diffusion policy,Diffusion Transformer,Imitation Learning包括Offline RL这些都是有了数据之后怎么学技能这件事。数据的来源有两种,一种是通过遥操作在真实世界里采集,一种是模拟器里来,这是两条路线。两条路线采集的数据,在这个后面可以接Diffusion Policy,Diffusion Transformer,IL,Offline RL,这些都是有了机器人数据(Demonstration)让机器人去学习技能。

我们希望通过可微分物理引擎,构建一个可以广泛适用刚体、软体,到各种类型的特殊物体的模拟器,同时还有好的渲染能力。这其实是回到了一个问题,就是怎么构建一个仿真环境,使得机器人能够在这个虚拟世界里学习并将所学应用到现实世界中。将虚拟的转化为真实的,这是我们的一个使命。因为机器人领域目前最大的问题就是缺乏数据,尽管很多人用遥操作采数据,但遥操作产生的数据很难Scale,我更相信在模拟器里采数据,但模拟的问题是,写物理引擎的门槛比搭一个遥操作系统的门槛高很多。

很多机器人实验室会倾向于遥操作,门槛更低,但这是不是最终的路径是一个问题。现在的仿真有点像八十年代的深度学习,很多人都觉得这个门槛很高,不是那么多人愿意投入精力。我们愿意沉下来做一些对这个领域有革命性意义的事情,尽管可能需要三五年甚至更长的时间。我们还是认为,通过模拟器和可微模拟来生成数据这条路线是真正能解决机器人领域数据从哪里来的手段。

第三部 可微分物理引擎论文综述

通用机器人模拟器和物理引擎大多只针对刚体,其中一些比较知名的物理引擎也有可微分分支,比如由Stanford大学开发的Nimble Physics,它是DART物理引擎的一个解析可微分支。关于DART物理引擎,在聊一聊“Sim”(上)——一览机器人模拟器生态做过介绍。MuJoCo XLA(MJX)则是在 JAX 中重新实现的 MuJoCo 物理引擎,具有可微性。

和通用机器人模拟器相比,可微分物理模拟器大都由学术团队自己开发,生态非常分散,并没有哪一个可微模拟器是被广泛应用的。Simulately(聊一聊“Sim”(下)——Simulately作者访谈)对这部分特殊模拟器进行了总结和分类,常见的机器人可微模拟器典型代表包括DiffSim,FluidLab,DiSECt,PlasticineLab,DiffArticulated,ThinShellLab,DaxBench,NimblePhysics,MuJoCo XLA(MJX),SoftMAC等。接下来逐一看看这些模拟器的特点。

DiffSim

DiffSim是一个支持大量刚体和可形变物体交互的可微分物理引擎。过往的可微分物理引擎大多只能对特定的物体类别,例如球体或二维多边形,而无法泛化到更广泛的对象类别。DiffSim是一个可扩展的可微分物理框架,可以支持大量对象及其相互作用。为了适应具有任意几何和拓扑结构的对象,作者采用网格作为表示,并利用接触的稀疏性进行可扩展的可微分碰撞处理。与基于粒子的方法相比,DiffSim在内存和算力需求方面节省至少两个数量级。DiffSim使用C++进行开发。

PlasticineLab

PlasticineLab是一个针对软体操作的可微物理引擎。现有的机器人模拟器通常只模拟刚体物理,软体动力学在模拟、控制和分析方面更为复杂。其中最大的挑战之一来自于其无限自由度(DoFs)及相应的高维控制方程。PlasticineLab提供了一个新的可微分物理基准,包括各种软体操纵任务,底层物理引擎使用DiffTaichi系统支持可微的弹性和塑性变形。

EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述) · 原文插图
EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述) · 原文插图

DiffArticulated

DiffArticulated是一种可微分的关节体模拟方法。作者使用伴随方法推导了关节体模拟的梯度,几乎不需要额外计算,比自动微分(Autodiff)工具快一个数量级,将内存需求降低了两个数量级。自动微分(Autodiff)模拟器在模拟步骤很多时会占用大量内存,这会导致学习受到时间限制或者需要采用较大时间步长,限制了学到的行为范围,降低模拟稳定性。

EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述) · 原文插图
EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述) · 原文插图

FluidLab

FluidLab是一个支持多种材料的可微物理仿真环境,可以处理涉及复杂流体动力学的操作任务,例如流体之间以及流体和固体之间的相互作用。FluidLab平台的核心是一个完全可微分的物理模拟器FluidEngine,它支持多种材料的建模,包括固体、液体和气体,弹性、塑性和刚性物体,牛顿和非牛顿液体,以及烟雾和空气等多种材料。FluidEngine使用物理引擎编程语言Taichi进行开发,支持在GPU上进行大规模并行计算。此外,它以完全可微的方式实现,为下游优化任务提供有用的梯度信息。

EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述) · 原文插图
EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述) · 原文插图

DaXBench

DaXBench是一个用于可变形物体操纵(Deformable Object Manipulation, DOM )的可微分仿真框架。与现有工作通常专注于特定类型的可变形物体不同,DaXBench支持流体、绳索、布料等;它提供了一个通用基准,用于评估不同的 DOM 方法,包括规划、模仿学习和强化学习。

EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述) · 原文插图

ThinShellLab

ThinShellLab是一个专为机器人与具有不同材料特性的薄壳材料(纸片、布料)进行交互而定制的可微分仿真平台。先前的研究主要依赖启发式策略或从真实世界的视频演示中学习策略,只关注有限的材料类型和任务(例如,展开布料),当扩展到更多种类的薄壳材料和各种任务时,这些方法面临显著挑战。ThinShellLab设计了一系列围绕不同薄壳对象的操纵任务。作者通过几个真实世界的实验展示了ThinShellLab如何通过真实到仿真的系统识别(Real-to-Sim System identification)和仿真到真实的技能转移(Sim-to-Real Skill Transferring)来弥合仿真和现实之间的差距。

EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述) · 原文插图

为了在仿真中重建真实场景,ThinShellLab首先通过基于视觉的触觉传感器和力传感器收集真实世界的数据。

EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述) · 原文插图

SoftMAC

SoftMAC是一个可微分仿真框架,它将软体与关节刚体和衣物耦合在一起。为了在各种机器人操纵场景中应用可微分仿真,一个关键的挑战是在一个统一的框架中集成各种材料。SoftMAC使用基于连续力学的Material Point Method (MPM)来模拟软体,基于每种模态的仿真器和接触模型,作者开发了一种可微分耦合机制,以模拟软体与其他两种材料之间的相互作用。

Jade

Jade是一种用于关节刚体的可微物理引擎,它在Nimble Physics基础上进行改进,解决Nimble Physics在穿透(penetration)方面的问题。Jade将接触建模为线性互补问题(LCP),与现有的可微模拟相比,Jade提供了一些功能,包括无交点碰撞模拟和多个摩擦接触的稳定LCP解决方案。Jade使用连续碰撞检测来检测碰撞时间,并采用回溯策略来防止具有复杂几何形状的物体之间的相交。

EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述) · 原文插图

一些想法

这周去北京看了下WRC,人山人海,看了各家的机器人,也都溜出来走了走,很热闹。但产品形态非常同质化,虽然我也想不出来什么形态上的花样,但总希望可以看到一些不一样形态的机器人

[表情]

。会场上遇到了很多小朋友的游学团,机器人教育从娃娃抓起,鼓捣机器人是件很快乐的事情,从无到有能够搭建一些东西还会动,完成的时候非常有成就感。期待一下明年的机器人大会,会有更多让人哇塞的产品和技术吧。

References:

RoboGen

https://robogen-ai.github.io/

Nimble Physcis:https://nimblephysics.org/

DiffSim: Yi-Ling Qiao, Junbang Liang, Vladlen Koltun, Ming C. Lin,Scalable Differentiable Physics for Learning and Control, 2020

PlasticineLab:Zhiao Huang, Yuanming Hu, Tao Du, Siyuan Zhou, Hao Su, Joshua B. Tenenbaum, Chuang Gan,PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics,ICLR 2021

DiffArticulated:Efficient Differentiable Simulation of Articulated Bodies. Yi-Ling Qiao, Junbang Liang, Vladlen Koltun, Ming C Lin, ICML 2021

FluidLab:Zhou Xian,Bo Zhu,Zhenjia Xu,Hsiao-Yu Tung,Antonio Torralba,Katerina Fragkiadaki,Chuang Gan,FluidLab: A Differentiable Environment for Benchmarking Complex Fluid Manipulation, ICLR 2023

DiSECt: A Differentiable Simulation Engine for Autonomous Robotic Cutting Eric Heiden, Miles Macklin, Yashraj Narang, Dieter Fox, Animesh Garg, Fabio Ramos, 2021

DaxBench: a deformable object manipulation benchmark with differentiable physics.Siwei Chen, Yiqing Xu, Cunjun Yu, Linfeng Li, Xiao Ma, Zhongwen Xu, David Hsu, 2023

SoftMAC: Differentiable Soft Body Simulation with Forecast-based Contact Model and Two-way Coupling with Articulated Rigid Bodies and Clothes,Min Liu, Gang Yang, Siyuan Luo, Chen Yu, and Lin Shao,2023

Jade: A Differentiable Physics Engine for Articulated Rigid Bodies with Intersection-Free Frictional Contact Gang Yang, Siyuan Luo, Yunhai Feng, Zhixin Sun, Chenrui Tie, and Lin Shao

ThinShellLab: a differentiable simulator for manipulating thin-shell materials, such as cloths and papers. https://thinshelllab.github.io/

石麻笔记 · Robot Data · EP08