返回强化学习与仿真系列

强化学习与仿真

聊一聊“Sim”(上)——一览机器人模拟器生态

梳理通用机器人模拟器、物理引擎、家庭场景与专用模拟器。

渣大米2024-01-2324 分钟阅读微信公众号原文
文章目录

AI机器人领域,Simulation(模拟或仿真)是一个出镜率很高的词,比如Sim+RL,Sim2Real,Real2Sim2Real等等。不单是AI Learning Based的路线,就连Model-Based的路线也离不开Simulation。相对于在真机上调试,通过模拟环境先调试算法,在确保没有问题的情况下再部署到真机上,既保证了安全性,也可以加快开发速度。除此以外,有一些机器人硬件成本很高,对物理环境部署的要求也很高,很多科研人员也更倾向于用成本更低的方式进行机器人训练,模拟器因此得到广泛应用。

在查阅机器人模拟器资料的过程中,我看到了一个叫Simulately的开源项目,一个由AI机器人领域的青年学者发起的机器人模拟器开源项目,我个人把它理解成机器人模拟器领域的Hugging Face,虽然项目目前还在初期阶段,但对于看模拟器完全摸不到头绪的我提供了很大的帮助。我也非常有幸邀请到参与Simulately开源项目的两位青年学者秦誉哲和耿浩然做了访谈,解答了我的很多“初级”问题,我也将访谈过程中的一些话题整理出来,希望可以让大家对机器人simulation有更直观的理解。

由于内容比较长,我们将聊一聊“Sim”系列分成上下两部分。第一部分是介绍目前市面上常见的机器人模拟器,第二部分是作者关于具身智能simulation的一些问题与Simulately两位作者秦誉哲和耿浩然的访谈。

查看原文目录

以下为本文目录

👇

通用模拟器

物理引擎

家庭场景模拟器

特殊模拟器

1. 通用模拟器(General Simulator)

机器人模拟器(Simulator)可以让机器人研究者在没有物理硬件的情况下对算法进行验证。模拟器性能主要由两部分决定:物理引擎(physics engine)和渲染引擎(rendering engine)。其中物理引擎是现实世界物理系统的模拟,核心是用算法描述物体运动学和动力学的物理定律,构建运动、碰撞和交互的数学系统;渲染引擎是提供一个可视化平台,提高模拟器中场景的真实程度,主要影响观感和视觉传感器的质量。早期的机器人模拟器可以仅仅是物理引擎,近些年更多的通用机器人模拟器在物理引擎的基础上加上了渲染引擎,以及传感器适配、强化学习支持等。

与机器人模拟器最类似的是游戏引擎,因此在机器人模拟器还没有特别统一的情况下,机器人科研人员(比如无人机、自动驾驶)也会基于游戏引擎做一些开发。目前机器人领域的模拟器分几个类型,第一类是大型机器人企业自己开发的模拟软件,比如ABB,KUKA,FUNAC等,这类一般只服务于企业自己的机器人产品;第二类是以英伟达为代表商业企业提供的第三方模拟平台,比如Isaac Sim;第三类是开源平台,比如Gazebo,Webots,SAPIEN等。学术界和创业公司一般会选择后两者。

Isaac Sim

NVIDIA Isaac Sim是一款可扩展的机器人模拟器,为基于AI的机器人学习提供设计、测试和训练的虚拟环境。它由Omniverse驱动,特点是很强的可扩展性、逼真的场景、准确的物理仿真。Isaac Sim整合了最新的PhysX物理引擎和RTX图像渲染引擎,并引入了Pixar公司开发的USD(Universal Scene Description)描述格式作为机器人和复杂场景的描述方式。USD格式是Pixar用于动画、电影场景描述的格式,效果逼真;RTX实时光线追踪技术也在游戏和电影特效工业中有广泛应用;PhysX物理引擎则是著名游戏引擎Unity和Unreal所采用的物理引擎。因此,融合了PhysX、RTX和USD的Isaac Sim对机器人模拟器行业就是降维打击。

聊一聊“Sim”(上)——一览机器人模拟器生态 · 原文插图

早在2017年,NVIDIA推出了一个早期的独立实验程序Isaac Gym。Isaac Gym最主要的创新是将物理引擎的计算过程从CPU迁移到GPU,使得它比其它模拟器有了上百倍的加速。此外,Isaac Gym针对强化学习做了特别的开发,早年很多基于强化学习的训练都是基于Isaac Gym,尤其是对四足的RL训练。Isaac Sim和Isaac Gym这两个机器人模拟器的底层都是基于PhysX物理引擎。目前,NVIDIA的主要资源都是投入在Isaac Sim上,Isaac Gym作为一个早期实验版本被合并到Isaas Sim上,之后可能会慢慢淡出历史舞台。

原文视频演示

Isaac Sim介绍

Webots

Webots是一款于1998年由Cyberbotics Ltd.推出的机器人模拟器,为工业和学术研究提供完整的机器人开发和建模环境。Cyberbotics Ltd.是瑞士洛桑联邦理工EPFL分拆出来的一家公司。近些年,Webots由商业软件改为开源模式,依然由Cyberbotics Ltd.开发和维护。Webots的物理引擎基于ODE。

原文视频演示

Webots介绍

CoppeliaSim

CoppeliaSim,以前称为V-REP,是一款在工业、教育和学术研究中使用的机器人模拟器,目前作为商业软件的形式提供服务。V-REP最初由日本东芝的科研人员于2010年提出,于2019年更名为CoppeliaSim,目前由位于瑞士苏黎世的公司Coppelia Robotics AG进行开发和维护。CoppeliaSim使用运动学引擎进行正向和反向运动学计算,支持多个物理引擎MuJoCo、Bullet、ODE、Vortex、Newton Game Dynamics等进行刚体仿真。

Gazebo

Gazebo是一个开源的2D/3D机器人模拟器,最早在2002年由USC Robotics Research Lab (南加州大学机器人实验室) Andrew Howard教授和他的学生Nate Koenig开发,作为2D模拟器Stage的补充。Gazebo于2009年被整合进ROS体系。在2017年,Gazebo开发分成两个版本,分别称为“Gazebo Classic”(原始的单体架构)和“Gazebo”(已演变为一组现代化的松散耦合库)。Gazebo Classic可以使用多个高性能的物理引擎,如ODE、Bullet、DART等(默认为ODE)。

依托于ROS生态,Gazebo是目前最广泛使用的机器人模拟器。Gazebo也被DARPA机器人挑战赛多次指定为专用机器人模拟器,包括DARPA机器人挑战赛 2012-2015(DRC),NASA空间机器人挑战赛 2016-2017(SRC),DARPA地下挑战(SubT)2018-2021。

Gazebo General Simulator Darpa Subterrain Challenge #机器人模拟器 simulator(请在微信公众号原文观看)

DARPA地下挑战(SubT)

PyBullet

PyBullet基于Bullet物理引擎的一款开源机器人模拟器,PyBullet和Python紧密结合,在强化学习 (RL) 中广泛应用。是Gazebo强有力的竞争对手。

此外,无人驾驶场景(比如车和无人机)也常使用游戏引擎如Unity和Unreal Engine(UE)来搭建仿真环境,以达到逼真的图像感知效果。另外,MATLAB也提供了机器人工具箱Robotics Toolbox,这款模拟器提供了ROS接口。

2. 物理引擎(Physics Engine)

物理引擎是一种模拟现实世界物理行为的软件工具,提供对特定物理系统的近似模拟,如刚体动力学(包括碰撞检测)、软体动力学和流体动力学,在计算机图形、机器人、视频游戏和电影(计算机生成图像)等领域中有广泛应用。机器人物理引擎用于在虚拟环境中模拟机器人的运动、碰撞和交互。物理引擎本质上是一个大型计算器,执行模拟物理所需的数学计算。

机器人领域常用的物理引擎有英伟达的PhysX(Isaac Sim和Isaac Gym均采用PhysX物理引擎),MuJoCo,Bullet,ODE,RaiSim,DART等,除了上述物理引擎,Vortex,Havok和Simbody也是常用于机器人和游戏的物理引擎。

PhysX

PhysX是由NVIDIA开发的实时物理引擎中间件软件开发工具包(SDK),属于NVIDIA GameWorks软件套件的一部分,拥有刚体动力学、软体动力学、关节、车辆动力学、流体力学等特性。PhysX是游戏和机器人领域最知名的物理引擎。在机器人领域,PhysX是英伟达机器人模拟器Isaac Sim和Isaac Gym使用的物理引擎,同时也是其他通用模拟器比如SAPIEN采用的物理引擎。在游戏领域,主流游戏引擎Unreal和Unity以及其他不少游戏公司自研的引擎通常都基于英伟达的PhysX作为物理引擎。虽然前代的PhysX采用了简化物理模型,但PhysX 5提升了物理仿真的性能。英伟达还在2021年招揽了著名物理仿真引擎Bullet的作者Erwin Coumans参与PhysX物理引擎的开发。

Nvidia PhysX physics engine Rigid-bodies #物理引擎 #机器人模拟器simulator(请在微信公众号原文观看)

刚体

Nvidia PhysX physics engine soft-bodies #物理引擎 #机器人模拟器simulator(请在微信公众号原文观看)

柔性物体

Nvidia PhysX physics engine articulation #物理引擎 #机器人模拟器simulator(请在微信公众号原文观看)

铰链物体

PhysX的前身起源于一个名为NovodeX的物理仿真引擎。该引擎是由瑞士公司NovodeX AG开发的,是苏黎世联邦理工学院(ETH Zurich)的一个衍生公司。在2004年,Ageia收购了NovodeX AG,并开始开发一种可以加速物理计算、辅助CPU的硬件技术。Ageia将这项技术称为PhysX,SDK从NovodeX更名为PhysX,加速卡被称为PPUs(物理处理单元)。在2008年,Ageia被Nvidia收购,Nvidia开始在其GeForce系列图形卡上启用PhysX硬件加速,并最终停止了对Ageia PPUs的支持。

MuJoCo

MuJoCo是Multi-Joint Dynamics with Contact的缩写,是一个专门为机器人模型控制(Model-based control)设计的物理引擎,最初于2012年由神经科学家、华盛顿大学运动控制实验室主任Emo Todorov开发,于2015年通过Roboti LLC以商业产品的形式进行转化,于2021年被Google DeepMind收购,目前以开源项目的形式给机器人研发人员提供技术支持。

与许多为游戏和电影应用设计的模拟器不同,MuJoCo专为机器人设计,很少采用强调稳定性而不是准确性的捷径。例如,MuJoCo考虑到陀螺力,实现了完整的运动方程,MuJoCo还支持人体和动物的肌肉骨骼模型,这意味着施加的力可以正确分布到关节上。此外,Mujoco也是⼀个⽐较有代表性的使⽤⼴义坐标表征刚体系统的引擎,因为这种坐标表⽰,它对于⻓链铰链物体的模拟很有优势。

MuJoCo physics engine 四足 #物理引擎 #机器人模拟器(请在微信公众号原文观看)

MuJoCo模拟器四足MPC

Bullet

Bullet是Erwin Coumans于2006年提出的一个物理引擎,用于模拟碰撞检测以及软体和刚体动力学模拟,它已被应用于视频游戏和电影视觉效果。其主要作者Erwin Coumans因其在Bullet上的工作而获得了科学技术学院奖,他在2003年至2010年期间为Sony Computer Entertainment美国研发部门工作,2010年到2014年之间在AMD工作,2014年到2022年为Google工作,现在在Nvidia工作。Bullet物理库是一款免费的开源软件,他的主要应用领域是游戏和计算机图形学。

聊一聊“Sim”(上)——一览机器人模拟器生态 · 原文插图

Bullet Humoid

ODE

ODE(Open Dynamics Engine)是一款发布于2001年的开源物理引擎,他的主要作者是Russ Smith。它的两个主要组件是刚体动力学模拟引擎和碰撞检测引擎。ODE在游戏中有广泛应用,也是机器人模拟应用中的一种常见选择,涉及移动机器人运动和简单抓取等场景。在这个领域,ODE存在一些缺点,比如近似摩擦的方法和对关节阻尼的支持不足。

聊一聊“Sim”(上)——一览机器人模拟器生态 · 原文插图

ODE

RaiSim

RaiSim是由RaiSim Tech Inc.开发的物理引擎,它也是一个通用的刚体模拟器,可以高效地模拟任何刚体。该引擎旨在为模拟机器人系统提供精确性和速度。他也是ETH著名的四足ANYMALL机器人使用的物理引擎。RaiSim Tech Inc. 是ETH RSL分拆出来的子公司,开发适用于机器人和人工智能的跨平台多体物理引擎。

RaiSim physics engine ETH #机器人模拟器 simulator #物理引擎(请在微信公众号原文观看)

RaiSim physics

DART

DART(Dynamic Animation and Robotics Toolkit)是由乔治亚理工学院的图形实验室(Georgia Tech Graphics Lab)和人形机器人实验室联合(Humanoid Robotics Lab)开发的物理引擎,于2012年发布。DART在机器人学和计算机动画中具有应用,它具有多体动力学模拟器和各种用于控制和运动规划的运动学工具。DART提供了对内部运动学和动力学量的完全访问,例如质量矩阵、科氏力和离心力、变换矩阵及其导数,这与许多流行的物理引擎不同,后者将模拟器视为黑匣子。此外,DART因其通过使用广义坐标表示关节刚体系统以及应用Featherstone的关节体算法来计算运动动力学而实现的准确性和稳定性而脱颖而出。

DART physics engine Atalas #物理引擎 #机器人模拟器simulator(请在微信公众号原文观看)

DART physics Atlas

Havok

Havok Physics是由爱尔兰公司Havok开发的一套3D物理引擎,主要为视频游戏设计,允许在三维空间内实时进行刚体的碰撞和动力学模拟。Havok于2007年9月被Intel收购,2015年10月微软从英特尔手上收购了Havok。

3. 家庭场景模拟器

除了以上被广泛使用的通用模拟器以外,AI机器人学术界也一直致力于构建家用助理机器人,因此有一些专门针对以家庭环境为代表的人类生活场景的模拟器。这些模拟器的特点是环境模拟真实度高,因此很多这类模拟器是构建在以Unity和UE为代表的游戏引擎基础上,通常由一些顶尖的大学实验室开发,并以开源项目的形式运营。

SAPIEN

SAPIEN是由UCSD苏昊团队联合Stanford和Simon Fraser University的研究人员共同开发和维护的一款开源机器人模拟器。SAPIEN构建一个逼真的人类生活模拟环境,托管了一个大规模关节对象(articulated objects)数据集,支持各类家务任务。

聊一聊“Sim”(上)——一览机器人模拟器生态 · 原文插图

SAPIEN模拟器场景

下图是SAPIEN模拟器的结构,左侧是SAPIEN渲染器,它采用自定义着色器和场景信息生成诸如RGBD和图形分割。中间框显示SAPIEN模拟器引擎,它基于NVIDIA的PhysX物理引擎和ROS控制接口。右侧框显示SAPIEN资产,其中包含大规模的PartNet-Mobility数据集。UCSD的学术团队还推出基于SAPIEN模拟器的操作技能挑战赛ManiSkill,旨在评估具有类似于人类的与3D世界进行交互能力的通用机器人代理(generalizable robotic agents )。

聊一聊“Sim”(上)——一览机器人模拟器生态 · 原文插图

SAPIEN结构

TDW

TDW(ThreeDWorld)是由淦创参与的MIT-IBM Watson AI Lab联合MIT Brain and Cognitive Sciences(MIT脑与认知科学学院),Stanford和Harvard的研究者联合推出的一款开源3D模拟器。TDW模拟器由两部分组成,第一部分Build,是基于Unity3D引擎的模拟器,负责图像渲染、音频合成和物理模拟,第二部分Controller,是与Build进行通信的外部Python接口。研究人员编写Controller,向Build发送命令,Build执行这些命令并返回代表虚拟世界状态的各种数据类型。因为基于游戏引擎Unity,TDW具有高质量的视觉渲染,虚拟环境接近真实图像,此外TDW还提供了高保真音频渲染,能够各种材料类型的真实物理交互,包括布料、液体和可变形物体。淦创的团队也参与了多个特殊模拟器的编写,比如柔性物体模拟器RoboNinja,流体模拟器FluidLab,软体机器人模拟器SoftZoo等。

Habitat

Habitat是由Meta Fair推出的一款用于研究大规模人机交互的开源模拟器。Habitat 3.0实现了在家庭环境中进行多样化、高效和准确的人形机器人模拟、人机交互以及协作式人机任务。Habitat包括Habitat-Sim、Habitat-Lab和Habitat Challenge。其中,Habitat-Sim是一个高性能的3D模拟器,基于Bullet物理引擎。

AI2-THOR

AI2-THOR(The House Of inteRactions)是由艾伦人工智能研究所(AI2)下设的计算机视觉研究团队PRIOR提出的基于Unity的开源模拟器,包括接近照片逼真的3D室内场景,用于训练机器人执行各种家务任务。AI2-THOR有一个名为iTHOR是一个基于Unity 3D的模拟平台,包括120个房间,如厨房、卧室、浴室和客厅。拥有超过2000个独特的对象,支持对象和场景的物理模拟。此外,AI2-THOR还有一个名为RoboTHOR的机器人操作模拟环境,家居和真实场景,包括89个公寓模拟场景,超过600个物体,以及14个真实公寓场景,使用带有Kinect相机的LoCoBot机器人,模拟和真实环境对所有人可访问。

AI2是由已故的慈善家和微软联合创始人保罗·G·艾伦于2014年创立的非营利性研究机构,旨在进行具有高影响力的人工智能研究和工程,服务于共同利益。艾伦于1975年共同创立了微软,并被列为全球主要的慈善家之一,终身捐赠总额超过20亿美元,在他的一生中,他创立了几个非营利性的科学研究机构,以加速人类健康和技术的重要领域。2003年,他创立了艾伦脑科学研究所,加速了对人类大脑在健康和疾病中的理解。十年后的2013年,他成立了艾伦人工智能研究所AI2,探索人工智能领域的关键问题。2014年,他创建了艾伦细胞科学研究所,并于2018年创立了艾伦免疫学研究所。

视频号:A12-THOR

iGibson

iGibson(Interactive Gibson)是由李飞飞带领的Stanford SVL推出的一个开源模拟器,该模拟器基于Bullet物理引擎和自研的渲染引擎。iGibson配备了15个完全交互式的高质量场景,包括108个房间,其中有刚性和关节对象,数百个从真实家庭和办公室重建的大型3D场景,与CubiCasa5K和3D-Front等数据集兼容,提供了12000多个额外的交互式场景。通过这些场景和功能,iGibson允许研究人员训练和评估使用视觉信号解决导航和操纵任务的机器人代理,例如打开门、拾起和放置物体,或在橱柜中搜索。iGibson之前的版本是Gibson。

Stanford SVL的一个成员Roberto Martín-Martín总结了几款家居场景模拟器的不同侧重点:Sapien专注于模拟与关节对象(如门、柜子和抽屉)的交互。TDW是一个多功能的模拟器,能够模拟音频、高质量的视觉效果,并通过Nvidia Flex对柔性材料和液体进行模拟。但这两者都没有包含真实环境中对象分布和布局的完全交互式场景。AI2Thor包含交互式场景,但这些交互是预先脚本化的:可以对可交互对象进行注释,说明可能的动作。当代理靠近一个对象并且对象处于正确的状态(前提条件)时,代理可以选择预定的动作,对象会“过渡”到下一个状态(后置条件)。RoboThor是AI2Thor的替代版本,能够进行持续的交互,但专注于导航。iGibson侧重复杂而长期的移动操作任务,例如整理房子或搜索物体,这需要在逼真的大规模场景中进行全面的交互。

除了上述提到的几款模拟器,其他针对机器人在家庭环境的模拟器包括MINOS, Virtual Home等。

4. 特殊模拟器

上述提到的通用机器人模拟器和物理引擎大多只针对刚体,可形变物体和流体的机器人模拟器多数是学术团队自己开发。Simulately对这部分特殊模拟器进行了总结和分类,我们这里直接引用Simulately网站上的内容,对这部分模拟器感兴趣的朋友可以直接在Simulately网站上看到对每个模拟器的简介。

Differentiable Simulators(可微模拟器):典型代表包括DiffSim,FluidLab,DiSECt等。

Soft Body Simulators(软体模拟器):典型代表包括SoftGym,FuildLab,RoboNinja,SoftMAC等。

Fluid Simulatros(流体模拟器):典型代表包括FluidLab,FleX,Aquarium,Fish Gym等。

Tactile Simulators(触觉模拟器):典型代表包括Taxim,DiffRedMax,TACTO,DiffTactile等。

Soft Robot Simulators(软体机器人模拟器):典型代表包括SoftZoo和EvoGym等。

关于机器人模拟器,这篇文章做了一些基础的介绍,更多关于模拟器深层次的问题,可以参看聊一聊“Sim”(下)——机器人模拟器深度访谈。

References:

https://en.wikipedia.org/wiki/Physics_engine

https://www.ode.org/

https://en.wikipedia.org/wiki/Open_Dynamics_Engine

https://www.havok.com/havok-physics/

https://dartsim.github.io/gallery.html

https://dartsim.github.io/index.html

https://rsl.ethz.ch/partnership/spinoff/raisim.html

https://developer.nvidia.com/physx-sdk#:~:text=PhysX%20offers%20a%20highly%20scalable,end%20GPU%2Dbased%20reinforcement%20learning.

https://pybullet.org/wordpress/

https://en.wikipedia.org/wiki/Bullet_(software)

https://deepmind.google/discover/blog/open-sourcing-mujoco/

https://ieeexplore.ieee.org/document/6386109

https://homes.cs.washington.edu/~todorov/projects.html

https://www.roboti.us/

https://mujoco.org/

杨硕知乎:https://zhuanlan.zhihu.com/p/545418917

https://developer.nvidia.com/isaac-sim

https://cyberbotics.com/

https://www.coppeliarobotics.com/

https://link.springer.com/chapter/10.1007/978-3-642-17319-6_8

https://gazebosim.org/home

https://en.wikipedia.org/wiki/Gazebo_simulator

https://staff.fnwi.uva.nl/a.visser/activities/robocup/Gazebo.pdf

https://pybullet.org/wordpress/

https://sapien.ucsd.edu/

https://www.threedworld.org/

https://sapien.ucsd.edu/publication

https://sapien.ucsd.edu/

https://arxiv.org/abs/2007.04954

https://www.threedworld.org/

https://arxiv.org/pdf/2007.04954.pdf

https://aihabitat.org/habitat3/

https://ai.meta.com/static-resource/habitat3

https://arxiv.org/abs/1712.05474

https://ai2thor.allenai.org/

https://allenai.org/#nlp

https://svl.stanford.edu/igibson/

https://svl.stanford.edu/igibson/1.0/docs/intro.html

http://gibsonenv.stanford.edu/

https://ai.stanford.edu/blog/igibson/

https://minosworld.github.io/

https://drake.mit.edu/

石麻笔记 · 强化学习与仿真