近一段时间,我常常会看到关于机器人触觉感知相关的话题,“视触觉传感器(Vision-Based Tactile Sensor,VBTS)”这个听起来很迷惑的名词出镜率尤其高。我也一直在思考一个问题,对于通用操作机器人来说,触觉到底是不是一个必需的模态?没有触觉,单靠视觉,是否足以让机器人完成特定的通用操作?
人类对世界的感知有六个维度,眼耳鼻舌身意,对应视觉、听觉、嗅觉、味觉、触觉、意识。我们假设机器人进化的终极能量来源还是电力,而不是食物,那么味觉和嗅觉对机器人来说似乎没什么用。剩下四个维度,视觉、听觉、触觉和意识在机器人领域的进展分别是什么样子?
视觉,硬件以摄像头为主,融合激光雷达等传感器,过去几年自动驾驶和服务机器人的发展让视觉算法有很大发展;听觉,硬件以手机和智能音箱听筒和麦克风器件为主,近些年语音识别的算法也相对成熟;意识,ChatGPT的出现让人们相信,也许AI很快会拥有自我意识。那么触觉呢,相比之下,不管是硬件还是算法目前都非常不成熟。
尽管近些年,学术界也有很多paper证明,加入触觉感知,机器人操作物体的准确性可以提高,但触觉感知依然没有完美的方案,甚至到目前为止都没有成熟的硬件平台。在和一些做操作相关的老师交流时,常常听到视触觉传感器,尤其是GelSight。这篇文章以GelSight学术进展为时间轴,呈现从提出到后面每个时期的关键进展。我们展示了大量的视频,以期用最直观的方式呈现什么是视触觉传感器以及它能做到什么。
查看原文目录
以下为本文目录
👇
机器人触觉方案简介
GelSight简介
GelSight科研时间轴
GelSight产品化
其他VBTS相关工作
VBTS的机会与挑战
1. 机器人触觉方案简介
触觉传感器模仿生物的皮肤触觉,检测外部物理环境引起的刺激。常见的触觉传感器类型包括压阻式、压电式、光学式、电容式、电磁式和视触觉传感器。我们今天这篇文章探讨的GelSight是视触觉传感器的典型代表,所谓视触觉传感器就是基于视觉的触觉传感器(Vision-Based Tactile Sensor,VBTS)。
人类在操作物体的时候,手部的触觉信息包含两个维度:物体本身的状态和接触的状态;其中物体本身的状态信息包含表面纹理、物体形状、软硬度;接触状态信息包含法向力(垂直人手皮肤)、剪切力(平行人手皮肤)、相对滑动和物体的位姿。对上述触觉信息,大多数触觉传感器比如压阻式、压电式、电容式和电磁式大都只能感受法向力,而对其他信息无法采集或灵敏度很低。VBTS和其他触觉方案相比,最大的优点就是可以高灵敏地感知上述全部信息,非常接近人手的触觉信息维度。
2. GelSight简介
基于荧光点的视触觉传感器早在2004年就由东京大学团队提出过(GelForce),但分辨率不高。GelSight是第一个超高分辨率的视触觉传感器,它于2009年由MIT计算机科学与人工智能实验室(CSAIL)的Edward Howard Adelson(简称Edward Adelson)研究小组提出。GelSight是由“Gel”和“Sight”组成,Gel(凝胶)是传感器弹性接触表面使用的材料;Sight(视觉),传感机制是使用摄像头采集视觉图像。在GelSight触觉传感器接触物体时,内置的摄像头在LED灯光的辅助下捕捉接触物体的凝胶产生的形变,通过计算机视觉的算法将凝胶形变信息与触觉信息进行映射。

GelSight触觉传感器结构 (GelSight 2017论文)
从2009年提出至今,Edward Adelson的小组经历了几代人持续十几年的努力,将视触传感器推到了机器人触觉感知领域的最前沿,获得了全球顶尖高校和科研机构的认可和跟随,AI机器人领域的顶级高校MIT、Stanford、CMU、UCB、UIUC、ETH、牛津、清华、北大、上交、港科大、中科院等高校以及Meta、TRI(丰田)等大企业都推出过基于GelSight的各项工作。近些年,基于GelSight的论文也常常获得机器人领域顶会RSS、ICRA、IROS的Best Paper。接下来就让我们进入GelSight的历史长河,回顾它从诞生至今15年所经历的重要时刻。
3. GelSight科研时间轴
GelSight提出——GelSight @ MIT 2009
提到GelSight视触觉传感器,就绕不开他的发明人MIT教授Edward Adelson。Edward Adelson是一位美国神经科学家,目前是麻省理工学院John and Dorothy Wilson视觉科学教授,同时也美国国家科学院和美国艺术与科学学院的两院院士。他近些年的研究重点是机器人的人工触觉感知,他于2009年在CVPR首次提出GelSight视触觉感知技术(Micah Johnson and Edward Adelson, 2009)。
Edward Adelson 2009年的工作最初只是用于物体表面微观结构的观测,和机器人的触觉感知并没有关系。2009年的GelSight传感器由透明弹性体(一种凝胶状材料)和涂有颜色的外皮组成,可以测量触碰其表面的物体的纹理和几何形状。从背后观察,被按压到传感器上的物体呈现为一个具有均匀反射度的阴影表面。这些特性允许对物体表面进行三维重建。
Gelsight 2009 #机器人触觉 #视触觉传感器(请在微信公众号原文观看)
Source:Micah Johnson et al. 2009
GelSight @ MIT 2011
在2011年SIGGRAPH,Edward Adelson和团队对GelSight做了进一步优化,提出了一个用于捕捉微观表面几何的系统,将2009年的工作扩展到微观领域,展示了小至 2 微米的空间分辨率(Micah Johnson et al. and Edward Adelson, 2011)。该系统不受被测表面的光学特性的影响 - 无论物体是哑光的、光亮的还是透明的,它都能捕捉相同的几何形状。此外,硬件设计支持多种形式,包括手持设备,可用于在现场捕捉高分辨率表面几何。相较于 Johnson 和 Adelson 2009年提出的原始传感器,2011年的工作改进了传感器材料、照明设计和重建算法,也提出了在表面缺陷检测方面的应用可能。但至此,GelSight和机器人以及触觉依然没有什么关系。
Gelsigh 2011 #机器人触觉 #视触觉 #Gelsight(请在微信公众号原文观看)
Source:Micah Johnson et al. 2011
GelSight进化——GelSight @ MIT 2013
在2013年的CVPR,Edward Adelson团队首次将GelSight与机器人触觉感知进行结合,构建了一个包含40个触觉纹理类别的数据库,使用了诸如织物、木材和砂纸等材料(Rui Li and Edward Adelson,2013)。这个系统可以正确分类来自该数据库的材料,表明 GelSight 传感器可以帮助机器人进行材料识别。

GelSight采集的40个物料材质图像
GelSight @MIT 2014
在2014年IROS,Adelson团队首次提出了使用 GelSight触觉传感来进行机器人小零件的精确定位和操控(Rui Li et al. and Edward Adelson, 2014)。这也是全球第一个用于机器人的超高分辨率(10微米级别)指尖触觉传感器Fingertip GelSight Sensor,并首次将GelSight用于机器人插拔USB的任务,通过视觉和触觉结合实现类人的精细操作和闭环控制。至此,以GelSight为代表的视触觉用于机器人操作的学术研究正式拉开了帷幕。下图可以看到10年前第一款机器人指尖传感器的结构和外观设计和如今GelSight Mini(后文会介绍)非常类似。

Fingertip GelSight Sensor:适合机器人指尖的GelSight传感器设计和机构 (Source:Rui Li et al. 2014)
这里值得一提的是,2009-2011年的GelSight设备比较大(最小的也有易拉罐大小)且不够实时,不适合用于机器人的操作。自2011年起,Adelson团队将GelSight应用于机器人场景,在软硬件方面进行诸多改进,使得2014年提出的GelSight指尖触觉传感器同时具备小型化和超高分辨率的特性,且具备实时测量法向力、剪切力、相对滑动等能力。
带GelSight指尖传感器的Baxter机器人插拔USB(Source:Rui Li et al. 2014)
与基于压电、压阻、磁学等传统触觉传感器相比,GelSight指尖触觉传感器拥有超高分辨率、同时测量法向力和剪切力(很多操作需要剪切力)、软硬度测量(可用于抓取柔性物体),且不受环境磁场和温湿度影响。因此,用同一套GelSight软硬件,可以用于自适应抓取不同硬度、大小、形状的物体,如鸡蛋、薯片、草莓,甚至是树叶(见以下视频),可以根据多维力信息形成闭环控制,非常类似于人类操作物体的方式。这些性能对于通用机器人的通用和泛化操作显得尤为重要。
GelSight @MIT 2015
在2015年ICRA,Adelson团队首次在GelSight 指尖触觉传感器系统中引入marker点来测量接触表面剪切力、相对滑动和扭转负荷(Wenzhen Yuan et al. and Edward Adelson, 2015)。至此,同时测量接触表面的法向力、剪切力和相对滑动,作为GelSight在机器人触觉领域应用最大的特性之一被普遍认知。可以参看2015年这篇工作的演示视频。
Gelsight 2015 #机器人触觉 #视触觉 #Gelsight(请在微信公众号原文观看)
Source:Wenzhen Yuan et al. 2015
GelSight加速进化——GelSight @MIT 2017
2017年发表在Sensors的一篇论文GelSight: High-Resolution Robot Tactile Sensors for Estimating Geometry and Force可以说对GelSight在机器人领域的应用有极大的推动作用(Wenzhen Yuan et al, 2017)。这篇论文回顾了GelSight的发展,重点介绍了传感原理,传感器设计,光学系统的设计,形状、力和滑动测量的算法,以及不同传感器版本的硬件设计和制造,并系统的总结了GelSight在机器人领域应用的软硬件问题。通过对形状和接触力的高分辨率测量,该传感器成功地辅助了机器人进行材料感知和识别等任务。
在2017年IROS,一款用于测量滑动的GelSight触觉传感器被提出(Siyuan Dong et al, 2017)。2017年Sensors和2017年IROS的这两篇论文采用的核心硬件结构设计都如下图所示。2017年的这款硬件结构和2014年的Fingertip GelSight Sensor是之后诸多科研lab里视触觉传感器的参考原型。

Source:Siyuan Dong et al. 2017
2017年-2018年,Adelson团队发表了多篇让机器通过GelSight触觉传感来感知物体和材料的物理特性的论文。在应用GelSight测量物体软硬度方面也有两个工作(Wenzhen Yuan et al. and Edward Adelson, 2017和Wenzhen Yuan and Edward Adelson, 2017),这两项工作开创性地用GelSight指尖触觉传感器,在不需要准确控制接触条件或对象形状的情况下,让机器人可以估算接触物体的硬度。同时用深度卷积(和递归)神经网络对数据进行分析,估算具有不同形状的物体硬度。
Gelsight 2017软硬度 #机器人触觉 #Gelsight #视触觉传感器(请在微信公众号原文观看)
Source:Wenzhen Yuan et al. 2017
在CVPR 2017,Edward Adelson团队的一篇工作(Wenzhen Yuan et al, 2017)使用了118个织物样本的集合,拍摄了垂挂织物的彩色和深度图像,并使用高分辨率触觉传感器获取了触觉数据。然后通过同时训练卷积神经网络(CNN)跨足三个模态来关联视觉和触觉的信息。通过CNN,每个输入,无论模态如何,都生成一个嵌入向量,记录了织物的物理特性。通过比较嵌入向量,这个系统能够查看织物图像并预测其手感,反之亦然。
Gelsight 2017 Look&Feel #机器人触觉 #Gelsight #视触觉感知(请在微信公众号原文观看)
Source:Wenzhen Yuan et al. 2017
在上文的基础上,Edward Adelson团队构建了一个机器人系统,通过触觉可以自主感知物体的属性(Wenzhen Yuan et al, 2019)。机器人在外部Kinect传感器的引导下移动,并用GelSight触觉传感器挤压衣物,然后根据触觉数据识别衣物的11种属性。这些属性包括物理属性,如厚度、毛绒度、柔软度和耐久性,以及语义属性,如穿着季节和首选洗涤方法。作者收集了包含153件各种衣物的数据集,对触觉数据应用了卷积神经网络(CNN)来识别衣物的属性。
Gelsight 2017 抓衣服 #机器人触觉 #Gelsight(请在微信公众号原文观看)
Source:Wenzhen Yuan et al. 2019
GelSlim @MIT 2018
2018年,Adelson团队在2014年工作的基础上对GelSight指尖传感器进一步小型化,提出了GelSlim指尖传感器。下图左侧的结构是2014年提出的GelSight指尖传感器结构,GelSlim对GelSight内部结构进行调整,将传感器厚度减薄。

Source:Siyuan Dong et al. 2018
GelSight @ MIT RSS 2020 Best Paper Finalist
Edward Adelson团队一篇用Gelsight操作绳子的论文获得了2020年RSS这最佳论文入围奖(Yu She et al, 2020),作者依靠GelSight,来估计握持电缆时的姿态以及电缆滑动过程中的摩擦力。将跟随电缆的行为分解为两个基于触觉的控制器:电缆握持控制器和电缆姿态控制器。
Gelsight缕绳子 #Gelsight #机器人触觉(请在微信公众号原文观看)
Source:Yu She et al. 2020
GelSight @ MIT IROS 2020 Best Paper
2020年IROS,Edward Adelson团队和上海交通大学学者一篇Swingbot获得最佳论文(Chen Wang et al. and Edward Adelson, 2020)。SwingBot通过手持触觉传感器,探索物体物理特征以实现动态摆动操纵。通过使用重力或手臂加速度来操纵物体,从而增加了质量、质心和摩擦信息的重要性。

Source:Chen Wang et al. 2020
GelSight Wedge @ MIT 2021
2021年,Edward Adelson团队提出了GelSight Wedge传感器(Shaoxiong Wang et al. and Edward Adelson,2021),它具有紧凑的形状适用于机器人手指,同时实现高分辨率的3D重建。

Source:Shaoxiong Wang et al. 2021
GelSlim 3.0 @ MIT 2022
在2018年GelSlim的基础上,Alberto Rodriguez团队进一步推出GelSlim 3.0,在更紧凑的形状中感知高分辨率、压力和滑动。为了实现紧凑的集成,作者优化了从照明源到相机的光学路径。

Source:GelSlim 3.0论文
GelSight Baby Fin Ray @MIT 2023
2023年,Ted Adelson团队推出了GelSight Fin Ray,将触觉感知整合到软性柔顺机器人中(如Fin Ray手指)。过往的GelSight手指传感器都是刚性的,外界接触仅会引起凝胶形变而不会引起刚性手指形变。而对Fin Ray这类柔性手指,GelSight触觉传感器的挑战在于在柔性手指也会形变的同时测量凝胶形变。
Source:GelSight Baby Fin Ray论文
GelSight EndoFlex @ MIT 2023
除了夹爪外,Edward Adelson团队也推出了多指的灵巧手版本,GelSight EndoFlex是一种新颖的三指机器人手,其整个手指长度都具有高分辨率的触觉感知。手指是柔软的,由柔软的外壳和灵活的内骨架支撑构建而成。每个手指包含两个摄像头,允许沿手指的前侧和侧面收集触觉数据。该夹爪可以对物体进行包围式抓取,并在单次抓取中提取大量丰富的触觉数据。
Source:GelSight EndoFlex论文
GelSight Svelte @ MIT 2023 IROS Best Paper
2023年,Edward Adelson团队提出了一种曲线状、人手指大小、单摄像头触觉传感器GelSight Svelte(Jialiang Zhao and Edward Adelson,2023),能够在大范围内进行触觉和本体感知。GelSight Svelte利用弯曲的镜子来实现所需的形状和感知覆盖范围。本体感知信息,如作用在手指上的总弯曲和扭矩,表现为GelSight Svelte柔软主体上的变形,这些变形也被摄像头捕捉到。作者训练了一个卷积神经网络(CNN),以从捕捉到的图像中估计弯曲和扭矩。这篇文章也获得了2023年IROS Best Paper。
Gelsight Svelte 手指形状的视触觉传感器 #机器人触觉(请在微信公众号原文观看)
Source:Jialiang Zhao and Edward Adelson 2023
基于手指形状的视触觉传感器GelSight Svelte,作者进一步提出了一种新型的3指2自由度触觉机械手GelSight Svelte Hand。每个手指都配备有一个摄像头,能够获取丰富的触觉信号,其感知区域类似于人手指的全长。GelSight Svelte Hand的每个手指都由半刚性内骨架支撑,并覆盖有柔软的硅胶材料,既提供了刚度又具有一定的柔韧性。
GelSight 360 @ MIT 2023
过往的GelSight触觉传感器只能进行单侧感知,Edward Adelson团队于2023年推出了GelSight360,这是一种类似指尖的全向触觉传感器。这个传感器引入了一种新颖的十字LED照明方案。

Source:GelSight360论文
除了Edward Adelson自己组里关于GelSight的一系列工作,他的团队也和其他团队合作产生了一系列基于GelSight触觉感知的机器人操作工作。比较有代表性的是MIT Tao Chen的两个工作,我们在之前的文章将机器人的手牵向人类的手:灵巧操作华人论文综述也引用过。
比如TactoFind:在视觉感知缺失、对象形状事先未知且对象可以自由移动的场景中进行对象检索的问题,例如从抽屉中取出物体。
Source:Tacto论文
Visual Dexterity:手中对象的重新定向
Source:Visual Dexterity论文
4. Gelsight产品化
GelSight Mini @ GelSight Inc.
GelSight这项技术很早就进行了商业化尝试,2011年Edward Adelson教授作为联合创始人创办了同名公司GelSight Inc。GelSight Inc.这家公司的业务以2009年Edward Adelson刚提出这项技术的应用领域为主,即表面检测,简单理解就是一个手持放大镜或显微镜,可以非常清晰的看到材料表面状况。机器人触觉传感器的产品化是在GelSight Inc.这家公司成立的10多年后。2022年GelSight Inc.推出了GelSight Mini这个机器人触觉传感器,售价499美元。GelSight Mini这款产品的设计和技术沿用了GelSight 2014的指尖触觉传感器方案。
Gelsight Mini #机器人触觉 #Gelsight(请在微信公众号原文观看)
Source:GelSight Inc.官网
搭载了GelSight Mini触觉传感器的机器人可以分辨透明瓶子里的液体是水还是油。
Gelsight Mini区分水和油 #Gelsight #机器人触觉(请在微信公众号原文观看)
Source:GelSight Inc.官网
DIGIT @ Meta & GelSight Inc
GelSight Inc.与Facebook AI Research合作,于2022年推出了一款触觉传感器DIGIT,这是一种易于构建、可靠、低成本、紧凑、高分辨率的触觉传感器,专为机器人手持操作而设计。Digit传感器的硬件售价为300美元,系统开源。

Source:DIGIT官网
按装了DIGIT触觉传感器的机械手抓鸡蛋更容易控制力度,不会把鸡蛋跌破。

Source:DIGIT官网
5. 其他VBTS相关工作
自从2009年Edward Adelson提出GelSight以及2014年Adelson团队将GelSight小型化并用于机器人操作,全球很多AI机器人相关的科研单位也都在进行基于视觉的触觉传感器的研发尝试,我们这里也列一些有代表性的视触觉传感器。
OmniTact @ UC Berkeley 2020
为了解决触觉传感器表面平坦和敏感区域较小的问题,UC Berkeley Sergey Levine团队提出了OmniTact,这是一种多方向高分辨率触觉传感器。OmniTact使用多个摄像头,具有高分辨率和多方向的能力。下图左侧是GelSight 2017的指尖触觉传感器结构设计,右侧是OmniTact触觉传感器的结构设计。

Source:OmniTact论文
9DTact @ 清华叉院 2023
9DTact是清华叉院许华哲团队提出的基于视觉的触觉传感器。在功能上,9DTact基于DTact的光学原理,并经过优化,以实现具有增强准确性和效率的3D形状重建。9DTact的硬件和软件均开源。

Source:9DTact论文
Insight @ Max Planck 2022
德国马普所提出了一种拇指大小的三维视触觉传感器,名为Insight,它可以持续提供其整个圆锥形感知表面上的方向力分布图。该传感器围绕一个内部单目摄像头构建,只有一层弹性体覆盖在坚固的框架上。

Source:Insight论文
ViTacTip @ Bristol 2023
ViTacTip是英国Bristol大学Nathan Lepora团队的一款基于视觉的触觉传感器。ViTacTip上的嵌入式仿生尖端可以放大触摸运动。所得到的触觉图像在一个设备内提供了视觉和触觉信息的自然融合。该团队还开发了一种ViTac传感器(没有仿生尖端)和一种TacTip传感器(没有透明皮肤用于透明机制),用于进行比较研究。这里值得一提的是,Nathan Lepora的仿生触觉皮肤TacTip对触觉的感知获得了很多大奖,但小编此时此刻脑袋有点转不动,关于Bristol触觉感知的奥秘就留在以后的文章慢慢探索。
Source:Haoran Li's website
6. VBTS的机会与挑战
触觉作为人类与物理世界的重要感知系统,提供了独一无二的信息维度,甚至可以在没有视觉信息的情况下辅助人类生活(盲人)。以GelSight为代表的触觉传感在测量力的维度、物体的纹理和硬度以及分辨率等方面有非常强的优势,这也给于这类传感器很高的应用天花板。此外,因为GelSight的原理也是计算机视觉,采集的是图像信息,那么和机器人本身的视觉信息可以放到同一个模型中训练,真正做到视触融合的机器人操作控制。
但从未来广泛应用的角度,VBTS依然面临很多问题,比如统一的硬件平台:需要低成本好用的统一VBTS硬件平台,且需要搭载简单易用的调用接口来降低使用门槛;触觉数据集:作为本质是视觉信息的VBTS,目前并没有类似ImageNet这类触觉图像数据集;触觉大模型:在有了触觉数据集之后,也需要触觉大模型来进一步提升对物体物理层面的通用识别能力(参考了知乎水白关于GelSight的文章);循环使用寿命的问题:GelSight表面的凝胶比较脆弱,用多了会发生磨损,如何提高核心器件的循环使用寿命也是非常重要的工程问题;算力需求:将触觉信息视觉化意味着需要相应的算力来进行图像处理;触觉感知面积:VBTS的感知是基于摄像头,感知面有限,近些年很多工作(GelSight Svelte等)都是针对提高感知面积和范围。
GelSight的本质是图像处理,它在近些年的加速发展与深度学习的发展密不可分。但目前,VBTS的很多进展还局限在科研领域,产业化的道路非常迫切。目前大模型的进展正加速推进机器人产业的发展。那么回到开篇的问题,触觉是否必要?如果必要,哪种方案?
我对这两个问题的回答是,对通用操作触觉感知是必要的,但哪种触觉方案可以被广泛使用要看场景。短期内的通用操作大概率是特定场景某类任务的通用操作,如果放触觉,要结合场景以及任务的需求来选择触觉方案。从长远来看,要实现通用操作,那么触觉方案也必须统一,而视触觉传感是我认为现有的触觉方案里最有潜力成为那个统一方案的,也或者有某种暂未发现的全新触觉方案会成为最终的触觉统一方案。通用操作以外,触觉传感器怎么样拓展现有机器人的场景和能力也值得期待。
References:
Retrographic sensing for the measurement of surface texture and shape
Johnson and Adelson, 2009
https://people.csail.mit.edu/kimo/publications/retrographic/
Paper:https://people.csail.mit.edu/kimo/publications/retrographic/sensor.pdf
视频:https://www.youtube.com/watch?v=aKoKVA4Vcu0
Microgeometry capture using an elastomeric sensor
Johnson et al. and Edward Adelson, 2011
https://people.csail.mit.edu/kimo/publications/microgeometry/
Paper:https://people.csail.mit.edu/kimo/publications/microgeometry/microgeometry.pdf
视频:https://www.youtube.com/watch?v=ste7l2OvVHs
Sensing and Recognizing Surface Textures Using a GelSight Sensor
Li Rui and Edward Adelson,2013
Paper:https://dspace.mit.edu/handle/1721.1/86137
Rui Li, Platt, Wenzhen Yuan et al. and Edward Adelson, 2014
Measurement of Shear and Slip with a Gelsight Tactile Sensor
Wenzhen Yuan, Rui Li, Srinivasan and Edward Adelson, 2015
Paper:https://people.csail.mit.edu/yuan_wz/GelSight1/ICRA15_2740_FI.pdf
视频:https://www.youtube.com/watch?v=4DSilbo2B24
Gelsight: High-Resolution Robot Tactile Sensor for Estimating Geometry and Force(Sensors 2017)
Wenzhen Yuan, Siyuan Dong and Edward Adelson, 2017
Paper:https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5751610/pdf/sensors-17-02762.pdf
Improved Gelsight Tactile Sensor for measuring geometry and slip (IROS 2017)
Siyuan Dong, Wenzhen Yuan and Edward Adelson, 2017
Paper:https://arxiv.org/pdf/1708.00922.pdf
Shape-independent Hardness Estimation
Wenzhen Yuan, Chenzhuo Zhu et al. and Edward Adelson, 2017
视频:https://people.csail.mit.edu/yuan_wz/hardness-estimation.htm
Paper:https://arxiv.org/pdf/1704.03955.pdf
Estimating Object Hardness with a Gelsight Touch Sensors
Wenzhen Yuan and Edward Adelson, 2017
视频:https://people.csail.mit.edu/yuan_wz/hardness-estimation.htm
Paper:https://people.csail.mit.edu/yuan_wz/GelSight1/IROS16_1542_FI.pdf
Connecting Look and Feel
Wenzhen Yuan, Shaoxiong Wang, Siyuan Dong and Edward Adelson, 2017
Paper:https://dspace.mit.edu/handle/1721.1/137957
视频:https://people.csail.mit.edu/yuan_wz/fabric-perception.htm
Active Clothing Material Perception
Wenzhen Yuan, Yuchen Mo, Shaoxiong Wang and Edward Adelson, 2019
Paper: https://dspace.mit.edu/handle/1721.1/126688
视频:https://people.csail.mit.edu/yuan_wz/clothing-perception.htm
GelSlim
Elliott Donlon, Siyuan Dong, Melody Liu, Jianhua Li, Edward Adelson and Alberto Rodriguez, 2018
Paper:https://arxiv.org/pdf/1803.00628.pdf
Cable Manipulation with a Tactile-Reactive Gripper (RSS, 2020 Best Paper Award Finalist )
Yu She*, Shaoxiong Wang*, Siyuan Dong*, Neha Sunil, Alberto Rodriguez and Edward Adelson, 2020
Paper:https://arxiv.org/pdf/1910.02860.pdf
视频:https://www.youtube.com/watch?v=-xKeWdrmuBc
SwingBot: Learning Physical Features from In-Hand Tactile Exploration for Dynamic Swing-up Manipulation
Chen Wang*, Shaoxiong Wang*, et al. and Edward Adelson, 2020
Project Page:http://gelsight.csail.mit.edu/swingbot/
Gelsight Wedge:Measuring High-Resolution 3D Contact Geometry with a Compact Robot Finger
Shaoxiong Wang*, Yu She*, et al. and Edward Adelson,2021
Project Page:http://gelsight.csail.mit.edu/wedge/
GelSlim 3.0: High-Resolution Measurement of Shape, Force and Slip in a Compact Tactile-Sensing Finger
Ian H. Taylor, Siyuan Dong , and Alberto Rodriguez 2022
Project Page:https://ianhtaylor.net/gelslim-30
GelSight Svelte: A Human Finger-shaped Single-camera Tactile Robot Finger with Large Sensing Coverage and Proprioceptive Sensing
Jialiang Zhao and Edward H. Adelson IROS 2023 Best Paper
Project Page:https://gelsight-svelte.alanz.info/
GelSight Svelte Hand: A Three-finger, Two-DoF, Tactile-rich, Low-cost Robot Hand for Dexterous Manipulation
Jialiang Zhao and Edward H. Adelson IROS - RoboTac 2023
Project Page:https://gelsight-svelte.alanz.info/
GelSight360: An Omnidirectional Camera-Based Tactile Sensor forDexterous Robotic Manipulation
Megha H. Tippur and Edward H. Adelson, 2023
Paper:https://arxiv.org/pdf/2304.04268.pdf
TactoFind: A Tactile Only System for Object Retrieval
S Pai, Tao Chen et al. and E Adelson, A Gupta, P Agrawal, 2023
Project Page:https://taochenshh.github.io/projects/tactofind
Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes
Tao Chen et al. and Edward Adelson, Pulkit Agarawal, Science Robotics 2023
Project Page:https://taochenshh.github.io/projects/visual-dexterity
OmniTact: A Multi-Directional High-Resolution Touch Sensor
Akhil et al. and Chelsea Finn,Sergey Levine,2020 ICRA
Project Page:https://bair.berkeley.edu/blog/2020/05/14/omnitact/
DIGIT
https://pages.gelsight.com/digit-tactile-sensor
Gelsightmini @ Gelsight 2022
https://www.gelsight.com/products/
9DTact: A Compact Vision-Based Tactile Sensor for Accurate 3D Shape Reconstruction and Generalizable 6D Force Estimation
Changyi Lin et al., Xuhuazhe 2023
https://linchangyi1.github.io/9DTact
A soft thumb-sized vision-based sensor with accurate all-round force perception
Huanbo Sun et al. 2022
https://www.nature.com/articles/s42256-021-00439-3
GelSight Baby Fin Ray: A Compact, Compliant, Flexible Finger with High-Resolution Tactile Sensing
Sandra Q. Liu, Yuxiang Ma, Edward H. Adelson 2023
https://arxiv.org/abs/2303.14883
GelSight EndoFlex: A Soft Endoskeleton Hand with Continuous High-Resolution Tactile Sensing
Sandra Q. Liu, Leonardo Zamora Yañez, Edward H. Adelson,2023
https://arxiv.org/abs/2303.17935
知乎水白:https://zhuanlan.zhihu.com/p/620573836