全部文章

3D视觉

对话温伯文:FoundationStereo如何变革双目视觉

与温伯文对话,讨论FoundationStereo、Fast FoundationStereo、深度估计与机器人3D感知。

渣大米2026-05-1848 分钟阅读微信公众号原文
文章目录

机器人对世界的感知到底是否需要深度信息?2D和3D到底哪个模态应该作为机器人的感知模态?行业目前少用3D是因为什么?3D模型缺少数据是否可以被解决?纵使AI极速发展,为什么视觉传感器几十年不变?为什么没有适用于如今物理AI的视觉传感器?带着这些问题,石麻笔记第一次针对3D视觉在机器人方向应用展开一次探索。

我们采访了有潜力变革掉当下双目视觉相机格局的一个工作—FoundationStereo和Fast FoundationStereo的一作温伯文。伯文在英伟达做3D和具身智能相关的研究。最近几年,他参与了多个具代表性的3D感知与机器人方向工作,包括被广泛应用于工业界的FoundationPose、面向高质量深度估计的FoundationStereo,以及今年进一步实现实时深度估计的Fast FoundationStereo,更早期还做过用于3D物体重建与姿态跟踪的BundleSDF。整体研究方向从视觉感知出发,但更聚焦于操作相关的3D感知,关注如何利用感知能力真正解决机器人操作中的问题。

「文章很长(1.8万字),但很值得读」

查看原文目录

以下为本文目录

👇

第一部分 关于和操作相关的3D视觉

1. 3D视觉里的一些概念

2. 和机器人相关的3D表征是什么?

3. 目前主流的深度估计方法有哪些?

4. 和操作相关的3D视觉与3D视觉有什么区别?

第二部分 关于FoundationStereo

5. 为什么想做FoundationStereo?

6. FoundationStereo的训练数据

7. 不同类型数据的配比是什么样的?

8. 合成数据的问题

9. 合成数据的处理和标注

10. 和其他仿真环境对比

11. 合成数据的来源

12. FoundationStereo方法介绍

13. 模型效果

14. 和其他深度估计方法对比

15. FoundationStereo在具身领域应用情况

16. FS+两个普通单目可以替代深度相机

第三部分 Fast FoundactionStereo

17. Fast FS和FS有什么区别?

18. Fast FS模型结构

19. Fast FS可以用于机器人策略学习吗?

20. SD和Fast FS如何推动3D数据在机器人的应用

第四部分 3D视觉对具身的必要性

21. 机器人模型的视觉输入应该是RGB还是RGBD?

22. 怎么解释特斯拉的FSD只基于单目摄像头?

23. 3D视觉+操作未来的发展趋势

第一部分 关于和操作相关的3D视觉

1. 3D视觉里的一些概念

3D视觉这个概念其实很广,不同人理解也不一样。我这里简单说一下我的定义。

一般来说,3D视觉是利用多视几何这些先验信息去做的一类方法,它会有一个比较显式的三维表达。比如点云、feature matching、三维结构这些;再到最近的NeRF、Gaussian Splatting,其实本质上也是基于这些几何先验发展出来的表达方式。

3D视觉通常强调的是:你要明确知道物体在三维空间里的状态。比如它的位置、旋转,以及深度信息。深度信息就是物体离相机有多远。比如你看一张图片,你能判断哪个物体更近、哪个更远,这就是深度。再具体一点,就是物体表面上的点到相机的距离。

这个能力其实很多生物都有。因为大部分生物都有两只或以上的眼睛,可以通过视差去感知深度。比如一头鹿看到车靠近,会逃跑,本质上就是它感知到了距离在变近。人类也是一样,很自然就能判断远近。

6D pose就是在这个基础上的一个表达,就是3D位置 + 3D旋转。它通常是针对rigid object来说的,比如工业里的零件,这种刚体用一个6D pose就可以描述。

如果是articulated object,就需要拆成多个部分,每个部分有自己的pose,也可以用其他更复杂的表达。但一般我们讨论6D pose,主要还是针对rigid object。

像NeRF和3D高斯,本质上是两条不同技术路线去解决类似的问题:给定一组图片,重建一个可以从任意新视角观看的三维场景。它们更多还是偏图形学方向,应用在娱乐、体育直播、AR/VR这类可视化场景。在具身智能里,目前更多是被用于real-to-sim,比如让仿真环境更接近真实世界,但和机器人操作本身的直接关系还没有那么强。

2. 和机器人相关的3D表征是什么?

关于3D信息本身,其实一直有很多不同路线和争论。因为“3D”本身是一个很大的范畴,下面有很多不同的表示方式。比如有的人会用6D姿态来做抓取和刚体操作,也有人会直接使用深度图。

目前其实没有绝对统一的方案。但从现在很多实际应用来看,对于刚体操作这类任务,6D姿态往往是更直接、更有效的一种表示。

一方面,像FoundationPose这类方法现在已经能够提供足够精确的姿态估计;另一方面,6D姿态本身是一种非常紧凑、容易泛化的表示方式。很多时候不需要重新收集演示数据再训练,只要给系统一个新的物体模型,就可以直接部署到新任务上。

这也是为什么很多实际场景里,包括零售等方向的公司,会更倾向直接使用6D姿态这类方案。但整体来说,3D这一块目前还没有一个收敛的、统一的选择。

3. 目前主流的深度估计方法有哪些?

现在深度估计这块,近几年比较主流的是单目深度估计。但这类方法更多是在互联网数据上学习一些自然场景里的深度关系,真正直接用于机器人操作的其实不多。核心原因在于,它很难获得真正的“物理尺度深度”。也就是说,它能告诉你哪个物体更近、哪个更远,但没法准确知道这个物体到底离机器人是1米还是10米。而机器人操作对这个非常敏感,比如抓取任务里,距离不同,动作规划会完全不一样。

再往后就是双目深度和多视角深度。双目是用两个相机恢复深度,多视角则是用更多相机、结合已知相机位姿去恢复三维结构。

最近也有一些基于大模型的三维方法,比如一些前馈网络,可以直接从图片恢复三维信息,不依赖严格标定。但它们和单目方法类似,往往也缺少真实物理尺度,所以很难直接用于机器人操作,更多还是作为特征使用。

工业界更常见的还是RGB-D相机,比如RealSense、ZED等。它们通常基于红外双目、主动投影或者结构光等方案,但很多实现是闭源的。

另外还有LiDAR,这类方案在自动驾驶里很常见,但在机器人操作里相对少一些,因为它点云比较稀疏、视场有限,而且成本较高,通常很难满足manipulation对高密度、细粒度三维信息的需求。

4. 和操作相关的3D视觉与传统的3D视觉有什么区别?

可以从比较早的时间线来看,比如18年到22年以前,也就是pre-GPT时代。那个时候perception其实还有很多问题没有解决,当时很多人在做object detection、2D detection、segmentation这些比较典型的视觉任务。这些东西可以用于机器人操作,但基本只是第一步,距离真正把视觉感知用到机器人操作里,还有很远的距离。

比如在当时,机器人操作领域里,连最基础的抓取并放置都还没有被很好解决,仍然属于研究问题。那时候更多只能完成抓取,很多方法主要基于点云做物体抓取,但放置动作往往做不好。同时,当时也还没有后来那些比较成熟的模仿学习方法,更多还是比较基础、直接的行为克隆。

那个阶段更主流的思路,还是一种模块化的流程:先做感知,再做规划,通过多个模块组合来完成机器人操作。

但这里面一直存在一个很明显的鸿沟。很多传统视觉方法虽然能够识别物体、分割物体,但它们提供的大多只是二维信息,而机器人真正要完成操作、运动规划和控制,需要的是三维空间中的表达和理解。也就是说,光“看见物体”还远远不够,更关键的是理解物体在三维空间中的位置、姿态,以及机器人应该如何与它发生交互。单靠2D信息,基本没法完成这种转换,所以当时是有一个比较大的gap存在的。

后来计算机视觉这边又出了很多新东西,比如NeRF、Gaussian Splatting,这些是这几年3D 视觉里比较大的一个发展点。但它们和操作之间,还是有一定距离。

现在这些方法更常见的应用,是用于构建数字孪生环境。比如用3D高斯去表达一个高度真实的场景,用来实现真实到仿真的映射。一方面可以用于评估,不需要每次都在真实环境里反复实验;另一方面也可以用于训练,把真实场景重建到仿真环境中训练策略,从而减少仿真和现实之间的视觉差异。

不过,这类方法本身对机器人操作能力的直接提升其实还是有限的。

相比之下,我之前做的FoundationPose,会更直接地影响机器人操作。现在大家会看到很多复杂的操作演示,比如系鞋带、叠衣服,但其实更早的时候,连刚体物体操作都还没有被很好解决。

当时像6D姿态估计这类工作(FoundationPose这一类),对于刚体操作其实是一个很重要的推进。因为很多任务,比如抓取放置,或者工业里的料箱抓取,本质上都依赖于系统能不能稳定、准确地获取物体姿态。

比如我们跟Vention合作的用机器人做工业里的物料分拣,典型场景是:一个箱子里堆放着大量工业配件,而且是比较杂乱无序的状态。在这种情况下,机器人不仅需要高精度地完成抓取,还需要进一步完成放置任务——也就是把这些配件从箱子里取出,再准确放到下游传送带等指定位置。而且这个放置是有要求的,比如像那种管状的配件,小孔必须朝上,所有物体都要按统一的朝向摆好,才能和后面的流水线对接。这个时候就必须要知道物体的6D pose。

图片

6D pose:就是3D的平移加上3D的旋转。3D平移就是物体在空间中的位置,比如在XYZ坐标系下,它的x、y、z分别是多少,表示它在哪个位置。但物体不只是一个点,它还有朝向。比如这个管子,是朝上还是朝下,是沿Z轴还是沿X轴,这就是旋转。旋转本身也是三维的。所以3D平移加上3D旋转,一共6个自由度,就是6D pose。

我们和Vention的这个合作,就是用FoundationPose去解决这个分拣和放置的问题,让机器人能把这些物体按要求比较整齐地摆放出来。

可以这么理解:传统的三维视觉更偏向于“看懂世界”,比如做环境重建、物体几何理解、位姿估计等;而面向机器人操作的三维视觉,核心不只是理解物体本身,而是理解“物体—环境—动作”之间的交互关系,也就是这个物体在当前环境下能够如何被操作,以及操作之后会发生什么。

这也是三维视觉在机器人操作里更直接的价值所在。我做这些三维感知相关工作的核心目标,并不只是让它们在训练阶段提供帮助,而是希望它们在推理和执行阶段也能直接影响策略决策,真正解决机器人实际执行过程中的问题。

再比如另一类任务,像插装、装配这类高精度工业操作,比如把齿轮装到轴上,对精度要求非常高,往往是亚毫米级容差。这种任务很难只靠传统规划解决,因为系统对感知误差的容忍度极低。

所以我们当时的方法是:先用FoundationPose获取物体姿态,再把这个姿态作为输入去训练强化学习策略。这里不用原始RGB图像,而是直接用6D姿态信息。因为强化学习通常需要大量试错训练,而这些训练大多发生在模拟器里;如果直接用RGB输入,会存在很强的仿真到现实差异,很难直接迁移到真实世界。

但如果使用6D姿态作为中间表示,问题会简单很多:模拟器里可以直接得到真实姿态并加入扰动,真实环境中则由FoundationPose进行估计,两边的输入表示是一致的。

所以从这个角度看,三维感知(比如6D pose)并不是一个孤立的视觉问题,而是可以直接作为机器人策略输入,真正服务于机器人操作任务。

第二部分 关于FoundationStereo

5. 为什么想做FoundationStereo?

第一个原因是,我自己一直在用深度相机做机器人操作,所以很清楚深度质量对点云质量、对任务成功率影响有多大。

另外,我之前也做过很多 sim2real 相关工作。我发现,基于纯 RGB 的策略往往存在较大的 sim-to-real gap,泛化能力也相对较弱。相比之下,基于深度信息的策略通常训练效率更高、收敛更快,而且在一些任务(例如 locomotion)中,已经证明其 sim2real 迁移效果优于纯 RGB 方法。

不过,对于 manipulation 任务而言,由于需要更加精细的深度信息,目前一旦迁移到真实世界,性能仍然会出现明显下降。这也从另一个角度说明:深度质量本身就是一个重要瓶颈。因为在仿真环境中,几何信息是完美的,深度数据也非常干净;如果真实世界中的深度信息也能够接近这种理想状态,那么很多 sim2real 问题都会变得容易得多。

而且从工程角度看,如果点云足够干净,很多基于几何的方法其实会变得很好用。

第二个原因是当时的发展阶段。那几年单目深度估计发展很快,已经开始具备不错的泛化能力,但双目深度这边还没有真正的基础模型。大多数方法还是在固定数据集上训练、在同一场景里测试,很少有人去做大规模训练和零样本泛化。

这导致双目模型很难直接落地。很多时候,如果你想在自己的场景里用,还得重新采数据、重新标注、重新训练。所以我当时觉得,这是一个很值得做的方向:既然单目深度已经证明“大规模训练”是有效的,那是不是也可以把类似思路带到双目深度里。

第三个原因是工程条件。当时在英伟达,可以和工程团队合作,具备比较好的数据资源和基础设施,所以有机会真正把数据规模做起来,训练一个更强的双目深度基础模型。大概就是这几个核心动机。

在FoundationStereo之前,双目深度这个问题其实已经研究了很多年,但大多数方法一直停留在“针对单一场景训练、单一场景测试”的范式里,很难真正跨场景泛化。对于机器人来说,这意味着每换一个新环境,都可能要重新采数据、重新标注、重新训练模型,部署成本非常高。

我们当时最核心的动机,就是希望把双目深度也做成一种真正具备泛化能力的基础模型能力,让它能够像现在的检测、分割模型一样,跨domain直接使用,而不是每次都重新训练。

这里面一个很关键的背景是:不管学术界还是工业界,现在做具身智能时,越来越关注泛化能力。因为如果只是解决一个固定任务,其实完全可以通过工业自动化方式把环境全部固定下来;但未来真正重要的是,让机器人能够低成本地适应新的物体、新的场景和新的光照条件。

过去双目深度之所以一直没能很好解决zero-shot泛化,本质上主要有几个原因。

第一是数据。真实双目数据很难采,因为不仅要采集双目图像,还需要像素级深度真值,这导致过去的数据集规模一直上不去。

第二是模型架构。之前很多方法还是基于传统卷积网络,没有真正针对大规模数据和跨domain泛化去设计。

第三其实是资源问题。无论是高质量合成数据渲染,还是大规模模型训练,都需要非常大的算力和工程资源。比如我们当时大量使用高真实感渲染和光线追踪,本身就非常消耗GPU资源。

所以FoundationStereo本质上是在尝试做一件事:通过大规模数据、可扩展模型和足够的工程资源,把双目深度真正推进到foundation model阶段。

6. FoundationStereo的训练数据

3D数据非常稀缺。FoundationStereo在训练时具体用了哪些数据?比如论文里提到的100万对双目图像、合成数据等,这套数据体系是怎么构建的,又是怎么缓解3D数据匮乏问题的?

当时我们的数据是在Omniverse平台上生成的,核心目标之一就是尽量构建接近真实世界的高真实感场景。

因为双目深度里的一个关键问题是:传统stereo matching本质上是在左右图之间寻找像素对应关系,但很多真实场景里,这件事本身并不好做。比如强光、反光、曝光等情况,仅靠像素亮度已经很难稳定匹配,所以它其实不仅是几何问题,也带有一定语义理解的成分。

因此我们在数据设计时,会构建很多更真实、更有逻辑的场景,比如工厂、医院、办公室、仓库等,并让物体摆放方式尽量贴近真实世界。这样网络不仅能依赖像素,还能利用上下文结构去推断深度关系。

另一个非常关键的是高真实感渲染。我们会在纹理、光照、阴影等方面尽量逼近真实世界,这背后大量使用了基于GPU的路径追踪渲染,算力消耗非常大。

同时,我们的数据规模也比较大,大概有一百万张双目图像,明显超过很多传统双目数据集。另外,场景覆盖也很广,包括室内、飞行、驾驶等不同类型场景。

还有一个重要设计是随机化相机参数,比如不同基线、焦距等,这能帮助模型泛化到各种不同相机配置,甚至是用户自己搭建的双目系统。

这些因素组合在一起,构成了FoundationStereo数据体系最核心的优势。

7. 不同类型数据的配比是什么样的?

在这些训练数据里,真实采集的数据和合成数据分别是怎么来的?两者大概各占多少比例?

其实我们没有自己去做实采数据,真实数据主要用的是公开的,比如Stereo2K这种数据集。但后来发现,这部分实采数据确实有帮助,但作用没有那么大。主要的提升还是来自我们构建的FoundationStereo dataset,这也是我们这篇工作里重点提出的数据集。

在训练时,我们其实是把FoundationStereo数据集和已有的一些数据一起混合使用的,包括一些经典的合成数据集,以及少量真实数据。这套数据体系其实也比较依赖英伟达现有的一些基础设施能力,比如大规模渲染、仿真和数据生成管线,才能支撑起这样规模的数据构建。

其中一个很重要的优势,是高真实感渲染能力。它对于缓解仿真和真实世界之间的视觉差异有明显帮助。整体来看,这套数据还是以合成数据为主。

8. 合成数据的问题

合成数据在训练里不会带来问题吗?因为很多人会担心:它毕竟不是真实数据,会不会存在sim-to-real gap,甚至把模型“训歪”了?

这个其实和具体做什么任务有关。如果是端到端的策略学习,很多方法会直接把图像输入策略进行训练。但这类方法在仿真里效果很好时,往往一到真实世界就会失败,一个很重要的原因就是仿真和现实之间存在很大的视觉差异。

问题在于,高质量渲染本身非常消耗算力。像我们做感知任务,可以离线生成高真实感数据,提前把数据全部渲染好,再反复训练使用,不需要实时交互。但策略学习不一样,它需要机器人和环境持续实时交互。机器人每执行一步动作,环境都要重新渲染一次,所以很难使用那种高真实度但计算代价很大的渲染方式。

因此,大多数策略学习里的仿真环境都会相对简单,比如简单地面、少量障碍物、较弱的光照和材质变化。这也导致它和真实世界之间的视觉差异会比较明显。

而我们做三维感知的一个优势在于,可以把高质量渲染放在离线阶段完成。训练好感知模型后,再把它输出的稳定三维表示接入强化学习策略中。比如之前的一些机器人操作工作,就是把姿态估计结果直接作为策略输入。这样策略训练时,就不再需要直接面对复杂的视觉差异问题,而是使用更加稳定、统一的三维表示。

所以从这个角度看,合成数据对于三维感知其实是非常有价值的。现在很多三维方向的工作,也都会大量结合仿真数据一起训练,而不仅仅依赖真实数据。

9. 合成数据的处理和标注

这些数据后面的处理和标注流程大概是什么样的?尤其像双目深度这种任务,ground truth一般是怎么得到的?

在仿真环境里,这类标注其实比较容易获得,因为模拟器本身就拥有所有物体的真实三维信息,所以像深度这类真值数据可以直接生成。

10. 和其他仿真环境对比

像Isaac Lab这类系统,本身也使用了比较高真实感的渲染技术,底层和我们用到的一些图形学能力是类似的。但它更核心的目标,是用于强化学习训练,强调大规模并行环境和实时交互。

理论上,它当然也可以生成高质量数据。但问题在于,强化学习需要机器人和环境实时互动,而且通常还要同时运行很多环境。在这种情况下,不可能每一步都使用特别高真实度的渲染,因为算力成本太高了。

所以它们通常会优先保证速度,而牺牲部分渲染质量。这其实也是当前图形学的一个现实限制:高真实感渲染很难做到真正实时。

另外,两者的任务目标也不一样。强化学习环境通常针对的是比较具体、范围较窄的任务,比如插装、上下料等,因此场景变化也相对有限。

但FoundationStereo当时的目标,是训练一个具备泛化能力的模型,所以需要覆盖大量不同类型的场景。我们会专门构建医院、仓库、办公室等各种环境,在里面放置不同物体、从不同视角采集数据,整体规模会大很多。

所以本质上不是能力做不到,而是如果同时要求“高真实感 + 大规模场景 + 实时交互”,整体成本会非常高。

11. 合成数据的来源

这些场景数据的来源,是不是也是先从现有数据集里筛选相似场景,再结合Omniverse这类生成能力去进一步扩展、合成和多样化?

这些场景并不是直接现成拿来用的。我们会自己购买和构建很多三维场景资源,比如购买现成的美术资产。整个数据生成流程是基于Omniverse搭建的,目前还是主要依赖传统图形学方法来生成数据。

未来一个可能的发展方向,是先在仿真环境里渲染图像,再利用生成模型进一步提升图像真实感,让仿真数据更接近真实世界。

12. FoundationStereo方法介绍

这是我们整个方法的一个高层次整体框架。

0

视差估计

模型的输入是一对双目图像,也就是左图和右图;输出则是视差。视差可以通过双目相机的参数,比如双目之间的基线距离和焦距,进一步转换成深度。所以后面有时候会把视差和深度混着说,因为在标定好的双目系统里,两者本身是可以互相转换的。

在编码部分,我们采用了双分支结构。一部分使用Depth Anything V2,另一部分则是一个side-tuning CNN。

当时做这个工作的时候,单目深度估计已经展现出比较强的泛化能力。像Depth Anything V2这种模型,是在互联网规模的数据上训练出来的,只需要输入普通彩色图像,因此学到了比较强的几何先验。比如给它一张椅子的图片,它大概能够判断哪个部分更靠近相机。

我们这里把它当作一个冻结的主干网络来使用,不再重新训练。因为我们自己的数据主要还是合成数据,真实世界的数据相对没那么多,所以这一部分可以帮助模型补充真实世界里的先验知识。

但如果只使用这种冻结特征,其实还不够。因为后面真正要解决的是左右图之间的特征对应关系,也就是双目匹配。如果特征本身不够适配双目任务,就很难学到特别精细的匹配结果。

所以我们又加了一个side-tuning CNN。一方面,是为了让特征更加适配双目这个任务;另一方面,也是因为ViT这类结构更擅长处理全局上下文,但对局部高频细节不够敏感,而CNN在局部细节处理上会更强。

所以这里其实有两种互补关系:第一种是数据层面的互补。Depth Anything V2提供真实世界里的几何先验,而我们的CNN则更适配合成双目数据。第二种是结构层面的互补。ViT负责全局上下文理解,CNN负责局部细节。之后,这两个特征会拼接在一起,形成一个双分支表示。左右图都会分别经过这一套编码过程,得到对应的特征表示。

构建代价体

接下来会进入双目里一个非常经典的步骤:构建代价体(cost Volume)。本质上就是:对于左图里的一个点,我们只需要去右图对应的同一条水平线上寻找它的匹配点。因为在标定好的双目系统里,对应点一定落在同一条极线上,这里就是同一条水平线。比如左图里看到一个杯子,那么它在右图里的对应位置一定也在同一条水平线上,只是水平方向会发生偏移。这个偏移量就是视差。

这其实也是双目最核心的一个性质。在网络设计里,我们会利用这一点:直接忽略所有不相关区域,只在对应的水平线上寻找匹配点。也就是说,对于左图里的每一个像素,我们只需要在右图同一行里搜索不同位置。所有这些可能的位置,就构成了候选集合。把这些候选组织起来,就形成了代价体。可以把它理解成:这里面包含了所有可能的匹配位置。

接下来网络需要做的,就是在这个代价体上学习,判断到底哪个候选位置才是真正正确的对应点。中间会经过一些网络层,可以理解为对代价体进行进一步处理,得到更好的特征表示。然后我们借鉴了RAFT Stereo里的思路,加入了一个迭代优化过程。

一开始,模型会先给出一个初始的视差猜测;然后根据这个猜测,从代价体里取出对应位置的特征。这个过程有点像一种“自检验”。比如我猜测这个桌角在右图里的某个位置,那么我就去那个位置取特征,再和左图里的特征进行比较。如果发现不匹配,就继续调整位置,再取特征、再比较。

整个过程会不断迭代,持续优化这个匹配结果,直到左右图里的特征尽可能一致。右边那个ConvGRU模块,本质上就是在完成这个不断迭代更新的过程。最终输出的就是视差,也就是每个点在左右图之间的偏移量,之后再进一步转换成真实深度。

图片

前面我们已经得到了代价体,接下来就是AHCF这一部分。

可以把双目问题理解成一个对应关系搜索问题:比如在左图里有一个红色的点,我们需要在右图里找到它对应的位置。这里举了一个比较困难的例子,比如场景里有很多重复的栅栏。左图中的这个红点位于某一根栏杆上,但右图里会出现很多看起来非常相似的栏杆,因此候选位置会非常多。

难点在于:你需要判断左图里的这个点,到底对应右图中的哪一根栏杆。这已经不是一个局部问题了,因为由于视差的存在,正确对应点不一定是在“最近”的位置,而可能是在更远的位置。

所以这里需要长距离上下文信息。我们当时设计了一个视差Transformer,把整条极线上的所有候选位置重新组织起来,然后做self-attention。这样模型就可以利用全局信息,在所有候选位置之间进行比较,从而更准确地找到真正正确的对应关系。

另外,在AHCF里面还有一个分支是做轴向平面卷积的。传统三维卷积一般使用3×3×3的卷积核,能够看到的上下文范围比较有限。如果直接把卷积核扩大,比如变成5×5×5,就会非常消耗显存。

所以我们把它拆成了两个方向:一个是平面卷积,一个是轴向卷积。这样能够在不显著增加显存消耗的情况下扩大感受野,让模型获取更长距离的上下文信息。

整体来说,AHCF的设计核心,就是让模型能够更好地利用大规模数据,并提升整体的可扩展性。

因为我们发现,如果直接使用已有模型去训练FSD(Fast FoundationStereo)数据集,虽然性能会提升,但并没有真正把这些数据的价值充分发挥出来。所以我们希望通过这样的设计,让模型能够更充分地利用这些数据,从而在zero-shot泛化能力上表现得更好。

迭代优化这一部分,其实是参考了之前已有的方法。而我们这套网络里,真正比较核心的改动主要有两个。第一个,是加入了单目深度先验这一块。这部分是我们当时新引入的设计,之前的双目方法里基本没有。第二个,是我们提出的一种新的代价体建模与过滤方法,核心目标是更有效地学习和处理双目匹配里的候选空间。这两部分基本就是整个模型方法上的核心贡献。

如果从论文角度总结,方法层面最关键的创新,其实也主要就是这两点:一是把单目深度的大模型先验和双目匹配结合起来;二是提出了新的代价体学习方式,提升复杂场景下的匹配效果。后面这部分会涉及比较多双目匹配背景,理解起来会更偏技术细节一些

13. 模型效果

这个方法我们已经开源了,在GitHub上可以直接用。使用的话,其实只需要有双目图像就可以。

你刚才说的那个点也很对,是不是随便拿两个镜头就能跑?基本答案是可以的。

我们这边也有人试过,比如直接在淘宝买两个很便宜的摄像头,用3D打印的支架把它们固定成一个双目系统,然后自己做一下标定。标定现在也很成熟了,用OpenCV的pipeline就可以搞定。之后把左右两个相机的图像输入到FoundationStereo里,就可以跑。

当然这是一个比较极端、追求低成本的方案。更常见的情况是,比如很多实验室会用ZED或者RealSense,这些也都能用,成本和效果是一个比较好的平衡。

这里有一点可以强调:虽然FoundationStereo是完全在RGB图像上训练的,但我们发现它在灰度图和红外图像上也有一定的泛化能力。

比如RealSense其实不提供RGB的深度,而是红外的深度。我们也用RealSense的红外双目图像跑过FoundationStereo,发现大多数情况下也能得到不错的结果。所以即使不是RGB深度,用RealSense这种红外深度也是可以跑的。

14. 和其他深度估计方法对比

从效果上看,论文里也做了很多对比,比如和RGB-D相机、传统stereo matching方法,以及透明物体场景的对比。尤其像透明物体这种过去很难处理的情况,为什么FoundationStereo会明显效果更好?它相比传统方法,核心提升来自哪里?

这里可以看到一些透明物体,比如这两个瓶子。我们的网页(见References)支持直接拖拽视角查看点云,这种方式其实很直观,也更符合人对三维结构的理解。回到刚才的问题,为什么我们的方法在透明物体上效果会更好,我觉得主要有几个原因。

第一个原因,是我们引入了单目深度先验。像Depth Anything V2这类模型,在透明物体上本身就已经具备一定泛化能力,虽然还不是完美,但已经相当不错。所以在做双目匹配时,相当于带入了一个比较强的单目几何先验,这对处理透明物体很有帮助。

第二个原因,是我们的训练数据里本身也包含了一部分透明物体,虽然占比不算特别高。当时因为时间关系,没有专门大规模构建这类数据。所以目前FoundationStereo对透明物体已经有一定泛化能力,但其实还有继续提升的空间。

至于为什么传统方法效果不好,一方面还是数据和模型泛化能力的问题;另一方面,如果和很多商用RGB-D相机相比,比如RealSense,它们很多基于红外主动双目,也就是通过投射红外pattern来恢复深度。

但透明物体本身最大的难点,在于它会发生折射,而不是普通反射。很多主动式方案发出的光,会被折射或者直接穿过去,无法正常返回传感器,所以会在成像层面带来比较根本的问题。这也是为什么很多深度相机在透明物体上会明显失效。

评价这类方法时,论文里主要还是使用双目领域常见的一些指标。比如BP1、BP2,本质上是在统计:预测误差超过1个像素、或者2个像素的点占总体的比例。还有EPE,也就是平均误差,直接计算预测位置和真实位置之间的偏差。

整体上,我们的方法在这些指标上相比之前方法都有明显提升,尤其是在zero-shot场景下。因为很多传统方法都是固定场景训练、固定场景测试,一旦换场景误差会明显变大,而FoundationStereo在跨场景情况下依然能保持比较稳定的结果。

另外,其实还有一个特别直观的评价维度,就是直接看点云。很多传统方法输出的点云会比较稀疏、破碎,边界不连续,噪声也很多;而FoundationStereo生成的点云通常会更dense、更smooth,整体几何结构也更完整。

原文视频演示

(这个视频要点进来看一下)

比如一些工业零件场景,我们生成的点云里,物体边缘、螺纹、平面结构都会非常清晰。桌面看起来会是一个非常干净、平整的平面。但很多传统方案,比如一些双目相机或者RGB-D设备,桌面往往会出现大量凹凸、噪声或者缺洞;一些本来应该垂直、平整的结构,也会发生倾斜或者过度平滑。

尤其在反光物体场景里,这种差异会更明显。比如一盒金属螺钉,我们的方法依然能比较清晰地区分不同螺钉的结构和边界,但很多传统方法会直接糊成一片,或者出现大量空洞。

所以三维其实有一个很大的优势:可解释性特别强。很多时候不需要额外解释,直接看点云结果,就能非常明显地感受到差别。

某种程度上,也可以说大家“苦RealSense久矣”。很多做点云的人,其实长期都在花大量时间做各种后处理,比如滤波、补洞、插值、调参数等等,这也是为什么很多人以前对深度相机体验并不好。

所以FoundationStereo本质上是在不改变现有光学硬件的情况下,通过模型和算法大幅提升深度图和点云的质量,对吗?

这个总结得挺准确的。其实以前不是没有好的摄像头,而是那些好的设备都特别贵,比如Photoneo这种,可能要几万甚至几十万美元。

而FoundationStereo的意义在于,它是在软件层面把效果提升上来。最极端的情况下,你甚至可以用两个普通相机组成一个双目系统,就能达到接近SOTA的深度效果。所以它不是依赖硬件成本,而是通过算法把这个能力“拉平”。

15. FoundationStereo在具身领域应用情况

FoundationStereo现在已经在很多不同领域被实际用起来了,我们也和不少公司有合作。除了具身智能之外,还有很多客户是在做测绘、建筑、空间管理这类工作,比如房间管理、物体管理,本质上都是三维重建问题,他们已经开始使用FoundationStereo。

在具身智能这边,目前更多还是以离线方式使用。比如最近有一些工作,会先用FoundationStereo去处理离线采集的数据集,自动生成深度或三维标签,再利用这些数据训练新的模型,这是一种比较典型的使用方式。

另外还有一种场景,是用于遥操作的数据采集。比如做手部追踪时,手和物体之间的对齐经常不够准确,因为很多方法本身是基于单目视觉的。这时候就可以利用FoundationStereo去提升动作捕捉和空间对齐的精度。

所以目前来看,FoundationStereo在离线场景中的使用其实越来越多。一方面这是我们和很多公司的交流反馈,另一方面也能从论文引用方向上看到这种趋势。

至于为什么它还没有在policy learning里被大规模直接使用,我觉得有几个原因。

首先,有一部分人本身就更倾向于二维路线,不太想引入三维信息。

其次,也有很多人可能还没有真正理解FoundationStereo和传统深度方法之间的区别。现在每天都会出现很多新论文、各种演示,大家多少会有些“审美疲劳”,所以很多人还没有真正花时间去尝试。

还有一个非常现实的问题,就是速度。FoundationStereo本身偏重效果和泛化能力,运行速度相对较慢,没办法很好满足实时需求。而机器人里的很多policy learning和部署场景,是非常强调实时性的。

这也是为什么我们后来又做了Fast FoundationStereo。FoundationStereo更适合离线数据生成、训练数据构建这些阶段;而真正部署到机器人实时运行时,更适合使用Fast版本。

16. FoundationStereo+两个普通单目可以替代深度相机

如果FoundationStereo这类方法已经能在深度质量上超过很多RGB-D方案,那未来是不是只需要普通双目相机加模型,就能替代像RealSense这类专用深度相机?

这个问题我觉得特别好。你刚才提到一点,说现在很多RGB-D相机用的还是几十年前的方法,我其实非常同意。

我自己很早就开始用RGB-D相机了,大概是18年刚读博的时候,第一个项目用的就是RealSense。当时是第一次接触深度相机,第一次看到点云其实还挺震撼的。因为它跟2D图像不一样,你可以把点云放到3D可视化工具里,用鼠标随便旋转,从不同角度看,就像现在那种虚拟看房一样,当时觉得这个东西特别有意思。

后来我也试了很多不同的RGB-D相机,从RealSense不同型号,到其他厂商的一些设备。刚开始看觉得还不错,但当你真的拿它去做研究、做机器人操作的时候,就会发现问题很多。

比如一个很典型的场景:你用相机拍一个桌面,远看这个桌子是平的,有四条腿,好像没问题。但当你放大看桌面上的物体,比如一个碗,或者一个方块,你会发现点云质量是很差的。

举个例子,一个正方体方块,用深度相机拍出来,在点云里经常会变成一个“斜坡”,而不是一个干净的立方体,而且它会和桌面的点云融合在一起。也就是说,这个深度信息质量是远远不够的。

如果点云本身足够干净,其实很多机器人操作问题会简单很多。比如把桌面去掉之后,仅靠几何方法就能稳定估计物体的位置和姿态。但现实里很多普通深度相机输出的点云噪声很大、边界融合严重,很多经典几何方法根本没法用。

后来我在Google X实习时,用到了一些工业级相机,比如Photoneo,那时候会非常明显地感受到:高质量3D感知对机器人操作的提升是直接且巨大的。

我们当时做了一些比较难的操作任务,比如把齿轮插到轴里、把电池插入带弹簧的槽里,这类任务都需要非常高的精度和很小的误差容忍度。同时我们采用的是一种“单次演示”的模仿学习设定:人只需要亲手演示一次,系统就能利用3D信息表达动作过程,并泛化到不同形状的齿轮或电池。

这个工作的一个重要体会是:很多人觉得3D信息没用,其实往往是因为他们接触到的深度质量太差了。像普通RGB-D相机输出的点云通常很噪、很不稳定,看起来并没有比RGB多出多少有效信息。但如果深度本身足够准确、干净,很多机器人任务的难度会明显下降。这也是后来去做FoundationStereo的一个重要动机——希望能用更低成本的硬件,通过算法得到真正高质量的深度信息。

第三部分 Fast FoundationStereo

17. Fast FS和FS有什么区别?

Fast FoundationStereo主要的聚焦是在提高实时性。因为FoundationStereo当时做出来的时候,解决的是zero-shot能力,现在它已经有比较强的zero-shot泛化能力了,但缺的是实时性。

在这个领域里,以前基本是两种情况:要么有实时性,但zero-shot能力很差;要么zero-shot做得不错,但速度不够,没法实时用。之前其实没有一个模型能同时兼顾这两点。

所以做Fast FoundationStereo的动机,就是希望做一个既能跑得够快,又有一定zero-shot能力、精度也能用的模型。因为如果只是快但不准,其实也没有意义。

所以Fast FoundationStereo的特点就是:相比FoundationStereo,它速度会快很多,但会稍微牺牲一点accuracy,用来换取这个更快的速度。

18. Fast FS模型结构

Fast FoundationStereo这块,我们是把原来的模型拆成几个部分,分别去优化。

原来的FoundationStereo大致可以分成三块:feature backbone、cost filtering、disparity refinement。我们是针对每一块,分别用更合适的方法去加速。

图片

先说feature backbone。原来的模型有两个分支,一个是Depth Anything V2(monocular adapt),一个是side-tuning CNN(适配stereo)。但这两个分支同时跑,会比较慢,也比较占内存。

所以我们做了一个hybrid distillation,把这两个branch蒸馏成一个单一的student backbone,这样就能在保留能力的同时降低计算开销。

第二部分是cost filtering。这一块本身是一个很大的计算瓶颈,因为它要处理4D volume,tensor尺寸很大。

我们在这里做了类似简化版neural architecture search的事情。原来是3D hourglass加disparity transformer,我们去search一个更高效的结构,来替换原来的设计。

第三部分是disparity refinement。这一块本身是一个反复迭代的过程,会重复很多步。这里的特点是,只要每一步稍微快一点,总体就能节省很多时间(因为要跑很多次)。所以我们对这一部分做了减枝。

不过因为它本身是一个循环式、迭代式的结构,所以在做减枝的时候,需要考虑依赖关系图之间的关联。为了解决这个问题,我们专门构建了一套循环式依赖关系图来完成这件事,然后再进行重新训练。

除了架构上的优化,我们在数据上也做了一些事情。因为已经有了FoundationStereo这个比较强的模型,我们就用它去生成一个大规模的真实数据集(双目四维数据集)。这个数据本身没有深度标签,我们就利用FoundationStereo自动生成伪标签。

当然,这里会有标签不完美的问题,所以我们又加入了一些机制,比如局部自适应、交叉验证,以及天空分割,来对这些标签进行过滤和校验。

最后,再把这些带伪标签的真实数据,和原来的数据一起用于训练Fast FoundationStereo。大概就是这样一个整体思路。

19. Fast FS可以用于机器人策略学习吗?

所以这类工作未来是不是也可以直接用于具身智能里的策略训练,比如离线训练或者在线强化学习里的感知输入?

这其实是一个非常直接的应用场景。Fast FoundationStereo现在基本已经可以作为一种“即插即用”的替代方案,去替换像RealSense这类深度相机。

以前FoundationStereo做不到这一点,主要还是因为速度不够。比如RealSense大概能跑到30Hz,而FoundationStereo当时还达不到实时。但现在Fast FoundationStereo已经能够接近这个速度了,所以在很多场景里,其实已经可以直接替换。

这样的话,很多原本依赖RealSense的策略模型,现在都可以直接把Fast FoundationStereo放进整个控制循环里使用,相当于解锁了一种新的使用方式。

因为在这之前,并没有一个方法能够同时做到既比RealSense效果更好,又满足实时运行。

20. FS和Fast FS如何推动3D数据在机器人领域的额应用

你怎么看3D数据对于现在物理智能/具身智能的重要性?以及FoundationStereo和FastFoundationStereo这两个工作,会怎样推动3D数据在机器人里的实际应用?

对于3D在具身智能里的必要性,其实已经有一些比较成熟的例子。比如扫地机器人,这是一个比较成功的落地案例。它们通常会用激光雷达这些3D信息来做避障,而且是已经被验证可以稳定工作的系统。

再比如自动驾驶,虽然有不同路线,比如特斯拉这种偏视觉的,还有Waymo这种用激光雷达的路线。但Waymo能发展到现在,也说明用3D信息是一条可行且有效的路径。

再往下看,3D在具身智能里有很多具体用法。一个是数据采集,比如real-to-sim。可以用3D去重建整个环境,比如建筑的地图,用于巡检机器人或者配送机器人。

也可以用来做仿真训练,比如用Gaussian Splatting这种方法去构建高保真环境,在仿真里训练policy。

还有是motion capture和retargeting,比如通过相机获取人的3D关节和物体的运动轨迹,用来生成trajectory去训练policy。像你提到的那种4D reconstruction,也是从视频里恢复人和物体的交互,再导入仿真里做训练。

再一个是在推理阶段,三维信息可以直接作为策略输入。比如使用6D pose作为输入,可以减少仿真到现实之间的差距,加快部署。

还有一些工作会把三维模块当作工具来使用,比如深度估计、姿态估计、二维检测等,都可以作为agent调用的中间能力和中间表示。

另外一个很重要的点是sample efficiency和inductive bias。如果只使用RGB,通常很难避免在新环境里重新收集demonstration数据。因为RGB本身缺乏真实尺度信息,所以泛化会比较困难。但如果引入三维信息,就更容易在不同环境之间共享knowledge,也更容易实现zero-shot泛化。

在sim-to-real上也是类似。基于深度的策略通常会比基于RGB的策略更容易迁移,因为几何在仿真和真实世界之间相对一致;而RGB会受到光照、材质等因素影响,变化非常大。

另外还有安全性和避障问题。

如果只有RGB,其实很难稳定构建三维occupancy map,也就很难保证机器人在复杂环境里的安全性,比如避免撞墙或者碰到障碍物。

最后是可解释性。三维信息更容易被可视化,也更容易让人理解系统到底“看到了什么”。如果完全是end-to-end、没有任何中间表示,用户其实很难真正建立信任。

这些大概就是三维信息在具身智能里的几个核心作用。

第四部分 3D视觉对机器人的必要性

21. 机器人模型的视觉输入应该是RGB还是RGBD?

从第一性原理出发,自然界里如果随机抽一个物种,基本上都是至少有两只眼睛。我还专门查过哪些物种只有一只眼睛,结果发现像深海鱼、蚯蚓这种,它们要么只有非常简单的感光结构,要么干脆没有视觉,因为它们生活环境不需要视觉,比如一直在黑暗里。还有一些只有一个“眼睛”的微小生物,它们其实也不是在做成像,只是感知光的强弱,相当于是一个感光器,对它们来说已经够用了。

另外一个原因是计算能力,它们也承受不起更复杂的视觉处理。像人类这种双目视觉,其实背后需要很强的计算资源,大脑里有专门的视觉皮层在处理。

所以你看,绝大多数物种都是两只眼睛,甚至有些昆虫是复眼,相当于是multi-view。从这个角度看,3D或者说空间理解能力,对生物来说是很基础、很重要的一件事情。

当然也有人会说,人类的工程不一定要完全模仿自然,比如飞机也不是靠扇翅膀飞的。但在智能这个问题上,比如现在做humanoid,大家为什么会做两条腿,其实都在某种程度上参考生物结构。

甚至可以说,两只眼睛这件事情的重要性,可能比两条腿还更普遍,因为不是所有物种都有两条腿,但绝大多数都有视觉系统,而且是多视角的。所以从这个第一性原理来看,具身智能最终还是很可能需要类似双目、甚至更丰富的3D信息。

你觉得未来真正适用于具身智能的世界模型,最终会更偏2D视频世界模型,还是会走向3D 世界模型?这两条路线在物理智能里的核心差别是什么?

我觉得之前视觉模型大部分还是在做2D的,像PointWorld他们算是比较早开始做3D的,比如点云这一类的。但整体来说,这个方向现在还没有收敛。

至于世界模型需不需要3D,我觉得是取决于你怎么用它。如果你只是把世界模型用来做high-level的决策,它更多是提供一种先验,它并不能很好地刻画当前这个具体场景的physics。比如叠衣服这个例子,你可以通过video generation去“想象”未来会发生什么,这是基于你过去看过很多叠衣服的经验得到的。但每一件衣服的材质、属性都不一样,如果你要真正去处理一个新的衣服,很多细节是这种模型没法精确给出来的。所以这种情况下,世界模型更多是提供一个high-level的guidance,但不是解决问题所需的全部信息。

所以我觉得,世界模型是否需要3D,取决于你想用它做到什么程度。如果只是high-level planning,2D可能就够了;但如果要做比较精细的任务,要把事情“nail down”,那还是需要3D信息。

22. 怎么解释特斯拉的FSD只基于单目摄像头?

Tesla它其实不是单目,它是multi-view camera,它不是标准的stereo。它的multi-view是这样的,每个摄像头和相邻摄像头之间有一点overlap,虽然不多,但这一点overlap是足够用来推测深度,并补全那些没有overlap区域的信息。

因为Tesla是做自动驾驶的,它的硬件是收敛的,所有车的camera mounting都是一样的,所以数据是可以共享的。但在训练的时候,它用的还是multi-view images。

所以不能简单说它是“单目就够了”。它虽然每个camera是单目,但整体是multi-view系统,只要有overlap,本质上就是在做3D推断。它相当于是用单目去推断一部分区域,同时用multi-view的信息去辅助这个推断。

另外像他们后来做的3D occupancy map、bird’s eye view,这些都说明它是在构建一个3D环境的表示,不是简单的2D。再一个就是,Tesla现在也没有100%解决自动驾驶问题,还在测试阶段,所以这条路线是不是最终最鲁棒的方案,本身也还是有不确定性的。

FoundationStereo某种程度上也在解决3D数据来源的问题——它降低了深度硬件门槛,让大家可以用更简单、低成本的双目设备去大规模采集和使用3D数据?

以前其实很难采集到高质量的3D数据,因为各种传感器都有局限。RealSense的3D质量比较差,LiDAR又不太适合操作的精细场景。那还有什么方式能从真实世界拿到3D数据?以前基本是比较困难的。

所以很多时候只能依赖仿真,但仿真又很难去模拟复杂场景或者复杂物体的physics。现在FoundationStereo相当于提供了一种新的可能。

你也可以看到现在越来越多人开始采双目视频。大家开始愿意采这种数据,一个原因是意识到双目可能是一种有潜力的模态。虽然现在不一定马上用得上,但先采下来,随着双目深度技术变好,将来可能就能用上。

也就是说,先把数据积累下来,等深度能力成熟,这些3D数据就有用了。FoundationStereo在这里的作用是,它可以提供比较dense、pixel-wise、而且相对accurate、generalizable的depth。所以从这个角度来说,它确实让“从真实世界获取3D数据”这件事情变得更可行了。

那像现在一些“单目+ToF”的深度方案你怎么看?相比双目,它在具身智能和机器人操作里的优势和局限分别是什么?

像这类传感器,问题可能还是和感知范围有关。比如我们之前用过一些TOF传感器,它在近距离时深度效果还不错,但距离一旦变远,深度质量就会明显下降,这是一个比较大的问题。

另外还有一个问题是可扩展性。

当时我觉得FoundationStereo比较有潜力的一点在于,它本质上是一个纯算法方案。也就是说,它能够直接继承整个RGB视觉领域的发展。比如未来如果出现更强的单目深度模型,或者更好的特征表示模型,这些进展都可以直接被双目匹配利用。

所以它是在算法层面持续快速迭代的,这种进化速度通常会非常快。相比之下,像TOF传感器这种方案,本质上还是受物理硬件限制,它的迭代速度通常会慢很多。

所以我会觉得,双目深度这个方向,未来有机会做到一个非常强的效果。

那你会觉得,如果未来传感器硬件本身再有一些突破,比如新的depth sensing方案出现,会不会从根本上改变甚至解决3D信息获取这个问题?

我觉得硬件会有帮助,但很难彻底解决问题。因为硬件本身很难做到“完美”。一般来说,一个硬件在某些方面强,就会在另外一些方面弱。

比如有的硬件精度很高,但视场角很小,或者感知范围有限;有的可能无法处理黑色物体、反光物体、金属或者透明物体。很难有一种物理硬件,能够在所有场景下都表现很好。这是一个方面的限制。

第二个是scalability的问题。更好的元器件、更复杂的成像原理,通常会带来更高的成本,这会限制大规模部署,也就限制了数据规模的增长。

所以我觉得硬件可以帮助提升一些精度,比如在数据金字塔最末端那一部分,但很难从根本上解决大规模scale的问题。

23. 3D视觉+操作未来的发展趋势

接下来我可能会更多去看怎么提升VLM的空间理解能力。因为现在像Gemini这些VLM,在很多任务上已经完成的很好了,但在3D的空间理解上还是比较有限。

另外一个方向,是怎么进一步提升具身训练。比如,怎么利用三维信息更好地帮助训练,以及怎么更好地利用仿真环境。现在的simulation,一方面本身能力还是有限的,另一方面能够模拟的物理现象也比较有限。如果未来能有更多三维数据,用来捕捉真实世界里的物理过程,那可能会带来更加真实的simulation。目前我主要还是在关注这些方向。

另外,当前很多视觉语言模型其实也还没有真正引入三维模态。现在大部分模型的输入本质上还是RGB图像。但问题在于,即使只是在RGB层面,如果你问一些和空间理解相关的问题,它们本身的能力其实也还是有限的。所以这里实际上有两个gap:一个是没有显式引入三维信息;另一个是,即使不考虑多视角、只依赖单张RGB图像去做空间理解,模型本身也仍然存在不少局限性。

References:

网页:https://nvlabs.github.io/FoundationStereo/

https://nvlabs.github.io/FoundationStereo/

https://arxiv.org/pdf/2603.09971

https://nvlabs.github.io/FoundationStereo/

https://www.youtube.com/watch?v=WAr8ZY3mYyw

https://bingjietang718.github.io/pdfs/rss2024.pdf

https://developer.nvidia.com/blog/making-industrial-robots-more-nimble-with-nvidia-isaac-manipulator-and-vention-machinemotion-ai/

石麻笔记 · 3D视觉