具身智能进入2025年,一些新的概念火起来了,比如世界模型(这个概念我们在23年和24年的访谈都有深入探讨过EP8对话淦创、周衔:RoboGen如何通过生成模型和可微分模拟大规模合成机器人示教数据(附可微分物理引擎论文综述)、对话李昀烛:通用操作新解法——基于学习的动力学模型),比如UMI(EP2对话迟宬、许臻佳:UMI——机器人训练的物理API)。一些曾经的热门概念(比如VLA或同构遥操)又被对比下去。国内的具身智能赛道投资,似乎成了概念投资,投资人们忙忙碌碌寻找有特定概念标签的项目,创业项目也忙忙碌碌给自己贴上新的概念标签。
这些“概念”投资,像极了之前的Copy to China模式,在海外某些公司披露了某些技术路径的刺激下,投资人们疯狂的在国内寻找对标。这也直接导致了美国很多非常优秀的华人学者创办公司时,采取了高度机密的创业姿态,因为怕国内同行们抄袭。
具身智能行业的真正价值贡献,不在于被一次次概念热潮推高的估值。在2025年的今天,作为一个有点审美疲劳的机器人方向投资人,非常惊喜于依然有一些国内的创业者敢于引领,不再跟随。Human Data系列,希望让大家可以关注到一个暂时还没有被过度关注但可能酝酿着巨大潜力的数据路线。也希望大家可以关注到一些人,他们愿意承担这个行业的价值点,牵引整个行业的发展,而不是仅仅为了融资做跟随。
Human Data系列最后一期访谈,我很荣幸的邀请到诺亦腾机器人的创始人戴若犁博士,作为压轴专访最后一篇。如果你是石麻笔记的铁粉,这篇访谈一定要看完!
搜索小宇宙或苹果Podcast搜索“ReSpark”收听播客。
播客:对话戴若犁:动作捕捉技术与人体数据——诺亦腾机器人的数据故事(下)(在微信公众号原文中收听)
查看原文目录
以下为本文目录
👇
1. 自我介绍
2. 几个工作和诺亦腾机器人的关系
3. 动捕设备科普
4. 不同的动捕方案有什么区别
5. 不同动捕方案如何选择
6. 为什么选择诺亦腾机器人的设备和数据?
7. 短期内诺亦腾机器人能给社区带来什么?
8. 人才需求
9. 业务合作
1. 自我介绍
我是诺亦腾机器人的创始人、首席执行官戴若犁,诺亦腾机器人专注于将动作捕捉、高精度追踪以及计算机视觉等技术,应用于机器人领域的数据全链路支持。具体而言,我们的业务涵盖数采设备、数据采集服务、数据后处理服务、数据标注以及自有数据集授权等环节,致力于为机器人行业提供完整的数据基础建设与技术支撑。
诺亦腾机器人是2025年创办的,在这之前,我创立了一家动捕设备公司,叫诺亦腾科技。诺亦腾科技这家公司的英文名叫Noitom,这个名字其实是把 “motion” 这个单词反过来拼写而成的。公司的核心技术和主要产品,都围绕着“如何让人的动作被数字化”这一目标展开。
我们长期研究如何利用穿戴式传感器和计算机视觉等技术,将人的动作进行精确的数字化采集与重建。在过去的十多年里——准确地说是十三年——公司陆续服务了全球多个行业和客户,其中包括影视特效制作、虚拟现实、人机交互、体育运动分析以及医疗健康等领域。在惯性动作捕捉这个相对小众的领域中,公司已经做到全球领先,市场占有率超过 70%。
我现在创办的新公司名为 Noitom Robotics,依然延续了过去在硬件设备、传感器和算法等方面的技术积累,把这些能力应用到一个新的方向——也就是具身智能与机器人领域。我们希望用“人的动作数字化”“高精度追踪”“动作捕捉”等核心技术,为这一新兴行业提供数据和技术支持。
这一方向的选择有其必然性。因为无论是人形机器人还是具身智能系统,都高度依赖于人类交互行为和动作姿态的数字化。机器人需要通过这些数字化的人类行为去学习技能、掌握能力。这个底层逻辑给我们带来了新的机会,也让我重新回到机器人行业。
我个人的博士研究方向就是机器人领域的主动减震与抓握控制。能够在博士毕业十五六年之后重新投入这个行业,对我而言既是延续,也是回归。
2. 几个工作和诺亦腾机器人的关系
迮炎杰的项目 Twist 1 Human Data EP01-MoCap:TWIST使用的是光学追踪系统,如果判断没错,应该用的是 OptiTrack 系统。大约一个月前,我在斯坦福和他见面时,提前看到了 Twist 2 的一些演示。他使用了 Pico 的两个控制器、一个头显和两只脚部追踪器。恰巧在同一天,我们也看到了西湖机器人发布的项目(此处也可以给出建明访谈索引),使用的也是我们的全身动作捕捉系统PNS。当时的视频里看到的效果非常震撼,迮炎杰甚至笑着说,压力有点大,要把自己的项目做得更好一点再发布。他也已经拿到了一整套我们的全身动捕设备,正在尝试用全身动作捕捉系统进行实时操作的研究。
这两天全网引发讨论的小鹏的发布我们也是亲历者。从 2023 年底开始,我们的技术团队就与小鹏人形机器人团队密集合作。这个团队的能力非常强,无论是本体制造、运动控制、大模型、多模态模型的探索,还是产品化能力,都是国内一线水准。他们使用了我们提供的数据和设备支持。
这次他们展示的女性机器人“完美步态”,所使用的数据就是通过我们的动作捕捉设备采集的,用于模仿学习,强化学习,模型训练。更多的细节因为保密协议不便透露。
同样也是前两天宇树发布的“身外化身”项目和几周前西湖机器人发布的实时遥操作中,视频里那位操控机器人的工程师身上穿戴的也是我们的惯性动作捕捉设备,这款设备名为 Perception Neuron Studio,是目前全球销量最高的动捕设备。这套设备全身共有 17 个传感器:下半身 7 个,上半身 10 个;加上手套后再增加 10 个,一共 27 个 IMU 传感器。这 27 个 IMU 传感器可以采集原始的陀螺仪、磁力计和加速度计信息,并以 480 帧每秒的频率进行计算,得到身体各部位的相对位置和绝对姿态。
这些数据会被传入 Axis Studio 软件中,软件会进一步进行三层计算。第一层是前向动力学(Forward Kinematics),保证整体姿态成型;第二层是逆向动力学(Inverse Kinematics),保证末端位置和脚步触地稳定且符合物理规律;第三层是基于物理引擎的约束层,用更多的物理定律与人体构型规律作为最优化算法的边界条件。
人体有很多约束条件。为了研究人的动作如何数字化,我们花了很多时间研究了人体动力学结构甚至解剖过大体老师,比如肘关节反向弯曲容差很小,手指的第二指节是单自由度,第一指节是双自由度,前臂由于尺骨挠骨具备自旋能力等。还有一些物理约束,比如重力、地面接触、摩擦、冲击、跳跃时的势能转换等。通过这几层计算,可以把原始的 IMU 数据转化为人体动作姿态的数字化序列。而这整个把人的动作数字化的过程就是动作捕捉。
前面提到的几个研究工作,都使用了不同的动作捕捉技术和模型训练方式,最终实现了完美步态(小鹏)、实时全身遥操作(宇树/西湖/Twist1)、基于稀疏追踪传感的遥操作(Twist2)等成果。我们与这些科研工作者的交流也非常密切,经常会互相交换行业和学术方面的信息。
3. 动捕设备科普
动作捕捉(Motion Capture)指的是将人的动作和姿态数字化的过程。这个定义本身与使用的方式和方法无关。无论是通过计算机视觉、传感器、磁追踪,还是外骨骼等不同技术手段,只要能把人的动作姿态捕获下来、转化为数字序列,都属于动作捕捉。
动作捕捉这一技术的应用历史非常悠久。早在 20 世纪 70 年代,英国一家名为 Vicon 的公司就已经开始从事光学动作捕捉研究。Vicon是英国的上市企业,也是该领域的先驱与标杆,至今仍被认为是光学动捕质量的天花板。50年前Vicon的第一代系统需要借助巨大体积的摄像机,只能追踪极少量的标记点(marker)。
后来真正让动作捕捉被普罗大众广泛认识并进入主流生产流程的,是詹姆斯·卡梅隆(James Cameron)导演的《阿凡达》第一部。影片拍摄过程中,团队为实现实时可视化和实时渲染,建立了一整套虚拟拍摄(Virtual Production)的生产管线。这个项目的成功不仅赢得了多项奥斯卡奖,也催生了多家业内知名的特效流程技术服务公司。
诺亦腾科技成立于 2012 年,并在 2014 年推出第一代产品。当时采用了极具突破性的定价策略,将行业价格降低了两个数量级。原本需要上百万元才能完成的动捕工作,几万元人民币就能实现,因此迅速吸引了全球大量用户。
我们的设备被广泛应用于多个领域。例如,《权力的游戏》第五季开始,剧中“异鬼”等群体角色的动作捕捉都使用了我们的设备,当时片场配备了十余套系统,由七八位特技演员完成全部动作采集;《金刚狼》《星际迷航》《星球大战》等影视项目的特效制作中也都有我们的设备参与。
在体育运动领域,像高尔夫球手泰格·伍兹(Tiger Woods)和麦克罗伊(Rory McIlroy)等,他们的教练团队长期使用我们的动捕设备分析体态、挥杆动作的动力链。中国的多位奥运冠军以及现代五项国家队,也在日常训练中使用我们的系统进行数字化分析。
此外,我们的动捕技术还应用于虚拟现实、游戏和交互设备中。包括Oculus、HTC、索尼 PlayStation VR 等多家公司,在手部追踪、数字手套、VR 交互等环节都使用了我们的技术授权,技术服务或配件。
到了 2023 年底,我们发现一个新的增长点来自机器人领域。这促使我个人开始重新关注机器人行业,并创立了Noitom Robotics 公司,专门面向机器人领域提供服务,与科研团队和机器人本体厂商展开广泛合作。回过头来看,过去十几年的积累似乎正是为这一刻做准备——把人的动作捕捉与机器人的智能控制结合起来,这是一件非常有意义的事情,也让我感到非常幸运。
4. 不同的动捕方案有什么区别
动作捕捉(Motion Capture)指的是把人的动作和姿态数字化的过程。它并不限定于某一种方式或技术手段,可以通过计算机视觉、传感器、磁追踪、外骨骼等多种方式实现。核心在于将人的姿态和动作固化、捕捉,并转换成数字序列。
光学动作捕捉(Optical Motion Capture)长期以来被认为是科研领域的“金标准”(GoldStandard),因为它具备绝对精度。光学动捕的原理是利用多台高速工业相机,在 850–950 纳米的红外波段下进行全局快门曝光,所有像素点同时曝光,不会出现卷帘式逐行曝光的问题,因此同步性极高。优质的光学相机每秒可采集 1200 帧(fps),常规系统的帧率一般在 120–240 fps 之间。
在一个 15 平方米左右的房间内,通常每平方米需要一到两台相机才能实现完整覆盖。如果要实现专业级的全身捕捉,例如在好莱坞电影制作中,15 平方米的空间可能需要安装 20–30 台相机。较大的空间,如 100 平方米,即便是稀疏布设也需要约 40–50 台相机(好几万甚至十几万一台)。高品质光学动捕的定位精度可达到亚毫米级,多个标记点组成的刚体姿态定位精度能达到 0.05 度,因此它被科研人员视为精度意义上的金标准。
然而,光学动捕系统需要复杂的安装环境和高成本的设备。相机价格昂贵,搭建一个完整系统往往需要四五十万元人民币。相比之下,惯性动作捕捉(Inertial Motion Capture)在环境适应性和使用便捷性上具有明显优势。惯性动捕无需任何外部设施,可在室内外任意环境中使用,只需穿戴设备并做几次校准即可开始采集,成本也远低于光学系统。
惯性动捕的缺点在于缺乏绝对精度。它依赖穿戴传感器对角速度、加速度和磁场的积分计算位置与姿态,因此存在累积误差(Drift),精度一般为厘米级,属于相对精度。不同厂商通过算法优化可延缓漂移的出现,但整体而言,惯性动捕无法提供光学动捕那样的绝对准确性。
在机器人领域,如果需要高精度的“真值”(Ground Truth)级别数据,如捕捉人体或物体在空间中的绝对位置,通常会选择光学动捕;而在遥操作(Teleoperation)等需要环境适应灵活性、易用性和实时响应的场景中,则更常采用惯性动捕。
目前更先进的方案是光学与惯性的混合系统(Hybrid Tracking)。这种融合方式结合了光学系统的高精度和惯性系统的连续性,能够在遮挡环境下保持数据稳定。例如,当一只手遮挡另一只手时,光学系统会丢失标记点信息,而惯性系统仍能提供连续数据,通过融合计算,可以同时保证数据的精度与连续性。
除了光学和惯性技术,外骨骼也是一种早期出现的动作捕捉形式。早在 20 世纪 70 年代末至 80 年代初,一些相关研究机构就使用带有编码器的外骨骼结构进行人体动作追踪。随着机器人研究的兴起,越来越多研究者重新采用外骨骼式设备进行遥操作或动作捕捉,这一做法延续了早期的思路。
此外,还有基于磁场的动作捕捉方式。例如部分厂商使用高频弱磁场与三轴线圈,来判断传感器在空间中的位置和姿态,应用于数据手套和控制器的追踪。这类技术曾被美国空军及其他工业领域采用,后续也被雷蛇(Razer)等公司用于消费级产品。
总体而言,从 20 世纪 70 年代到今天,动作捕捉技术经历了半个多世纪的发展。从最初的科研实验装置,到电影工业、体育分析、虚拟现实,再到如今的机器人与具身智能领域,动作捕捉持续演进,成为连接人类动作与数字世界的重要技术。
5. 机器人应用领域里不同动捕方案如何选择
如果站在一个更系统的角度去看,首先要区分清楚动捕数据最终指向的目标是什么——是追求“视觉合理性”,还是追求“任务成功率与操作精度”。
如果目标是视觉合理性,那么从视频中提取的数据其实是可以用的。例如我熟悉的青年学者曾爱玲曾经制作过一个非常大的数据集(链接见References部分),从互联网上收集了海量视频,这类数据在视觉层面上的质量完全够用。因为此类视频数据的关键点,在相机视角上的投影通常是准确的。但问题在于它缺乏深度信息。单目视频难以保证纵深方向的精度;只有当使用双目相机且基线较大时,才能得到一些深度参考。
如果训练的目的是让模型输出或机器人的最终表现“看起来像那么回事”,例如让机器人学会跳舞、打拳,与人类视频示范的视觉效果相似,那么即使是单目视频提取出的动作数据也能满足需求。这种模型的目标只是让机器人在视频视角下的动作与人类看起来一致,是一种较为轻量的应用。
但如果目标是实现高动态动作,并要求物理合理性,让机器人能够站稳、跳跃,行动路径回环,甚至进行交互行为,那么对空间精度就有了很高要求。这类任务,比如宇树的身外化身和迮炎杰的Twist系列(链接见References部分)工作,他们都将自己的平台定义为人形机器人遥操作平台,用于采集真实交互数据。这种情况下,数据采集必须具备空间精度,需要更专业的动捕设备来支持。
在选择专业设备时,会根据使用环境和目标需求再细分两种情况。
如果是实验室(in-lab)或工厂(in-factory)环境,空间可控、预算相对充裕,并且对精度要求极高,例如需要双手协同的动作采集,这时推荐使用光学动作捕捉系统。光学系统适合室内搭建,精度高、同步性好,是科研和高质量数据采集的理想选择。例如亚马逊机器人实验室这样的机构,要构建高精度实验系统,就应使用光学或光学与惯性混合系统。
但如果是在非固定环境,比如户外或临时场景下,希望能快速部署、成本较低且操作灵活,那么惯性动作捕捉系统是更合适的选择。如果是在户外或普通环境中实现遥操作,这类需求就非常适合使用惯性动捕。
不同场景、不同需求下,最优方案会完全不同。每种动作捕捉技术——光学、惯性、磁追踪、外骨骼等——都有其存在的合理性。正因如此,这些方式至今仍被使用并不断发展。选择哪种系统,往往需要根据场景和环境逐一分析、权衡,这是一项必须具体情况具体判断的工作。
6. 为什么选择诺亦腾机器人的设备和数据?
我觉得首先并不一定要选择诺亦腾的数据或设备,我非常乐意与大家交流,并提供一些公允的建议,再由各方自行做出选择。整个行业目前仍处在非常早期的阶段,我们希望能有更多的人共同参与,一起解决数据的问题。当前最大的瓶颈,毫无疑问是数据。大模型时代,语言模型不缺数据,可以全网爬取语料;自动驾驶厂商也能通过大量实车采集积累数据。但在机器人领域,这样的规模尚未实现。
从整体来看,现实世界中的数据可以分为几类,而这些类型的数据最终都是行业的刚需,必须协同结合,才能在体量和质量上达到足够的覆盖度。
首先是真机遥操作数据,它极为重要。其他类型的数据,例如人本数据或合成数据,都无法体现机器人的本体特性。只有真机数据才能包含机器人的传感、驱动、构型等真实特征,也反映不同型号在生产制造中的差异性。虽然真机数据的获取昂贵,灵活性不足,也难以跨本体使用,但每一款机器人都必须具备至少数千小时的真机遥操作数据。就像汽车行业,每推出一款新车型,都要重新采集大规模的路测数据一样,机器人在构型或硬件特性变化时,也必须重新采集数据。
因此,真机遥操作数据是不可或缺的,但由于成本与效率问题,规模难以做到很大。这类数据更多承担本体特性对齐作用,而非学习技能的主要来源。技能与规则的学习,应当依赖其他类型的数据。
近几年,越来越多的研究者和公司将关注点转向以人为中心的数据采集。人本数据通过直接记录人的交互行为和视觉信息,为机器人提供丰富的模仿和理解样本。这类数据类似于Ego4D、EgoDex、EgoPressure、Project Aria/Aria2 等项目中的视觉为主的交互数据集。
不过,人本(Human Centric)数据的定义存在分歧。部分研究者主张应在自然环境(in the wild)中采集,确保数据足够自由、足够多样。但要做到真正的 in the wild,必须在模态、维度和精度上做出牺牲。如果采集系统复杂、穿戴负担重,就无法进入家庭、工厂、老人院等真实环境中。也有研究团队希望“既要又要”,既追求大规模体量,又追求高模态与高精度,结果往往陷入矛盾。
因此,即便是人本数据这个数据门类里,可能也需要进一步分层。上层是高精度、多模态的相对小规模数据,约十万至百万小时级别,用于建立高质量、全模态、全维度的基准;下层是更大体量的 in the wild 数据,降低穿戴复杂度和精度要求,追求更广泛的场景覆盖。
在此之下,还有一层非常关键的合成数据与互联网数据。这类数据能为真机与人本数据提供大规模增强(data augmentation),通过仿真与合成环境扩展轨迹、目标、背景与策略的多样性,从而把数据体量放大数百倍。自动驾驶早期就广泛使用这种方式,对真实数据进行模拟扩展,以覆盖极端情况。
总体来看,我并不以自身设备或数据集为出发点去思考问题,而是希望行业能真正联手解决数据瓶颈。如果大家无法共同构建起完整的数据体系,这个行业的发展将停滞不前。我们需要更大规模、更高层次的数据驱动,才能推动机器人智能真正向前。
7. 短期内诺亦腾机器人能给社区带来什么?
诺亦腾机器人并不是一个单纯的设备厂商,或者说,并不希望仅仅成为设备厂商。虽然诺亦腾科技(Noitom)在很多层面上可以被视为设备制造企业,但诺亦腾机器人(Noitom Robotics)不同。诺亦腾机器人希望通过多种方式去解决行业中的数据问题。诺亦腾机器人既可以是服务提供方,也可以是数据集的授权方。
未来很长一段时间,我会用设备去“交朋友”,而不是通过卖设备赚钱。对于很多学者,我会直接免费提供设备;对于一些优秀的行业合作伙伴,也基本以成本价、甚至半买半送的形式让他们使用。目的是让更多的人能用上这项技术,推动研究与应用的发展。
我会投入大量精力和资本建设自己的数据工厂,积累十万小时、甚至百万小时级别的数据集。我们积累这些数据的核心目的,是为了帮助整个行业降低成本。听起来似乎有些矛盾——为什么一个第三方数据厂商去采集数据,反而能让行业更便宜?但我的逻辑是,只有那些能够跨本体、可复用的大规模数据,才值得积累。
我们会用一些巧妙的办法将采集到的人本数据集(Human-centric Dataset)对齐到合作伙伴或客户不同的机器人本体构型上,并向他们授权使用。因为这些数据具备跨本体映射能力,可以多次授权、重复使用,这样做能显著降低全行业在数据建设上的重复投入和浪费。
举个例子,我们最近与一家大型企业达成了千万级规模的数据授权合作。在这份协议中,我们授权的数据价格甚至略低于采集成本。但我也花了很长时间去说服这家企业放弃数据的完全独占权,通过这种商业模式,可以让行业内的数据积累更具效率和可持续性。
我认为,这就是我们能够为行业带来的最大价值。我们需要合理的营收,以维持数十人到上百人的研发团队持续运作,不断进行技术投入。同时,通过积累可重复授权的数据集,让整个行业都能以远低于自身采集成本的代价,获得高质量的数据资源。
这也是我的愿景。能否做到,还需要时间去实践。未来两三年,我都会专注在这件事情上。如果有机器人本体厂商、模型公司或投资人对这个方向感兴趣,欢迎与我交流,我们一定能找到合适的合作方式。
8. 人才需求
我们目前最需要的,是人才。现在最紧急在招的有三类岗位。
第一类是产品经理和项目经理(Product Manager / Project Manager)。我们在数据和机器人领域都非常缺人,无论年轻还是资深,只要有志于这个方向的都非常欢迎。
第二类是算法相关的人才。我们的首席科学家韩磊博士正在积极招募在多模态模型、VLA、强化学习以及数据科学等方向有经验的研究人员。无论是年轻学者、实习生还是全职的研究科学家(Research Scientist),我们都有空缺岗位,希望能够吸引更多真正热爱机器人算法与模型研究的伙伴加入。
第三类是传感器与硬件相关的岗位。过去我们在硬件领域确实有一定积累,但这只是一个起点。现在市面上大多数用于数据采集的动作捕捉和追踪设备,其实都是为影视特效或游戏行业设计的,而不是为机器人数据采集而开发的。然而,机器人数据采集的市场远远大于影视行业,对设备的需求也更高。这一领域需要专门为不同环境——无论是 in the wild、in the factory 还是 research lab——设计的新型硬件。
我们正在积极推动这一方向,因此特别需要硬件规划与传感器相关的人才。例如磁定位传感器专家、IMU 专家、光学传感器专家、算法工程化专家、固件工程师、BSP(板级支持包)工程师等。如果你在这些方向有经验,或者想在更具潜力的赛道找到新的机会,欢迎加入我们。
9. 业务合作
在合作方面,也想借此机会“打个硬广”。如果贵公司或机构认为没有必要所有事情都自己做,我们非常乐意成为你们的合作伙伴。有些企业,例如 Tesla、Figure 这样的公司,选择完全垂直整合,甚至宣称连 VR 系统都要自己做——这当然值得尊敬,但这种模式不适合所有公司。
如果贵公司有明确的边界,希望将数据采集、数据集制备等非核心但关键的环节交给专业团队来负责,我们会非常乐意合作。我们能以最合理的价格、最充足的热情和最专业的水准,帮助你们高效完成工作。
Ref:
Twist系列:
https://arxiv.org/abs/2505.02833
https://arxiv.org/html/2511.02832
曾爱玲数据集:
https://arxiv.org/abs/2407.06358
Ego4D:https://arxiv.org/abs/2110.07058
EgoDex:https://arxiv.org/abs/2505.11709
EgoPressure:https://arxiv.org/abs/2409.02224