卢策吾,作为中国具身智能领域的先行者之一,他的职业生涯起步于2002年,学习通信与信息系统,并在中科院和香港中文大学深造,逐步为后来的具身智能研究打下基础。他认为,尽管自己跨越了多个领域,但信息学科培养的全局视野和严谨思维对他后来的研究至关重要。
2013年,他开始研究三维视觉,探索如何将二维图像与三维物理世界结合,为机器人智能的突破奠定了基础。2015到2016年,他在斯坦福大学AI实验室工作,参与具身智能的前沿探索,尽管当时该领域的关注度较低,但他与团队依然保持着热情与创新。
回国后,卢策吾成为上海交通大学的教授,并与王世全共同创办了“非夕科技”,这段创业经历为他后来的穹彻智能奠定了基础。他认为,从科研到产业化的转变,要求高水平的综合素质,而这种从实践中获得的经验,让他更深刻理解整个技术闭环。
如今,卢策吾不仅是中国具身智能领域的领军人物,也在推动AI与机器人技术融合方面取得了显著成果。他的目标是让机器人更好地融入人类生活,成为真正的合作伙伴。
ReSpark 本期邀请了穹彻智能的创始人卢策吾和投资人Tim作为本期访谈的嘉宾。以下为访谈文字总结。
查看原文目录
访谈要点
第一节:个人经历
1.学术经历
2.非夕经历
第二节:穹彻智能
3.穹彻的数据路线
4.如何采集机器人数据
5.机器人开源数据集
6.机器人的力控
7.穹彻的具身基座模型
8.穹彻大脑的进展
9.长程任务如何解决
10.怎么适应多种硬件
11.视觉-触觉融合
12.怎么看商业落地
ReSpark:您是2002年读的本科,也是85后,但确实具身智能领域国内最资深的教授,您一开始本科学的是通信与信息系统,后来去了中科院读电磁场与微波技术的硕士,从博士在香港中文大学学习计算机科学与工程是不是才真正意义上跟现在的具身智能的工作有关联?
卢策吾:从本质上说,具身智能依然是人工智能的一种,因此早期在人工智能领域的训练对之后的具身智能研究产生了极大的帮助。再往上延展一些,人工智能本来就源自信息学科的发展;而信息学科的学习过程强调全局视角和缜密的科学思维,同时也注重从理论到工程的完整训练。表面上看,某些领域或技术之间似乎相距甚远,但当回过头来审视时,你会发现这些早期的信息学科积累往往能在后来提供潜移默化的支撑与帮助。
ReSpark:您后来2013年去到香港科技大学做博士后的研究,你博士后研究的是什么?
卢策吾:其实,当时我的研究已经逐渐与具身智能产生了联系。那段时间,我主要在做三维视觉,因为我希望能从二维图像的研究走向真实的物理世界,而三维视觉正是最直接的切入点。如果你查看我当时发表的论文,就会发现其中有不少内容与三维视觉和三维世界的理解相关。虽然正式发表可能是在我离开香港科大之后,但从时间轴上能看出,我在那个阶段已经开始探讨如何从图像世界走向三维物理世界。
ReSpark:2015年到2016年你都在斯坦福大学AI实验室从事博士后的研究,那个时候你就在Leonidas J.Guibas和李飞飞的组里,你觉得那个时候有没有一些有意思的事情和体会可以跟我们分享的?
卢策吾:其实,关于‘仿真流派’之类的说法,我并不认为当时存在什么流派之分。那会儿大家都意识到具身智能是下一步的发展方向,所以都在摩拳擦掌,处于非常早期的思考和尝试阶段。只要能做出成果,方法并不拘泥于某一固定流派。
当时的氛围非常有趣:我们那一群年轻人都相信这是未来,于是聚在一起天马行空地讨论和做实验。很多实验当然都不成功,但这并没有浇灭热情。那时外界对无人驾驶、智能医疗等话题还比较关注,但对于我们正在做的机器人或具身智能方向,很多人不太理解或看不懂。
我记得那时发一篇跟机器人或人工智能相关的论文都挺困难的,外界对这些新想法也比较陌生。不过我们内部却很享受这种‘在小圈子里做前沿研究’的状态。就像早期的哲学思考一样,我们不仅在脑海里畅想,也着手去实践。
我和王世全(他在机械系)那时尝试了很多想法。虽然周围人并不明白我们在做什么,但我们自己感觉很快乐,也产生了很多大胆的设想。如今,这些设想中已有一部分逐渐变为现实,而相信未来会有更多想法能实现。
ReSpark:离开斯坦福之后,你就在上海交大一边任教,一边和王世全一起创业“非夕科技”,这段“非夕”的经历对于您再出发创立穹彻有哪些方面的帮助?
卢策吾:帮助非常大。从科研到产业化,对个人的综合素质要求非常高,这不是仅靠读书就能完全掌握的。前期的科研突破或许是教授们能做到的,但把这个突破变成真正扎实有效的产品,就需要很强的产品化思维。随后,要让产品创造从无到有的增量价值,还得具备商业思维与企业家、科创家能力。再往后,团队管理和组织建设也同样是个巨大挑战。
过去虽然读过一些书,但当自己真正‘下场’去做时才发现,从最初的科研成果到最终为用户创造价值,这个闭环中有无数环节需要打通。亲身实践后,再回头看那些书,会对其中的道理有更深刻、完整的理解。
在创办穹彻智能的过程中,我经历了科研、产品、管理、商业落地等多个阶段。对于一家高科技或 AI 驱动型企业来说,虽然每家公司都有自己的案例,但在不同阶段会呈现相似的关键矛盾和规律。如今,我的感觉就像‘地图已被部分点亮’,虽然仍会遇到各种挑战,但至少大致知道下一个‘怪物’在哪儿,也更清楚该如何应对。
非夕过去这八年中,既有成功的经验,也经历过不少曲折和挫折。这些都离不开大量时间与成本的投入,才能获得如此宝贵的收获与教训。
ReSpark:公司怎么想到取名“穹彻” ?
卢策吾:我觉得这件事情很有意思,它其实反映了我们创始团队的一种追求。简单来说,有两层含义:第一层是‘穹’,即科学技术的前沿没有尽头,就像永无止境的探索;第二层是‘彻’,也就是要做到真正的根本性(fundamental),不仅要深刻,还要能够扎实落地。可以把它形容为‘顶天立地’——顶天是指理论与技术在前沿领域上无止境地拓展,立地则意味着必须落实到现实应用中。这两者的结合,既意味着我们要在无限前沿中不断追寻,又要以深刻而实用的方式将其落地、实现价值。
ReSpark:外界对公司有一种偏见认知,认为穹彻主要做的是仿真数据?在这里要不要澄清一下?穹彻都用一些什么类型的数据?什么时候用什么样的数据比较奏效?
卢策吾:我们在思考数据问题时,应先从‘具身智能究竟需要什么信息’这一问题出发,而不是先入为主地决定‘我想要哪种数据’。也就是说,要基于具身智能所需的信息量来配置数据,同时还要考虑数据的获取成本,以及它能否在规模化应用中被承担得起。
因此,我们一般会把数据放在两个坐标轴上:一边是所提供的信息量,另一边是获取与处理的成本。只有找准二者的平衡点,才能让最终效果最优,而非片面地依赖某一种数据源。在我们的体系里,我们收集了多种不同类型的数据,并且会科学地分析各种数据之间的互补关系,包括它们各自提供了哪些有价值的信息、可能带来怎样的不确定性与噪声等。
最终的目标是让系统的整体效果做到最好,而不只是凭直觉认为某个数据源‘重要’或‘不重要’,效果好才重要。举例来说,我们当然也会使用仿真数据,但更关键的是要弄清楚仿真数据具体能带来什么、又有哪些限制,以及如何与其他数据结合,才能在信息量与成本之间取得恰当的平衡。
关于仿真数据,它带来了什么?它其实有利有弊。优势在于,仿真数据能帮助我们积累‘数字资产’,也就是在数字世界中创建并操作各种物体,从而实现物体从状态 A 到状态 B 的过程模拟。我们最近也提出了‘数据基因’的方法论,专门用于构建并管理这样的数字资产。局限在于,一旦涉及高强度、持续接触的场景,纯仿真往往无法准确模拟真实的物理交互。而且如果只靠仿真,不少真实世界的信息依旧是缺失的。
因此,我们还必须获取真机采集(真实机器人或硬件运行)的数据。但真机数据同样面临可规模化的问题——采集过程需要人工持续操作,成本高、效率低。此外,实际操作过程中也可能产生损耗或干扰,这些都限制了大规模真机数据的获取。
为了解决这一难题,我们提出了‘可穿戴式外骨骼’的方案,让人穿上外骨骼,并在日常工作中就能完成数据采集。这样做能够显著降低成本、提升规模化的可行性,而且采集到的信息能够与机器人对应起来,减少环境与人机之间的差异。
总的来说,我们始终从一个更高的维度去思考:具身智能需要什么信息?各种数据源各自提供什么信息量,又带来哪些误差与噪声?如何让它们互相补偿?在我们的体系里,仿真数据可以提供‘世界在数字世界里如何演进’的规则;真机数据则补足物理世界的真实信息;还有一些常识性知识,可从视频或人类操作示例中汲取。通过这种‘火箭多级组合’的方式,我们才能在前面数据的帮助下,去削减后面数据的噪声,并最终构建一整套稳定、完善的数据系统。
我们一直关注数据采集与使用过程的可规模化,也就是说,要让整套数据系统在成本和效率上都能不断扩大并可持续运转。同时,这个数据系统也需要在实践中不断完善。
至于不同类型数据(如仿真数据、真机数据、视频等)在采样比例上的配比,我们已经让模型自己去‘做决策’——也就是通过最优化过程来选择最适合的比例配置。虽然目前的自动化决策机制还在初期,可能未必是最终的最佳方案,但我们正在逐步导入这样的思路。
从长远来看,究竟需要什么样格式的、什么分配比例的数据,很可能不再由人来指定,而是由机器通过不断迭代、以性能最佳为目标来‘自我决定’。我们正在尝试把这个理念引入到整套数据系统中。
ReSpark:我看公司新推出了一套日常随身携带的便捷数据采集设备,今年上半年就会大规模铺设,能不能简单介绍一下跟市面上的解决方案相比较,这个设备的特点和优势?这对于数据采集和分析带来了什么迭代?价格如何?
卢策吾:我们可以先分析一下市面上现有的各种采集设备,各有各的优点。但从我们自身的感觉出发,我认为我们推出的这套方案应该是相对最优的。当然,这也只是我个人的看法,不同团队可能有不同观点。要具体讨论这个问题,首先可以提到‘遥操作机械臂’这种方式。
我觉得遥操作有一个我们很难忍受的缺点:它会影响人类的日常生活。历史上所有通用智能的采集,基本都没有过多影响到人类本身的生活节奏,比如你每天发博客、做美食评论,这些本意是满足个人需求,却‘顺带’为大模型提供了语料。无人驾驶也是同理,边开车边采集,不会让任何人脱产;可一旦让人脱产去标注,规模就很难做大。
在遥操作里,人必须到实验室里操控机械臂,这显然影响到人的生活与工作。更何况这种隔着机器臂的操控存在‘隔靴搔痒’的感觉,因为你没有真正接触到物体,不能直接感受力反馈。再者,这种操作通常离不开固定场所,而且需要买一台机器人,还要专门有人来做这些数据采集,成本非常高。这样一来,大多数遥操作采集只能停留在实验室,不太可能拿到真实场景里的数据。
与之相比,我们提出了一个‘伴随式’外骨骼的方法。它的好处在于:第一,可以规模化,因为它不会过度干扰人的正常生产生活;人只是把这套设备穿在身上,轻量化设计使得人依旧可以在实际工作中自然地操作物体。这样从全社会的角度看,整个采集成本就大幅降低。第二,它是真实场景下的数据,因为你在人机交互中会接触实际物体,而不只是实验室里的虚拟操作。第三,它整体成本也更低,设备本身价格不高,便于推广。
我之前也提到,对于一家创业公司而言,如果只是做学术研究,可能不太需要考虑社会成本和经济成本。但要真正把技术落地,就必须在解决技术问题的同时,兼顾社会与经济方面的约束。我们现在这套方法因为具有这些优势,带来了很多订单,政府也希望我们尽快把这套采集系统推向更大规模。不过眼下我们在产能扩张上还需要时间,特别是过年前后这段量产计划相对紧张。
另外,还有‘动捕(Motion Capture)’这种方式,但它和遥操作类似,都存在缺乏真实物理反馈的问题。举例来说,如果你想用动捕来抓一个苹果,你可能会出现‘穿模’现象,也就是你在虚拟世界里看上去抓住了苹果,但实际上并没有真正接触它,缺少了真实的力反馈。像那种人没有任何触觉反馈的操作方式,就好比‘皇帝的新衣’,明明没有真实的衣服,却要装作在做衣服。这种状况会让人很难受。
然后还有一种手持式(手持设备)的做法,我觉得它也不错,因为便宜,而且能在现场使用。但是它存在一些问题。第一,它跟我们用外骨骼的方法不一样:我们的外骨骼在数学上能保证和机器人是百分之百同构的,所以在数据迁移到机器人时不存在任何麻烦,因为两者的机械结构就是一模一样的。但手持式设备需要在后端‘回算’骨骼和机械参数,这就很麻烦。比如说有些操作超出了机器人的运动范围,但人并不一定能感知到。当人拿着手持设备做一个动作时,实际已经超出机器人本身能承受的极限,结果产生的就是‘异常数据’,这些数据可能对训练是有害的噪声数据。这时只能依靠一些额外的虚拟算法去过滤掉,但是这样又会引入额外的间接误差。
第二,关于成本。其实手持式方案跟我们的外骨骼在成本上几乎差别不大。但外骨骼却能够确保数据质量更高,而且操作与真实的机器人情景更加一致。手持式采集所需的精准定位经常依赖 SLAM 或惯性测量单元(IMU)等方式,目前的定位精度还不算特别理想。当然,未来也许会有更好的技术去提升这方面的表现。但就我们现在的情况来看,我们自己也做过手持式设备,我们内部也在解决手持式的这些问题。也许将来有更好的方案,我们keep open多条路径尝试。但目前对比效率对比下来,还是发现外骨骼方案在社会性、成本性和准确性三方面都更具优势。
ReSpark:Pi预训练有大量用到open x embodiment的数据集,我们穹彻团队是这个全球最大的公开数据集的重要贡献者,我们在预训练是否也会用到这个数据集?他的开源数据对于很多公司来说价值多大?
卢策吾:我首先要强调的是,数据最重要的是质量,而不是数量。这点我反复强调,相信大家也能认可。现有的许多数据,虽然数量很多,但很多情况下只是为了凑数,质量并不行。我们甚至做过实验,把低质量的数据剔除,只保留高质量部分,结果反而性能提高了。数据量越大,同时也会带来更多噪声,我们必须辩证看待这个问题。
那开源数据有什么用,其实今天的开源数据至少在学术界能让大家试验一下情况,但从长远看,我们必须认识到数据规模一定会更大。所以,我们一直在追求那种‘伴随式’的、可规模化的数据采集方式。外骨骼只是其中一种方法,或许将来会有更多方式,但目前至少这是一种可行的方案。你必须让数据采集与生产生活相伴随,否则参与数据采集的人太少了,从产业角度讲,数据量远远不够。
举个例子,无人车的数据规模就非常巨大。无人车虽然决策在两个维度上相对简单,但它收集到了大量数据。因此,我们在数据上必须走可规模化的道路,让全国,乃至全世界那些真正一线的劳动力参与进来。只有这样,才能拥有足够多的数据。而且,你会发现,与无人车相比,我们面临的空间更大,数据需求也更高。这就要求我们一头扩大数据量,一头又要压缩数据的冗余和噪声。我们做了非常多的工作,甚至涉及到构建一个物理世界大模型,这也是为了压缩那部分无效的空间。
从我个人角度讲,现在的开源数据肯定不足以支撑产业应用,它们可能作为学术演示(demo)还可以,但要达到稳定、鲁棒、且在产业上可用的水平,远远不够。因此,我们主要走两条路:一是以全新的方法,从社会、经济、成本和技术角度,联合考虑数据采集,实现可规模化;二是从模型层面降低复杂度,引入更多的有效信息,比如我们现在做的操作世界物理模型,将‘数据的两头’同时压缩,只有这样才能有希望将其真正产业化。
ReSpark:具身智能的大公司和初创公司都在做自己的数据集,怎么看这个问题?
卢策吾:其实关于数据集的问题,我想这样讲:数据集不应被孤立来看,也不应简单地认为‘谁有钱,谁就赢’。在上一代大模型时代,情况可能确实如此,但在当前及未来一个阶段,数据、模型、评估和系统必须一体化。也就是说,科研领域里模型研究、系统评估和数据采集都是密不可分的。
你标注了很多数据,也许大家都在谈‘狂标数据’;但问题在于,这些数据究竟有没有用?如果无法证明其有效性,那么数据量和信息量就根本不成比例。我认为在未来的一段时期,我们可以分为两个阶段:非收敛期和收敛期。非收敛期的关键在于“认知”,就是你对哪些数据对模型有用、在产业场景中如何评估其价值、能否构建一个有实际意义的价值评估体系,这是关键所在。这就构成了一个飞轮效应:数据、模型和场景一起迭代,互相撬动。你采集的数据能否转化为模型的提升,而模型的提升又能否进一步落地、创造价值,反过来指导你如何构建更好的数据,这一切都必须达到一个平衡点。
很多人往往只看到采了多少条数据,而忽略了其中的认知问题。现阶段,,关键在于内部要清楚哪些数据对模型有效,哪些模型适合特定场景;而当认知收敛之后,才会进入纯资源和资金比拼的阶段。相比之下,语言大模型一开始大家对数据格式、有效数据标准都非常明确,所以一上来基本就是看谁的钱多、烧钱多。但在具身智能或资源智能领域,则首先拼的是认知:你需要建立一个数据飞轮,撬动模型飞轮,再推动场景飞轮,确保整个体系能有效循环运转,而不仅仅是空转、虚假的数据堆积。
为此,我们内部构建了一整套数据模型到评估的联动体系,每采集一份数据都要验证其有效性,通过反馈不断迭代,确定哪些数据是饱和了(比如,某个场景下已经采集上千次开门动作,就没有必要再重复采集),从而指导后续的数据采集和模型迭代。这样,我们才能在认知与资源之间找到平衡,实现真正意义上的产业落地。
ReSpark:公司之前在力控方面有非常多的积累,目前具身的公司中,我们这方面的积累也是最多的。看到我们近期新发布了可规模化的力觉数据采集系统,精准捕捉记录操作过程中的力、姿态及运动轨迹等多维数据,然后用模仿学习算法通过对这些数据的学习,利用扩散模型从三维视觉中直接预测全空间的力及位置动作。比如在削水果蔬菜上面就可以做得很好了。这个对于我们拓展机器人的操作能力是否会有很大的想象空间?现在有什么样的积累了?
卢策吾:我们先跳出来讨论一下‘力’的问题。其实我们做具身智能并不是单纯认为‘力’很重要,而是必须从任务需求出发来分析。具身智能需要完成的任务可以分成两类:一类是‘自由移动’这种任务,不涉及接触,也就不需要考虑力;另一类则是大多数高价值的操作任务,这类任务都带有物体接触,此时‘力’这个维度就不可避免。它不显性存在,但又决定着任务是否能完成,以及完成的程度如何。
举个简单的例子,开瓶盖这个动作,看似非常简单,你可以说不使用力,慢慢移动也能勉强完成,但实际上不使用力量的话,动作的完成度就会很低;同样地,擦桌子如果完全不考虑施加合适的力量,轨迹虽然可能保持一致,但结果往往偏差较大。只有真正按下去、施加足够的压力和合适的倾向力,才会让操作达到高完成度。这也解释了为什么很多涉及接触的操作(例如刮胡子等),如果完全抛开力的参与,其结果往往难以满足要求。
这种‘力’的模式具有高度的泛化和鲁棒性,例如开矿泉水瓶、开药瓶、甚至操作煤气炉和水龙头,在力学模式上都有共性;只要大致确定物体的位置,再结合合理的力度模式,基本就能实现。这也是我们长期以来对力的模型进行研究的原因。由于我们拥有大规模的相关数据,训练出带有‘力’的模型与单纯依赖轨迹的模型相比,难度完全不同,因为这不仅是简单的模仿学习,而是需要构建一个完整的‘力空间模型’。
第二点为了实现数据的规模化,我们最初提出了手持式方案,后来进一步将其升级为外骨骼方案(手持加外部装置),以便全面采集和利用大量的力数据。实际上,我们已经积累了相当多的力学数据,但同时发现仍有必要将数据规模提升到更高的层次,这正是我们一直在努力推进的方向。
第三点我们可以这样设想:试想一下,如果没有‘力’的参与,我们纯靠轨迹进行操作,能否完成许多任务?其实你不妨自己实验,采用摇操作,仅凭轨迹去操作,结果会发现完成度非常糟糕。比如说,用摇操作来刮胡子——这是绝对行不通的。因为没有力的反馈,就可能把人刮伤,或者根本无法达到清洁的效果。
再举个例子,我们现在有些落地应用,比如在农业领域,我们研发了一些设备来帮助削皮瓜果。如果完全没有力的参与,削皮的效果就会非常糟糕,就像被狗啃过一样;或者效率会异常低下,犹如做手术时那样,必须每一毫米、每一毫秒地精细操作,可能要花上几个小时才能完成一项原本可以快速搞定的工作。而像开生蚝、开钥匙、开门等动作,如果只是依靠位置数据,效果也会大打折扣。你可以尝试这些操作,体会到没有力反馈时操作的困难之处——缺少一个关键的维度。
我打个比方,就像当年解方程时,很多人发现没有解,直到引入了复数,方程才有了答案。加入了力这一维度后,很多操作问题也就迎刃而解。它是必经之路,是逃不掉的关键因素。
ReSpark:过去的操作工作主要关注物体和场景的种类,现在趋势是将更多维度的信息结合起来,例如物体的属性和可供性,以提供更强的逻辑推理支持。穹彻在这方面走在前沿,积累了大量知识库,推动了机器人理解和推理能力的提升。
卢策吾:其实这当中还涉及到一个具身智能思维链的问题。也就是说,一件事情究竟为什么这么做,人们是如何识别这些关键思维点的。当我们拆解到各个细节时,就会发现其背后包含了几个核心要素:属性(attributes)、可控性(affordance/control)和功能性(functionality)。举例来说,即使我们看到一只鞋子,也能联想到它可能具有锤子的某些用途,这种联想正是基于对其功能性的理解;而当你看到一把刀生锈了,你就会觉得它的可控性下降,不愿意使用。各种物品的属性、可控性和功能性构成了我们对世界的基本感知。
在这一块上,我们做了大量工作,可以说是最早涉足这一领域的团队之一(至少从有迹可查的论文角度来看)。我不是说这项技术仅仅用于机器人领域,但在视觉领域中,我们通过对这些属性的捕捉与推理,已经取得了领先。这里还有一个关键:推理(reasoning)。在你提取到这些基本事件与特征之后,如何进行有效的推理,完成整个场景的理解,这就是我们的核心挑战之一。
实际上,我们团队在这方面也进行了系统的整合,我们的系统能够检测并验证所有这些可控性指标,而且我们发现,在很多场景中,我们的方法在某些任务上甚至比 GPT 系列表现得更好,原因在于我们不仅仅依赖于大量数据,更注重引入了链式思维(Chain-of-Thought, COT)的因素。
简单举个例子:如果一个物体开始生锈了,说明它的使用价值下降;或者如果容器已经满了,就没有必要继续倒。这类细节的推理,反映了一个更加智能的决策过程。虽然大家现在都在谈论端到端大模型,但我认为在这种系统中,仅仅依靠海量数据还不够,还必须把 COT——即思维链这一层逻辑引入进去。我们在从数据到模型,再到理论方面都投入了大量工作,未来一段时间内,我们也会陆续发布相关能力。这就是我们在构建具身智能系统时,对思维链和推理能力的深度探索。
ReSpark:是否也会开源一部分来造福整个从业者呢?
卢策吾:会的,我也深有同感。每一家创业公司都应该开放共享彼此的共性成果,这样大家才能共同成长,相互促进。我愿意分享我们的观点和经验,因为这不仅有助于其他创业公司的发展,也能推动整个行业的进步。我相信未来这个行业会变得非常庞大,需要越来越多的公司一起参与,共同开创。因此,我们一直秉持开放的心态,在数据和代码上也做了大量的开源工作。本着这种精神,我相信通过共享,我们可以一起共同推动行业向前发展。
ReSpark:公司新发布了一个RISE+CAGE的具身基座模型架构,说是现在测出来的各项指标都超过现在很流行使用的diffusion policy, 泛化性更强(操作物体、背景、机器人操作空间、相机视角可泛化,跨机器人通用模型)。他主要解决了什么方面的问题?你觉得未来产业会很多转来用你们的这个新的模型架构么?
卢策吾:我们这个方案在数据处理上非常出色:它可以稳定适应物体变化、背景变化以及镜头变化,这是一个非常关键的优势。基于这种稳定性,我们在执行策略之后,各项指标都已经超过了当前主流方法。而且我们已经将相关代码和模型开源了,任何人都可以验证这些成果。我相信未来会有越来越多的人借助这一开源资源,为这个领域带来更多创新。
此外,我们正在探索一种端到端的轨迹规划方案,我们对其泛化能力也进行了深入研究。尽管在学术上我们已经公开了相应模型,在产品化模型方面可能暂时不便开源,但我们学术模型的性能已经证明,从底层机理上看,它比现有的 diffusion policy 以及其后续衍生版本表现更优秀。另外,我们支持3D视觉这一点也非常突出,目前许多方法对三维点云处理存在计算量大、成本高的问题,而我们完全解决了这一难题。
ReSpark:穹彻大脑的进展如何?(快速部署模式,学习单任务仅需小几十次示范,无须引入预训练模型,相机视角变化性强,不同位置泛化性高)
卢策吾:其实这其中可以看成有三个层面的考量。第一层面是基础模型层:这是整个系统的核心,我们已经构建了一个能够理解世界的模型,也就是我之前讲到的混合‘力’的模型,它就像大脑的引擎一样,决定了系统能否真正理解和执行任务。第二个层面是整个数据飞轮。关键在于你该采集什么格式的数据,这个数据格式必须与大脑(也就是模型)紧密相连,能够迅速验证数据的有效性,并反馈指导后续的数据采集。最终,这个通用模型会对上层构建出一整套应用接口,正如你所说,只要做出简单的示范,就能把事情做得很好。当然,这个示范操作的简单程度还是与任务的复杂性挂钩,我们也不敢说所有任务都只是简单的释放型操作。
在这个过程中,我们还引入了一个‘机器人的提示器’的概念,也可以理解为提示词或者引导操作。无论是通过语言示范、实际操作还是其他方式,目标都是尽量让传授和沟通的成本降到最低,就像师傅带徒弟,越简单直接,成本就越低。这样的话,我们就能够更快将系统落地到实际项目中,使得整个落地过程足够迅速。就像你教一个新来的助手,如果他够聪明,就能学得很快;相反,如果本身存在智商上的不足,教导的成本就会很高。
因此,我们的任务归根结底可以看作两点:一是让系统足够聪明,二是让系统的交互足够友好,即沟通成本足够低。毕竟,有些人虽然聪明但沟通成本高,这也不利于整体效率的提升。近期我们会在这方面加快发展。从整体上讲,我们既有基础模型构建、数据飞轮的高效运作,也着眼于如何通过简单示范实现低成本高效率的应用落地。这整个体系将保证我们在真实场景下的应用能够迅速、稳健地推进。
其实目前存在一个问题,就是很多指标还没法量化,因为缺乏一个标准。与传统大模型不同,我们虽然刷出了大量数据,但我们只能大致观察和判断系统的基础能力是否足够聪明。这里主要考察三个方面:一是系统的学习和数据吞吐能力,也就是它‘吃数据’的能力;二是它的智能程度,即基础能力是否够聪明;三是它的沟通能力,也就是让人与 AI 之间的沟通成本保持在较低水平。
沟通成本低这一点非常关键,因为只有这样,才能让系统快速推广。这里有两个成本问题需要考虑:其一是落地成本低,落地项目时不需要投入大量工程师和科学家,因为这些资源是有限的;其二是让帮助落地的人尽可能成为‘机器人的教师’。我们希望每个人、每个普通生产者都能成为教师,不用一定依赖专业的科学家。只要按照我们的说明书操作,买一台机器人,就能够轻松教会机器人,从而大幅降低整体成本,促进扩展。
这正是我们强调的原因:如果你落地一个项目,需要投入大量高成本的人力,这会成为一个瓶颈。我们的目标是让每个人都能轻松地去教机器人,这样整个体系的推广和落地才能变得可扩展。
ReSpark:真机演示长程任务方面,穹彻确实是走在同行的前列。如何做好这些长程任务的?我看到我们近期也推出了“基于可规模世界模型构建的长程操作概念学习新框架”,这一套框架的理念是否方便分享一下?
卢策吾:我认为在长程任务上,我们主要涉及三个关键问题。第一,目标的理解和拆解。也就是说,把一个大目标分解成多个可执行的步骤。从学术上来看,大模型在这方面做得还不错,特别是在产品中,大的步骤都是明确的——这一层我就不赘述。
第二个问题是对中间状态的监控和判断,这在智能系统中非常困难。因为在一个任务的执行过程中,机器人可能在失败的时候根本不知道自己失败了,也不清楚当前处于哪一步。因此,我们提出了一个最深层的思维链(Chain-of-Thought,COT),也就是之前提到的因果关系链,它综合了物体的属性(attributes)、可控性(affordance)和功能性(functionality)。通过这种因果链,系统能够判断出任务执行的状态。例如,在倒水这个简单场景中,如果没有反馈机制,你可能会不断倒水,直到水满却无法感知;而加入因果链之后,系统就能知道‘水已经满了’,从而停止继续倒水。这种机制能让系统更准确地判断状态,避免单纯依赖纯数据统计得出低效率的结论。
第三个关键问题在于底层技能的稳定性。简单展示一段五分钟的视频或许效果不错,但在长程任务中,往往涉及十几个甚至更多的技能模块。如果每个模块的成功率只有90%,那么串联起来整体出错的概率会急剧增高。我们的系统在这一方面做了大量工作,通过精细的因果反馈机制,使得每个技能模块能够在整个任务链中实现准确衔接。比如说,在开门动作中,系统不仅需要判断门是否开到合适的角度,而且能通过力反馈避免把门拉断。再比如在插入操作时,你可能无法单靠视觉确定是否插好,但通过检测左右细微的力变化,就能准确判断是否已经完成插入。正是由于这样的因果网络机制,我们能够大幅提升系统的鲁棒性。
在实际测试中,我们对比如叠衣服、消防操作等场景进行了连续多天、上万次的演示,几乎没有发生故障。总的来说,我们的目标就是打通从目标拆解、状态反馈到各技能稳定衔接的整个链路,使得系统在面对长程任务时,既能保持高精度,又能具备极高的鲁棒性。希望这样能基本说明我们的思路和努力方向。
ReSpark:现在除了对单臂、双臂的适配,对于灵巧手的适配进展如何?我们对于跨硬件本体适配的能力如何?
卢策吾:首先,我来回答一个关于硬件设备的问题。虽然之前可能已经讨论过,但我认为随着时间推移,学术界逐渐形成了一个共识,那就是硬件适配不再是一个大的问题。我们的实验也已经证明,硬件适配已经不再是障碍。最近,我们有一篇论文正在《Nature》子刊上审稿,内容非常有趣。我们使用了一个两指模型,通过少量的校正,就成功实现了五指抓取。
其中一个根本原因在于,我们在进行操作时,信息量的分布主要集中在对世界和任务的理解上,而机械参数的差异所占的信息量比例较小。因此,采用我们的方法进行迁移并不困难。举个例子,就像一个人的灵魂出窍后进入一只黑猩猩的躯体中,虽然身体不同,但智能部分依然能够完成复杂的工作。这说明,智能才是关键,机械结构的差异并不是大问题。从三个角度来看——个体差异、哲学视角和道理角度——硬件适配并不是一个大障碍。我们的实验也证明了这一点,从产品角度来看,硬件适配更不是问题,因为我们专注于自适应设计,从产业角度考虑,成本也没有增加太多。
接下来谈谈灵巧手的问题。灵巧手是一个非常有前景的科研方向,我们在这方面也做了大量工作,包括触觉与视觉的结合研究。从学术角度看,研究灵巧手非常必要,但当前学术界存在一个问题,即很多人没有真正理解灵巧手研究的本质。灵巧手的核心在于‘in-hand manipulation’,也就是说,操作过程中手上的反馈和调整。例如,当你拿一个铁锤,最初可能拿得不好,通过手上的调整位置,你能逐步掌到对的位置;或者拿剪刀时,初始位置不准,通过调整,最终能够准确使用。这类研究的价值在于提升操作的精确性和灵活性,而不仅仅是依靠简单的两指操作。因此,我们实验室专注于这类研究,近期也会有相关成果发表。
关于灵巧手技术能否产业化,我们主要考虑三个关键因素:第一,稳定性,我们要求产品能够在高强度、复合环境下连续运行几个月,并达到工业级别的性能标准。比如,灵巧手是否能满足这种稳定性的要求,目前我不对具体指标进行评价,只是提出这个问题,让大家自行判断。第二,成本,这里主要指ROI——投入与产出比以及人工成本。如果产品售价高达数万元,那么成本控制就必须十分严苛,确保性价比能够与人力相比,甚至更优。第三,必要性,这是指在实际应用中,该技术是否解决了一个‘非你不可’的问题。如果一个任务即使使用简单的两指操作也能完成,那么追求更复杂的灵巧手技术的价值就会打折扣。我们希望看到的是一种简单稳定、适用于真正无法用两指轻易解决的操作场景,同时具备更好的生态支持。
这三个条件交叉在一起,就决定了灵巧手技术未来的产业空间及其成熟的时间节点。换句话说,我们可以建立一个包含这三个要素的评估体系,列出各项指标,判断什么时候达到产业化的标准。
另外,还有一个要素是AI灵巧性的问题。由于灵巧手涉及更多的关节和复杂操作,AI需要具备更高的适应和学习能力,才能跟上灵巧手技术的实际需求。只有当AI的灵巧性与硬件水平都达到要求时,整个系统才可能真正落地。
最后,我想说的是,不管产业界如何发展,我始终鼓励学术界和我的学生关注灵巧手的研究。我的理念是:如果一个操作任务二指就能轻松完成,那么我们就没有必要去研究灵巧手。只有当任务是二指无法胜任,或者简单方式无法满足要求时,我们才真正需要灵巧手的技术。因此,我常对学生说:‘二指能做的事,就别做灵巧手了;只有二指做不到的,才有研究灵巧手的意义。
ReSpark:最近你们在Nature自然杂志的子刊上发表了一个文章,是一个基于视觉-触觉的联合学习框架,包括视觉系统和一套可伸缩的触觉手套,解决了刚性物体和可变形物体高精度重建的问题。现在视觉和触觉联动是很多公司都在研究的话题,可以分享一下你们的方案的领先性具体在什么方面?
卢策吾:这属于我们长期的研究储备,我个人认为在短期产品中可能并不一定会用到这些最前沿的技术。不过,我们一直在做产品储备工作。例如,我认为触觉与视觉联合学习将会对世界建模带来显著提升,不仅能提高建模的精度和稳定性,还能增强各种功能表现。
这里面一个核心问题是:在从底层硬件到 AI 的多人协同开发过程中,是选择原生联合研究,还是采取各自组合的方式?我们团队几年前就开始与传感器专家紧密合作,共同打磨设备,这样传感器设计就能够根据 AI 的特点进行优化,从而实现端到端的一体化方案。这样的设计无论在性能上还是稳定性上,都远超单独开发的组合方案。
至于何时在产业化上会真正发挥这些先进技术的作用,我认为还需要一段时间。目前很多产品还未到需要极其精密建模的阶段,但一旦应用于更高要求的场景,尤其是与灵巧手等系统结合后——例如灵巧手能否准确拿起剪刀、捡包裹等操作——这种技术的优势就会显现出来。虽然产业价值的具体大小还在讨论中,但从科学角度而言,如果灵巧手真的能完成这些高难度的任务,那就证明了系统的巨大潜力,也意味着我们的研究成果将对未来的产品落地产生深远影响。
ReSpark:公司怎么想到定位做纯软件的模式?您觉得具身纯软件的模式是否有好的发展?
卢策吾:我觉得我们看问题可以从终局和过程两个角度来考虑。从终局来看,软件形成生态是最经济的角度,就是建立一个大脑,赋能各类硬件,各司其职,这种方式既灵活又经济。
就过程而言,我认为在中国做纯软件是有挑战的,所以我们更倾向于以AI 软件为核心,同时具备强硬件能力的团队模式。这也正好契合我们的起源背景,我们脱胎于非夕,因此天生具备强大的硬件研发能力。
举个例子,有些客户需要的是一个软硬件一体化的解决方案。我们的优势就在于能够从需求出发,迅速组装出一个完整的硬件系统。某家世界 500 强企业曾提出需求,希望我们能瞬间整合各种软硬件(比如哪家机械臂最好、哪家移动平台最出色)并迅速组成一个样机,后续还能实现量产。对于量产问题,我们有一整套成熟的方法论,即使量产不由我们亲自执行,也能提供完整的解决方案。
我们的模式非常灵活:如果客户已经有成熟的硬件,我们只需将我们的软件加载上去即可;如果没有硬件方案,我们能够迅速组装整套软硬件方案,完成交付。所以,关键在于能够满足各类需求——无论是软硬件一体交货,还是单纯的软件支持。这正是我们的核心竞争力,凭借这种能力,我们可以快速响应不同需求方的多层次要求。
我们不讨论具体的商业路线——毕竟每条路线都在不断摸索——但我总喜欢从最优经济、最省钱、符合广大人民群众利益的角度出发。你想想看,如果我们必须固定使用某一种硬件形式,那么这个硬件不可能适用于所有场景,不仅要考虑有效性,还要考虑成本因素。
我对于未来硬件终局的看法是:针对不同场景,可能需要配置最合适的机器人。比如说某些清理场景,其实只需要单臂配一个轮式底盘就足够了,何必非得用双臂呢?那样不仅效果差异不大,成本却会更高。所以,在市场上可以形成多个种类的机器人,每种机器人针对不同应用场景,配置不同,正如当年我们组装电脑时,根据预算挑选不同的CPU、显卡、GPU等组件,再装配成一台完整的电脑一样。如果我们只提供整机方案,市场反而会变得很小。
总的来说,我们的生态系统将基于最经济、最高效的原则,让硬件与软件、应用场景之间形成一个灵活匹配的体系,从而最大程度上满足不同用户和场景对成本和效果的要求。
所以,从整体来看,在纯软件的基础上,必须具备强大的硬件能力。当需求方需要实际硬件支持时,我们必须能够迅速提供。我们的优势在于与各硬件厂商都有深入的合作关系,我们清楚知道哪些公司在哪些方面最强、哪些方面相对薄弱,因此能够快速对接,形成一个稳定的接口。
例如,当客户需要一个机器人时,我们可以迅速整合来自不同公司的硬件模块:可能我们这边采购一批TAB,那边采购一个移动平台,然后将它们整合起来,形成一个完整的机器人。我们已经构建了很多模板,这些模板可以生成各种组合和不同本体。由于与各硬件厂商的合作关系紧密,大家互相之间可以很顺畅地配合,也不必担心临时出现问题。
虽然听起来组合模块很简单,但实际操作起来却不容易,因为如何将各个硬件快速组装、传递出稳定接口,并保证整体系统性能,这其中涉及大量细节和协调问题,需要硬件、软件和接口开发之间高度配合,才能真正实现高效落地。
ReSpark:怎么看商业落地?
卢策吾:其实我们的理解是这样的,具身智能是一个技术驱动市场的行业,而不是简单由市场决定需求。换句话说,我们先看需求,事实上需求可能是无穷无尽的,甚至存在很多我们尚未想到的场景,而这些需求目前之所以不能完全满足,是因为我们的技能还没有达到足够的水平。一旦技能跟上了,当技术进展到一定程度,就能迅速填补这些需求的缺口。
因此,整个场景的落地强烈依赖于科技进展和科研水平的提升。举个例子,我们组在‘any grasping’方面的研究就是一个典型案例——通用抓取要求机器人能够应对各种抓取场景。其实目前已经有一些技术成果落地了,不仅是我们,其他团队也有类似的应用。在我们提出这套技术之前,很多场景是无法实现、也难以变现的;而一旦突破出来,就能够解决部分问题,进而创造价值。所以根本上,这还是技术突破所带来的结果。
关于技术突破,我们内部有一份时间表,也就是一个时间链表,会预判在什么时间段哪些技能会相对成熟,达到一定水平(比如说能达到通用或部分成熟)。再辅以工程支持,比如说当成熟度达到90%左右时,通过一定的定制化,加上产业化的方法,即便不能直接达到100%,也能通过补充手段实现百分之百落地。我们内部对于技术成熟度有基本的定性预判,同时也会提前思考这些技术在哪些场景下能够落地应用。当然,具体细节目前涉及商业机密,不便透露,不过我可以从定性的角度说明:未来会逐步有一批技能成熟度达到100%,另一部分达到90%左右,再辅以现场工程的支持,这样便能解锁出一批又一批的应用场景。
也有朋友会问:‘那具身智能的 GPT 时刻何时到来?’其实这个问题的答案不可能是一蹴而就的,因为我们的系统要比语言模型复杂得多。未来将是分阶段解锁的形式:今年可能会有一批场景和技能得到应用,明年又会有新的场景出现,后年再推出一批。整体来看,将会呈现一种阶段性的、行业式的‘GPT时刻’,背后驱动它们的是一批又一批不断成熟的技能。就拿我们的 any grasping 技术来说,一旦达到非常高的产业化投放性,就能开启一批场景应用。