打开网易新闻 查看精彩图片

出品|虎嗅科技组

作者|陈伊凡

播客整理|刘煊琦

编辑|苗正卿

头图|AI生成

"AI原生100"是虎嗅科技组推出针对AI原生创新栏目,这是本系列的第「69」篇文章。点击这段文字或扫描二维码收听"虎嗅AI 100"完整播客内容。

卢策吾大概是世界上第一个让机器人拿刀片给自己刮胡子的人。

他身上的标签不少:具身智能公司穹彻智能的联合创始人兼CEO,上海交通大学人工智能学院副院长,中文世界"无本体采集"的提出者。机器人顶会最佳论文的榜上,也常有他的名字。

穹彻智能创始人卢策吾 图片由穹彻智能提供
打开网易新闻 查看精彩图片
穹彻智能创始人卢策吾 图片由穹彻智能提供

2014年,他去斯坦福大学人工智能实验室做博士后,师从李飞飞;2023年,他牵头撰写并确立了"具身智能"的中文标准术语定义,由中国计算机学会发布,这个领域第一次有了规范的中文概念;同年11月,穹彻智能从非夕科技孵化成立,他出任CEO兼首席科学家。

这份履历,足以让他对行业下判断。可在数字和结论面前,他显得保守,甚至"吝啬":不给"拍脑袋"的答案,凡事要拿实验说话。

他是从冷清里走出来的。2021年,卢策吾办了一场具身智能论坛,到场的只有7个人,讲到一半又走了三四个;隔壁计算机视觉的会场,坐着几百人。四年后,这条赛道吸走了整个风投业最热的钱。

穹彻成立的2023年,恰是行业的转折点。那年2月智元成立,7月谷歌把大模型直接接到机器人的动作输出上、发布RT-2,VLA路线由此起步,8月宇树推出首款通用人形机器人H1,11月穹彻成立。此后资本涌入,全球具身智能赛道的融资额,2023年约27.78亿美元,2025年突破100亿美元。穹彻两年多做了七轮融资,红杉、阿里先后入场,金额在行业中属中等偏上。

"整个行业的所有从业人员肯定都是这波热潮的受益者。"卢策吾说。但穹彻算不上其中受益最大的那一个。

在我们这场交流里,他口中"数据"出现了69次,其次是模型、场景、落地。他判断,Scaling Law会长期奏效,数据因此越来越关键。他提出了一个很具象的说法,数据的斜率。

斜率说的是模型消化数据的效率:同样两个小时,能真正吃进多少有信息量的数据,这才是分水岭。单纯堆几万小时,意义不大。只要斜率一直往上抬,泛化的临界点会自己到来。

斜率的快慢,取决于数据从哪里来、质量够不够高。穹彻智能做"无本体采集":采集员戴着设备在真实场景里自然操作,不必碰机器人,数据可以在线分发,规模因此能往上抬。代价是设备要求极高,夹爪、穿戴设备差一点,数据就废一点。今年8月,穹彻发布具身世界动作模型Noe-0,从预训练到后训练全程使用无本体数据,没有一条来自遥操作。数据由一只叫RoboPocket的可穿戴设备采集,已覆盖超过五十多个城市,累计超二十万小时。

常被追问的另一个问题,是关于"世界模型"。这个词近两年被反复提起,却始终没有一个收敛的定义,卢策吾对定义之争兴趣不大:叫不叫世界模型不要紧,能不能预测未来才要紧,因为只有能预测,才谈得上泛化。这仍然来自于他从斯坦福实验室学到的第一性原理。

衡量这套模型,他只看两个数:有多少任务能靠后训练做到99%的鲁棒性、够商用;以及做到99%要花多少后训练成本。两个数一起好转,说明泛化和鲁棒性在变强,也直接决定商业化能铺多大。他理想中的生意,是部署的边际成本一路向下:过去的机器人生意像打井,一个坑一个坑地挖;现在是铺好一张水管网,接上场景、装个计费表就行。

在斯坦福,导师李飞飞问过他一个问题:人工智能最根本的问题是什么?他说,终极的智能不该被锁在数字世界里,应该有手有脚,能干活,能理解和体验真实的物理世界,让智能在真实世界里高速进化。这是通向通用智能(AGI)的重要路径之一。李飞飞说,那叫具身智能,一条非常难走的路。

十几年过去,路还是难走,只是不再冷清。卢策吾的回答因此显得保守,甚至不合时宜,却最接近行业的本质与真相。

以下是虎嗅精选的访谈,进行了不改变原意的改编:

叫不叫世界模型并不重要,关键是对世界底层机理的认知

叫不叫世界模型并不重要,关键是对世界底层机理的认知

虎嗅:以2023年穹彻成立为起点回看这三年,行业的技术路线、争议、泡沫、投融资都在快速迭代。你认为过去哪些判断需要修正或推翻,哪些一直延续到现在?

卢策吾:从2023年成立至今,有部分核心观点一直没有变化。成立时我们就看到了通用智能在机器人上落地的可能性,当时大量相关企业集中成立,核心逻辑是大模型技术向物理世界落地具备必然性,我们也预判相关技术发展速度会很快,基于第一性原理的判断三年来没有出现大的变动。

有部分内容的实际发展节奏和最初预判有差异,比如模型架构的迭代速度、数据规模的扩展速度都非常快。

虎嗅:商业化落地的情况和速度,和你三年前的预判相比呢?

卢策吾:三年前我没有预判到具体年份的落地节点,目前整体进展和预判差不多。

当前模型已经到了在部分场景中推进产品与市场匹配验证,模型能力提升后自然会走向 落地,落地领域先从模式相对简单的结构化场景起步,再逐步延伸到非结构化场景,这个顺序也和之前的预判基本一致。唯一没有预测到的是资本在这个赛道的爆火程度,这一点比较出乎意料。

虎嗅:前几年大家喊VLA,最近讲世界模型,但世界模型的定义一直没有收敛。你怎么理解它?最关键的是什么?

卢策吾:对它要承担的功能,行业是有共识的:能预测未来、预测未来状态,能还原物理世界的知识。分歧在定义,而定义没那么重要,重要的是使用者要什么。做视频生成、三维重建的,关心像素是否清晰;对于以机器人动作为目标的模型,显式、高保真的视觉重建并非首要目标,更关键的是能否理解与任务相关的世界状态,并准确、鲁棒地执行动作;关心理解世界之后能不能把动作做对。

穹彻的世界模型,核心是理解世界、理解物理规律。显性重建不是必须的,也可以是隐性的。我们更在意能不能准确、鲁棒地预测下一帧的每一个动作,对高精度、高清晰的显性重建没有执念。所以叫不叫世界模型并不关键,关键是对世界底层机理有认知,能预测未来状态,才谈得上泛化。

虎嗅:显性重建和隐性重建是什么区别,能不能举一个例子?

卢策吾:显性重建就是预测下一帧内容。用在视频生成、游戏、室内装修、城市建模这些场景,要求视觉效果符合人的预期。机器人没有这类要求,会做取舍,把能力放在行为理解上。行为理解的底层也需要隐性认知世界的状态,只是不必把每个细节都做精,就像人做动作不需要在脑中精准还原每个像素,在该精细的地方精细就够了。这样取舍之后,模型架构、算力、数据分布都能往核心需求上倾斜,效果反而比追求全能更好。

虎嗅:你提过具身智能的"技能光谱"。它长什么样子,对落地意味着什么?现在走到了百分之几?

卢策吾:之所以叫技能光谱而不是技能级,是因为技能是连续函数,我们说的技能名称只是人类给出的映射;技能光谱本质是用通用方式表示所有可能技能的通用技能能力空间,很难用文字明确界定其具体内容。

关于目前具身智能在技能光谱里完成了多少,很难给出具体数值,随便给出数字属于拍脑袋的判断。

虎嗅:你现在和全球具身智能最前沿的这一批人联系多吗?大家的关注点主要是什么?

卢策吾:一直有紧密的联系和交流,目前全球前沿研究者的观点非常一致,核心关注三个方向:一是无本体数据采集量起来之后,如何在数据技术和模型技术上实现规模化,也就是scaling law相关的问题;二是具身模型的评估问题,如何实现模型好坏的规模化定量评估,把评估转化为实在的指标,这也是行业长期的难点;三是围绕如何实现模型的规模化,让scaling law真正在具身模型上落地。

2、大家往往只关注数据量,忽略数据增量的斜率

虎嗅:落地最大的卡点是数据。对具身大脑来说,多大的参数算够?多大的参数要配多少数据?有定论了吗?

卢策吾:这些都需要靠实验和论证得出,没法拍脑袋确定。我感觉参数规模可能还需要往更大走,模型泛化能力越强,需要的参数规模就越大。

虎嗅:对于穹彻的模型,你最看重的一个内部指标是什么?

卢策吾:我们的模型有两个核心特点:一是全链路无本体采集,能大幅提升动作灵巧性;二是一直以力为核心,能够兼容力模型,把之前的力模型整合到一体。从更通用的层面来说,核心考核的是模型的泛化性和鲁棒性,最硬核的考核指标是部署成本,具体包含两个维度:一是有多少比例的任务能通过后训练做到99%的鲁棒性、达到商用可用程度;二是把任务做到99%鲁棒性需要的后训练成本。能做到99%鲁棒性的任务越多、后训练成本越低,就证明模型的泛化性和鲁棒性越强。

虎嗅:为什么是这两个指标?

卢策吾:这个指标和商业规模化落地直接挂钩:过去落地一个任务需要整支团队,后续逐步发展到一个工程师就能落地、普通人就能落地,最终到一句话就能完成部署时,就达到了家用的最低成本要求。无论是To B还是To C落地,都是模型能力逐步提升、部署成本逐步下降的一脉相承的过程;如果落地需要依赖数量有限的专业人员,就不可能实现规模化。

虎嗅:具身智能的数据scaling law到底要走多远才能出现像GPT-3.5那样的泛化能力?未来有没有可能出现不需要堆数据的新架构?

卢策吾:我觉得不大可能出现不需要scaling的架构,世界上没有免费的午餐。智能本质是对世界信息的编码,必须输入足够的信息量,区别只在于编码效率的高低。大家讨论scaling law往往只关注数据量,忽略了数据增量的斜率,也就是模型消化数据的效率。

目前我们的模型从零学习一个技能只需要较短时间内,学习效率还有很大提升空间。

关于什么时候能达到GPT-3.5级别的泛化,我不做具体的时间预判。从我们内部实验来看,scaling law的趋势已经非常明确,目前内部的数据吞吐量在持续提升,更关键的是数据增长、模型消化数据的斜率也在不断提高。

我更关注两个核心指标:一是单位成本、单位时间内有效数据的扩张速度,核心是数据携带的信息量;二是模型消化单位数据的效率提升速度。只要这两个指标保持加速度提升,自然会快速到达泛化的临界点,也希望业界更多关注这两个维度,而不是执着于猜测具体时间点。

虎嗅:你们在训练模型的过程中,什么时候出现了让你比较满意的斜率?

卢策吾:我们之前做过持续加数据的对照实验,把数据量和模型效果的曲线画出来后,发现已经出现了小幅的指数增长趋势,当时内部非常兴奋,这是第一个让我们开心的节点。

第二个兴奋点,是我们不断调整训练框架、训练方式、训练配方的过程中,发现模型消化数据的斜率还在持续增大。特别是2026年,这种趋势越来越明显。

我们一直在搭建整套包含数据、模型、评估的基础飞轮系统,只有这套系统跑通,才能实现单位时间内高效证明或证伪一个想法。行业里聪明人很多,想法差距不会太大,核心竞争力就在于迭代速度。

所以我们花了很长时间搭建即时数据系统:一行指令下发,第二天就能回收采集到的数据,不需要花几周时间协调人员、安排采集;训练系统实现了全链路无本体采集,在UMI上训练后可以快速评估效果。

我们的思路是先铺好高铁轨道,而不是先在泥泞路上开车,前者看起来启动慢,但长期来看加速度更高,是长期决胜的关键。

虎嗅:现在行业里训具身大脑对于数据量有很多说法,多少算够?

卢策吾:单纯用小时数衡量数据量的指标太单一、粗暴,不同数据的一小时价值是完全不一样的,核心要看数据质量和数据多样性。比如在工厂某个固定工位录100万小时数据,本质和单条数据的信息量没有区别,核心要关注数据的有效信息量,后续可能会出现衡量数据有效信息量的全新指标。

虎嗅:什么样的数据在你看来是信息密度很高的?

卢策吾:核心是多样性。首先,我提到过技能光谱的概念,所有动作都是技能光谱的排列组合,数据的技能分布要足够广,覆盖足够多的技能类型,才能支撑通用能力;其次,数据覆盖的技能要和技能本身的复杂度匹配,复杂度高的技能对应的数据量要足够,复杂度低的技能不需要过多数据;另外,技能和物体是紧耦合的,比如拧这个动作对应的是水龙头、瓶盖这类物体,不可能适配所有物品,所以物体的多样性也要足够。至于背景、环境这类因素也有影响,但重要性相对没那么高。

未来的智能操作末端不一定是仿生灵巧手

未来的智能操作末端不一定是仿生灵巧手

虎嗅:以最新的模型为例,技术难点和壁垒是什么?

卢策吾:难点在数据侧和全链路无本体采集两方面。数据侧要做数据质量、数据分布的管控和数据管线建设,这本质是AI问题,不只是管理和体力活:需要一套智能的在线系统,完成数据清洗、标注、标签管理、分布控制,还要靠类APP的产品和采集人员沟通。这份工作看起来不够前沿,却非常重要,甚至是决定性的。

第二点是无本体采集。我们从预训练到后训练全环节都用无本体数据,前后数据类型一致,gap更小,还能解决遥操作灵巧性不足的问题,人用UMI设备采集的数据灵巧性更好。但技术难度很高,UMI设备末端虽有一致性,运动轨迹、运动模式、初始坐标系却都有差异,我们做了很多突破才攻克,目前行业里很多团队还做不到。

虎嗅:真实数据、仿真、遥操和第一视角人类数据等,数据的配比大概是什么样子?为什么这样配比?

卢策吾:数据配比是动态的,没有固定值,后续会持续调整,没法把话说死,最核心的是要保证足够快的实验效率,提升单位时间内证明和证伪结论的速度,这比固定配方更重要,同时效果也和训练策略、模型层构造有很大关系。

当前这个版本的世界模型,大部分数据以UMI为主,UMI相关的设备和夹爪是联合设计的,同时兼顾了机械动力有效性、舒适性和可规模化,兼具视频对下一时刻视觉的预测能力、行为复现能力,能较好落地动作;同时也混入了一定量的第一视角(ego)数据来提升泛化性,目前阶段UMI数据的作用更大,纯UMI数据的行为和真机差距过大,第一视角数据可以有效增强泛化性。我们的思路是一代一代迭代模型,先把行为能力做实,再去扩大泛化性,就能打下很好的基础。

虎嗅:全链路无本体数据采集,优势在哪里?挑战又在哪里?

卢策吾:这种采集方式可以解决集中采集不可规模化、数据不够真实的问题,还能实现在线分发,能大幅提升预训练数据采集规模与效率。后训练中使用无本体数据又可以保持与预训练中的数据行为一致性。这种方式要实现高鲁棒性的高水平效果,有两个核心要求:一是夹爪和穿戴设备必须联合设计,最好运动模式完全一致,要一体化兼顾舒适性和机械有效性;二是要把控很多细节问题,比如数据同步出现一点偏差就会带来大量噪声,还有相机、网络的稳定性这类容易被忽略的问题,会大幅影响数据质量、成品率和产量。

虎嗅:把人的动作迁移到机器人上,触感、压力、身体结构、速度都不同。最难标注和恢复的是哪类信息?

卢策吾:力的测量是最重要的,力的反馈非常关键,它既是输入也是输出;触觉更多只是测量层面的内容,当然也有办法推测力反馈,但不是最直接的方式。

这个问题本质是平衡和节奏的问题。触觉、力觉相关的工作我们也在做,但它涉及整体数据采集成本的问题:如果投入成本太高,很多相关能力可以在中训练阶段添加,更精密的内容可以在后训练阶段添加。预训练、中训练、后训练的内容排布,要结合成本来调配,因为成本决定了规模化能力和稳定度。

从终局来看当然相关数据采集越全越好,但当下这是成本和规模化的决策问题。除此之外还有传感器稳定性的问题,如果传感器不稳定,采集到的都是噪声,或者传感器需要频繁更换,管理成本太高也没法实现规模化。

随着相关硬件成本下降、稳定性提升,原本在后训练、中训练添加的力觉、触觉相关内容,最终会逐步放到预训练阶段。

虎嗅:穹彻不光做具身大脑,也做数采硬件,这个逻辑是什么?是为了降低数据收集成本,还是为了更适配模型,又或者这本身是商业化的一部分,会对外售卖?

卢策吾:我们是国内少数自己做数采硬件、自己做分发系统、再做模型的团队,是枪弹一体的模式。这里面有两点核心原因:第一,数据和模型本来是一体化的,如果不能掌握数据,模型能力就会被限制;要训练好的模型,最好能从模型的需求出发明确需要什么样的数据。第二,模型迭代很多时候拼的是整套链路的效率,因为算法迭代有很多需要尝试的点,没法保证一次就做对,自己掌控全链路,单位时间的开发效率会更高。

虎嗅:现在大家数据采集的时候选的都是三指夹爪,为什么没有选择五指这种更接近人手的灵巧手呢?

卢策吾:任何选择都要权衡收益和代价。灵巧手目前最核心的卡点就是数据采集:要训出好的灵巧手,穿戴设备得和末端完全匹配,才能避免信息损耗,但适配灵巧手的外骨骼厚重、舒适性差,很难规模采集;数据手套精度不足,视觉动捕又不够准。三指夹爪是当下很好的平衡点:绝大多数高经济价值的工作三指都能完成,成本、稳定性、可规模采集性都远优于灵巧手,而灵巧手带来的能力增益并不明显,综合收益不高。

另外,未来的智能操作末端不一定是仿生灵巧手,最终形态由经济价值驱动,可能是适配不同需求的智能灵巧末端。现在积累的三指技术和数据也不浪费,灵巧操作的本质是对世界、对任务的理解。我们做过实验,用两指训练的模型做预训练,切到灵巧手能很快上手,因为机械参数变化带来的信息量更新,远小于对世界和任务的理解,模型框架、预训练主干都能大量复用。

穹彻现在重点搭数据闭环、训练闭环,攒复利能力。将来哪怕换末端,只要有分发回收数据的能力和可复用的训练框架,就能快速迭代,踩中每个阶段的规模化节点。

把部署成本从一支团队压到一句话,这门生意才成立

把部署成本从一支团队压到一句话,这门生意才成立

虎嗅:穹彻选择了药店和酒店的场景,这个场景的选择是出于什么考虑?

卢策吾:选择落地场景时,除了看自身模型能力是否达标,还要考虑场景落地的可行性,这不是纯技术问题,还包括回款等商业因素,要筛选有经济价值且有意义的场景,匹配对应的模型能力再推进。

如果模型能力达不到就硬做特定场景,成本会非常高,容易做成很重的集成项目,而且会出现解决不完的边角问题,需要不断打补丁,很难彻底解决。这也考验两点:一是模型能力的上升速度能不能跟上扩张速度,能力半径能不能持续扩大;二是能不能准确评估自身能力匹配的场景。按照这个逻辑推进,未来才有服务千行万业的可能性。

虎嗅:商业模式怎么想的?为什么先选药房,跑通了吗?

卢策吾:药房场景是面向B端的场景,我们实现了长时间的产业常态化运营,而且不需要改造门店,商业账能够算过来。这个场景对AI能力要求更高,更强的AI能力才能实现更好的经济性;如果AI能力不足就只能靠改造门店来落地,我们选的是难但具备商业化潜力的路线。

虎嗅:未来理想持久的商业模式是什么样的?

卢策吾:药房场景只是我们技术实现常态化商业化的一个案例,更核心的是模型能力带来的商业逻辑变化。

上一轮机器人公司落地场景需要靠整支团队堆人力、加规则打补丁,规则之间会互相冲突,存在明显的能力天花板,而且落地边际成本很高,一家公司往往只能做一两个项目,很难规模化。

但模型驱动的机器人逻辑完全不同:一是能力天花板更高,数据驱动的模型可以随着数据迭代持续提升能力,过去靠规则做不了的难任务现在有了落地的可能;二是落地边际成本会持续降低,从最初需要一整支团队服务一个场景,到后来只需要一个工程师,再到普通人就能操作,最终甚至可以靠指令完成部署,具备规模化的可能。

我们的思考逻辑是,看到场景先判断能不能用非模型的办法解决,如果可以就不涉足。当前大量场景是传统非模型方案无法解决的,这就是我们的广阔市场。我们的任务扩张是通过一套统一产品交付,相当于交付通用"武器",任何人拿着这套工具都能打通对应场景,带宽足够大,能实现场景拓展的加速度,这类场景正是上一波自动化无法解决的。

本文来自虎嗅,原文链接:https://www.huxiu.com/article/4900467.html?f=wyxwapp