“全世界最无聊的机器人。”这是最近《纽约邮报》的一篇报道标题,而这家公司的创始人们却认为,这是“对一家机器人公司最高的赞美”,这家公司叫Dyna Robotics。
看多了机器人跳舞、打拳、跳钢水等酷炫的视频,Dyna确实很“无聊”:此前发布的Dyna-1主攻叠毛巾、叠衣服。这次发布Dyna-2之后,新机器人Taku进了洗衣房,默默把脏衣服放进洗衣机、操作机器,再把衣服拿出来,送进烘干机,最后取出、折好、放到架子上。
联合创始人Jason Ma说:机器人如果真的开始工作了,本来就应该是“无聊”的。而在这份“无聊”的背后,真实部署是衡量机器人的“唯一评估”,在Jason看来,机器人不能落地,不是因为没有腿、没有手,而是因为模型和整个系统还不够好。
为了让机器人更好地工作,Dyna也重新选择了模型路线:从VLA(视觉-语言-动作模型)转向WAM(世界动作模型),将预训练数据扩大到100万小时第一人称人类视频。他们发现,随着人类视频数据增加,模型对未在预训练中见过的机器人动作,也预测得越来越好。
这些探索意味着机器人正在接近自己的“GPT时刻”吗?这一期视频播客,时隔一年半,我们再次回到Dyna Robotics。我们从技术和部署的角度,聊聊Dyna过去两年经历的挫败、教训、反思与优化。我们也想通过Jason,理解这一轮硅谷具身智能正在发生的变化与趋势。
以下是我们和Jason的对话。
本文为视频改写,欢迎大家收看以下视频
陈茜:Jason你好,欢迎做客《硅谷101》。
Jason:你好,非常荣幸参加你们的播客。
陈茜:这次采访我们也邀请了在机器人行业工作的君武,作为特邀联合主持人,希望能就一些专业问题展开更深入的讨论。
张君武:你好,我现在在Blue River Technology做机器人工程师。
陈茜:Dyna最近有一系列发布,硅谷机器人行业也很热闹,很多公司都在发布新模型、新演示。你觉得机器人行业进入了一个新的里程碑吗?为什么最近有这么集中的发布?
Jason:我觉得要把通用机器人做下去,还是至少需要一两个突破。很多公司的大路线差不多,首先要扩大数据规模,也想做出模型的一些能力。也可能暑假是个发布的好时机,所以大家都把东西发出来了。
整个机器人领域现在正逐渐从演示走向真正的商业落地,我们公司也在这方面做了很多工作。所以我觉得这是做机器人非常激动人心的时刻。
陈茜:从你的角度看,现在机器人行业进入了什么阶段?如果和LLM(大语言模型)相比,有人说是不是快到GPT-3的时刻了,可以这样对比吗?
Jason:我觉得可能还在GPT-2和GPT-3之间。纯从数据规模看,机器人拥有的数据量,相对于GPT-3阶段的语言模型还是要小一些。
但机器人和语言模型也不一样。你可以有很强的机器人模型,完成指令下的一些特定场景任务;语言模型如果不能跟你流利地聊天,其实没有什么能力能真正用上。所以从产品形态来说,机器人有没有“GPT时刻”,可能没有那么重要。
张君武:现在也有一种说法,机器人行业不一定会有“GPT时刻”,因为机器人的形态、处理的具体任务都不太一样。你觉得会有这样的时刻吗,还是要看情况?
Jason:我觉得要看情况。在具身智能之前,我们可以看自动驾驶。自动驾驶就没有人提过“GPT时刻”这个概念。Waymo、特斯拉在10多年前已经能做好一个演示,但从演示到真正落地,能在旧金山打到一辆Waymo的车,中间的距离还是很长。
在真实世界里迭代,这个过程比较长。虽然现在相比无人车刚开始的时候,已经有很多更好的技术,但这个过程仍然必须经历。它肯定不能像语言模型一样,大家已经有手机、电脑,只要能上ChatGPT的网站,就能用到这种智能。在具身领域,如何把智能用起来,本身就是一个很难的问题。
陈茜:你刚才说,数据和模型都有进展,是这两个方面的进展让机器人又能往前迈一步了吗?
Jason:这两点非常重要,但还有一个特别重要的东西,就是硬件。没有硬件,模型再厉害,你也感受不到。如果硬件只是一个只有5个自由度的小机器人,它也只能做一些很简单的抓取。
在具身领域,模型、数据和硬件必须一起进步,才能最终做成一个让不同的人、千家万户都能用上的产品。
陈茜:硬件主要指本体、供应链,还是运控?
Jason:首先指本体。供应链对于扩大本体规模也有很大作用。现在有很多不同的机器人,但在设计过程中,要把机器学习、人工智能中的一些概念,以及模型训练、部署的心得,放进硬件迭代的过程。最后能形成闭环,是一个很大的壁垒。
陈茜:你们的联合创始人York之前把行业分成三派:一类是模型优先,只做大脑,比如Physical Intelligence,也就是π;一类是硬件优先,只做本体;还有一类是一体化集成,全部都做。Dyna属于第三类,大脑和本体同时做,为什么选择这个路线?
Jason:因为最终部署机器人智能时,客户付费的并不只是模型,模型只是整个技术栈的一部分。我们跟客户聊,他们根本不在乎我们用VLA(视觉-语言-动作模型)还是世界模型,也不知道这些是什么。他们最后在乎的是,在自己的场景里,机器人能不能完成复杂、多样的任务。
从这个角度出发,我觉得必须把大脑和本体放在一起做,才能达到最好的效果。从技术层面来说,也很难把两者分开,做出一个非常通用的东西。在真实世界里,物理智能是大脑和本体连在一起,才能达到很好的效果。就像人一样,我们的大脑也适配了自己的身体。
陈茜:我觉得Dyna是一家偏务实的公司,从演示和本体设计上都能看出你们非常克制,没有追求很炫酷的演示或动作,而是从叠毛巾、叠衣服这些很具体的商业化场景来设计路线。这是为什么?
Jason:从纯学术角度来说,机器人领域能做的事情太多了,任何一个话题都可以花好几年做研究。但我觉得,机器人学习技术已经到了有可能商业化的阶段,现在非常需要从产品出发,思考哪些问题必须解决,哪些问题现在解决与否还不是特别重要。
这样可以帮助整个团队排好优先级,确保我们在技术研发、公司这两年的成长过程中,每个节点都能做出更正确的技术判断和选择。
从过去的演示中可能也能感受到,我们做的能力,都是我们认为真正落地必需的能力,而不是为了拍一个炫酷的视频。这个领域现在很火,很多人的做法可能更以演示为导向,但我觉得那样可能本末倒置了。
我们是从最终要开发、生产、派出几万个机器人的目标出发,思考哪些技术问题必须从今天开始解决,以此决定整个团队的技术路线。
张君武:我想追问一下硬件的协同设计,以及你们在客户现场获得的经验。我之前也做过物流、挑拣,客户的要求很高。你们是一开始就想自己做硬件,还是到了客户现场,有了某些经验教训之后,才觉得一定要自己做?
Jason:两个都有。从第一性原理出发,要做通用机器人,必须先想数据从哪里来、用什么数据训练,再以此引导硬件设计。
我们现在已经发布了Dyna-2,预训练用了大量人的第一视角数据。如果预训练要向人学习,那么部署时,机器人的形态越像人,迁移就会越好。
但做人形机器人,要权衡是否做腿、是否做手。我们从中间选了一个很好的权衡点:半人形加底盘。这个形态可以从今天开始部署,也能获得从人的数据中训练的很大好处。这就是我们从第一性原理出发设计硬件的思路。
陈茜:你们没有做全人形,没有双足,也没有灵巧手,但觉得现在的形态已经能落地做很多事情了?
Jason:对,现在的形态已经能做很多事情。如果现在不能落地,不是因为没有腿或者没有手。
我们内部也做很多灵巧手研究,但目前是纯粹的基础研究,还没有把灵巧手落地的打算。因为现在灵巧手硬件的成熟度,还没到能直接落地的状态。
陈茜:刚才看你们的演示,动作挺顺畅,但有些灵巧手的演示反而会让动作变慢,这也是你们的考量吗?
Jason:现在用灵巧手做操作或遥操作,比夹爪难很多,要把遥操作速度提上去也很难。所以灵巧手的演示通常会慢一些。
陈茜:你刚才说,不能落地不是因为手或脚,是因为模型不够好吗?
Jason:我觉得是整个系统不够好。我们在部署的博文里也讲过,一套系统能不能落地,不仅要求模型百分之百做好,还必须有很多Observability(可观测性)。
你要知道这一天模型做了什么、机器人做了什么,机器人上的电脑有没有资源争用等问题,这些对部署都很重要。所以每次更新机器、更新模型,我们都会把这些工作做好,才能在真实的客户现场具备Observability(可观测性)。
张君武:你讲到了机器人的形态对Cross-embodiment transfer(跨本体迁移)的影响,也谈到了“GPT时刻”和互联网规模的数据量,我们后面会继续讨论。
陈茜:我也很感兴趣,你们在部署中学到了什么。先从最开始复盘一下,你在研究中的品味和选择,可能也奠定了Dyna的技术路线。你是什么时候开始对机器人感兴趣的?
Jason:从博士一年级开始。我的导师做机器人和强化学习,宾大也有GRASP Laboratory,是一个很大的机器人研究中心。我刚读博士时,本来想学强化学习。
陈茜:因为你大学时就在做强化学习?
Jason:大学时我没有做很多研究,当时在探索不同的方向,但觉得强化学习非常合乎逻辑,就想继续读博研究。
更早的时候,我在国内长大,小时候下了很多围棋。AlphaGo刚出来时,我正好在美国读高三。我觉得这个东西很神奇,能把这么难的游戏都解决了,就想上大学一定要研究一下。后来觉得很有趣,就继续读了博士。
陈茜:AlphaGo打败李世石是在你高中时,那场比赛对你意味着什么?
Jason:他们不只下了一场,而是五场。我很惊讶,AlphaGo可能是4比1打败了李世石。我很小的时候就看李世石、古力下围棋,所以看到李世石被打败,觉得不可思议。
陈茜:“神之一手”,也就是第37步,有惊讶到你吗?
Jason:肯定有。我觉得第37步,以及强化学习找到的其他方案,都非常神奇。其实这和最近语言模型解决一些很难的数学问题,是同一个概念:在固定场景里,如果奖励函数比较确定,人工智能肯定能找到比人能想到的更好的方案。我觉得10年过去,这个原则没有变。
张君武:你当时对人工智能的大脑如何决策感兴趣。机器人、自动驾驶也是强化学习中比较主流的应用,对吗?
Jason:对,但在机器人领域,强化学习必须用得更谨慎。
陈茜:因为它是实体的?
Jason:对。或者说,强化学习能奏效,一个很大的原因是这个领域必须有很好的模拟器。比如游戏,游戏本身就是模拟器;做语言模型时,语言模型自身可以模拟语言的演进过程。
但在机器人很多应用场景上,做一个很好的模拟器非常难。现在教机器人跑步、跳舞,都是在模拟器里通过强化学习做出来的。但抓取、Contact-rich manipulation(密集接触操作)这些任务,现在的仿真还有一些距离。
我不太鼓励在真机上跑强化学习,因为我曾经做过。真机的并行程度太低,远不如模拟器可以4000个环境一起跑。
张君武:这是不是也是你们选择毛巾的原因?力度不准确,毛巾也不会被捏碎,不像我们之前包装维生素瓶子,力气一大,整个瓶子就被压碎了。
Jason:对。所以公司一开始,希望商业化和技术同时往前走,就先从叠毛巾、叠衣服出发,因为很难叠坏。
机器人会出错,但不是致命的错误。
陈茜:对,最差就是把毛巾或者衣服撕坏。
Jason:目前好像还没有发生。
陈茜:游戏很适合强化学习,DeepMind也训练了很多游戏,后来往大语言模型走了。但你没有选择大模型,反而选择了机器人方面的强化学习,是因为导师,还是自己的兴趣?
Jason:读博士时,主要是自己的兴趣。一开始在机器人里做强化学习,我觉得前几篇论文做得还不错。导师也建议我继续在一个路线上做最顶尖的工作,比起做很多不同的工作,但在每个领域都马马虎虎,回报会更高。
陈茜:你怎么找自己感兴趣的论文选题?从论文题目和选题看,你似乎喜欢挑战现有认知的方向。
Jason:博士后面几年,我确实是这样想的。如果要写一篇论文,这个问题必须很新颖,没有现成的基线方法。机器人现在还没有被解决,一个很大的原因是,大家对问题定义还没有完全形成共识。在这种情况下,如果只是沿用一个已经设定好的问题,去超过某个基线方法,我觉得意义不是很大。
机器人学习的探索空间很大。博士后面几年,我从第一性原理去想:要让强化学习在机器人上真正奏效,有哪些瓶颈?很容易就会发现,最大的瓶颈是奖励函数没办法设定。
玩游戏、下围棋时,游戏规则、围棋规则就是奖励函数,告诉你拿几分。但机器人学走路、跑步、跳舞,或者抓东西、切菜,没有人给你奖励函数。你没办法编一个程序,完全用数学方法把怎么切菜写出来。我当时觉得,这个问题必须解决,否则没办法做强化学习。
张君武:生活中完成一件事,比如拿杯子,没有一个标准答案。你可以从左边去拿,也可以从右边去拿。这时候该怎么设计奖励函数?
Jason:很多操作任务没有最优解。所以我有一篇论文叫VIP,就是从人的视频里学习一个Prior(先验),学习一个很大的奖励模型,看人是怎么做的,再用人的做法指导这个奖励模型。
陈茜:这是2022年你在Meta做的论文?
Meta内部一直有研究机器人的团队?我知道他们现在也在做机器人。
Jason:对,Meta一直有机器人研究。之前更偏学术,我当时在FAIR。2022年的FAIR可以做很多基础研究。
陈茜:可能是FAIR最好的时光。
Jason:对,现在很不一样了。
陈茜:VIP(价值隐式预训练)解决的问题,是从人类视频的时间顺序里学习价值函数?
Jason:对。比如抓一个东西,从第一张图到最后一张图是一个过程,把这个过程、这个顺序理好,就可以帮助判断:机器人做同一个任务时,在这一张图完成了百分之多少,下一张图又完成了百分之多少。这是一种可规模化地学习奖励函数模型的方法。
2022年的机器人数据很少,现在我觉得也少,当时就更不用说了,所以当时觉得这个方法很合理。
陈茜:你说的是遥操作数据?
Jason:不管是不是遥操作,机器人视频都没有那么多,所以必须有一种方法,不依靠机器人数据学习奖励函数。机器人最终还是要解决人在物理世界里想解决的任务,因此从人的视频出发是合理的。
陈茜:当时能用什么人类视频?也是UMI?
Jason:当时还没有UMI(通用操作接口)。2021年,FAIR有一篇论文叫Ego4D,可能是第一篇大规模、以人为中心的第一视角视频数据工作。当时的数据有3000小时。
陈茜:是戴着头盔采集的吗?
Jason:这个细节我可能不知道。当时觉得3000小时很大,但和现在的规模比,就太小了。
张君武:从你当时的研究到现在,好像有一个连续性。Dyna-2也在讲,怎么利用更现成的互联网视频,以及相对更好采集的视频数据。
Jason:其实没有特意想沿用之前的论文。做机器人必须实际一点,我之前的一些论文有时可能过于超前,比如后面可以聊到的Eurek这些技术当时可以做研究,但想拿来做产品,还不是特别合适。
所以Dyna刚创立时,我很少用之前的方法,而是先把一些我觉得肯定能奏效的方式扩大规模。
陈茜:你觉得2023年在英伟达做的Eureka太早了吗?
Jason:当时做出来的效果已经很惊艳。不只是大家可能看过的转笔演示,而是用人工智能自动生成奖励函数。
陈茜:我做功课时才发现,你那时已经让GPT-4写奖励函数代码了。
Jason:对,和现在Astra写很多东西相似。
陈茜:但区别是,当时GPT-4写的是奖励函数代码,不直接输出策略,也不直接驱动机器人。
Jason:对。当时先用GPT-4写奖励函数代码,再在仿真里跑强化学习,得到一个策略。看这个策略的表现,再给GPT-4反馈。这样基本上就是RSI(递归自我改进),不断改进奖励函数代码。
陈茜:很早的RSI(递归自我改进)。
Jason:现在大家都叫RSI(递归自我改进),当时的名字没这么炫酷。
陈茜:你们当时用的是英国Shadow的灵巧手,让它学会转笔?
Jason:对,是在模拟器里学的。真机上按理说也应该可以,但工程量会很大。
当时灵巧手市场没有现在这么多选择,可能只有Shadow Hand可以做,而且很贵。
陈茜:几万美元一只。
Jason:对,我们当时也没有这个资源,就先在仿真里做了。做研究,一开始先在模拟器里验证一个想法,是很好的方法。
之后我们发了一篇论文,叫DrEureka,教机器狗在瑜伽球上保持平衡、行走。这是把Eureka放到真实世界的后续研究。
陈茜:最近很多人在讨论GPT-6 Astra对机器人领域的影响。它现在带来的影响,和你当时用GPT-4写奖励函数代码,有什么根本区别?
Jason:用GPT-6,你直接说想要什么,它就能一口气做很多事情,帮你完成。我们当时用GPT-4,Eureka也开源了代码,可以看到我们如何让GPT-4自己写代码,再把代码融入仿真环境。现在GPT-6可以自己安装仿真环境,把这些都处理好。
陈茜:GPT-6可以自行安装?
Jason:对,而且能力也更强。以前GPT-4主要是语言模型,对视觉、空间的理解不是很好。现在GPT-6的空间理解很好,可以直接完成一些对空间推理要求很高的机器人任务,这是一个本质区别。
张君武:未来哪些领域会更多用到GPT-6这样的智能体驱动的机器人技术,哪些领域又会更多受益于人工智能、智能体对训练的帮助?
Jason:在我看来,两者没有很大的本质区别。最重要的是给模型、给智能体系统一个奖励函数。
比如训练模型,有training loss(训练损失),你可以跟GPT-6说,一直改参数,直到Training loss(训练损失)达到2.3左右。让它做智能体驱动的机器人技术也是同样的概念,一直写代码,直到把任务完成。最终就是要给模型一个目标。
张君武:奖励函数很重要。
陈茜:你2023年在英伟达的路线大量依赖仿真,很有英伟达的特点。当时Jim Fan也和你在这篇论文上合作?
Jason:对,Jim Fan是末位作者。我当时和Jim、Yuke在英伟达合作,但做这个项目时,也没有说必须用仿真。
因为之前做了VIP(价值隐式预训练),从人的视频里学习奖励函数,所以一开始想做转笔时,我们先想能不能从人的视频学出转笔的奖励函数。但尝试时发现,我没有真正的灵巧手,没办法在真机上验证转笔策略。
如果真机是瓶颈,就必须从仿真开始。但问题也很明显:我都不知道模拟器能不能训练出一个会转笔的模型。机器人仿真的一个大问题是,有些任务,你甚至不知道能不能被模拟出来。转笔当时没人做过,所以是未知的。
那就先手动写一些奖励函数。但手动写没有出路,必须用模型自己开发奖励函数,这就变成了Eureka。
陈茜:你后来去了谷歌,做了GVL(生成式价值学习),好像又回到VIP(价值隐式预训练)的延续工作上?
Jason:可以这么说。我博士期间的大部分工作,是解决机器人领域的奖励函数,以及其他标注从哪里来的问题。
加入谷歌时,正好Gemini 1.5刚出来。Gemini的多模态能力一直不错,我想能不能用在机器人上,就做了一个算法,用VLM(视觉语言模型)直接做上下文学习,把奖励函数写出来。当时效果很好,我也很惊讶,为什么这东西会奏效?它应该不奏效,这些肯定不在预训练里。
现在也有很多创业公司在做GVL(生成式价值学习)这样的事情,用VLM(视觉语言模型)标注奖励函数、做子任务标注。说实话,GVL(生成式价值学习)可能比Eureka和VIP(价值隐式预训练)都更商业化一些。
陈茜:今年出现了很多数据公司,很大的一个落地方向就是把数据卖给机器人公司,最近很赚钱。
Jason:对。标注是一个大问题,用VLM(视觉语言模型)标注挺好。
陈茜:你是在谷歌之后想创业的。为什么没有加入实习过的三家公司,反而选择创业?
Jason:当时做了很多研究,我想在真实世界产生更大的影响。写论文对我已经没有太大吸引力。我觉得具身机器人的战场,不是在实验室里写论文,而是真正把机器人带到应用场景里,看能不能工作。
陈茜:所以你当时就意识到部署很重要?
Jason:对。我在学术界,不管企业研究实验室还是学校,写过很多论文、做过很多演示。我个人的感觉是,自己在评估自己的作业,没有真实的客户,也没有真实基准。
当时机器人领域每篇论文都有新的演示,都想更炫酷一点,但任务是研究员自己设定的。比如在DrEureka里,教机器狗在球上保持平衡,之前没人做过。我想出这个任务,是为了验证算法,觉得很酷,但和实际应用是两码事。
我想让研究的影响力更大。做一家初创公司,尤其是像我们这样把产品和研究放在一起的公司,我觉得能学到更多,影响也会更大。
张君武:你在三个不同的实验室待过,对之后有什么影响?原本我好奇技术方面的影响,但听下来,似乎更多是选择和非技术方面,或者说商业化方面的影响?
Jason:在这些大厂工作,对我最有帮助的有几点。首先是人脉,之前的导师现在也是机器人领域非常有影响力的人,我和他们的关系一直很好。
其次,不管在三家公司还是读博士时,我都没有沿着一种方法一直写论文。我尝试过从人的视频里学习,用VLM(视觉语言模型)直接推理,也用仿真做奖励函数。因为覆盖面比较广,创业时就没有限定必须从某一种技术路线出发,可以更客观地看每个阶段用什么方法最好。这对公司长期发展有帮助,不会只堵在一条技术路线上。
张君武:你前面说,有时并不期待模型能奏效,结果它反而奏效了。现在很多正在读博士,或者准备读博士的同学可能会想,模型是不是已经能处理大部分甚至所有任务?模型方面还有新的研究问题吗?还有没有必要读博士?
Jason:新的问题还有很多。读博士最重要的是探索新问题,而不是在已有问题上比别人多刷两三分。你要写那种没有现成基线方法的论文,提出一个新问题。如果问题合理,自然会有很多人跟进。
做Eureka时也没有基线方法,我得自己想。因为当时没人从语言模型里生成奖励函数,做RSI(递归自我改进)这些东西。VIP(价值隐式预训练)、GVL(生成式价值学习)也是一样。把问题定义想清楚,是研究最重要的事。
所以博士生最重要的是找新问题,而不是去和GPT-6或其他模型比较基准测试分数,那样没有太大意义。
陈茜:你什么时候认识York和Lindon的?
Jason:2024年3月,我来到谷歌。刚来几周,就认识了Lindon和York。
陈茜:他们不在谷歌吧?当时Caper已经被收购了吗?
Jason:对,已经被收购了。当时Lindon应该在迈阿密,York好像在国内。
陈茜:是在被收购后的休息期吗?
Jason:我觉得没有,我们三个都不是闲得下来的人。当时是Monica介绍的。我刚加入谷歌,也在想接下来做什么。我想把机器人带到真实环境里,而不是在实验室里自己想任务。他们的想法和我能走到一起。
陈茜:Lindon和York在上一个创业项目中已经是联合创始人,项目被收购、退出后,想做机器人。Monica之前是投资人,现在也已经加入你们了。当时他们需要一个做前沿模型的科学家,所以找到了你?
张君武:你当时无论研究还是创业,应该有很多选择。Lindon和York身上有哪些特质,让你觉得一拍即合?
Jason:首先,要做好一家机器人公司,我个人觉得不能只做学术。即使我是学术背景,最终还是想把模型、本体做成产品,也就是我们现在的技术路线。如果只跟研究员创业,创始团队会有很大的偏差,长期未必是最优的发展路线。
其次,他们做过创业公司,而且做得很好,也是硬件公司。他们在一些领域懂的东西,和我在技术上懂的东西很互补,这很重要。
陈茜:你们三个现在各自负责什么?
Jason:Lindon是CEO,更多负责战略和管理,以及对外的事情。
陈茜:找钱、找人、找方向。
Jason:对。我主要负责技术路线,研究员做什么、技术里程碑是什么,公司接下来在技术上做哪些东西。
York是我目前见过工程能力最强的工程师之一,有什么特别难的东西,他都可以做,也负责一些工程管理。
陈茜:你们三个会吵架吗?
Jason:我觉得必须有争议,没有争议,说明交流还不够多。但我不会把争议称为吵架。争议是好事,能让大家尽早发现问题、解决问题,因为我们三个都想把公司做好、做大。
陈茜:比如会在哪些问题上有争议?
Jason:技术路线、商业路线,大家可能有不同想法,但最后都是能解决的。
陈茜:技术路线和商业路线有时会冲突吗?
Jason:做好Dyna这样的公司,最难的一点是如何在商业和技术上找到共鸣点:做的任务既能推动商业部署,也能让模型、整个飞轮搭得更好。
我们一开始学折叠,就是这个原因。我觉得这是做机器人Foundation model(基础模型)的第一个任务,因为容错率高,不会把东西撕坏;不像洗盘子,打碎一个就很麻烦。我们从这个角度找第一个、第二个任务。但现在公司做大后,接下来的策略也可能有一些改变。
陈茜:回到Dyna刚起步、准备发布Dyna-1的时候,你们选择叠毛巾、叠衣服作为演示,当时挺有先驱性,也因为叠毛巾的演示火起来了。现在很多公司都在叠毛巾、叠衣服,我之前去WAIC(世界人工智能大会)、WRC(世界机器人大会),也发现大家都在做。当时你们是同时从商业和技术考虑,觉得这是一个很好的首个落地场景?
Jason:是。当时觉得叠毛巾、叠餐巾,模型应该能做。最大的问题不是能不能做,而是能不能100%完成。
第一个模型发布的重点就是,当时有这么多VLA(视觉-语言-动作模型)、通用模型,但都没有达到很高的成功率。如果成功率很低,就没有任何商业价值。所以第一个技术突破,是能不能达到100%。
Dyna-1发布后,我觉得大部分其他公司都在这个方向跟进,很多公司开始发布可靠性演示。这说明我们当时发布的东西有很大影响力。
陈茜:开始创业后,你们讨论过只做Foundation model(基础模型)这一层吗?比如Physical Intelligence从一开始就想只做智能层、不碰硬件,你们没有往这个方向考虑过?
Jason:一开始没有硬件,肯定先买别人的机械臂尝试,把模型做起来,但我们从一开始就有做硬件的打算。把硬件做好要花很长时间,所以最近才把最新的硬件发布出来。
张君武:你们能一边部署、一边改进硬件,很厉害。我之前做挑拣机器人时,如果线束设计不当,或者相机位置不合适,可能导致线受力过大,影响重复操作的一致性和可靠性。为了达到好的可靠性,你们一开始是不是也在硬件上花了很大功夫?
Jason:肯定的。不管做智能层还是其他层,最后都要做到可靠。但这不只是模型的可靠性,而是整个系统的稳定性。如果只做模型、不做硬件,整个系统稳定性的很大一部分,你根本没办法掌握。这样做产品会很吃亏。
陈茜:你们最开始叠毛巾时,没有现在这样的轮式底盘,好像也没有机器人的头,就是两个夹爪?
Jason:对,基本上是两个机械臂。
陈茜:当时跟投资人聊,他们会觉得你们不够炫酷吗?
Jason:有可能,我觉得是不够炫酷。
陈茜:同期很多公司已经有人形、双足机器人了,你们不会受干扰吗?
Jason:我们肯定在想接下来的硬件怎么做,但公司一直很务实,不会一步做一个很炫酷、却没有落地机会的东西。
我们非常相信通过迭代推进技术发展,不会从零一步做出最终的硬件。这样中间出错率很高,也没有商业落地闭环的反馈,对于想把技术做好来说,其实很吃亏。
陈茜:“想把技术做好会很吃亏”,这句话怎么理解?
Jason:比如把模型做好,必须在硬件上做很多评估。但如果硬件很不稳定,连评估都做不了,就没办法知道模型能不能工作,以及背后的原因。
很多人形机器人都有这个问题,系统太不稳定,对模型发展产生很多负面反馈。我们先用比较简单的系统部署,让当前的部署和模型形成飞轮,同时把自己的硬件做好,两者可以并行。
张君武:是不是除非任务涉及跨越复杂地形、大范围移动,否则不一定需要做人形?有些人形机器人展示,也是在固定位置工作。
Jason:我个人觉得没有什么必要。很多室内工作其实不需要双腿,尤其是工厂、商业场景。
但家用不一样。家是为人设计的,人有腿,比如客厅有上下楼梯,轮式机器人就可能有局限。工业、商业场景的地面通常很平,尤其美国有一些规定,必须把地面做得很平,这对早期部署有很大优势。
陈茜:回到叠毛巾,难点在哪里?
Jason:一开始觉得叠毛巾难,后来发现模型叠得很好、很快。最后难的是,能不能把叠好的毛巾一条一条很整齐地摞起来。
对精准度要求比较高。
尤其要摞10条毛巾,如果第三条比较歪,上面的就会继续歪,误差会累积放大。
陈茜:所以每条毛巾都要叠得很整齐,放在很准确的位置。
Jason:对,后来发现,提升整齐度还比较难。
陈茜:最难的一点是什么?比如夹爪的难点在哪里?
发现叠错了,怎么纠正过来,这块最难。
Dyna-1有三个环节,从基础奖励模型,到自主探索,再到有目的的失败恢复。也就是说,搞砸了,但能掰回来,这一步是模型最重要、最难的一步?
Jason:对,这是最难让模型学会的一类动作,有一些难点。但现在距离Dyna-1发布已经一年多,对我们公司来说,已经知道如何解决,而且能解决得很好。
陈茜:怎么解决?
Jason:这个不能透露。
陈茜:通过强化学习吗?
Jason:强化学习是一种,但我们有多种方法。
张君武:是独家秘诀。我也很好奇你们对世界模型的技术路线选择,以及具体的应用方式。世界模型能不能帮助处理这类失败案例?比如一开始的错误会累积,如果在推理阶段预测未来视频,是不是就能预测可能出错的情形,像下围棋时提前想几步,再动态选择?
Dyna-2已经能用110毫秒生成未来3秒的视频,按理说比较快了,为什么你们没有选择在推理阶段生成视频?
Jason:写那篇博文时的几个模型,没有在推理阶段生成视频,但我们现在的模型有这个能力。
很多情况下,有些问题可以用更简单的方法解决,我们就用更简单的方法。在推理阶段生成视频,成本比较高,所以我们还在探索哪些场景真正需要这个能力,哪些不需要。
张君武:看来还是聚焦部署,先考虑部署,以及成本和性能的平衡。
Jason:不仅是部署。在机器学习里,总体来说,更简单的方法更能奏效,也更容易扩大规模。所以从研究角度,我们经常选择非常简单、巧妙的方法去扩大规模。
太复杂的东西很难真正运转,可能其中几步很容易出错,或者调参会很困难。
张君武:这是不是也是你从一开始到现在,贯穿科研和技术选择的品味,就是做得简单、精巧?
Jason:对,越简单越好,太复杂很难真正运转。现在看语言模型里的一些重要想法,其实都不复杂,尤其早期深度学习的一些想法。越简单的东西,越容易扩大规模。
陈茜:回到部署。我看到Dyna-1在5周内,从最初只能运行5分钟,到1小时、8小时、24小时,最后一天能折800多条餐巾。过程中发生了什么,为什么需要经历从只能运行5分钟到准备就绪的过程?
Jason:在这5周里,我们利用模型自己的Rollout(策略执行轨迹),也继续做针对性错误恢复,收集了很多高质量数据。每次重新运行模型,质量都会有很大进步,这是一个持续学习的过程。
陈茜:这是否意味着,把模型、机器放到新环境或新客户那里,就需要这么长的部署时间?
Jason:不是。这5周是当时做研究的时间。最近真正部署时,有些场景、有些任务,甚至不需要几天,就能让模型能力完全符合客户要求。
陈茜:Dyna-1阶段,你们已经找到真实客户,把机器人送到他们那里叠餐巾了?当时和哪些客户合作?
Jason:从Dyna-1开始,我们就和鼎泰丰有一些合作,当时是非常早期的试点。
陈茜:他们很开放,愿意把厨房开放给你们?
Jason:挺开放。我们一开始比较喜欢更开放的客户,因为也不能保证模型一定能工作。如果能在这些应用场景里迭代、吸取教训,对公司发展,尤其早期的帮助很大。
当时我们就在鼎泰丰尝试叠餐巾,这个任务特别难。现在真正能做出来,我觉得是一个很大的里程碑。
陈茜:难在叠整齐?
Jason:对,叠餐巾比叠毛巾难很多。毛巾叠两下差不多就行了,但鼎泰丰或其他餐厅的餐巾都叠得很细致。客户的要求里,几毫米和一厘米的差别,就是及格和不及格的区别,所以对模型精准度的要求很高。
另外,能不能把叠好的餐巾整齐地放进盒子?如果摆得不整齐,有时一开始明明叠好了,放进盒子就会乱掉。
陈茜:我看你们分了1到5共5个等级,分别对应能达到的准确度,或者完成的任务?
Jason:对,5级和4级,或者5级和3级,就是几毫米的区别。
对。让模型在这几毫米的容错范围里达到最高等级,是很难的事。
陈茜:Dyna-1在实验室的成功率做到了99.4%,但只有75%的餐巾达到真实客户的标准,中间为什么有这个差距?
Jason:成功率是按有没有把一条餐巾折好算的,3级、2级也算折好。但你提到的75%是合格率,算的是在所有折好的餐巾中,有多少达到了4级和5级。
客户最后只接受4级、5级。
陈茜:3级不能接受。
Jason:对。内部评估仍然分1到5级,这样才能知道模型的进展在哪里。
张君武:在成功率提高零点几个百分点都很难的情况下,当时是靠模型进步改进,还是更多采集真实客户数据?
Jason:都有。模型进步很多,数据也进步很多,就是更高质量的数据。
把一个任务做到百分之百、质量很高,这种训练做几次,就能感受到高质量数据和低质量数据的差别。真正做部署、做产品时,这很重要。
陈茜:Dyna-1的数据是怎样构成的?
Jason:当时所有数据都是内部自己采的。现在很不一样,数据多了很多,我们不仅要利用自己采的数据,也要利用所有觉得能用上的数据,所以有很多新的研究课题。
陈茜:Dyna-1全部用遥操作数据?
Jason:对。
陈茜:采了多少小时?
Jason:这个就不透露了。
陈茜:都是在办公室,由自己的研究员采的?
Jason:对,用自己的研究员采。
陈茜:我记得一年半前去你们办公室采访,看到现场有人不停地采集。
Jason:对,采数据是必须一直做的工作。
陈茜:Dyna-2的数据我们后面再聊。Dyna-1的部署给你们最大的教训是什么?
Jason:最大的教训是,实验室里做出来的东西,和真正能部署的东西,差距很大。
Dyna-1刚做出来时,是业界成功率最高的模型,但带到商业场景部署,还是有很多差距,比如整齐度、语言指令遵循和速度。Dyna-1的速度也没达到鼎泰丰真正能接受的程度。所以即使把成功率提上去,差距依然很大。
张君武:幸好你们有一个听起来比较耐心的客户。我之前工作的公司是Vicarious,后来被Intrinsic收购。有些客户对单次作业周期要求很高,或者没那么耐心,就要花很多资源服务他们。
初创公司同时也要考虑多个客户的试点,平衡技术和商业。你们怎么在做好一个客户的前提下覆盖更多客户?会有多个试点同时进行吗?
Jason:有两点。首先,Foundation model(基础模型)越来越好,就能让任何部署都做得更快、更通用。其次,试点管理很重要。不同试点、不同部署会遇到不同问题,部署到足够数量时,就能同时排查出各种问题,对做好工程很有帮助。
这也是扩大规模的问题。在一个部署点发现的问题,和同时部署10台、100台、1000台发现的问题,完全不同。每次扩大规模,都会遇到新问题。
具身公司必须有这个信念:真正把部署做下去,把规模扩大。如果永远停留在1到10台,或者1到5台,就很难发现那些只有扩大规模才能遇到的运营、部署问题。
陈茜:机器人行业的成功率该怎么看?99%听起来很高,君武之前也跟我聊过,Vicarious做到了百分之九十几的成功率,但还是没能很好地生存下来,后来被收购。
99%的成功率,意味着任务重复1000次,有10次做不好。这10次可能把整条生产线弄乱,客户就无法接受。
Jason:这就是为什么机器人公司必须深入思考产品形态。流水线、传送带、物流这类任务,成功率是致命的。如果成功率不是100%,就说明线上有些物品没有处理好,机器人做完之后,下游还必须有机器或人保证质量。
这样,机器人其实没有自主承包整条线,反而给人或其他机器增加了工作。所以我们一开始觉得,传送带任务不是做具身通用智能最好的出发点。
我们首先追求的是,机器人能不能把自己的完整任务、整个工作流包下来,不需要人做质量保证,也不需要人工干预。如果能做到,即使现在慢一些,也能产生商业价值。我们从这里出发,决定技术、模型、硬件,以及其他所有技术决策。
陈茜:你们把Dyna-1的10个月部署称为“苦涩的教训”,苦涩之处是不是发现即使99.4%的成功率也不够?
Jason:现在来看,可能是“苦乐参半的教训”。苦在比想象中难;甜在因为难,所以必须解决,解决后就会领先其他公司很多。
很多要解决的问题并不炫酷,不是做个新模型、把模型做大、把数据规模提上去。我们团队有必须解决这些问题的信念。有些团队可能没有这种基因,始终不会主动想把部署做好,长期可能成为劣势。
陈茜:如果不做部署,就学不到这些教训?
Jason:对。
陈茜:你们有专门的部署团队吗?
Jason:可以这么说,我们有一个产品团队。但部署也需要很多研究,做项目时协作很多,不是只有一个团队在做,大家都能帮忙。硬件、软件、模型、产品、部署、运营都会参与。
陈茜:从Dyna-1到Dyna-2,模型变化很大。为什么在发现部署问题后,你们没有只针对Dyna-1,把数据、准确率、部署继续做好,而是回到Foundation model(基础模型)进行新的创新?这个决策是怎么发生的?
Jason:Dyna-1是VLA(视觉-语言-动作模型)。我们在这个模型上做了很久,发现它从架构角度有一些缺陷。你可以打很多补丁,但补丁多了,就很难在一个不够稳固的基础上继续扩大规模。
所以一边部署VLA(视觉-语言-动作模型),我们也一边做基础研究,探索更能扩大规模的架构,最后变成现在Dyna-2的世界动作模型。当时就觉得很多性能有质的提升,比如泛化性、理解并遵循语言指令的能力,其他方面我们也在博文里讲了。
最终目标不是只在鼎泰丰,或者一些宾馆里折衣服,而是做一个通用的机器人智能平台。从这个目标出发,换模型、做更能扩大规模的东西,是很本质、也是我们愿意做的事。
张君武:能不能给听众简单拆解一下,VLA(视觉-语言-动作模型)和世界动作模型有什么区别?VLA(视觉-语言-动作模型)的缺陷主要在哪里?
Jason:我觉得世界模型最重要的一点是:做模型时,它要推理一个东西。做VLA(视觉-语言-动作模型),是计算机器人的动作轨迹;做世界模型,不仅计算机器人轨迹,还把整个世界未来会发生什么的轨迹也用于训练。
这样,模型能学到更本质的特征和信息,帮助它推理世界接下来怎么发展。这对机器人泛化和其他能力都很重要。
张君武:你们一边部署VLA(视觉-语言-动作模型),一边探索其他模型架构时,除了世界模型,还探索过别的架构吗?为什么选择世界动作模型?
Jason:当时想从视频模型出发。视频模型已经能预测视频,这对真实世界中的物理操作有很大帮助。我们觉得它有很多VLA(视觉-语言-动作模型)没有的属性,可以利用,所以从那里开始。
当时除了VLM(视觉语言模型)和视频模型,也没有太多其他模型可以探索。
张君武:即使在世界模型里,除了基于Diffusion model(扩散模型)、预测像素的路线,也有JEPA(联合嵌入预测架构)这样预测另一种表征的路线。这算不算可供探索的架构?你们为什么没选择JEPA(联合嵌入预测架构)?
Jason:我们还是想从预训练视频模型出发。大部分预训练视频模型最初的用途就是视频生成,本身已经在预测视频。当时没有什么JEPA(联合嵌入预测架构)的Checkpoint(模型检查点)可用。
张君武:使用预训练模型的收益,是不是能用上海量互联网数据?
Jason:是,这能让迭代速度快很多。
陈茜:做Dyna-1、全部用遥操作数据时,你是不是已经知道这不是最终方案,有一天还是要用大量互联网数据?这可能又回到VIP(价值隐式预训练)和你早期的一些工作。
Jason:也不是说遥操作是不正确的方案。机器人现在还是要分预训练和后训练。
预训练时,什么数据能提供最大的覆盖面、最多的数据量,就应该利用这些数据,弄明白怎么让模型泛化。
如果要做后训练,真正部署到商业场景,稳定性和质量的要求特别高,那是后训练要解决的事。遥操作是能收集最高质量数据的唯一方法,其他采集方案在质量上都会有一些差距。
陈茜:所以Dyna-2的后训练也会用遥操作数据?
Jason:对,但需要的量比以前少很多。Dyna-2,以及刚发布的Dyna-2.1,都有只用几十分钟数据就能学会新任务的结果。以前几十分钟肯定不行。
陈茜:Dyna-2发布中,我觉得最惊艳的一个结论是,用了100万小时第一人称数据,找到了机器人数据规模定律的端倪。这个研究过程是什么样的?
Jason:当时我们尝试第一视角数据,做过1000小时、1万小时和10万小时级别的预训练,在这些级别上发现了规模扩展的效果。
陈茜:到1000小时就发现了?
Jason:不是,是从100小时、1000小时、1万小时到10万小时。
所以是四个阶梯。
陈茜:每个阶段都发现数据越多,效果越好?
Jason:对。每次把数据量扩大10倍,模型预测就会变好。这不仅是预测人的运动变好。预训练只用了人的数据,人的数据更多,预测人的运动更好,可能并不特别令人惊讶。
真正惊喜的是,人的数据增多后,模型预测机器人动作、轨迹的能力也会变好,而它做推理时,根本没见过这些机器人。
我们在博文中把它叫作“Cross-embodiment transfer(跨本体迁移)的规模定律”,就是想看Cross-embodiment transfer(跨本体迁移)有没有规模定律。这是很重要的东西。
如果数据总量不够,研究规模定律意义不大。但在机器人领域,遥操作很难达到100万小时的数据量。所以要研究规模定律,必须从更容易,甚至最容易扩大规模的数据来源出发,我们先选择了人的数据。
但机器人领域有一个权衡:数据来源越容易扩大规模,它和最终部署的机器人、夹爪形态之间的距离可能越远。如果能从容易扩大规模、但和机器人关系没有那么直接的数据中,获得机器人上的规模定律,我觉得是一个非常大的突破。
这样就有办法让具身模型更聪明,而不需要依赖很多机器人数据。因为机器人数据在具身领域永远是一个瓶颈。
陈茜:这100万小时第一人称数据,是从类似机器人的视角,看到我的双手在做什么吗?
Jason:不是机器人的视角,是人的视角。比如很多数据是人头戴相机拍摄的。不同数据采集合作伙伴,以及我们内部使用的设备,并不一致,所以视角覆盖很广。
可能正因为覆盖面广,每个人的胳膊、穿的衣服也不一样,让模型具备了泛化能力。
陈茜:100万小时数据,大部分是从合作伙伴那里买的?
Jason:很多来自合作伙伴,但内部也有自己的第一视角设备在采集。只靠一家公司采,很难扩大到那么大。
陈茜:100万小时在现在机器人数据中,是什么量级?
Jason:从公开可获得的信息看,100万小时是最大的预训练规模。
陈茜:很贵吗?
Jason:有些贵,数据更多,肯定要花更多钱。
陈茜:大概是什么成本量级?
Jason:这个不好透露。但人的数据成本远低于遥操作或其他采集方案,因为不需要机器人。遥操作还必须教人怎么操作机器人;人的数据,只要给他一个相机,让他记录每天做了什么,很多这样的数据已经能用上。
张君武:互联网更大体量的数据,可能是第三人称、非第一视角的视频。Cross-embodiment transfer(跨本体迁移)有多大程度依赖视频里人的形态和机械臂相似?如果换成第三人称视角,还会有这样的规模定律吗?
Jason:应该会有,但斜率可能很不一样。从第三人称,或者和机器人操作没有关系的视频中学习,可能改善模型对世界整体的认识;但直接迁移到操作,距离会更大,可能更难。
Dyna-2也有只扩大视频数据规模的结果,但用的仍然是人做任务的视频,不是任意随机视频。随机视频能不能帮助机器人,我觉得应该会,但现在还没有很多证据。
陈茜:下一步是不是再验证一下,从100万小时到几百万、1000万小时,这个规模定律还能不能成立?
Jason:对,肯定会尝试。我们研究规模定律,就是为了继续扩大规模,找到很容易扩大数据规模的方法。
陈茜:会不会随着规模扩大,发现它不是规模定律?
Jason:我觉得这个概率比较小。现在机器人模型都比较小,大部分,可能所有机器人领域的规模扩展结果,都没有同时扩大数据、模型和算力,一般只扩大一个维度。
如果三个维度都做得很好,我觉得一定能发现很不错的规模定律,但工程量也会大很多。
张君武:从图上看,10万到100万小时的改善,相比1万到10万小时,速度稍微下降了。会不会后面数据越多,越难继续扩大规模?
Jason:发布Dyna-2时,我们确实发现从10万到100万小时的斜率更低。原因是,当时收集100万小时数据,整个行业都没有这么多高质量数据。
1000小时、1万小时、10万小时阶段,这些数据都是我们认为的高质量数据。但到100万小时,首先没有100万小时已经标注好的视频,很多视频没有标注。这也是为什么从10万到100万小时,曲线的变化幅度可能更小。
如果有100万小时真正的高质量数据,我们对这个规模定律很有信心,它不会因此放缓。
张君武:视频是一方面,能真正把视频用好的架构,是世界动作模型。博文里还提到,加入没有动作标注的视频预测训练,效果比只做动作与视频的联合训练还好,怎么理解这个实验结果?
Jason:区别在于,只做视频和动作的联合建模时,如果所有数据都要同时做视频预测和动作预测,就必须都有动作轨迹标注。这样能用的数据量,肯定少于那些没有动作标注、也能用于训练的数据。
我们的观点是,如果在视频预测上也能发现规模扩展的效果,就能让模型用上更多数据,这很重要。人类活动视频里,标注动作、手和手的关节很费劲。如果能用纯视频训练,对模型泛化会有很大帮助。
张君武:没有动作标注的视频,是不是大多用于训练世界模型、预测未来状态?怎么知道预测未来状态时,模型真的学到了背后的物理规律?比如拿有水、没水的杯子,或者拉重门、轻门,视频看起来可能一样。学到物理规律,对实践真的重要吗?
Jason:对实践挺重要。但你说得也对,有些任务从视频很难判断,比如门到底轻还是重,透明杯子里有没有水。
做世界模型有一个需要注意、但很少有人说的问题:如果某些任务需要视觉和触觉,数据里却没有触觉,那么不管怎么训练、怎么预测,都无法确定真实世界背后的物理情况。
现在大部分机器人世界模型还是从视频学,但有些任务,视频不够,这是当前架构很本质的缺陷。可能也是因为我们还没有大量摄像头以外的数据。
张君武:力的数据比较难采集。
陈茜:我之前采访Andrew Dai,他在做视觉推理,希望模型真正理解视频里的物理规律。这些研究可能还在比较早期的阶段,但确实是行业正在发力的事情。
Jason:这些问题未必必须用预训练解决。有些触觉数据,人的数据里没有,但如果机器人有触觉传感器,说不定后训练时用很少数据就能学到。
视频、图片是重复性很高的模态,一张图中,这个像素和那个像素可能长得差不多。但触觉、音频的每比特信息量会高很多。说不定不需要100万小时触觉数据,就能学到一个很好的、有触觉输入的机器人Foundation model(基础模型)。
陈茜:你们接下来会考虑加入触觉吗?
Jason:我们在看。触觉在机器人学习领域也是争议很大的方向,很多人觉得不需要,也有很多人觉得需要,很难说。我们的看法是,要从实践中发现什么奏效,以及在什么场景下奏效。
张君武:如果世界动作模型有这些缺陷,机器人研究下一步是新架构,还是在后训练加入更多不同形态的数据,比如力的数据?听起来后训练数据是一个比较大的方向?
Jason:对,后训练一直会是很大的方向。机器人很难靠一个模型,不需要任何训练数据,就以Zero-shot(零样本)的方式完成很多任务。
因为每个客户、每个人的需求不一样,一个模型不可能猜对所有人的需求。所以如何用很少的数据,在后训练中修改、适配模型,是长期都会存在的工作。
预训练则是数据很重要:能不能用更容易扩大规模的方法采集高质量数据?
张君武:大家一直讲数据难采、质量要求高,但容易忽略的是,即使采了很多高质量数据,怎么摄取、读取,真正转成能用的数据,背后的基础设施是不是也需要很大工程量?
Jason:需要很大工程量。我们有一篇基础设施博文,专门讲这些事。
做百万小时规模的训练,不只是训练模型的问题,也是很大的infra(基础设施)问题。没有好的infra(基础设施),任务根本跑不起来,或者跑几次就崩溃,很费力。所以做大规模实验,一开始都要先搭好infra(基础设施)。
张君武:他们像幕后英雄。
陈茜:大语言模型也是这样,infra(基础设施)团队常常不被看见,却又是最重要的。
Jason:但在我们这里,他们还是有很多关注度,我们专门写了一篇博文讲基础设施。这些幕后英雄值得被看见。
张君武:博客里也谈到了Cross-embodiment transfer(跨本体迁移),这些视频已经和机器人本身长得比较像了。你们认为人类视频里的什么东西,真正被机器人学过去了?
Jason:有几点。首先,用世界动作模型时,视频中能判断出来的物理信息,我觉得都有迁移,因为我们在预测视频接下来会发生什么。
其次,解决任务的大致策略,不管End effector(末端执行器)是夹爪还是灵巧手,都可以学过去。比如抓东西,手臂在一个位置,物品在另一个位置,不管什么灵巧手或夹爪,首先都要把手移过去。这些概念完全能从人的视频里学到。
张君武:手腕这类关键点也比较类似。
Jason:对。但非常精细的动作,首先要看标注质量。质量不高,会有很多漂移,用这些数据训练灵巧手,帮助未必很大。
陈茜:如果下一步从100万到1000万小时,中间的数据缺口大吗?如果继续与数据公司合作,需要很多标注、高质量数据,这些数据从哪里来,市场有这么多供应吗?
Jason:供应是个问题,另一个是基础设施。现在我们的基础设施能处理100万小时级别,但要处理1000万小时,不仅是训练,还有标注和质量保证,都有很多工作要继续做。
陈茜:你们有个结论,Dyna-2之后,不要再把模型当成产品,而是让模型、硬件、部署、数据基础设施、Teachability(可教性)、物理智能体这六个部分一起扩大规模,才是真正的规模定律。
Jason:我觉得这样才能真正把产品做下去。机器人的整个技术栈很长,只做中间一部分,很难把东西做好。每一块都重要,缺一块都很难真正做好。
陈茜:这次和鼎泰丰的合作,比上次优化了不少吧?
Jason:对,我们一直在鼎泰丰做,最后做到我觉得真正可以作为产品的程度,所以现在发布出来。
陈茜:数据提升挺高。最开始Dyna-1每小时叠35条餐巾,每天大概480条。当时客户希望达到每天1500条,一个班次18小时。Dyna-2做到每小时95条、每天1590条,满足了客户标准。
Jason:对,中间有很多改进,模型是比较大的一部分,但数据和持续学习也很重要。
模型达到一定程度,比如每天叠1400条,怎么提升到1500条?这时没有很多容易取得的进展,不是多采一些数据,就能再快很多。越接近目标,难度越高。
一开始没有模型,做出一个每小时叠30条餐巾的模型,以我们现在的认识来看,已经不是很难。
陈茜:进一步提升,需要模型和数据再往前走?
Jason:对,我觉得是这样。
张君武:在一个任务上提升都这么难,现在大家讲通用,一个机器人完成所有任务,真正达到那一天,是不是还有距离?
Jason:对。不可能一个机器人、一个模型,所有任务都100%完成。Zero-shot(零样本)很难,因为很难猜到别人的要求。
如果通用机器人在任何任务上能达到百分之七八十,再用很少数据微调,完成客户任务,我觉得就是不错的里程碑。
陈茜:会不会有一种风险:你们采集的生产环境数据,大部分来自叠毛巾、叠衣服这些客户场景,模型越来越擅长这几个任务,反而对其他任务的泛化能力没有那么强?
Jason:未必。预训练的大部分数据是人类活动视频,非常多样。内部数据和人的视频数据相比,要少很多。预训练追求通用性,肯定会有些偏差,比如对自己本体的偏向,但我觉得这些是好的偏差。就像做语言模型,希望编程能力好,预训练就必须提高编程数据的比例,具身也是一样。
“通用”是一个很虚的概念,最后大家都有约束,取决于你在乎什么、更在乎什么。更在乎灵巧手,就提高预训练中灵巧手数据的比例;不在乎,预训练完全可以不用灵巧手数据。所以最后都是根据目标,决定预训练的数据混合配比。
陈茜:刚才提到,机器人落地要替代一份人力,完成完整任务,而不是只做任务中的某个动作,否则很难被客户接受。Dyna-2也选择了一些洗衣房任务,你们在进一步验证哪些落地方向?
Jason:一开始还是从洗衣房做起。之前叠毛巾,需要人把烘干的毛巾拿过来,叠完后再拿走,这很繁琐。
一个很有意思的问题是,如果机器人固定在一个地方,模型越好,人工干预率反而越高。模型好,叠得快,桌上很快堆满毛巾,人就必须拿走,因为没地方了。模型越好,人的参与度越高;模型不好,又没人买,这是一个比较尴尬的点。
所以我们觉得,接下来必须做物理智能体,让它承包整个任务,不需要人介入。
就像现在的编程智能体,和几年前自动补全模型的区别。以前每过几秒就要按一下制表键,得一直看着它写代码;现在把任务交给编程智能体,它能一口气完成。我们希望在物理世界也达到这种效果。
张君武:下一步会不会是多个机器人协同?比如毛巾直接放在可以移动的平台上,由自动机械车推走?
Jason:说不定会探索这个路线。但现在的物理智能体就是一个半人形机器人,能把洗衣房里的洗、烘、叠,再把叠好的毛巾放进柜子,这些很长程的任务端到端完成,中间也需要很多推理。
陈茜:我看演示很合理,自己把毛巾送进去洗,拿出来烘干,按按钮,还会扭转盘,调高、调低温度,这些都能做到。
Jason:对。这就是我们刚发布的Dyna-2.1,以及自己开发的机器人Taku。日语中有个词叫Takumi(工匠精神),指工作做得很好,我们也给机器人起了这样一个名字。
陈茜:有匠心的。
Jason:对。为什么做自己的本体?因为部署很多次后发现,商家、厂家想要的不只是一个能完成任务的机器人,而是能承包整个工作流的机器人。
有了自己的本体和模型,机器人不只折衣服,也能把洗衣、烘干等洗衣房里的工作全部接下来,不需要人介入,才能真正达到很高的自主性。
陈茜:毛巾掉了还会捡起来。
Jason:捡起来后会放进脏毛巾的筐里。
很不错的一点是,它不会撞到东西。位置算得不够准,头可能撞到洗衣机,但这完全没有发生,说明整个模型、全身运控很不错。它还会扭到正确的模式。按按钮对精准度要求很高,但机器人会试几次,最后成功。
陈茜:这是针对特定洗衣机优化过,还是任意洗衣机都可以?
Jason:还需要有人优化,但换洗衣机、换烘干机,学习很快,十几分钟、几十分钟的数据就够。它已经真正跑起来了,所有步骤都会做。这就是我们的长期愿景,把机器人做成机器人员工。
陈茜:这是很长程的任务,最难的地方是什么?
Jason:每一步难度都高,都可能出错。洗衣房任务真正做起来,要30分钟到1小时,中间哪一步出个小错,任务就会失败,对模型泛化性和鲁棒性要求特别高。
张君武:客户喜欢这样的产品吗,用完是什么反应?
Jason:他们挺喜欢。我们在博文里也分享过真实反馈,有些客户经常发短信,说这个东西很好,有的还问能不能再多部署几个机器人。
陈茜:是鼎泰丰还是洗衣房?我看到你们发过客户询问何时能多部署几个机器人的反馈。
Jason:具体是哪个,我忘了。鼎泰丰也有吧,也有一些洗衣房。
陈茜:那一刻对你意味着什么?他们喜欢产品,是不是觉得这件事成了?
Jason:是和以前发论文很不一样的成就感,说明我们做的技术真正有人想用。以前写论文,是写给其他研究员看,有点自娱自乐的感觉;现在是真正迈向更大社会的第一步。从公司和技术角度看,都是很好的里程碑。
陈茜:接下来研究和部署的新目标是什么?
Jason:一个目标是移动能力加操作,也就是用半人形机器人做任务,难度比固定式高很多,对运控的要求也高。在做好运控、模型的情况下,再把速度提上去,是比较难的点,值得继续探索。
模型泛化、模型架构这些方向,我们也会继续做。我们不做,别人也会发布,有很多东西可以拿来利用。
张君武:对于机器人公司的核心竞争力,除了模型,硬件和你说的其他部分,是不是比大家想象的更重要?
Jason:对。很多模型是开源的,我觉得硬件和部署最重要,因为它们决定了你的分发渠道。
就像ChatGPT,一开始如果没有电脑、手机,模型再智能,大家也不知道、没人能用。如果把部署做好,有成千上万台机器人,有一天出现很好的开源模型,或者别人的模型和我们差不多好、比我们便宜,或者能和我们的模型一起用,就很容易分发。
但如果只做模型,另一家模型做得更好,我们就会很被动。只做模型,要依赖系统集成商分发智能产品;如果你的智能不是最好的,别人为什么分发你的,而不是其他公司的?
张君武:这也基于你之前的判断,机器人的大脑和形态密切相关。有的公司认为,自己做通用智能,不管什么渠道都能提供能力,但你更强调和形态的关系。
Jason:对。我现在觉得,模型和本体一起做,最终效果还是最好。
陈茜:聊聊硅谷的竞争。最近机器人赛道很热闹,大家路线不一样。先说π,它从一开始聚焦大脑,没有自己做本体。我听过不看好这条路线、认为它可能最终需要出售的观点。你怎么看只做物理智能层的路线?
Jason:π的研究员都很强。我个人认为,物理智能层这件事还没有被充分验证。据我所知,还没有一个成功案例,能不只是做演示,而是真正很好地落地。
现在要把模型做好,仍然需要很多后训练工作。如果没有一家公司把预训练、后训练放在一起做,很难真正达到商业价值。只做智能层,下游客户无法创造商业价值、获得ROI(投资回报率),你也没办法获得ROI(投资回报率)。他们不可能一边付钱给你,一边没办法向自己的下游客户收费。
这和当初无人车有相似之处。只做其中一部分,最后会有被上下游压榨的感觉;做整套系统,我觉得当然更好。
陈茜:比如Waymo为什么可能跑不过特斯拉,因为没有自己的车,成本很高、降不下来。
张君武:Waymo至少有自己的部署,其他公司可能更依靠卖服务。我大概能理解这个意思。
陈茜:π现在的路线还是很明确,是VLA(视觉-语言-动作模型)方向?
Jason:这个我不是很了解,他们内部的情况我不清楚。
陈茜:你觉得VLA(视觉-语言-动作模型)和WAM(世界动作模型)会是两条不同的路线,还是最终合在一起?
Jason:应该会合在一起。
陈茜:现在大家讲系统1、系统2、系统0,每一层可以有不同架构。
Jason:我觉得WAM(世界动作模型)和VLA(视觉-语言-动作模型)最本质的区别,是要不要预测未来,最后大家都会预测未来。
语言模型做Next-token prediction(下一词元预测),就是预测语言的未来。做物理智能体,也要预测未来,不只是机器人接下来做什么,还要预测周围世界会怎么发展,而世界的发展又取决于机器人的动作。
陈茜:π在开源方面还是很重要的。
Jason:他们对行业有很大贡献,一开始做了很多开源模型。
张君武:行业也是一波一波发展起来的,最近WAM(世界动作模型)相对更进入主流。
Jason:现在很多公司也在开源模型。但从开源模型到商业部署,差距很大,现在可能没有很多团队真正弄明白。
张君武:想到你之前做VIP(价值隐式预训练)、研究视频,有一点乔布斯说的,只有回头看才能把事情串起来的感觉。现在视频反而成为更主流的模型架构选择。
Jason:当时也有很多人说,要从视频学习,但没有很好的视频数据、模型,只有想法。机器人领域的这些论文能完成很简单的任务,最后都没有扩大规模。现在很多已有很久的想法被重新发现,而且做得更好了。
陈茜:再补充一个世界模型的问题。我们用以人为中心的视频数据,如果世界模型能直接生成,这些数据足够好吗,够用吗?
Jason:世界模型可以生成,但够不够好,还是一个尚待解决的问题。很多论文从世界模型生成数据,再用这些数据训练,能提高策略的鲁棒性。
但很多论文说,把模型从40%提升到60%或70%。我个人觉得,从40%到70%,用很容易的方法就能做到。
张君武:不一定需要世界模型。
Jason:对。我更关心的是,到了95%到99%这个阶段,传统方法很难再提供很多高质量数据,能不能有效利用Synthetic data(合成数据)来帮助改进。所以很多时候,学术界的想法和论文并不容易迁移到实际应用。
陈茜:说到世界模型,刚刚发生一件新闻:李飞飞老师的Neo lab(新型AI实验室)被AMD收购。我原本以为,世界模型的应用场景主要在机器人公司,机器人公司会买很多数据,但目前看,营收还没办法足够支撑公司。
Jason:做世界模型、找应用场景比较难。视频生成已经很难、很卷,世界模型的应用更未经验证,所以我感觉可能会有很多公司陆续被收购。
陈茜:也很消耗算力,对基础设施要求很高。再说Skild,最近发布了S1,理念是一个大脑要学会适应,任何任务、任何机器人,都用一个大脑,也就是Omni-bodied(全本体)智能。你认同吗?
Jason:这是值得探索的问题,但可能比较困难。我个人觉得,最有价值的大脑是人的大脑,我们只控制自己的身体,但这已经足够好。如果能达到人的大脑的能力,某种程度上就算Physical AGI(物理通用人工智能)了。
我更在乎如何在一个身体上,用一个大脑做任何任务,这可能是更可行的路径。从纯学术角度,一个模型控制很多不同机器人,也有很多论文在研究。但目前还没有一个突破,能真正在别的机器人上学习,再到一个新机器人上做得很好。
陈茜:Figure争议很大,最近好像又发布了新演示。好像每次发布,机器人行业里都会有人批评他们。
Jason:我觉得他们硬件做得挺好,很精致,运控视频也很顺畅,这些是我们也在学习的地方。
他们的模型和其他方面,说实话,我不是很好说。Figure没有做很多公开演示,很难知道模型到底好不好。大部分公司都是这样,很难亲眼看到模型真的在工作,所以很难做客观评估。
陈茜:行业里的一种批评是,演示发布得太激进。比如做10次,成功两三次,把成功的片段拼起来,会给大众一种印象:机器人很炫酷,能走进千家万户,帮忙叠被子、整理枕头、浇花。
我知道有些机器人公司很鄙视这种行为。你觉得这类演示对行业有害,还是也能理解?
Jason:两方面都有。炒作会带动整个行业,就像Elon。但不好的地方是,可能让人们对机器人技术现在到了什么程度产生预期偏差,以为通用机器人已经到了,实际上还没有。这方面会有一些负面影响。
陈茜:这会给你们这样踏实做部署的公司带来噪声吗?我相信投资人会问,他们能做这些,为什么你们不行?
Jason:机器人行业现在噪声很多,所以做公司需要有一个使命,不能看到这家公司发演示、那家公司发演示,就被带偏。要找到本质上必须做的事情,把它做好。
陈茜:York有个泡沫公式很有意思:泡沫等于“当前能力”和“公众期待”之间的差距,乘以“补上这个差距所需的时间”。
Jason:我觉得挺对的,很认同。York发表这些观点时,大部分都对,业界很多人也很赞同。
陈茜:机器人行业肯定有泡沫,但现在大吗?
Jason:我个人觉得还好。虽然有炒作,但也确实有很多进展,有些进展已经足够在某些场景落地。我们做了,其他公司肯定也做了一些。接下来的进展会越来越快,所以不好说这是那种没有实际东西、纯粹炒作起来的泡沫。
陈茜:你说的进展,是会看到工厂中的一些应用场景真正运转起来?
Jason:我希望是这样。
张君武:距离大家的期望还有差距。如果一定要列出最主要的三个原因,会是什么?
Jason:最大的原因还是数据和硬件。硬件没有足够多台,就很难扩大规模;没有足够数据,模型智能不够,后训练就更吃力。这两者永远是瓶颈。
模型架构这些东西经常变化,过几个月这个火、过几个月那个火,我觉得不是最本质的东西。
陈茜:如果硬件及其产量足够重要,那在美国、硅谷市场,特斯拉会是很强的领先者吗?
Jason:有可能。但大厂做机器人也比较难,因为这件事需要所有人合作。大厂都有不同团队,很多时候信息交流不够充分。
尤其做硬件,有些决定很难改,做了就必须先把几百台生产出来,再做下一代,迭代速度会比较慢。
陈茜:现在硅谷大厂有一种共识,智能要发挥最大的效益,必须进入物理世界。OpenAI正在快速招聘顶尖人才,组建机器人团队,也跑得很快。你担心这样的竞争吗?
Jason:说实话,不是特别担心。初创公司最大的护城河,是整个飞轮。我们做部署,有大量部署数据,对于数据质量的见解,会比那些只做大脑、没有百分之百成功率压力的公司深入很多。
其次,我们有硬件,把硬件和模型做成一个平台。如果其他公司有更好的模型,能帮助我们整个技术栈,或者其中某一部分,我们非常欢迎使用。
从我们的架构看,别的公司把模型做好,是对我们有帮助,而不是直接竞争。但如果只做智能层,可能就会面对更多大厂竞争。
张君武:我在初创公司和大公司都工作过,对团队交流的问题很有感触。但初创公司总有一天也会变大,你们怎么看扩大规模中的这个问题?
Jason:早期如果能想办法减少这些障碍,是最好的。公司扩大规模,最重要的是能不能保留文化。现在我们的规模还在可以管理的范围内。
陈茜:自动驾驶给特斯拉带来的经验,比如视频、车队、仿真和策略学习,会帮助Optimus团队吗?自动驾驶中有些经验教训,是能迁移到机器人的。
Jason:很多可以迁移,比如数据基础设施,我觉得肯定能直接迁移。但自动驾驶的数据数量不是问题,机器人很本质的问题却是有没有足够数据,这是很不同的一点。其他模型层面的概念,有一部分也可以迁移。
陈茜:比如什么概念?
Jason:做自动驾驶时,模型要推理车接下来的轨迹,比如未来1秒、2秒要做什么,这是做了很多年的标准方法。
但机器人领域直到三年前左右,才有ALOHA(低成本开源双臂遥操作硬件系统)这样的论文提出,不仅预测下一步动作,还要把接下来整个1秒、2秒的动作一起预测。这类想法迁移得很好。
张君武:自动驾驶很有意思,人本来就在开车,采数据比较自然。通用机器人在数据方面,自己采第一视角数据是主要路径吗?
Jason:第一视角数据目前最容易扩大规模。我能想到唯一更容易扩大规模的,就是仿真。
不管第一视角、遥操作还是UMI(通用操作接口),都有很大的运营、人力问题。UMI(通用操作接口)和第一视角采集还需要很多设备,也要维修,很繁琐。但仿真可以把它变成算力问题,有足够算力,就能生成很多数据,获得足够智能。我觉得这是未来重要的前沿方向之一。
张君武:这是不是也有鸡生蛋、蛋生鸡的问题?真实标注数据更好,仿真生成的数据也会更好。
Jason:对,这是开放性问题,还需要很多工作。
陈茜:硅谷有很多优秀的初创公司,比如你们和Sunday Robotics,同时还有OpenAI、Meta、英伟达,我相信Anthropic也许有一天会自己做机器人。物理人工智能的市场很大,最终会是很多公司共存,还是赢家通吃,形成寡头或双寡头?初创公司为什么能超越巨头、跑出来?
Jason:我觉得会有很多赢家。物理世界的Switching cost(切换成本)很高,一个客户已经有一套很好用的机器人系统,很难换掉。所以越早做好分发渠道,帮助越大。哪些公司更早把更多机器人送到客户手里,优势就会累积放大。
但模型层的Switching cost(切换成本)很低,哪家公司出了更好的模型,就用哪家。具身最终的价值,还是给客户提供的服务。如果把这一层掌握好,不同公司做不同行业,都能做得不错。
张君武:你之前也说,模型和自己的硬件一起设计,有助于效果。如果OpenAI、Anthropic的模型用的本体和你们不同,仍然能很方便地切换模型吗?
Jason:硬件的Switching cost(切换成本)确实很高。但如果最终某个本体上最好的模型,并不是专门针对它做的那个模型,对本体公司影响也不是特别大,因为可以换模型。
比如宇树能做很多跳舞动作,但跳舞模型未必都是自己训练的。有这个平台,存活率就会高很多。
张君武:看来分发渠道和硬件设计,至少目前联系很紧密,你们选择把它掌握在自己手里。
Jason:对,从战略角度,我们认为必须自己做、自己用。
张君武:现在大语言模型领域,还是OpenAI、Anthropic等几家公司占主导。很多智能体应用公司担心,大公司做出类似的东西,自己就被替代。但硬件Switching cost(切换成本)高,可能不一定会有同样的情况。
Jason:对。分发渠道很重要,也很容易被忽略。比如Meta的Muse,Meta在人工智能上落后了一年多,但因为有分发渠道,Muse一出来就很火。即使模型落后一阵,也没关系。
陈茜:苹果也是。
Jason:对。
张君武:分发渠道就是真正被大家使用的场景。掌握了这些,会离用户、付费和商业模式更近。
Jason:对,手机就是分发渠道。现在在iPhone上做任何软件,要给苹果付费、分成,所以它都不需要自己做人工智能。
陈茜:硅谷在落地选择上也很分化。比如特斯拉、Figure和1X,很明确要做家用机器人。可能家用听起来更炫酷、估值更高,市场也更大,全世界有几十亿人口。另一派包括你们,明确先做工业、进工厂、做面向企业的落地。这两条路线会一直并行吗?
Jason:我个人觉得,先做面向企业的业务,进一家工厂远比进一个家庭容易。也要考虑安全,但最初部署时,不需要把所有东西都包装成完整产品,也不需要担心家里的隐私、小孩这些问题,可以更专注地把模型和必要的闭环做好。
做家用机器人,一开始部署就要是完整产品,有很多考量和机器人技术、具身智能本身没有太大关系。做扫地机器人时需要考虑的那些产品问题,做家用机器人同样要考虑,这会让一开始进入家庭更难。
如果把企业业务做好,说不定后面做消费者业务反而更快。模型泛化、速度等问题大同小异,但企业场景能让机器人更快进入部署环境,这对迭代很重要。
就像机器学习有训练集和测试集,做家用机器人,你就永远看不到测试集。即使租几个Airbnb房源,或者在自己家里部署,也和一个美国家庭去Best Buy买机器人、带回家的环境很不一样。家用的测试集很难,但面向企业,你知道测试集是什么。
陈茜:Dyna有一天也可能做家用机器人吗?
Jason:不好说。目前没有这个打算,因为企业市场的机会依然很多。
陈茜:做机器人,对你个人、对社会的意义是什么?
Jason:对我个人,我一直喜欢做研究。这是一个很好的平台,能把以前热爱的东西真正带到全世界,做出影响,把事情做成。
对世界来说,是提高实体生产力,减少体力劳动,让人有更多自由时间做想做的事情。现在很多国家缺人力,比如美国、日本。如果机器人能把整个工作流做好,商业价值会很大。
张君武:就是“Infinite abundance(无限富足)”,一个很大的概念。
张君武:谈未来,不管Dyna-3还是其他模型,我很好奇Tokenization(词元化)这个问题。从Transformer(变换器模型)开始,大家对很多东西进行Tokenization(词元化),这种方式对机器人真的合适吗?词语可以是一个个、不连贯的,但机器人动作很多时候是连续的,并不是离散词元。从科研角度,你对未来有什么展望?也可以聊聊Dyna-3。
Jason:Tokenization(词元化)把连续的东西离散化,肯定会丢失信息。精准度要求很高的任务,可能就没有直接预测连续动作做得好。
Dyna-3现在很难说具体会发布什么。但我觉得这是做机器人最激动人心的时刻,有很多东西可以做,我们也在不同方向探索。
陈茜:你希望Dyna-3证明什么?比如1000万小时的规模定律真的成立?
Jason:规模定律肯定很令人兴奋,但公司一直认为,模型技术只是整个技术栈的一部分。
Dyna-3可能会更关注,把刚发布的半人形机器人和模型真正部署到很多应用场景,展现ROI(投资回报率)。技术上,人的数据、后训练、强化学习、仿真,这些方向仍有突破机会。
陈茜:Dyna最开始成立时,强化学习的印记很强,慢慢地感觉已经转型了。
Jason:强化学习最重要的问题,是决定要不要做强化学习,这本身就是一个很重要的决定。
从强化学习发展历史看,最有效的场景,都是一开始说的那样:有模拟器,奖励函数非常明确。但机器人说实话没有这些属性。如果一开始就用强化学习,是还没看清问题,就先用了一个解决方案。
我们更追求从问题出发,思考解决方案,而不是有一个解决方案,不管什么问题都去套用。
陈茜:这很有意思,因为Dyna是一个很有强化学习意味的名字。一年半前采访你们时,我还不知道这层关系。后来做强化学习的稿子,看到“强化学习之父”Richard S. Sutton写过一篇关于Dyna框架的论文,才知道这是Dyna Robotics名字的来源。
Jason:这是来源之一。Richard的那篇论文,不只是讲强化学习,而是用世界模型做强化学习,和我们现在的技术路线也有相似之处。
陈茜:这些事情又串起来了。
Jason:用强化学习做机器人,没有世界模型、没有模拟器,我觉得很难。所以从技术路线也能看到,我们先把Foundation model(基础模型)、世界模型做好,再考虑要不要做强化学习。
张君武:我很喜欢你前面说的,先有问题,再找解决方案。现在最核心的问题,还是怎么帮客户创造更多价值。
Jason:或者说,我觉得预训练和数据还是最大的问题,而不是要不要做强化学习。
张君武:先把数据、预训练的基础打好,把模型泛化能力提上来。
陈茜:以上就是我们的问题了,谢谢Jason,非常期待Dyna-3。
注:部分图片来源于网络
【本期节目不构成任何投资建议】
热门跟贴