严骏驰一通电话,贾萧松五年几次转向。 作者:李秋悦 编辑:吴彤
打开网易新闻 查看精彩图片
严骏驰一通电话,贾萧松五年几次转向。 作者:李秋悦 编辑:吴彤

2021年年底,贾萧松直博上海交通大学没多久,在宿舍里接到一个电话。

电话是贾萧松的博导严骏驰打来的,问他接下来读博想研究什么?

贾萧松的回答是继续做自动驾驶轨迹预测。

两年前,贾萧松在交大致远学院读大三,参加了加州大学伯克利分校的一个暑研项目,在控制理论学者富塚城义(Masayoshi Tomizuka)团队做研究,从车辆交互与轨迹预测入门自动驾驶领域。贾萧松想继续做老本行的打算,本无可厚非。

打开网易新闻 查看精彩图片

2019年,贾萧松到UC Berkeley访学

但严骏驰建议贾萧松换一条路,理由是预测夹在感知与决策之间,上下游都受限制,不如做端到端。

彼时的贾萧松也意识到了轨迹预测研究的尴尬之处,能改进的空间很有限,更多的是小修小补。于是,他在严骏驰和上海人工智能实验室OpenDriveLab创始人李弘扬的指导下,开始研究端到端自动驾驶。

三年后,贾萧松和合作者们研究的Think2Drive在ECCV上一经发表,就引人瞩目。

当时,强化学习在复杂驾驶环境中往往需要极其昂贵的交互成本。Think2Drive让模型在低维潜在空间里模拟交互,大幅降低了策略训练成本。他们在一张NVIDIA A6000 GPU上,用三天左右的时间,就训练出能够完成CARLA Leaderboard 2.0复杂驾驶任务的策略。

此后,贾萧松又转向闭环评测、交互式生成仿真领域。

从传统模块化到端到端,从模仿学习到强化学习,再到世界模型,贾萧松的研究经历恰好穿过了自动驾驶过去几年几次重要的技术路线变化。这些研究并非由他一个人推动,也不是整个行业在同一时间完成的线性转向。但他的亲历提供了一个观察技术演进的视角:每一次转向发生时,旧方法究竟遇到了什么问题,又为什么需要下一种解法?

如今,贾萧松在复旦大学可信具身智能研究院担任助理教授,研究灵巧手与Ego数据。而自动驾驶过去几年遇到的问题,正在具身智能领域以不同形式重新出现。

以下是雷峰网左林右狸频道与贾萧松的对话,在不改变原意的基础上有所编辑:

01 端到端最重要的价值是直接优化最终目标

左林右狸频道:怎么理解当时严骏驰老师关于“研究轨迹预测会受到上下游限制”的判断?

贾萧松:当时研究轨迹预测,通常是给定过去几帧车辆和行人的坐标,预测它们未来的位置。但问题在于,很多与预测有关的信息,可能在上游就已经丢失了。比如,一个行人招了招手,表示他准备过马路;或者前车踩下刹车,刹车灯亮起,意味着它可能减速。如果上游没有提供这些信息,我作为研究轨迹预测的人,就无法利用它们来判断未来的运动轨迹。下游同样存在问题。我可能预测出每辆车未来六种可能的轨迹,但到了决策模块,最终可能只使用其中一种,因为下游也不知道该如何利用这么多种预测结果。所以,轨迹预测既受到上游信息的限制,研究成果也不一定能被下游充分利用。即使把这个模块做得再好,也未必能改善整个系统的表现。

左林右狸频道:2021年,端到端还不是行业普遍采用的方案。严骏驰和李弘扬为什么看好这条路线?你不担心做不出来吗?

贾萧松:严老师研究决策很多年,此前在IBM也有丰富的产业研究经验。当时他已经在研究预测决策一体化,而且取得了不错的效果,所以就进一步想把感知也加进来,让整个自动驾驶系统统一起来。李弘扬老师长期研究计算机视觉,也有自动驾驶方面的积累,从产业界角度思考出了端到端的必要性。两位老师都观察到,深度学习在视觉等领域的发展,本身就是一个越来越端到端的过程。所以他们觉得,既然神经网络已经表现出这么强的能力,自动驾驶也值得沿着这个方向探索。我自己当时确实没有太多顾虑。一方面,我对自动驾驶的理解还没有业界专家那么深,并没有充分意识到行业里主要采用的是规则和模块化方案。另一方面,也是初生牛犊不怕虎。本科期间我已经发表过几篇论文,所以没有特别担心博士毕业的问题,更想做一些有意思的研究。而且两位老师组织了一个很好的团队,大家每天讨论新论文、新想法。很多问题此前没有多少人研究过(21年时,全世界范围端到端也只有Wayve、Waabi、Andreas Geiger团队在成体系研究),经常能有新的发现。这种新鲜感和探索的空间,让我当时没有太多精力去担心这条路线最后能不能走通。

打开网易新闻 查看精彩图片
2023年,在和合作者将Think2Drive世界模型部署到小车

左林右狸频道:传统模块化系统的感知、预测和决策都在不断进步,为什么把几个优秀的模块组合起来,整体效果却不一定好?

贾萧松:我觉得主要有两个问题。第一个是模块之间存在信息损失。传统自动驾驶系统的设计其实很合理,先感知周围有什么,再预测其他车辆和行人会去哪里,最后决定自己怎么开。但问题是,信息在模块之间传递时可能不断丢失。比如到了轨迹预测阶段,行人的手势、前车的刹车灯等信息可能已经没有了。等到决策阶段,可能就只剩下一些车辆和行人的运动信息,这会限制整个系统的能力上限。第二个是各个模块的优化目标不一致。比如感知团队发现200米外的车辆很难检测,花了几个月把检测准确率提高了。但对城区驾驶的决策模块来说,200米外的车辆可能根本不重要,完全可以等它开近一点再检测。这样一来,感知模块的性能虽然提高了,却不一定能改善最终的驾驶表现。端到端就是希望解决这两个问题,让感知、预测和决策围绕同一个最终目标共同优化,同时减少中间的信息损失。

左林右狸频道:但你们2022年做TCP时,仍然保留了轨迹和控制两个分支。这是否意味着,端到端也不能完全抛弃中间任务?

贾萧松:当时领域里的相关模型还很少,我们尝试把只有轨迹输出和只有控制信号输出的两个分支结合起来,结果发现融合的性能出奇地好。最开始,我们比较强调中间结果的可解释性,希望知道模型检测到了什么、预测到了什么。但现在我觉得,中间任务更多是在提供监督信号,而不是真正实现了可解释。比如检测到了某辆车,不代表下游决策真的会在意它;没检测到,也不代表端到端模型内部不知道它的存在。不过,中间任务仍然很重要。因为自动驾驶的监督信号太稀疏了,大量图像、点云输入,最后可能只对应几十步的驾驶轨迹。所以不能因为做端到端,就认为应该去掉所有中间任务。这一点和特斯拉的观察相似,中间任务的点数可能不是关键,但是监督信号非常重要。基于这个思想,我在RSS 2026发表了GuidedVLA从具身角度探讨这个事情。

打开网易新闻 查看精彩图片
在OpenDriveLab研究的TCP模型架构,通过融合轨迹预测与车辆控制两个分支,提升端到端自动驾驶性能。(来源:NeurIPS 2022)

左林右狸频道:你刚才提到,端到端并不意味着完全取消中间任务。那在实际落地时,神经网络的决策还需要人工规则来约束吗?

贾萧松:我觉得端到端最重要的价值,就是直接优化最终目标。本质上强在Neural Planner,用学习的方法做决策,而不是完全依靠人工规则。但从落地角度讲,自动驾驶现在还是离不开规则。比如有些行为绝对不可接受,看到人不能直接撞上去。这件事情不能完全交给神经网络,因为神经网络总归存在不可预测性。如果借用现在大模型领域的说法,我们是不是可以把规则叫作自动驾驶的Harness?神经网络之外,仍然需要外挂一些机制。尤其从安全、保险、监管角度考虑,我觉得在未来相当长一段时间内,这些东西都是少不了的。

02 模仿学习下的数据近乎无限,也没让车开得完美

左林右狸频道:2022年前后,你做完ThinkTwice,开始认为模仿学习存在上限。是什么实验让你改变了判断?

贾萧松:当时我们在仿真环境中做闭环测试。仿真有一个很大的优势,就是可以不断生成训练数据,基本不用担心数据量不够。做ThinkTwice的时候,我们已经采集了对于CARLA 1.0这种较为简单的仿真下,自己认为几乎无限的数据,在严骏驰老师和李弘扬老提供的资源支持下也尝试训练了更大的模型,100TB硬盘+很多算力。但结果发现,随着数据和模型规模不断增加,驾驶能力并没有实现从“开得还行”到“开得完美”的飞跃,仍然会出现各种问题。这让我在22年就意识到,瓶颈可能不在神经网络结构,也不只是数据规模的问题,而是模仿学习这种训练方式本身存在局限。

左林右狸频道:但这真的能说明是模仿学习的问题吗?有没有可能只是数据质量不够好,或者模型还不够大?

贾萧松:当然,数据质量和模型规模都会影响结果。但我后来觉得,最根本的问题可能在于模仿学习的训练目标,因为它优化的是模型的行为与人类示范有多接近,而不直接是这个决策到底好不好,前者是并不是一个完美的Objective Function。举个例子,我在仿真中发现,即使增加很多数据,模型也很难把“红灯停、绿灯行”学到完美。因为它很容易找到一条更简单的规律,前车动,我就跟着动。仅靠这条规律,已经能把绝大多数样本的训练损失降得很低,模型就很难继续去优化剩下那些少数但重要的情况。它学到的是数据中的相关性,而不一定是真正的决策依据。还有一个问题是,不同的人面对同一个场景,可能会采取不同但都合理的驾驶方式。司机A这样开可以,司机B那样开也可以,但模仿学习会要求模型尽量接近每条数据中记录的动作。如果使用MSE(均方误差)这样的损失函数,模型最终倾向于拟合一个平均动作,可平均的开法不一定是合理的开法。更重要的是,模仿学习主要告诉模型什么行为是对的,却很少告诉它什么是错的,以及犯错后应该怎么纠正。比如人类驾驶数据中,很少有车辆把自己卡在路口、再设法恢复的情况。模型没有学过这些,一旦自己犯了错,就可能不知道怎么办。

左林右狸频道:模仿学习存在这些局限,为什么你认为强化学习可能让模型获得更好的驾驶能力?

贾萧松:做完ThinkTwice之后,我发现即使把模仿学习模型训练得很好,与当时一些通过强化学习训练出来的规划器相比,性能还是存在明显差距。我当时就想,强化学习训练出来的规划器,可能掌握了一些模仿学习没有学到的决策知识。那我能不能直接利用它的能力?所以后来做了DriveAdapter,尝试给已有的强化学习规划器接入感知模块,让它能够处理视觉输入。最开始发现,简单地接起来不行,但经过专门设计之后是可以的。从今天的角度看,这有点像一种早期的两阶段端到端训练:先分别训练,再结合起来。DriveAdapter只是一个初步探索,后面我还是希望继续研究端到端强化学习。

左林右狸频道:强化学习表现更好,为什么不直接从零开始训练,还需要模仿学习?

贾萧松:因为强化学习真的很难。我们自己也做过很多从零开始的强化学习实验,完全不用模仿学习预训练。但发现训练收敛非常慢,花了很大代价,也没有训练出特别特别强的能力。在CARLA的几十种场景里,我们从零能够把一些问题解决得比较好。但如果到了真实世界,要面对几百种、几千种不同的场景,我没有信心完全不依赖模仿学习,只靠从零开始的强化学习把这些能力训练出来。训练某一种特定能力,和让一个模型同时掌握大量不同能力,是完全不同的难度。怎么让几十种、几百种甚至几千种能力通过强化学习同步提高,我觉得到今天仍然是一个非常开放的问题,包括大模型领域非常火的OPD(在线策略蒸馏)也在思考类似的事情。

左林右狸频道:经历这些实验之后,你今天怎么理解模仿学习和强化学习之间的关系?

贾萧松:我觉得应该是先模仿,再强化。现在大模型领域也有类似的训练范式,先用模仿学习做预训练,再进行强化学习后训练。放到今天,这个方法论大家已经比较熟悉了。但我在2022年做的时候,这个观点还算新颖,当时的一作文章DriveAdapter有幸获得了ICCV 23 Oral Presentation模仿学习是一种非常好的训练方式,因为它能让模型快速获得基础能力。尤其是复杂任务,如果完全从零开始强化学习,训练成本可能非常高。但模仿学习训练到一定阶段,又会遇到刚才说的那些问题。这时候就需要强化学习,让模型通过试错和反馈进一步提高决策能力。如果打个比方,模仿学习是让模型从0分做到90分,强化学习再去啃剩下的10分不管是从0到90,还是从90到100,我觉得都非常重要。真正困难的仍然是怎么把强化学习规模化,让一个通用模型在大量不同任务上持续提高。

03 世界模型要能帮助提升智能能力

左林右狸频道:2023年,你为什么想到把世界模型引入自动驾驶强化学习?当时最想解决什么问题?

贾萧松:当时做完ThinkTwice,我已经意识到模仿学习存在一些局限,希望通过强化学习提高驾驶能力。但强化学习需要大量试错,比如一个场景不会开,模型可能要尝试几千、几万,甚至更多次,才有可能找到正确的驾驶方式。真实车辆肯定不能这样训练,太危险了。即使在CARLA这样的仿真环境中,一张显卡可能也只能同时运行两三个环境,效率很低。当时正好arxiv上挂出了Deepmind的Dreamerv3,是首个靠强化学习在Minecraft中挖出来钻石的算法,我作为决策学习的研究者深深被这个结果所吸引,就想着把这套算法从一个游玩的游戏,做到真正有难度、有价值的自动驾驶问题上。所以我和合作者们一起做了Think2Drive。我们的思路和DreamerV3类似,用神经网络训练一个轻量化的世界模型,让驾驶策略在里面进行大量探索,不需要每次都运行完整的传统仿真。在我们当时的实验设置下,一张显卡大概能同时运行1000到2000个隐空间环境,探索效率比传统仿真高很多。

左林右狸频道:Think2Drive没有生成真实的驾驶视频,而是选择了隐空间世界模型。不生成真实画面,怎么判断它学到的世界规律是正确的?

贾萧松:首先,隐空间模型并不意味着完全无法观察。比如Dreamer V3虽然是在隐空间中建模,但它的状态表征可以解码成图像,我们能够通过这种方式进行一些初步检查。除此之外,还可以观察强化学习训练过程中的一些信号,判断是不是世界模型本身出了问题。但更重要的是,世界模型并不是一次训练好之后,就永远不变了。我们可以先训练一个具有一定能力的世界模型,让驾驶策略在里面大量探索。然后再把训练出来的策略放到外部环境中测试,看它还会犯什么错误。如果发现世界模型没有准确预测某些情况,就把新的数据加入进来,继续更新世界模型。所以它实际上是一个交替进行的过程:训练世界模型,在世界模型中探索,再通过外部环境的反馈修正世界模型。我觉得不能因为模型能够预测未来,就认为它已经掌握了完全正确的世界规律,它也需要不断通过新的反馈来提高。

左林右狸频道:后来你们做交互式生成仿真Bench2Drive-R,为什么强调交互式视频生成?

贾萧松:普通的视频生成,是给定一个条件,一次性生成一段视频。自动驾驶不是这样工作的,车辆先往前开一段,环境要根据它的行动发生变化,再生成新的画面。车辆看到了新的情况,继续作出决策,世界模型再往下生成。所以它必须是交互式的,更像一个可以不断操作的游戏。这个观点在今天已经成为做Video Diffusion的共识,但在我们24年年中投稿时,做这个的非常少,导致审稿人普遍不能理解,为什么和生成长视频的Video Diffusion去比较是不公平的,也是没有意义的。

打开网易新闻 查看精彩图片
2024年年中,开发Bench2Drive-R时,作报告中规划的自动驾驶+世界模型路线图

左林右狸频道:Bench2Drive-R,为什么还要把行为世界模型和渲染世界模型分开?

贾萧松:我们大概在2024年初就开始探索这件事,我一直强调,世界模型不能只是不断生成像素,背后还应该维护一套世界状态和行为逻辑。我把它分成两个部分,一个叫行为世界模型,一个叫渲染世界模型。行为世界模型负责其他车辆怎么运动、交通参与者如何交互。我希望这些行为足够多样,甚至可以故意制造一些很困难的情况,考验自动驾驶模型,这个和我的老本行轨迹预测做的事情很相似。渲染世界模型则负责根据这些状态生成真实、一致的画面。为什么一定要分开?举个例子,如果世界模型只生成视频,我怎么知道两辆车到底撞没撞上?有时候两辆车距离非常近,单纯看画面,很难准确判断是否发生了碰撞。如果背后维护着车辆的位置、运动等状态,就更容易作出判断。

左林右狸频道:从Think2Drive到Bench2Drive-R,你对世界模型的理解发生了什么变化?

贾萧松:我觉得世界模型这个概念,现在确实被宽泛化了,但我认为也没有什么问题。只要是在建模和预测世界未来的变化,都可以放到这个概念下面讨论。如果按照用途划分,我觉得主要有三类。第一类是作为监督信号。模型通过预测未来,能够学到一些对理解物理世界有用的表征。比如现在的一些WAM研究,就是利用预测未来的任务,帮助模型学习世界的变化规律。第二类是作为仿真器。这里又包括两种用途,一种是像Think2Drive一样,让模型在世界模型中大量探索,进行强化学习;另一种是用于评测,把真实世界中出现过的困难案例记录下来,在世界模型中复现,再去测试新的驾驶策略。第三类是辅助推理时的决策。假设模型面对一个复杂场景,产生了几种可能的行动方案。那我是不是可以利用世界模型,分别推演这些行动可能带来的后果,再从中选择一个更好的方案?我觉得这些都是世界模型很重要的用途。所以从Think2Drive到后来的研究,我对世界模型的理解确实变得更宽了。最开始主要想解决强化学习的效率问题,后来逐渐开始思考,它怎么帮助我们评测模型,以及怎么直接帮助模型作出更好的决策。

左林右狸频道:现在世界模型仍然面临哪些瓶颈?

贾萧松:我觉得目前主要有两个瓶颈。第一个是生成结果仍然会出现幻觉,尤其是生成时间比较长的时候,画面可能变得不稳定。比如同一辆车在不同帧之间不断抖动,或者运动方式不符合真实世界。对于普通视频生成,这可能是视觉效果的问题;但如果用于自动驾驶仿真,就可能直接影响对驾驶行为的判断。第二个是计算成本太高。如果要用世界模型做强化学习,我希望同时运行上百万模拟环境。但现在很多生成式世界模型非常大,推理速度也比较慢。即使生成效果很好,算力成本也未必允许我们进行这样大规模的探索。

左林右狸频道:这些瓶颈要怎么解决?

贾萧松:技术路线方面,现在大致有基于图形学重建的方式,比如3D Gaussian Splatting(GS),也有基于视频扩散模型的生成方式。图形学的优势是比较可控,单个场景可以做到很高的质量。但这个技术路线每换一个场景,都需要重新进行大量优化,无法通过不断增加数据,让整个系统持续提高,是反scaling law的。视频生成模型的优势,是有机会随着数据规模扩大不断改善泛化能力。不过,就目前来看,它在一些具体场景上的质量,也不见得已经超过精心制作的图形学重建。所以我觉得未来应该是两者结合,而不是简单地选择其中一种。利用图形学保证可控性和基础质量,再通过生成模型提高真实感和泛化能力。

左林右狸频道:如何评价世界模型的价值?

贾萧松:过去大家可能更关心生成的视频像不像真实世界。但如果它是给自动驾驶用的,那最终还是要看它到底有没有用。比如,它能不能可靠地复现一个困难场景?能不能帮助我们发现驾驶模型的短板?能不能用于强化学习,让驾驶策略真正变得更好?如果一个世界模型生成的画面很逼真,却不能有效帮助训练、评测和决策,那我觉得它的价值还是有限的。世界模型最终要解决的,不只是能不能预测出一个看起来真实的未来,而是这个预测出来的未来,能不能真正帮助智能体提高能力。

04 模型结构不是最根本的问题

左林右狸频道:现在自动驾驶又出现了VLA、WAM等新的模型架构。你却认为神经网络结构可能已经不是最重要的瓶颈,为什么?

贾萧松:我觉得端到端自动驾驶发展到今天,至少从一些学术基准来看,瓶颈可能已经不在感知或者认知能力上,而在训练方式。现在很多VLA、WAM模型,虽然引入了更强的视觉语言能力,但在一些自动驾驶基准上,它们的表现并不一定比一个充分优化的端到端模型更好。因为在这些任务里,模型可能已经具备了足够的感知能力。比如路过一只羊,VLA可能比传统端到端模型对羊有更深入的认知,但这不一定能改善最终的驾驶表现。真正限制模型的,可能是它能不能做出正确的决策,而不是它认不认识这个东西。如果这些模型仍然主要依靠模仿学习训练,那么即使换了架构,也不一定能解决模仿学习本身的问题。所以我后来越来越觉得,与其继续在神经网络结构上做各种改进,不如把精力放在数据、预训练和后训练上。所以我和合作者们在神经网络架构方面发文章都会比较克制,因为觉得在电路图上雕花就不是一个特别有意义、有意思的事情,并没有在解决真问题。真正有趣的是比如怎么选择真正有价值的数据,怎么beyond暴力模仿学习,怎么通过强化学习让模型完成更复杂、更长的探索,怎么设计更有效的奖励信号,以及让模型能同时强化学习成千上万个技能而不是此消彼长。

左林右狸频道:但具身智能现在仍然在大量采集示范数据、Scaling模仿学习。这是不是意味着,它也会遇到自动驾驶曾经的瓶颈?

贾萧松:我觉得会遇到类似的问题,但两个领域现在所处的阶段不太一样。对于自动驾驶,尤其是一些拥有大规模车队的企业来说,已经积累了海量真实驾驶数据。问题不完全是数据不够,而是怎么从里面找到真正有价值的数据。比如大量简单、重复的驾驶数据,可能已经能够让模型把绝大多数正常场景学得很好。但那些少见的困难场景,才可能真正影响模型的能力上限。所以数据配比很重要,不能让某一类简单或者重复的数据主导整个训练过程。具身智能现在还没有发展到这个阶段。机器人的真实操作数据仍然很难采集,所以大家先通过扩大示范数据,让模型获得更多基本能力,我觉得这完全有必要。但我不认为只要一直扩大模仿学习的数据和模型规模,就能解决所有问题。因为模仿学习的根本局限不会因为数据多了就自动消失。比如不同示范之间可能存在冲突,模型可能学到平均行为,也可能没有充分学会错误发生后应该怎样纠正。所以我觉得,具身智能需要Scaling模仿学习,但发展到一定阶段,也可能遇到自动驾驶曾经遇到的瓶颈。 到那个时候,问题就不只是怎么获取更多数据,而是怎么让模型真正提高决策能力。

左林右狸频道:如果模仿学习最终都会遇到瓶颈,那自动驾驶和具身智能在强化学习上,又面临哪些相似的问题?

贾萧松:我觉得这两个领域的发展历程其实挺有意思的。我们当时研究端到端自动驾驶,是模仿学习先发展起来,后来发现光靠模仿学习不够,就开始研究强化学习。机器人领域有些不一样。机器人控制很早就在研究强化学习,后来随着ALOHA(斯坦福大学等团队提出的开源低成本双臂机器人系统)这些工作的出现,大家发现,原来通过人类示范,可以比较快地训练出一些复杂的操作能力,模仿学习又发展起来了。但最后我觉得两者会逐渐走向类似的训练范式,就是先模仿,再强化。因为模仿学习能够让模型快速获得基本能力,而强化学习可以在这个基础上,通过试错和反馈进一步提高。不过,强化学习真正困难的地方,不是训练某一个具体技能,过拟合一个技能、一个场景是非常简单的,难点在于怎么让一个通用模型的几十种、几百种,甚至几千种能力都能通过强化学习持续提高。这个问题到今天仍然没有彻底解决。

左林右狸频道:具身智能当前还缺乏足够的真实操作数据。但人类视频终究不是机器人自己的操作经验。机器人未来真正的数据来源,会不会是它进入现实世界之后产生的交互数据?

贾萧松:我觉得这个问题非常前沿。特斯拉之所以被认为有很强的数据优势,一个重要原因是它已经进入物理世界,真正投入使用,每天都有大量数据回来。我觉得,当机器人真正能够进入现实生活时,这时候产生的数据,才可能是真正Scaling的开始。现在很多工作,都是为了获得第一桶金,让机器人先具备进入真实世界的能力。自动驾驶天然有人类司机帮助采集数据,不需要先训练出一个特别好的自动驾驶系统。但具身智能不一样,现在还没有那么多机器人每天在真实世界执行复杂任务,所以采集机器人数据往往需要专门找人遥操作。

打开网易新闻 查看精彩图片
复旦大学可信具身智能研究院研发的毫米级Ego手物交互数据采集系统在复旦大学可信具身智能研究院,我选择Ego作为研究的重点的一个原因也在于它让具身智能的数据采集变得有点像自动驾驶,人类本来就在生活中执行任务,可以顺手采集数据。当然另一个原因在于我选择去研究灵巧手,就像是选择了端到端而不是模块化研究一样,take long shot,直接跳过夹爪的研究,去研究终极形态。当时发现的难点就在于,灵巧手的遥操难度是远大于夹爪的,尤其是真正的灵巧操作(而不是把灵巧手当夹爪用),所以去研究Ego数据。我现在做Ego和灵巧手,发现最后又走到了和自动驾驶很相似的问题上。数据Scaling之后,怎么挑出好的数据训练策略?怎么通过强化学习进一步提高?怎么做世界模型?这些问题本质上是相通的

左林右狸频道:既然如此,自动驾驶已经探索过的强化学习和世界模型方法,能不能迁移到具身领域?

贾萧松:方法论有相通之处,但具身智能比自动驾驶困难得多。自动驾驶的物理规律相对容易建模,主要是一堆物体在二维平面上运动。但机器人操作涉及很多复杂的力、摩擦、柔性物体和接触。比如机器人抓起一个水瓶,手和水瓶接触那一刻的摩擦力,就可能影响物体下一时刻的状态。这些事情很难准确模拟。而且世界模型本身还有幻觉、生成速度慢、计算代价高等问题。如果要通过强化学习大量试错,就需要同时运行很多环境。世界模型太大、太慢,训练效率就会受到限制。所以自动驾驶的一些思路可以借鉴,但不能直接认为它们已经解决了具身智能的问题。

和贾萧松的对话,会听到很多技术热词,端到端、强化学习、世界模型。但贾萧松向我们讲述的,并不是他多么有科学前瞻性,反而更多的是在谈每次技术转向发生时,他都会碰到一堵墙。贾萧松并不回避自己曾经选择的技术路线存在什么问题。做轨迹预测时,他承认模块优化的局限;做端到端后,他发现模仿学习无法解决所有问题;研究世界模型,他也不认为生成逼真的视频就意味着掌握了世界规律。如今,贾萧松在复旦大学可信具身智能研究院开始研究灵巧手与Ego数据。贾萧松不是一个特别留恋已有成绩的人。比起证明自己过去的判断有多正确,他更在意,眼前还有什么问题没有解决。这种性格也让贾萧松的研究经历显得有些特别。他不是每次都能提前看清下一条路通向哪里,但当已有的方法难以继续向前,他愿意放下熟悉的东西,重新寻找答案。哪怕下一条路更难,也没有太多思想包袱。五年前,严骏驰的一通电话,让刚读博的贾萧松放下了熟悉的轨迹预测,转向当时尚未成为主流的端到端自动驾驶。五年后,他又从已经积累了不少成果的自动驾驶,走向更加复杂的灵巧操作。从一辆车到一双手,研究的问题越来越难,但贾萧松身上似乎还保留着当年那股“初生牛犊不怕虎”的劲头。他不一定知道下一条路能走多远,但仍然愿意去试一试。

欢迎添加作者李秋悦的微信:lqy4605,最近关注世界模型、物理AI~

雷峰网 雷峰网

我们欢迎所有能为左林右狸提供新观点新角度新信息的群友,加入我们的实名制社群,与左林右狸一路同行。管理员微信号:leiphonelinli,备注公司-职位-称呼通过更快。

打开网易新闻 查看精彩图片

相关视频

打开网易新闻 查看精彩图片

Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人

打开网易新闻 查看精彩图片

光象科技吕尧:世界模型不能只做预测,要读懂动作因果

打开网易新闻 查看精彩图片

具脑磐石朱森华:仅有海量数据堆不出像人一样聪明的机器人|世界模型50人