当模型公司具备驾驶能力,智驾公司的技术壁垒还剩下多少?
作者 | 谷 雨
编辑 | 田 哲
今年10月底,在世界智能网联汽车大会上,元戎启行CEO周光谈到大模型对自动驾驶行业的冲击时,称未来几年,真正能够实现完全无人驾驶的,可能不是传统自动驾驶公司,而是OpenAI或DeepSeek。
他甚至直言,如果你不能变成一家大模型公司,我认为你是没有机会的。
周光的焦虑并非没有来由。两个月前,GPT-6 Astra在一项独立自动驾驶测试中,成为唯一独立跑完全程的通用大模型。它用了5分22秒,以极慢的速度完成134.7米的驾驶。尽管距离真正上路还有很大差距,但Astra此前并没有接受过自动驾驶专项训练。
通用大模型正在向自动驾驶的技术边界靠近,当模型公司开始具备驾驶能力,智驾公司的技术壁垒还剩下多少?
PART 1
通用大模型,已经能开车了吗?
GPT-6 Astra的自动驾驶初体验是在一项名为DrivingBench的独立研究中,参与的模型除了GPT-6 Astra,也包括Claude Fable 5.1、Grok 4.6及GPT-5.6 Sol等主流大模型。
测试共三轮,除Astra在第二轮完成全程驾驶外,其余模型均以失败告终。
但需要指出的是,这次驾驶测试是通过Comma Four连接大模型与车辆,大模型的任务是看路况,下指令,真正对车辆进行操作的则是Openpilot。
Openpilot是comma.ai的开源辅助驾驶软件,可独立实现车道居中和跟车等L2级辅助驾驶能力,支持多款车型。在本次测试中,Openpilot是驾驶车辆的操作层,大模型则是根据实时感知进行规划决策并下达指令的智能大脑。
测试过程还有一个细节。最初,Astra拒绝驾驶真实车辆,理由是安全考虑。研究人员将工具名称改为DrivingBench Sandbox后,测试才得以继续。
第一轮驾驶中,Astra行驶到49%时失败,安全员介入。随后,模型对失败原因进行了分析和复盘,调整策略后,在第二轮完成了全程驾驶。
不过,完成一次驾驶测试,并不意味着通用大模型已经具备真正的自动驾驶能力。
首先是时延。在整个测试过程中,Openpilot与车辆的通信频率达到每秒百次,而Astra每五六秒才观察一次路况,每分钟仅下达约6次指令。
对大语言模型来说,这是正常的时延,但在物理世界中,10秒的反应速度显然是无法接受的。测试中,为保证安全,实验设计为车辆以低速运行,但在真实驾驶环境中,即便只是60公里的时速,10秒之内,车辆将驶出约166米,其间车辆没有决策,在瞬息万变的真实路况中是不可想像的。
其次是成本。Astra第二轮测试耗时5分多钟,发送24次指令,共消耗约660万Token。按照测试时的API价格计算,成本约为7.74美元,折算下来每公里约58美元。
GPT-6 Astra并非孤立案例。Google DeepMind和NVIDIA也在尝试将基础模型能力引入自动驾驶,而且已经有了研发成果。
2024年10月,Waymo发布了名为EMMA的端到端多模态自动驾驶研究模型。它以Google的Gemini为基础,直接处理车辆传感器数据,生成未来行驶轨迹,同时完成目标检测、道路结构理解等任务。
今年2月,Waymo又推出Waymo World Model,将Google DeepMind的通用世界模型Genie 3适配到自动驾驶仿真中。它能够生成逼真的道路环境和罕见交通事件,包括车辆逆行、极端天气等场景,为自动驾驶系统提供大规模测试环境。
英伟达则在今年1月发布自动驾驶基础模型Alpamayo,试图将视觉理解、因果推理和驾驶轨迹生成整合到一个模型中。随后推出的Alpamayo 2 Super拥有340亿参数,可以用于驾驶场景理解、轨迹预测、自动标注和小模型训练。
11月10日,英伟达又公布了Alpamayo 2 Edge。这是一款面向车载部署的20亿参数模型,通过自适应推理机制减少不必要的计算,在复杂场景中进行更深入的推理,在普通驾驶场景中则尽量降低推理开销。
目前,自动驾驶的重要技术方向包括视觉语言动作模型(VLA)和世界模型(WM)。前者主要是将视觉输入、语言理解和行动决策整合到一个模型中,更强调将实时的视觉感知和语言指令转化为决策行动,WM则是让AI建立一个关于现实世界如何运行的内部模型,并预测未来可能发生什么,更强调理解并预测世界。
这与传统自动驾驶系统先针对驾驶场景训练感知、预测和规划模型的方式有所不同。通用模型的优势在于更广泛的知识和泛化能力,可能帮助车辆理解一些过去难以通过规则或专用模型处理的复杂场景。
当然,通用模型对数字世界的理解能力,并不意味着它已经充分理解物理世界。要将这种能力迁移到驾驶场景,还需要大量真实道路数据,以及针对物理环境的训练和验证。
PART 2
大模型冲击智驾,行业开始分化
通用大模型进入自动驾驶领域,智驾公司的态度已经发生变化。
在周光看来,大模型最重要的优势,是能够理解复杂场景背后的因果关系。例如,车辆看到行人过马路,可以根据其运动轨迹减速避让;但如果行人突然掉落手机,系统还需要预判对方可能折返捡拾。相比识别眼前发生了什么,理解接下来可能发生什么,对自动驾驶提出了更高要求。
卓驭科技CEO沈劭劼则判断,未来两年全球辅助驾驶行业将全面拥抱基础模型,告别按照垂直领域和地域分别交付功能的时代。他甚至将这一判断称为“生存判断”:未来能够存活下来的智驾公司,都将转型为移动物理AI公司。
Momenta CEO曹旭东则更关注大模型带来的跨场景复用能力。他认为,经过海量数据预训练的模型,可以将不同垂直场景的经验汇总起来,让一个模型服务更多应用,从而降低各个业务领域的研发成本。目前,Momenta已经尝试将世界模型应用于量产乘用车、Robotaxi、Robotruck和Robovan等不同场景。
不过,行业对大模型的拥抱,并不意味着对所有技术路线都没有疑虑。
华为引望CEO靳玉志就曾公开质疑VLA路线。他认为,将语言大模型中的知识转化为驾驶动作,看似是一条捷径,但未必能够实现真正的自动驾驶。对于云端大模型蒸馏为车端小模型的做法,他也担心模型能力损失和幻觉问题,毕竟驾驶场景对安全性的要求远高于普通AI应用。
靳玉志的提出了一个问题:通用大模型即便具备足够强的理解和推理能力,距离真正控制一辆汽车,仍然存在不小的工程门槛。
真实物理世界中驾驶对延迟的容错率更低,OpenAI如果真正要下场做自动驾驶,除了采集数据,开发硬件,也还需要解决模型在时延和成本上的问题。
而这可能也正是目前自动驾驶公司的机会。业界认为,未来一种方案可能是通用大模型收敛所有能力。另一种方案则是通用模型与专用模型分工,通用模型负责更泛化的理解,专用模型负责驾驶。
在目前的技术条件下,后者是更具成本优势和可靠的方案。但未来如何发展,取决于通用大模型降低时延和成本的能力。
但无论如何,通用模型能力的泛化,无疑将加速自动驾驶行业的发展。
热门跟贴