![](http://dingyue.ws.126.net/2024/0715/2e3804d3j00sgo1fe00bmd200u000jcg00g200ac.jpg)
“理想的端到端架构不乏先进性,首次将VLM部署到Orin-X芯片,那么VLM是加速端到端上车的妙招吗?”
作者 | 郭瑞婵
编辑 | 李雨晨
7月15日,理想汽车正式向AD Max用户全量推送无图NOA,成为继华为系之后第二家完成全量推送的车企。这次推送将覆盖理想的5个车型、超过24万用户。
无图NOA有了着落,给理想以及理想的用户乃至投资者吃下了一颗定心丸。
在此前的智能驾驶发布会上,理想发布了正在研发中的端到端+VLM(视觉语言模型)+世界模型的第三代技术架构。
相比现有的端到端技术路线,理想的亮点在于提出了“双系统”的理念,首次将VLM部署到Orin-X芯片,并选择了更为激进的目标,即One Model端到端。
去年下半年,理想开始在团队内部孵化并启动预研端到端+VLM技术架构。理想智能驾驶副总裁朗咸朋表示,目前该技术架构已经完成模型的原型验证和实车部署,“实际上车效果超过了我们的预期。”
不久前,CEO李想在重庆论坛上透露,理想的端到端+VLM技术架构最早会在今年年底,最晚明年年初推出。这是个颇为激进的提法。
发布会之后,雷峰网《新智驾》与一些智驾圈的从业者进行了交流,从他们的角度对理想的端到端+VLM技术架构进行评价。
One Model有可能明年初就上车?
自动驾驶端到端的热潮由特斯拉掀起,FSD V12所表现的超高能力上限,让国内的自动驾驶玩家看到了确定性,形成了新一轮的竞争中心。
在智驾自研上布局较晚的理想,也大力投入端到端。在无图NOA的基础上,理想正在部署第三代架构——基于One Model端到端模型、VLM和世界模型的全新自动驾驶技术架构。
理想的第三代架构参考了丹尼尔·卡尼曼的《思考,快与慢》,也分成了系统1和系统2来模拟人类的驾驶行为,两个一快一慢的系统各占用一块英伟达Orin-X芯片。
系统1,即快系统,由One Model端到端大模型构成——感知与规划共同整合成一个大模型,输入传感器的信息后,直接就输出行驶轨迹,完全由数据驱动,能够应付95%的驾驶场景。
![](http://dingyue.ws.126.net/2024/0715/00072a49j00sgo1ff0071d200u000gog00it00ag.jpg)
从目前业内披露的信息来看,理想系统1的One Model端到端架构相当激进。
以华为与小鹏为例,这两家的端到端架构还主要划分为两大块,分别是感知大模型与规控大模型,还不是理想宣称的“一步到位”。
由于各家对于“端到端”的理解与定义不尽相同,不同玩家展出的“端到端”模型都有所区别。
根据辰韬资本发布的《端到端自动驾驶行业研究报告》,端到端的核心定义是感知信息无损耗传递,可以实现自动驾驶系统的全局优化。
从传统自动驾驶模型向端到端演进,将经历四个阶段:感知“端到端”、决策规划模型化、模块化端到端、 以及One Model端到端。
目前,业内大多数玩家通过“BEV+transformer”架构已经完成了感知“端到端”,正在努力实现决策规划模型化。
在决策规划模型化阶段,基于感知“端到端”,从预测到决策到规划的功能模块被集成到同一个神经网络当中,用深度学习取代了Rule-based,能够提升决策规划应对复杂场景的上限。
但在这个阶段,从感知到决策规划的接口信息还需要人为定义,感知信息仍有损耗,且两大模型是独立训练而成,还不是真正意义上的“端到端”。
直到进入第三个阶段,即模块化端到端,才能称作“端到端”。在这个阶段,虽然还分为感知与规控两大部分,但感知与规控之间的接口已经不再基于人为定义,保证了信息的完整性。
此外,两个模块之间通过梯度传导的方式进行整体的训练,能实现全局优化的效果。
《报告》认为,目前已经或者接近量产的方案还停留在决策规划模型化阶段,距离模块化端到端或One Model端到端自动驾驶量产落地还有距离,预计模块化端到端将于2025年开始上车。
尽管各家的口号都喊得响亮,但实际上要走向第二个阶段都不容易。
某智驾公司创始人何扬告诉《雷峰网》新智驾,规控纯“端到端”(即决策规划模型化)不现实,如果发生了错误,难以确保要采多少数据才能把这个错误给修正回来,研发迭代和OTA量产都没有保证,因此必须要用规则来为规控“端到端”兜底。
蔚来智能驾驶研发副总裁任少卿也曾在《深网》的采访中表态,到今天来说,业内已经完成规控模型化的玩家都寥寥无几。
任少卿认为,做端到端大模型的前提是智驾各功能模块都已经完成模型化,并且具有足够性能与效率的工程体系支撑,没办法模型化,是因为工程体系还支撑不了这件事,比如需要有快速训练一个模型并快速验证的能力。
“你得有一些基本的能力之后,(端到端大模型)这玩意才有用,否则它是个毒药。”
因此,蔚来采取的是渐进式端到端路线,逐一完成模块的“端到端”。7月11日,蔚来发布了“端到端”AEB,宣称“端到端”的应用使得AEB的场景覆盖率提升5倍,同时误报率几乎没有增加。
据理想官方介绍,理想现在的无图NOA已经把感知和规划各自整合成一个模型,也就是说,理想现阶段已经完成了决策规划的模型化。
而理想最晚要在明年年初实现最后的One Model端到端,这个目标已经超越了业内的整体进度。
算法、算力与数据,是自动驾驶的三大基础。而自动驾驶端到端的数据驱动特质,对算力、数据等基建提出了更高的要求。与特斯拉为“端到端”在算力、数据方面投入的资源相比,国内目前仍有较大差距。
算力层面,根据“汽车之心”统计,特斯拉的DOJO智算中心,预计到2024年10月,总算力将达到10万PFLOPS,相当于约30万块英伟达A100的算力总和。目前,理想的算力储备为2400PFLOPS,这个数值在国内已属于头部。
数据层面的差距也十分凸显。何扬向雷峰网《新智驾》提到,特斯拉每天在线跑的车的数量有200万辆,国内难以望其项背。
某智驾公司高管也曾向雷峰网《新智驾》表示,特斯拉从早年做L2的功能,到高速领航,开始推出Learning-based的规控,并以之为基础做端到端,正好是在它的保有量大概达到百万辆的时候。
“只有当你有这么大规模的数据量以后,才能用相应的方法,当你没那么多量的时候,方法根本用不起来。”
位居新势力榜单榜首的理想,在这方面与国内同行相比具有不小优势。
截至今年6月,理想的车辆保有量已经超过80万台。在可观的保有量里,理想筛选出了只占3%的达到专车司机标准的用户,把这些用户的数据输入到模型中,目前端到端模型已经学习了超过100万公里的数据,到年底可能超过500万公里。
算力与数据均无法媲美特斯拉,国内的端到端玩家选择开辟与特斯拉不完全相同的路线。
VLM是加速端到端上车的妙招吗?
理想的技术路线,是在One Model端到端之外,再加一个基于VLM的系统2提供辅助,配合系统1处理余下的5%的特殊场景。
VLM是LLM(即大语言模型)的进阶版,除了处理文本,VLM还能处理视觉输入,认识所在的场景,此前在具身智能领域已有较多探索。
理想是国内第一家公开将VLM这个概念引入自动驾驶的车企。但实际上,VLM在自动驾驶领域的应用可以追溯得更早。
今年5月获得10.5亿美元融资的英国科技公司Wayve,在23年9月年就发布了基于VLAM的LINGO系列的第一个模型,将自然语言引入了自动驾驶,让自动驾驶系统解释自己的决策逻辑,提高了模型的可解释性。
“大语言模型收集语料,通过预训练拥有了隐性的知识,包含了常识性的东西,具备一定的思考和退避能力。”
某车企智驾模块负责人徐智告诉雷峰网《新智驾》,VLM所具有的这些显性优势,理论上能帮助解决长尾问题,这也是为什么业内要尝试把大语言模型引入自动驾驶,甚至提出要用大语言模型替代传统的规控算法。
今年5月,小鹏声称已经量产的端到端大模型实际上也运用了大语言模型。小鹏的端到端由感知神经网络XNet、规控大模型XPlanner、AI大语言模型XBrain三部分组成。其中,大语言模型XBrain能够提供系统处理复杂甚至未知场景的泛化处理能力。
理想方面表示,基于VLM的系统2能够提供复杂环境的理解能力、读懂导航地图的能力以及交通规则的理解能力。
比如当系统2识别到坑洼不平的路面,或者光线较差的道路环境,会对驾驶员和系统一发出提醒,并适当减速。
系统2还能理解潮汐车道、公交车道等交通运行规则,知道在什么时间开哪条车道,对系统一作指导和建议。通过读取导航信息,系统二还能判定系统一是否有走错路,并实时规划新的路径。
朗咸朋表示,“系统2的角色相当于我们的副驾永远坐了一个驾校的教练,这个教练也会时时刻刻监督你的行为,当你开错道或者需要帮助的时候,它会主动提供一些建议,让你更好地开这个车。”
不过,从“纸上谈兵”迈入量产,现实非常“骨感”。车端算力有限,VLM这类动辄10亿参数量以上的大模型难以在端侧部署,是落地最显性的难题。
理想是第一家将VLM部署到Orin-X芯片的企业。理想的VLM参数量达到22亿,为了把这样一个大模型部署在车端芯片,理想做了许多尝试并与英伟达共同合作,最终将推理性能从4秒降到了0.3秒。
![](http://dingyue.ws.126.net/2024/0715/a6f361bej00sgo1fg003rd200u000gvg00it00ak.jpg)
不止一位自动驾驶业者认为,理想对于VLM模型在车端芯片上运行的时延问题,优化得比想象中要更好。
“学术界一直有对VLM进行探索,在工程化上,理想能够把时延从4秒压缩到0.3秒挺令人震惊,这意味着VLM已经开始具备实用性了。”徐智表示。
但0.3秒的时延,也表示理想的VLM只能扮演一个非实时的监督者,提供辅助。如要承担系统1这样的主线任务,时延要达到30~50毫秒级别才算合格。
视觉算法工程师梅乐表示,理想的系统2由于时延的问题实际上无法处理突然发生的Corner Case,VLM的作用主要还是在规划层面。
“实时的感知和规划会丢掉更多的历史信息,但是VLM跑得比较慢,可以把更长的历史信息积累下来,可以给出更多关于场景的信息,帮助规划收敛到一条更合适的路线。”
据介绍,理想的VLM采用流式视觉编码器,相比于大部分的单帧VLM来说,可以缓存更长的视觉时序。同时,理想还设计了一个记忆模块,用来缓存多帧历史信息,更好地来执行超长时序的推理问题,解决超长时序的推理时延。
![](http://dingyue.ws.126.net/2024/0715/9197cbecj00sgo1fh0073d200u000gvg00it00ak.jpg)
理想基于VLM的系统2,相当于给系统1上了一个“外挂”。
梅乐认为,“端到端大模型上车,还有很长的路要走,如果优化的效果没有达到一定程度,车企是不敢贸然上车的,这时候有个外挂系统,起码让车企的信心更足一点,能加速端到端更快上车,是挺好的尝试。”
理想的双系统技术架构,是否会在业内掀起一波跟风潮?
梅乐认为,“VLM能起到作用是无疑的,但是业界真正关注的是,VLM花掉的算力和所实现的功能之间的投入收益比,这也是各家要不要跟进的一个决定性因素。”
另一方面是,“特斯拉的路径已经证明了,好的司机是不需要教练的。”
VLM的赋能,最终能为理想的端到端提供多大的帮助,在未正式量产前还难以判定。
徐智最近在研究VLM模型在机器人领域的应用。他表示,用VLM来控制机械臂,从目前的研究来看,即便是针对专门的简单场景,如执行把物品放在桌子上的指令,若经过VLA、模仿学习的优化后,机械臂执行任务的成功率是80%,若没有经过优化,成功率只有30%不到。
“这个概率对于自动驾驶来说是无法接受的,现阶段就把VLM用起来其实难度挺大的。”
目前来看,端到端的技术路线尚未收敛,理想的双系统架构是其中一项不乏创新性的探索。
过去,在蔚小理三家中,理想对自动驾驶的投入相对保守。去年理想开始大力扩招并追赶进度,今年一季度研发投入达30亿元,同比增长64.6%,理想正在以更积极的姿态加入这场竞争中。
年轻人会为小鹏的MONA买单吗?
争议十多年的「双目视觉」路线,为什么一直没有存在感?
热门跟贴