更深刻了解汽车产业变革
出品: 电动星球
作者:毓肥
如果你的车可以重新渲染它看到的整个现实世界,而且你可以随时在车里面点击、放大、拖拽这个世界的每一部分,是一种什么感受?
这个周末,特斯拉 Self Driving 全新大版本 V15 正式发布。
很多 early acess 用户心情稳定地下载更新,重启车机,然后彻底疯狂,并且这种情绪迅速蔓延到了全球互联网。
因为特斯拉的全新功能 Tesla Reality View,伴随着 V15 同步上线。
而它的功能很简单,把这台车实时感知到的物理世界,同步渲染成你可以任意拖拽滑动放大缩小的,带有箭头、方向、定位等等信息的生成式虚拟世界!
下面这个视频来自 Sawyer Merrit,可以看到 SD 实时渲染的世界,和转向灯影像几乎完全一致。
更炸裂的是马斯克的凡尔赛:
「 这是用了一个 AI4 TRIP 加速器的一半算力,实时生成的 AI 视频(没有使用任何游戏引擎!)。好好想想这意味着什么…… 」
背景知识:一套 AI4 上面有 6 个 TRIP 加速器,而这套渲染只用了其中一个的一半。
「GTA 6 的现实世界模式刚刚在特斯拉上发布了」,特斯拉 AI 工程负责人 Phil Duan 则这样形容他听到的反馈。
「实时能做得这么好,遥遥领先」,这是国内某智驾系统负责人,今早向电动星球分享的感叹。
可以说刚刚过去的上午,特斯拉用一次更新彻底颠覆了最近全球智能驾驶领域,甚至具身智能领域的氛围。
FSD V15 究竟怎么实现如此惊艳的视觉效果?它对于特斯拉的具身蓝图有何意义?
今天迅速结合全球网友的观点,简单总结一下。
最强 SR?
严格意义上, Tesla Reality View 已经在显示效果上,拉开传统SR(模拟现实)不止一个身位了。
核心区别,就是特斯拉真正实现了「view」,纵览真实世界的观感、视角。
举个例子,左右转。
传统车机的智驾 SR,包括 V14 之前的特斯拉,都只是淡雅的白底+模型,然后车子拉轨迹线,道路拉边缘线,物体模型用查表贴资产的方式,查询库里面物体 A 应该轿车模型,物体 B 用锥桶,然后打在屏幕上。
而 Tesla Reality View 可以在一个真正的俯瞰立体视角内,把车辆和物理世界的交互状态、轨迹线在真实世界渲染上的变动呈现出来。
哪怕是同样一条路,开着上帝视角走过去,对驾驶者的信心、掌控感完全不同。
并且伴随着 Reality View 的更新,特斯拉终于补全了 360 环视功能——并且一步到位,补全了 Z 轴。同样的自由拖拽,白板视角和真实渲染就像是从黑白电视直接升级到 OLED。
有了物理世界的事实渲染之后,同样补全的,还有自动泊车全链路的可视化。
更重要的是, Tesla Reality View 在功能上并不与 SD 状态强绑定,不需要开启 SD,也可以使用——比如上图的停车场状态下,Sawyer Merritt 并未开启 SD。
那问题来了,这么酷炫的 Reality View,HW3 能不能用?
目前特斯拉和马斯克都没有咬死「不能用」,而且特斯拉 AI 负责人 Ashok 反复强调 Reality View 的低硬件占用,HW3 用户也许可能大概依然有一丝机会 。
How?
怎么做到的?这可能是每一位收到 V15 更新的车主,在感叹完之后发出的疑问。
我们回到 SD V15 的更新日志,篇幅原因我们只摘录前面两句:
「FSD、Robotaxi 和 Optimus 共享升级版视觉编码器,通过数百万个互联网视频进行训练,提高了泛化能力和数据效率,使关键干预率提高了 25 倍(可以简单理解为接管率降低了 25 倍)。」
「引入了 Tesla Reality View,将所有显式模型信号替换为一个端到端的可视化,从而减少了总计算量。」
V15 引发的全球技术狂欢,就在于这两句话。
先回到 2025 年 10 月 24 日,特斯拉 AI 负责人 Ashok 在个人 X 上更新了博客文章:「Tesla's approach to Autonomy 特斯拉的自动驾驶方法论」。
这文章很长,我们还是只选择一段:「 可解释性和安全性保证 」。
里面 Ashok 提到一件事:高斯泼溅。
高斯泼溅是近年来很流行的一种「用数学方式呈现立体视觉」的技术手段。传统的 3D 高斯泼溅广泛应用于计算机视觉领域,但因为推理阶段对于算力要求很高,所以延迟历来不适用于辅助驾驶领域。
但特斯拉换了种表达方式。
Ashok 在一年前的文章里面提到,特斯拉使用了「生成式高斯泼溅」,可以简单理解为,将传统管线下可能超过几十分钟才能跑完的 3D 高斯泼溅,转化为直接接收摄像头数据的高斯泼溅模型。
当然 Ashok 表达的只是冰山一角,但最终,特斯拉的生成式高斯泼溅可以实现 220 毫秒的全链路延迟,而这已经是去年 10 月的成果了。
尽管 220 毫秒并不是车规级辅助驾驶的延迟,但生成式高斯泼溅也并不需要参与智能驾驶的决策,作为一个可视化产品,0.2 秒已经基本满足驾驶者对于车机显示的需求。
更关键的是,这样做并未显著占用 AI4 芯片算力。
不过,也正是还有着相对肉眼可见的延迟,所以开着 FSD 的时候,再酷炫也一定不要只盯着屏幕看,12 月北美推送的量产版,也依然会有「supervised 受监督」的前缀。
新的涌现
但我们还有一句话没聊。
V15 的更新日志第一句话里面提到, FSD、Robotaxi 和 Optimus 共享升级版视觉编码器。
虽然 13 年前马斯克就说「汽车是轮子上的计算机」,五年前他也说「汽车是带轮子的机器人」,但从今年开始,马斯克的具身网络才算正式互通。
9 月份 Cybercab 正式落地运营,特斯拉的 AI4 芯片已经同时运行在乘用车/Robotaxi/人形机器人三大业务板块,接下来特斯拉要做的,是软件基座的拉通。
视觉编码器在云端做预训练的权重复用,这个对大模型来说已经不是难题了,比如小米的 MiMo-Embodied 就可以同时跑自动驾驶和具身智能的基准平分。
难的是在量产端复用。
特斯拉在更新日志中提到,V15 通过「数百万个互联网视频」进行训练,提高了泛化能力和数据效率。
这意味着同样的训练语料,正在同时成为 FSD 和 Optimus 的成长养分。而类似的操作,特斯拉很早之前就做了更多。
2025 年 6 月,特斯拉整合了 FSD 和 Optimus 部门,交由 Ashok 统一负责。
2025 年夏天,Grok 大模型上车,同时,马斯克表示 Grok 已经内置在 Optimus 机器人「大脑」中。
到了 2025 年 10 月的 ICCV 2025 上,Ashok 表示, FSD 的神经世界模拟器(Neural World Simulator)不是传统手写物理引擎,而是从海量真实视频中学习物理规律的生成式世界模型,它可以批量生成极端对抗场景,用来做闭环测试与强化学习训练。
并且,同一套世界模拟器与端到端架构,正在无缝迁移给 Optimus。
到了今年 4 月的 FSD V14.3,特斯拉用 MLIR (多层核心表示)重写了 FSD 的编译器,让全链路延迟降低了 20%。
MLIR 是谷歌开源的一套编译器框架,创始人是 Chris Lattner——他也曾经是 Autopilot 部门负责人。
组织重构-大模型复用-重写编译器-云端视频编码器复用,再加上早已统一的特斯拉自研芯片,这就是特斯拉目前为止建立的具身智能架构。
车机屏幕上的特斯拉版「GTA 6」,是这套架构涌现出的全新潜力里面,一个充满想象力的分支。
(完)
热门跟贴