得益于 AI 技术的突破，未来，一切可移动的物体都将是自主的。从自动驾驶汽车到无人驾驶出租车，从“最后一公里”的送货车到远程卡车，都是如此。

所有这些自动驾驶车辆都依赖于 AI 模型，来感知和了解我们的物理世界。但我们的物理世界非常复杂，因此需要大量驾驶数据的训练和仿真测试，以确保自动驾驶车辆能在现实世界中正常运行。

在最近结束的 SIGGRAPH 2024 大会上，NVIDIA 高级工程项目经理 Hai Loc Lu 通过一段 20 分钟的讲解，演示了如何通过NVIDIA Omniverse扩展测试场景，协助自动驾驶汽车开发者在车辆上路前攻克多重挑战。

所有 Omniverse 扩展的基础是被称为 OpenUSD 的 Universal Scene Description（USD）。USD 是一个功能强大的交换平台，具有高度可扩展的属性，虚拟世界就是在其上构建的。依赖于 USD 的高度可扩展和可互操作的功能，NVIDIA Omniverse 可以精确模拟真实世界的高保真自动驾驶测试场景。

顺序 TOML：借助随机化功能扩展场景多样性

在创建自动驾驶测试场景时，开发者经常遇到的一个问题是，如何引入随机化功能来扩展场景的多样性？开发者可以通过编写顺序 TOML（Sequential TOML）实现这一目的。

顺序 TOML 是一种配置文件格式，通过顺序 TOML 可以在某个序列帧对 USD 场景做随机化处理。一个 TOML 文件可以引用另一个 TOML 文件。如果开发者有 EGO 车的 TOML 文件，那么就可以指定多种 EGO 车的类型，比如配备一个摄像头的 EGO 车，或者指定其他类型，比如配备 5 个雷达和 1 个 LiDAR 的 SUV 等。然后，就可以生成不同的内容，比如想要生成不同数量的卡车、公交车以及路标、道具、障碍物、垃圾箱等。

开发者可以输入“随机化 EGO 车前面的位置”，它会了解 EGO 车前方和 EGO 车周围的情况，并随机化配置不同的速度、颜色等。接下来，就可以在多个位置运行所有这些随机化操作。这是 NVIDIA Omniverse 实现测试场景扩展的方法，一切都是自动化、批量生成的。

LLM2Scenario：通过生成式 AI 扩展场景生成

如何使用 LLM 测试 AV 场景？通过调用这个 Python API，LLM2Scenario，开发者可以构建自己的 API，通过它教 AI 做什么，并为 AI 提供信息，然后让 AI 按要求进行操作。

比如在 ChatGPT 上调用 LLM2Scenario，开发者可以输入“在特定位置生成 EGO 车”，或者“随机生成 EGO 车”，它会生成与展示的代码相同的 TOML 代码，然后为你执行这些代码，这样，就可以非常快速地进行迭代。

在生成 EGO 车以后，开发者还可以通过提示词输入更多、更具体的要求，比如“生成 10 个行人”，它会在 Search NIM 中进行搜索，调出你拥有的所有行人素材。用户可以预览随机化场景，如果对预览结果满意，就可以保存这个 TOML 文件，并将其发送到 Omniverse Cloud，以便进行离线操作。这就是 LLM2Scenario，NVIDIA 在 3 月份的 GTC 上展示过这项技术。

NeRF：利用真实世界环境快速创建虚拟场景

开发者现在还可以使用NVIDIA Instant NeRF技术，通过多组静态图像快速搭建真实的自动驾驶环境。生成的仿真场景包含完整的同步传感器数据和 Ground Truth 数据（如占用体素，Occupancy Voxel），可用于训练和验证自动驾驶车辆的各项性能，为车企在训练自动驾驶系统时遇到的高精地图、海量数据和虚拟环境挑战，提供了一个经过实践的解题新思路。

在分享的最后，Hai Loc Lu 还演示了端到端训练，包括输入到端到端网络的样本、训练结果以及经过训练的推理结果，这就像是直接从纯传感器变成驾驶指令，演示成果令人惊艳。值得一提的是，NVIDIA 在今年的 CVPR 上还凭借Hydra-MDP模型获得了自动驾驶国际挑战赛“端到端自动驾驶”赛道冠军。

观看该技术会议完整中文字幕回看

  • 了解更多 SIGGRAPH 2024 精彩内容
  • https://www.nvidia.cn/events/siggraph/#nv-accordion-c0d0b7c8ff-item-2002857a58
  • 了解 NVIDIA DRIVE 平台及其如何帮助行业领导者重新定义交通运输业
  • https://developer.nvidia.cn/drive
  • 适用于自动驾驶汽车的解决方案
  • https://www.nvidia.cn/self-driving-cars/
  • 订阅查看 NVIDIA 汽车业务最新资讯及应用案例
  • https://www.nvidia.cn/self-driving-cars/self-driving-cars-subscribe/self-driving-cars-news-sign-up-form-reference/