随着座舱屏幕数量和算力趋近用户感知上限,智能座舱的竞争焦点正由硬件堆叠转向智能体验。真正的变革在于座舱系统能否成为贴心伙伴——不仅能听懂指令,更能理解意图;不仅能识别环境,更能洞察场景;不仅能执行操作,更具情感共鸣与主动服务能力。
NVIDIA TensorRT Edge-LLM 是专为边缘端大模型部署打造的轻量级推理框架,面向智能汽车等实时端侧应用场景。
NVIDIA 在 GPU 计算领域深耕多年,依托 CUDA、TensorRT 等核心技术构建了成熟的 AI 开发生态,已成为业界事实标准。此次开源 TensorRT Edge-LLM,正是将这一生态优势向边缘端延伸的重要举措。
中科创达的创新实践
基于 NVIDIA TensorRT Edge-LLM 的
多模态 AI 服务架构
TensorRT Edge-LLM 为车载边缘 AI 提供了高性能、轻量化、纯 C++ 的推理运行时,是构建车规级推理系统的重要基础。基于该运行时,中科创达进一步构建了面向座舱业务的多模态 AI 服务架构,将底层推理能力封装为可调度、可扩展的系统服务。
注:MoE 模块将在后续版本中引入
该架构具有统一的 AI 服务接口、支持跨 SoC 平台的快速适配、面向业务负载的推理任务调度和优化的特点。
案例 A:重构 AI 座舱交互
基于 NVIDIA DRIVE AGX Orin 的
端侧算力与优化视觉大模型融合实践
基于 DRIVE Orin 平台,中科创达与某头部车企携手,成功打造并全球首发了新一代 AI 座舱。其核心成果在于:充分利用 DRIVE Orin 平台的极致 AI 算力,深度融合经中科创达深度优化的本地 Qwen2.5-VL-7B 视觉大模型,真正兑现了“AI 座舱”的感知与决策能力,并将关键 AI 场景的端到端推理延迟降至业界领先水平,为用户带来颠覆性的瞬时响应体验。
案例 B:面向下一代车载自然交互的
端侧大模型记忆实践
中科创达与某全球头部车企合作的 Innovation Project 中,在车规级高性能 AI 算力底座上,部署并深度优化了 Qwen3-VL-4B 视觉语言模型,使其满足车载环境的苛刻要求。基于此,成功实现了“长聆听”(Long-Context Listening)与“端侧主动记忆”(On-Device Proactive Memory)两大原型功能,为探索无界面的自然交互奠定了基础。
核心价值
面向未来,双方将合作聚焦于三个维度:基于量产数据和用户反馈持续优化 DRIVE 平台上的性能表现;共同开发支持个性化服务与座舱 AI Agent 框架;为车企提供从模型选型、量化优化到 Agent 部署集成的完整工具链与参考框架,助力打造可持续进化的 AI 定义座舱。中科创达非常期待通过 NVIDIA 开放的底层能力与中科创达成熟的集成经验,与更多开发者共同创建创新可靠的智能汽车软件生态,真正实现从功能定义到 AI 定义的范式变革。
以上为摘要内容,访问链接阅读原文:https://blogs.nvidia.cn/blog/nvidia-thundersoft-smart-cockpit-ai-defined-era/
*本文中图片由中科创达提供,如果您有任何疑问或需要使用图片,请联系中科创达。
热门跟贴