本文来源:智车科技

导读

进入4月,中国科技圈迎来最卷的时刻,这可能中国AI史上一个重要节点。ChatGPT、GPT-4的出圈掀起了通用人工智能(AGI)的技术狂潮,引爆了一场以大模型为代表的生成式AI狂飙,也催生了新的研究范式。

转瞬之间,国际、国内巨头都竞相加入了这场大模型竞赛,阿里、腾讯、字节、商汤、360等大厂无一例外,纷纷祭出AI大语言模型及产品。

作为人工智能软件公司,商汤前不久刚刚推出了“日日新SenseNova”大模型体系,它涵盖了自然语言生成、文生图、感知模型标注以及模型研发功能。与此同时,智能车舱正在变革之中,也需要有AI大模型的支撑。

商量、秒画“上车”,商汤绝影打造“第三生活空间”

据IHS预测,到2030年,全球智能车舱市场规模将达到681亿美元;另据ICVTank预测,中国智能车舱市场将在2025年达到1030亿元规模,按照目前增长速度来看,中国或将成为全球最大智能车舱市场,这为国内汽车软件厂商带来了更大的机遇。

商汤科技一直在打造从智驾到智舱的智能汽车量产落地新范式。这次的上海车展,商汤绝影携驾、舱、云三位一体产品体系已经是第三度亮相,不仅为我们展现了全栈智能驾驶解决方案,还带来了行业首发的六大智能车舱新品,语言大模型“商汤商量SenseChat”和AI内容创作平台“商汤秒画SenseMirage”也登上未来展示舱。在以极“智”感知能力诠释未来汽车全新体验的同时,有近30款商汤绝影合作车型大秀车展,彰显了绝影业内少有的智能驾驶+智能车舱的实力。

根据2022年商汤科技财报,过去的一年,绝影智能驾驶和智能车舱产品完成27款车型适配和量产交付,新增定点数约超过800万台,覆盖30多家车企的80多款车型。

通过与合作伙伴共同深挖车载感知数据价值,绝影正在将商汤智慧产业生态输出到智能汽车服务,实现与汽车产业和生态的共生共赢。

当下,智能车舱已成为用户体验的放大器、新车销量的催化剂,这话一点不假。事实上,开发智能车舱的挑战并不亚于自动驾驶,因为它是消费者最直接、最切身的体验,能够让用户“用了都说好”,不让某些功能沦为鸡肋,这是一个不太容易企及的高标准。

在商汤绝影智能车舱副总裁许亮看来,目前智能车舱应用有三块,一是语音,二是视觉,三是多媒体。他说,商汤一直在寻找视觉应用的平衡点,通过多模融合的视觉感知优势来弥补传统车舱体验的不足。

如何引领智能车舱的创新,关键在于利用融合视觉、语音和自然语言理解的多模态交互。在这方面,商汤“日日新SenseNova”大模型体系为车舱提供了更智能、更人性化的多模态人车交互体验。

而车展上展示的绝影未来展示舱也是深度融合了商汤大模型体系,借以重构了人们对未来车舱体验,这也是人们需要看到的真正智能化的“第三生活空间”。

当体验嘉宾来到绝影未来展示舱前,商汤AI数字人会主动问候并引导嘉宾落座。在展示舱内,商汤语言大模型“商量SenseChat”就会与其交流互动,还会推荐个性化体验内容,包括儿童喜欢的一些内容;在行车过程中收到邮件时,商量则会化身“邮件助手”,自动提炼关键信息;它还是位聪明的“会议助理”,可以自动生成会议纪要,大大节省用户行车时处理工作的时间和精力。

作为千亿级参数的自然语言处理模型,“商量SenseChat”使用大量数据训练,并充分考虑了中文语境,能够更好地理解和处理中文文本。展会现场,“商量”展示了出色的多轮对话和超长文本的理解能力。

“秒画”文生图创作平台是展示舱的又一大功能,它源于商汤AIGC模型的强大能力,能够自动生成不同风格的照片,让人们出行充满乐趣。

“秒画”光影真实、细节丰富、风格多变的强大的文生图能力,可支持6K高清图的生成;客户还可根据自身需求训练生成模型。

六大新产品赋予了车舱哪些智能?

在传统车舱中,语音交互的所谓智能更多是一种机械指令式互动,没办法做到很多互动。比如问车载导航系统周边有没有一些好吃的东西、好看的电影院,过去的架构是没有答案的。商汤绝影为行业带来了技术突破的机会。

商汤绝影首发的唇语唇动识别、隔空手势(Air Touch)可以在很大程度上弥补语音的不足,另外的哨兵模式、智能救援、AR K歌、智能屏保,更极大地提升了用户体验。

在车舱中,人声干扰、播放音乐、高速风噪、高速胎噪等场景不可避免,都会使语音交互出现误触发。商汤绝影首创的基于纯视觉的“唇语唇动”识别功能堪称无声胜有声。通过多模融合算法,用户用唇语发出超过40个命令词和唤醒词即可实现多种车内交互。

目前主流的哨兵模式虽已成为越来越多车型的安全功能标配,但传统感知光线变化的检测方式经常发生误报的情况。商汤绝影将AI与环视相机结合,通过智能甄别车辆四周存在的威胁,在夜间等低照度场景下也能提供更好的性能表现,有效减少误报发生,还可根据设置的敏感度实现不同级别警告。

驾驶员极端情况虽然很少,可一旦发生就是巨大的人身财产损失。绝影智能车舱“智能救援”产品可通过驾驶员姿态、生理指标及车辆信号等多维度信息对驾驶员健康状况进行判断,如出现极端情况,车辆会停靠路边,并紧急呼叫联系实施救援,及时挽救车内人的生命。

“空中鼠标”利用光学引擎,在空中挥舞即可操作。如今,这种鼠标级别的精准操控和实时响应已经融入车舱。用户通过各种手势就能隔空完成点击确认、拖曳等各类屏幕操作,为人机交互带来更多便捷。

长途旅行难免无聊,商汤与唱吧合作的首款车内音乐元宇宙应用“商汤唱吧”车载App,能够实现AR显示、社交分享等功能,营造有趣的舱内互动,让路程不再无聊。

商汤智能屏保也结合了3D技术引擎和AI感知技术,驾乘者能够看到绚烂的画面,后排儿童也有了趣味屏保、知识问答等寓教于乐的互动内容。

综上,商汤为视觉找到了两个机会点:一是用视觉弥补传统技术的不足,实现更好的人机交互体验;二是解决原来不能解决的问题,让视觉给车舱带来全新的体验。

其实,用户对使用摄像头泄露隐私的问题多少会有些担心,许亮回应道,从数据采集到训练模型、标注和集成测试,整个软件开发流程已通过了汽车领域信息安全认证。而且,所有的数据都是第三方采集,只做比对或逻辑判断,用于感知决策,不记录车主数据。在实际应用中,舱内99%以上视觉算法和模型迭代都是在端算力芯片实现,不需要云端的任何支持,因此,大可不必担心。

为推动生物特征识别技术在智能车舱的应用,全国信息技术标准化技术委员会生物特征识别分技术委员会(TC28/SC37)发起成立了生物特征识别汽车应用标准研究组(以下简称“研究组”),中国汽车工程研究院股份有限公司为组长单位。近期,商汤绝影被增选为副组长单位。

截至目前,商汤绝影已通过ASPICE CL2级评估,获得ISO/SAE21434:2021信息安全流程及产品认证和多个ISO26262 功能安全产品认证,是AI行业少数获得三证的企业,为行业树立了典范。

从智驾到智舱助力车企智能化落地

现在大家都在热议的舱泊一体、舱驾一体也离不开智能车舱的融合。在许亮看来,要真正实现舱泊一体、舱驾一体,首先要解决几个最重要的瓶颈问题。

首先,智能驾驶更关注功能安全,从开始设计时就要考虑功能安全等级,以保证产品的稳定性和可靠性;智能车舱中一些功能与实时通信强相关,有很高的功能安全等级;而一些从手机端迁移过来的生态,功能安全要求并不高。

许亮认为,重要的一点在于,在商汤的整体布局中,既有智能驾驶业务,又有智能车舱业务,很早就从软件体系架构上规避了可能出现的问题,提供给车厂的车舱软件方案和智能驾驶方案同时具备功能安全,为打通功能提供了便利条件。

其次,智驾和智舱需要考虑两域融合怎么做,现在行业主流的技术路线有两条:从舱内拓展到舱外,或从舱外深入到舱内,“不管是哪条技术路线,最终都会找到一个平衡点,而商汤在这方面早有技术储备。”

第三,智能驾驶和智能车舱是车厂的两个核心研发领域,都投入了大量研发资源和人力,而这两块却相对独立。由于功能安全等级不同,产品成熟度要求也不一样,在规划域控方案时很少在公司内部产品层面打通。商汤在为很多车厂提供智能驾驶和智能车舱解决方案时,更多考虑的是软件的可靠性,从功能安全、两域融合接口的软件层面来解决问题。

许亮举例说,智能驾驶要避障,就要紧急刹车,而传统ACC(自适应巡航系统)不太考虑车舱内有没有儿童、老人等,都是同样的制动反应。现在很多车厂都希望在这样的条件下驾驶模式变得柔和些,包括加速和减速,为用户提供更平缓的行车体验。这也是商汤目前跟很多车厂的合作点所在。

在车舱智能化进程中,投入和产出是车厂不得不考虑的问题,谁都希望智能化一上车量产就赢得满堂喝彩,但现实却很骨感。车厂投入了非常多的资源和人力,涉足了SoC生态开发、工具链部署、域控和软件集成等等环节,却往往是既延迟了产品上市时间,功能和效果也未必尽如人意。

因此,出于成本和功能考量,很多车企都愿意与商汤这种具有AI能力的厂商合作,快速搭建起一整套从智驾到智舱的体验优秀平台。这也是商汤绝影已与30多家车企合作,拥有超50个生态合作伙伴,智能驾驶和智能座舱产品累计前装定点数量超3100万台的由来。

除了在广汽埃安AION LX Plus、哪吒S等多款车型上智能驾驶功能的落地,商汤绝影在智能车舱板块的搭载量更多,如蔚来ES7驾驶员疲劳状态实时提醒、Face ID、儿童遗忘检测等乘员感知功能;极氪X量产的行业首个智能B柱交互系统,实现了无感进入、轻松解锁和落锁。

东风猛士917、广汽传祺E9、影酷以及M8宗师等车型也将搭载商汤绝影驾乘感知的多项功能。在提供温馨驾乘体验和健康检测功能方面,合作的车型有高合HiPhi、长安逸达等。

车展期间,商汤绝影还与中国汽车电子行业龙头企业航盛电子签订了战略合作协议,双方将充分发挥各自在智能驾驶、智能座舱等领域的技术优势,共同研发更加智能化和高效的解决方案,推进技术的应用和商业价值的提升。

无限的未来,无限的可能性

伴随通用人工智能技术的浪潮和大模型体系的持续建设,商汤正将绝影智能车舱打造为汽车行业最具影响力的AI赋能平台,通过持续创新+量产实践+全生命周期体验迭代,引领汽车行业的智能化变革,让车舱真正成为智能化的“第三生活空间”。

与此同时,商汤也在这场大模型、AGI的竞赛中与时俱进,与国际巨头比肩,在无限的未来为我们带来无限的可能性,更好地赋能包括智能车舱在内的千行百业。