AI智能体，正在让手机「更具AI味」|ai智能体|引擎|手机|骁龙至尊版|高通

“端侧生成式AI的杀手级应用是什么？高通公司总裁兼CEO安蒙这样回答。”

作者 | 包永刚

编辑 | 王川

最近这个季度发布的新一代的旗舰手机，散发着全新的AI味。

10月29日，首款搭载全新骁龙8至尊版的小米15/15 Pro发布，语音助理小爱同学变身为AI超级小爱。

紧随其后发布的搭载骁龙8至尊版的旗舰手机，荣耀Magic 7系列的YOYO助理摇身一变成了YOYO智能体。一加13的小布助手进化成为超级小布助手。

就像鼠标的诞生改变了计算机界面的交互方式，智能手机的诞生带来了全新的触控交互界面，如今生成式AI也正在带来一场新的终端交互变革。

“我想给大家展示这一愿景：生成式AI将从根本上改变应用程序和用户体验，而这正是骁龙现在以及未来的核心关注点之一。”高通公司总裁兼CEO安蒙（Cristiano Amon）在2024高通骁龙峰会上分享，“我们所熟悉的体验即将发生变化，并且将转变为更加容易接受和理解的方式。这不是某一个杀手级应用，而是每一个应用的体验都将改变。”

在11月的科技盛会Web Summit上，安蒙也再次强调了高通公司对生成式AI未来的看法，他强调，生成式AI就是新的UI，它将作为新的交互方式服务于我们周围所有的计算终端，AI赋能的智能体将成为行业应对和把握机遇的关键。正如触控界面的变革让手机成为了新的计算空间，在生成式AI的变革里，汽车、XR等更多边缘终端也将成为新的计算空间，迎接生成式AI的时代，这也是高通已经明确的战略方向。“AI是新的UI，以APP为中心的体验正在改变”，安蒙表示。

深入了解骁龙8至尊版以及骁龙数字底盘强大的AI引擎正在自下而上，从硬件到软件革新终端的体验，将会对混合AI的未来更加期待。

AI让手机开始「更具人味」

全新旗舰手机上智能助理的集体升级，可能会被视为营销噱头，但具体看看常用功能的新升级，就能品味到生成式AI时代手机的“AI味”。

先看小米AI超级小爱的改变，全新的AI字幕功能支持全局实时翻译，看国外影片有实时字幕，开国外会议有同声传译。还有AI识音支持全局声音转录，能够区分不同说话人并生成摘要。AI写作是一个全局文字工具，支持一步润色改写。

常用功能有了新玩法，并且全局可用，这些都得益于手机系统层级支持了AI。

荣耀YOYO智能体同样是平台级AI，比如只需要一句“关闭应用通知”、“点杯奶茶”，以往手动需要好几步的操作，一句话就能让手机自动从系统底层调动不同应用，完成任务。

手机的AI功能更智能，应用范围更广，手机变得越来越有生成式AI的味道。

“人们现在已经习惯于以应用程序为中心的体验。”安蒙说，“现在每个应用程序和用例都可能面临改变，AI的出现让机器可以理解人类的语言，所以我们熟悉的使用体验将被彻底重新定义。”

那什么样的生成式AI杀手级应用可以颠覆手机体验？

安蒙对此表示，“很多颇具杀手级潜力的应用还未出现，但当下的转变正在发生。我坚信生成式AI就是未来，只是没有人能给出具体的时机。”

手机朝智能体进化的过程，就可能出现杀手级应用。

“目前已发布的智能手机中，还尚未实现真正的智能体处理，市场上现有的应用是比较优秀的智能语音助手。”高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉（Durga Malladi）在骁龙8至尊版刚发布时表示，“两者的区别在于，智能体能够执行更加复杂的任务，尤其是那些指令不明确的任务。例如，智能体需要自行选择合适的模型执行处理任务。”

手机智能体实现的核心——多模态和异构计算

手机智能体的实现，就需要手机自下而上，从硬件到软件的全面革新。

多模态大模型是实现智能体的关键

马德嘉分享了一个例子，拿起手机说“今晚帮我订一个墨西哥菜餐厅，距离不要太远，评分要高，到店时间预计晚上7点30到8点30之间，还得是我过去三个月没有去过的餐厅。”

要回答这个问题，智能体会要调用各种不同的模型来进行处理。首先，理解所提出的问题。其次，如果要挑选一家距离不远的餐厅，要知道现在的位置信息。最后还要满足“过去三个月内没去过的餐厅”，需要基于用户的个人知识图谱，存储在终端侧的用户情境信息（例如喜欢的饮食、锻炼习惯、过往偏好等）作为个人知识图谱，帮助手机更好地理解用户意图。

“智能体本质是一个能处理非常复杂任务的规划器，与智能体交互的方式要结合语音、文本、图像等等。”马德嘉进一步表示，“要进行智能体规划，多模态能力将起到非常大的帮助，所以智能体必须要有多模态的支持。”

早在今年2月，高通AI研究就演示了全球首个在Android手机上运行的多模态大模型。同时还演示了搭载骁龙X Elite的Windows PC上运行超70亿参数的多模态大模型，可接受文本和环境音频输入（如音乐、交通环境音频等），并基于音频内容生成多轮对话。

10月份，高通推出了高通AI规划器。通过理解与本地情境信息相融合的个人偏好，高通AI规划器能够将这些知识整合进生成式AI助手中，为用户提供有意义的个性化回复和行动。

当然，借助多模态模型，高通AI规划器支持多种终端交互模态，包括文本、视觉和语音。

高通技术公司手机、计算和XR事业群总经理阿力克斯·卡图赞(Alex Katouzian）说，“智能手机助手可以支持多模态和智能体功能，意味着它可以见你所见，闻你所闻，理解你周围的世界。这确保它能够在不提示其他应用程序的情况下处理满足用户的个人需求、完全在终端上运行以保证数据安全和隐私，并即时响应用户请求。”

高通AI规划器将成为高通AI软件栈的重要部分，软件的进化也需要硬件全面升级实现更好支持。

计算效率和内存大幅升级的高通AI引擎

2015年推出的骁龙820集成了首个高通AI引擎，这是一个异构计算引擎，此后高通的AI引擎紧跟AI技术的发展和市场需求持续升级。

2018年高通Hexagon DSP升级成为Hexagon NPU，早于行业对于NPU的关注，高通的异构AI引擎也升级为CPU、GPU、NPU的组合。

今年推出的骁龙8至尊版，高通AI引擎再次全方位升级。

特别值得关注的是被称为高通自研芯片最后一块拼图的高通Oryon CPU首次集成到移动平台。

高通的首代自研Oryon CPU搭载在PC平台骁龙X Elite上，在今年Microsoft Build上首批搭载高通Oryon CPU的Windows 11 AI+ PC宣布之后，高通便迅速成为了一匹黑马，成为了AI PC领域的标杆，OryonCPU帮助高通在从一家无线连接公司转型为连接+计算公司的道路上实现了进一步的飞跃。

骁龙8至尊版上的高通第二代自研Oryon CPU，室温环境下相比第三代骁龙8，CPU的单线程和多线程基准测试中性能有高达45%的大幅性能提升，能效提升也高达44%。第二代Oryon CPU跨代际的性能提升，对多任务处理、时延关键型任务、生产力应用、初始化AI工作负载都有显著的提升。

将第二代OryonCPU引入高通AI引擎，就像交响乐团加入了一位出色的指挥家，负责启动所有AI工作负载，处理繁重负载任务，让AI引擎的其他组件可以专注于特定的AI任务。

全面升级的Hexagon NPU就像是交响乐团里令人惊叹的小提琴手。全新架构的Hexagon NPU性能提升45%，能效提升45%。

为了支持生成式AI和多模态模型，实现更快推理，Hexagon NPU增加了更多内核，更多标量内核可以支持更长内容，达到4k上下文窗口，更多的向量内核可以加强对大语言模型和传统AI的支持。

处理效率大幅提升还不足够，内存也是限制生成式AI在终端运行的主要因素。

“要在手机上直接运行一个100亿参数的模型，不进行任何压缩，至少需要占用20GB内存，所以模型的压缩和量化都非常重要。”马德嘉表示，“我们现在已经支持不同数据精度的量化技术，通过多种量化技术可以缩小模型。去年在端侧运行大模型还是一个挑战，今天对我们而言就变得相对简单，并且我们还在持续改进。”

第二代OryonCPU大幅改进的内存架构也让骁龙8至尊版能符合边缘AI的需求。