试想一下,无需联网便可工作、社交和娱乐的未来,会是怎样的?譬如,乘坐长途飞机时,用大模型写出一篇优质稿件;手机拍照后,用一句话消除画面上的多余杂物。令人期待的是,当万物AI时代到来以后,这一切皆可轻松实现。

2024年5月7日,联发科举办以“AI予万物”为主题的天玑开发者大会2024(MDDC 2024),正是为了与业界探讨生成式AI给移动生态带来的变革与机遇。

会上,联发科宣布多项重要成果,包括联合合作伙伴共启“天玑AI先锋计划”,与生态伙伴共同推出《生成式AI手机产业白皮书》,分享生成式AI端侧部署解决方案“天玑AI开发套件”,展示基于联发科星速引擎技术构建的游戏生态和体验,以及推出联发科天玑9300+旗舰5G生成式AI移动芯片。

为建设生成式AI的移动生态奠定良好基础

“天玑AI先锋计划”,由联发科联合阿里云、百川智能、传音、零一万物等合作伙伴共同启动,致力于凝聚大模型厂商、原始设备制造商和软件开发商之间的策略共识,加速推动移动终端生态向生成式AI方向迁移,以及向广大开发者释放更多开发资源,帮助他们研发创新型生成式AI应用。

打开网易新闻 查看精彩图片

(来源:资料图)

《生成式AI手机产业白皮书》,由联发科与Counterpoint携手阿里云通义千问、百川大模型、虎牙等生态伙伴联合发布,对“生成式AI手机”的概念和典型特征进行了定义。

打开网易新闻 查看精彩图片

(来源:资料图)

从概念上看,生成式AI手机能够利用大规模、预训练的生成式AI模型,实现多模态内容生成和情境感知,并具备不断增强的类人能力。从特征上看,可支持大模型执行生成式AI任务、具备多模态能力、确保流畅的用户体验和具备实现上述特征的硬件规格。

显然,上述定义中涉及的内容并不包括诸如算力、参数规模、内存等用于衡量大模型性能的具体指标。据联发科技无线通信事业部副总经理陈一强透露:“这主要是因为,在生成式AI发展早期,要想确定达到什么样的能力才叫AI手机,是比较困难的。”

打开网易新闻 查看精彩图片

图丨陈一强(来源:资料图)

举例来说,几个月前推出的20亿参数大模型,比半年前推出的70亿参数大模型性能更强,如果将前者部署到手机上,AI能力一定会实现显著提升。

“在这种情况下,我们认为当下用定量指标定义AI手机并不是一个好的方式。我们更希望通过定性分析,让这样的手机能够早日变成现实。”陈一强说。

“天玑AI开发套件”,是联发科过往所有开发工具的集合,包括用于加速大模型终端部署的GenAI最佳实践、适配全球主流大模型的GenAI Model Hub、用于提升模型性能的GenAI优化技术,和Neuron Studio一站式视觉化开发环境四大模块。它具备“快、全、强、易”的特征,能够赋能终端生成式AI应用开发的全流程。

据了解,这些套件是联发科在和开发者长期交流的过程中,基于他们的需求研发出的开发者工具。联发科技无线通信事业部副总经理李彦辑表示:“之所以将之前所有零散的工具整合起来,是希望能够让开发者用起来更简单,进而打造出更好的用户体验。”

打开网易新闻 查看精彩图片

图丨李彦辑(来源:资料图)

同时,基于全面升级的星速引擎技术,联发科也进一步帮助游戏开发者打造更加细腻逼真的游戏画面和续航更为持久的游戏体验。而且,其还与Arm、Google、Khronos等团队合作,为天玑游戏生态圈的发展持续赋能。

另外,联发科天玑9300+旗舰5G生成式AI移动芯片,也是本次大会的亮点。具体来说,该芯片采用全大核CPU架构,可为旗舰手机带来卓越体验;拥有能够提供端侧AI算力的生成式AI引擎,不仅支持主流AI大模型,还能高效运行多模态生成式AI应用;搭载星速引擎自适应技术和网络质量监测系统,前者能够显著降低游戏在满帧运行时的功耗表现,后者可以实时监控游戏网络的连接质量,为在线游戏提供持久顺畅的连接体验。

打开网易新闻 查看精彩图片

(来源:资料图)

联合产业生态伙伴,帮助开发者实现生成式AI在智能终端的应用普及

早在2015年左右,当AI发展如火如荼之时,联发科便开始思考端侧是否有搭上这一技术洪流的可能性。2017年Transformer出现以后,该公司正式决定在持续投入传统计算光学所需的分析式AI研究的同时,还要提早布局一些新的算法和算子,以更好地应对未来可能出现的新应用。

但在投资生成式AI的过程中,联发科发现眼前有一个核心困难必须解决,即回答“端侧为什么需要生成式AI”这一根本问题。

联发科技无线通信事业部技术规划总监李俊男表示:“大模型在没有网络的情况下依旧可以很快地进行问答和交互;另外是方便高效,毕竟像手机这种设备用户每天都会带在身上,也具有天生的多模态优势。所以,我们一致认为端侧很适合做生成式AI。”

而且,由于生成式AI属于开放的生态,采用闭环的解决方案无法适应这一场景,因此在构建从云端到终端的生成式AI生态的过程中,也少不了芯片厂商、终端厂商和大模型厂商之间的通力合作。

“我们希望这是一个把饼做大的过程。由联发科提供好的硬件平台和开发者工具,让大模型能在我们的‘土壤’上顺利落地,进而释放终端的能力,来帮助终端厂商找到创新的用户体验。”联发科技无线通信事业部生态发展资深总监章立表示。

虽说是多方在共同努力,但也无需担心会发生重复投入、相互冲突的情况。毕竟,不同类型的厂商会倾向于从各自擅长的角度出发,在协同并进中推动整个生态的构建。例如,联发科更希望通过端侧运行的能力,驱动大模型实现更加高效的部署和运行,以及为终端厂商补足所需的芯片能力;终端厂商则聚焦于探索新的服务、应用和体验。

不过,对于联发科而言,其在与外部公司及本地开发者合作的过程中,也遇到了大模型运行过慢和内存占用过高等多种困难。举例来说,仅仅是将7B或13B大小的模型部署到手机这么小的设备中,就是一个巨大的挑战。针对此,联发科采用天玑AI开发套件,将大模型的终端部署从数周加速到一天。另外,在该套件的帮助下,上述痛点和挑战也都能在很大程度上被解决。

而在选择大模型时,联发科则秉持拥抱生态的开放态度,希望联合更多能够在终端上发挥端侧能力的大模型厂商。但是,站在公司移动平台的角度,其也会着重衡量以下几方面因素。

其一,联发科会关注大模型的主营业务是to B还是to C,会更加重视那些面向消费级市场或具备C端业务能力的大模型厂商。

其二,会考虑开源的影响力,尽可能地与更多开源大模型厂商开展合作。

实际上,现如今很多AI领域的从业者对于大模型的关注,已经从单纯的提高性能转向开发爆款AI应用。同时也有人认为,爆款AI应用是个伪命题,未来的AI应用发展态势会是百花齐放的。对此,联发科认为,爆款AI应用很有可能出现。这是因为,不管任何一个阶段都会有相应的爆品出现,哪怕在功能机时代,也有流行一时的应用。而在生成式AI时代,开发者手上可用的工具更多,只要他们拥有足够的创造能力,就一定能开发出创新的爆品,只是目前还无法确定具体的时间。

总的来说,生成式AI的出现极大地颠覆了终端应用的使用价值。与此同时,如手机、电脑之类的智能终端,也会逐渐成为该技术普及的重要载体。面对这一发展趋势,联发科希望能与产业生态伙伴深度联合,帮助开发者实现生成式AI在智能终端上的应用普及,从而在助推普通用户获得更多创新体验的同时,加速万物AI时代的到来。