打开网易新闻 查看精彩图片

发哥,你怎么也“下海养虾”了?

就在今天早上,托尼我来参加了一场特别的大会,一场开发者大会。

打开网易新闻 查看精彩图片

先别紧张,不是苹果的 WWDC 开发者大会提前开了,也不是华为的 HDC 开发者大会,而是联发科的开发者大会 MDDC。

打开网易新闻 查看精彩图片

估计差友们会比较迷惑,怎么联发科也有自己的开发者大会了 —— 但其实,人家今年已经是第三年搞开发者大会了,前两年都在深圳,大会主题分别是 “ AI 予万物 ”,“AI 随心,应用无解”,听着都战未来、很有前途的内容哇。

而今年,发哥给我们掏出来的居然是 —— 联发科自己的龙虾,Sensing Claw。。。。

打开网易新闻 查看精彩图片

这几个月来有关注 AI 动态的差友们都知道,龙虾是出了名的算力开销大户,真正养虾的人要么哐哐砸钱买tokens,要么鼠标点冒烟疯狂抢购 MacBook 、MacMini 或者英伟达显卡。

联发科难不成要把龙虾养在手机上?真这么干了,手机芯片的算力真的够用吗。。。
打开网易新闻 查看精彩图片
联发科难不成要把龙虾养在手机上?真这么干了,手机芯片的算力真的够用吗。。。

结果我仔细听完之后才发现,发哥这不是要在手机上养龙虾,他们的目标其实是让用了天玑平台的开发者还有设备厂商,能借助天玑 SensingClaw 技术,给 AI 解锁低功耗的全时感知能力。

打开网易新闻 查看精彩图片

至于什么是低功耗的全时感知能力,联发科在大会现场也给咱讲清楚了,就是要让龙虾这样的 AI 应用能跟手机上的摄像头、麦克风这些硬件结合,让龙虾能更好地感知真实的世界,给咱干活的时候手脚能更麻利一点。

换句话说并不是把整个龙虾都放到联发科的手机芯片上,而是用端云结合的办法。

手机这边只负责处理信息采集工作。也就是利用摄像头、麦克风、还有GPS 和陀螺仪等等硬件配置,收集视觉、听觉还有方位这些多模态的信息,再转换成云端大模型能看懂的信息传上去。

图片由NANO Banana生成

打开网易新闻 查看精彩图片

真正生成式的任务都是云端能力更强的大模型在执行,包括判断任务下一步要怎么执行,执行的具体内容是什么等等。

打开网易新闻 查看精彩图片

现场联发科也举了几个在手机上养龙虾的好处,比方说购物的时候可以让龙虾自己去各个平台比价。

打开网易新闻 查看精彩图片

又比方说,在外面吃饭排队的时候,可以让龙虾帮忙听叫号,免得在王者峡谷里跑太久了错过叫号。

听起来都是很有用的功能,这还只是联发科自己的demo。

打开网易新闻 查看精彩图片

大会现场,联发科还给大家介绍了它的好兄弟OPPO、小米、传音基于联发科天玑平台整出来的龙虾,不敢想后面这帮手机厂能搞出什么样的花式应用场景。

打开网易新闻 查看精彩图片

不过,先别急着高兴,要让各家的龙虾在手机上跑起来,可没那么简单。

在前面我们列举的这些场景里,手机端的 AI 任务都不复杂,都是屏幕内容的识别、指令识别和声音的识别这些基本任务,然而就是这么点事儿,对手机硬件来说也是个不小的挑战。

其中一个很重要的问题就是功耗。

跟现在手机上那种拍一张照发给豆包的玩法不一样,联发科搞得这个持续多模态采集是耗电大户。

就拿让龙虾帮忙听叫号的这个功能来说,需要手机的麦克风一直开着,更让人头疼的是要实时处理这些麦克风收集到的声音信息,也需要芯片不停地算,非常耗电。

与此同时还要考虑用户在AI处理任务的时候会用手机干别的事情,两头的功耗一加,就更吓人了。

图片由NANO Banana生成

打开网易新闻 查看精彩图片

所以包括联发科在内的一众处理器厂商,还有米、O、V 这些终端设备厂商,一直都在探索让处理器高效处理这些 AI 任务的办法。

一个常见的方向就是把一些需要长时间跑的任务从 CPU 和 GPU 这边拎出来,扔给另外一个叫 NPU 的模块。

打开网易新闻 查看精彩图片

NPU 我们之前也给大家单独介绍过很多次啦,还不知道的差友可以回去翻翻我们之前的文章。

NPU 有多好用,不少研究团队都试过了,一句话总结就是跑 AI 性能好、还省电,这就是大伙儿想把 AI 扔到 NPU上跑的一个重要原因。

而且巧的是,联发科去年发布的天玑 9500 处理器是双NPU的架构。

打开网易新闻 查看精彩图片

芯片发布的时候龙虾还没大火,双 NPU 一开始应该也不是专门为龙虾准备的,但从结果来看,双 NPU 这样的硬件实力确实让手机养龙虾又或者别的AI应用能有更大的可能性。

不过前段时间我们一篇文章里也跟大家提到了,NPU 虽好,但实际跑起来的时候却没什么软件应用调用。。。

这也不能怪软件应用,毕竟现在手机处理器上既有 CPU 又有 GPU,光是处理这两个大哥的任务分配和调度,就够让应用开发者们头疼了。

打开网易新闻 查看精彩图片

现在又来一个 NPU,就更复杂了。

让我们没想到的是,这个问题发哥也考虑到了 —— 他们这次开发者大会发布了一个新的AI开发套件,里头就有一个天玑 eNPU 的开发工具,能帮开发者充分发挥天玑芯片中超能效 NPU 的优势。

打开网易新闻 查看精彩图片

好嘛,铲子都给准备好了,让我们不得不怀疑发哥的工程师们平时是不是也看差评,看到了我们之前的吐槽(bushi

按照发哥的说法,这个 eNPU 的工具,能让常驻轻载AI模型的功耗节省42%,感觉用来处理持续声音感知、方位感知这种任务很香的。

除了开发 eNPU 这个 NPU “ 金铲铲 ” 以外,联发科这次发的这套 AI 开发套件还有很多对开发者友好的工具。

比方说LVM 模型可视化部署,能帮助开发者从命令行开发升级至GUI 模块化,原本需要对着黑乎乎的窗口敲代码的工作就可以变成图形化操作了,连连线拖拖滑块就能完成很多复杂的调试。

打开网易新闻 查看精彩图片

虽说可视化编程其实已经喊了很多年了,但大模型部署这种细分的应用还是很有用的,毕竟这波 AI 浪潮之后不少新的开发者涌入了AI应用这条赛道,能有更好用的工具对他们来说也是好事。

类似的工具还有天玑 AI Partner,据说它可以低门槛全自动移植模型到联发科的天玑平台,发哥声称用上这个工具之后,端侧 LLM模型部署这一环能节省 90%的时间,可以说对开发者的头发相当友好啦。

打开网易新闻 查看精彩图片

另外这次的 AI 开发套件里还有一个对我们每一个人都好的工具, 就是 这个 Low Bit 压缩工具包。

这个工具,跟前段时间让内存市场大动荡的谷歌TurboQuant 有点像,它最大的用处就是降低模型压缩过程中对设备内存的占用率。

按照发哥的说法,用上 Low Bit 之后,相同质量模型的压缩率能提升 58%。

而对我们消费者来说,这个 Low Bit 就是给手机上的 AI 模型"瘦身不减脑",让本来只有旗舰机才配拥有的 AI 功能,也能在中低端手机上跑得顺畅。

打开网易新闻 查看精彩图片

总之,能感觉到发哥搞这一整套 AI 工具套件的目的,就是降低开发者门槛、省电省空间,让各种 AI 应用能真正在手机上活起来。

打开网易新闻 查看精彩图片

除了 AI 以外,联发科这场开发者大会也探讨了很多别的议题,比方说天玑智能座舱平台。

打开网易新闻 查看精彩图片

但这些就涉及到很多跟汽车相关的事情了,时间关系我就先不展开了,去年我们汽车部的同事就做过这方面的视频,感兴趣的差友可以先移步B站先复习一下,今年内容我们找个时间拉上脖子哥再给大家聊一聊。

整个开发者大会逛下来,托尼最大的感觉就是发哥还是那个浓眉大眼的发哥,真要干一件事儿就哐哐猛砸资源干。

但也能看出这种撸起袖子就是干的做法背后,发哥的焦虑 —— 联发科早年芯片性能一直不太过关,以至于很长一段时间品牌的口碑都不是很好。

这几年虽然芯片产品有了惊人的长进,甚至一度干翻高通,但在高端市场仍然缺乏一定的号召力。

而做生态,不管是AI生态还是游戏生态,最需要的就是号召力,一个最简单的道理:东西再好也得让人愿意用。

所以我们能看到这几年联发科搞的这个开发者大会,端上来的这些东西都在尽可能地向开发者展示自己的诚意,不管是去年的游戏开发套件,今年的 AI 开发套件,都挺实在的,不画饼,就想着给开发者创造便利。

打开网易新闻 查看精彩图片

至于能收到多好的效果,开发者们买不买账,联发科能不能获得高端市场的认可,这些问题可能还得等待时间的考验。

打开网易新闻 查看精彩图片

总之加油吧联发科,总得给隔壁两家上点压力的。

你说是吧高通,还有苹果

撰文: 施昂

编辑: 米罗&面线

美编: 焕妍

图片、资料来源

O que é NPU (unidade de processamento neural)?

智能手机的最佳 GPU:选择合适 GPU 的完整指南 -PcHardwarePro

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片