打开网易新闻 查看精彩图片

我们能在高铁上刷起手机,或许也要感谢一位科学家曾经在火车上的工作。

1945年6月,冯·诺伊曼在开往洛斯阿莫斯的火车上,写下了著名的报告——《EDVAC的第一份草案》。这份集结了当年技术研究结晶的报告影响至今:它提出了后世被称作“冯·诺伊曼结构”的计算机模型,即由处理器、存储器、控制器、输入设备与输出设备组成的电脑。经过几十年的开发,今天的计算机的复杂程度已远超当年,仅用冯·诺伊曼所定义的五个模块来归纳计算机或许已经过于简化、不合时宜,但仍然可以从中理解系统的构建与工作。

手机就是一台超高集成度的电脑。在过去二三十年的发展里,随着需求的升级与技术工艺的提升,它也变得更加复杂、精密、高效——手机的集成度被空前提高,比如仅仅在SoC里,被陆续塞进去了GPU、基带、ISP、AI引擎等复杂功能,它们有些原本是分开的芯片与部件,有些则是随着时代潮流的创新技术。但更多芯片产生的复杂性,往往也让消费者感到迷惑:我要的是手机更流畅、图像更精细、日用更省电,但你“捆绑销售”给我的其东西,是让我们掏冤枉钱吗?

比方说,大家都特别喜欢看显卡的热闹,毕竟它与游戏表现直接相关。科学计算、深度学习和挖矿等需求,追求显卡带来的高效算力,成了显卡的另一个发展热点。而在功能上,最热闹的当属光线追踪,它能模拟真实世界中光线的折射与反射,让游戏的画面看起来更真实。当然这个运算很消耗显卡算力,高端显卡一打开光线追踪,游戏帧率立减50%是业界常态。

打开网易新闻 查看精彩图片

而在移动端,光线追踪也成了今年的新移动平台里最值得关注的功能——这是一眼就能看得到的提升,也是厂商们技术竞赛的核心,比如高通,在前几天召开的骁龙峰会上,就宣布了在第二代骁龙8里,首次引入基于硬件的光线追踪功能,并率先在《逆水寒》手游中落地实装了手机光线追踪功能,而这也是业界第一个低于5瓦的实时光追GPU,在游戏时几乎不耗费任何电量。

“显卡”的好消息一出,消费者们乐开了花——但AI核心就很难有这种好待遇。造手机芯片的巨头们,从高通苹果,到华为谷歌,年年都说我们做了新的人工智能,但它到底有什么用?

同样是在骁龙峰会上,最新的AI技术告诉我们:AI几乎已经渗透进了手机的每一项功能。

AI引擎,图个啥

AI引擎,图个啥

我们为什么需要这么多细分专用的处理器?高效、节能,是两个离不开的目标,显卡如此,AI芯片也是如此。

几年前,高通的AI核心是以“Hexagon DSP”身份出现的,其中DSP指的是“数字信号处理”,在图像处理、数字音频等领域有着广泛的应用。而在手机上,这颗DSP的工作更像是一块协处理器,用专用的轻量化运算处理一些特定任务,来给手机的电池减减负。举个例子,在2015年发布的一代神芯骁龙820上,Hexagon 680 DSP就是CPU的幕后功臣——它以一颗专用小核,就能实现通常需要2~3个CPU核心才能实现的视频与音频计算;在DSP里,还专门开辟了一个“低功耗岛”,用尽可能低的能耗,支持手机传感器的全天候运作;它首次引入了极为关键的张量运算(HVX)功能,也就是今天“AI核心”最关键的算力支持,也是因为有了AI核心,手机才得以实现高效的HDR摄影,正式走进计算摄影的时代。

经过几年的发展,算力更强的AI引擎已经成了诸多功能的基础,而曾经DSP的产品定义,也早已无法准确描述这颗日益强大、复杂的引擎芯片。在今天,它已经被扩充成为Hexagon处理器,尽管它的名声还不像Kryo CPU核心、Adreno GPU核心那样响亮,但早晚也会成为消费者心中的“高通精品”——因为在你看不见的地方,手机里已经有太多深度学习的模型,支持着你每天的使用。

比如语音助手。手机要识别你的声音,转成文本;要通过自然语言处理,去理解语言的含义;还要通过更自然的语音合成,播报给你想要的答案。这些运算,放在AI核心上,更好。

AI引擎的升级,就是由这些需求推动的。在第二代骁龙8的全新高通AI引擎中集成的最新一代Hexagon处理器里,高通投入了更多成本:张量加速器尺寸翻倍,带来了提升超过4倍的自然语言处理性能,以及60%的能效提升。

也比如影像视频。计算摄影的底层,就是芯片上的功夫——拍照即运算。各位打开手机相机,随便拍拍录录,手机就会明显发热,就是这个道理。计算摄影离不开ISP(图像信号处理器)的功劳,而AI引擎,则能利用深度学习的速度优势,进一步帮助计算摄影的升级。

打开网易新闻 查看精彩图片

其实这里大有讲究。一颗连接CMOS的ISP,另一颗是AI引擎,在它们之间需要怎样的“搭桥术”,才能让分属两枚处理器的数据、指令流畅互动?在第二代骁龙8中,有一项名为“Hexagon直连”的功能,便是打通AI引擎与ISP的方案示范——从中诞生的全球首个“认知ISP”,能实时地进行拍摄场景识别、优化,并实时反馈在手机的屏幕上。

打开网易新闻 查看精彩图片

更特别地,手机首次拥有了识别突发事件、记录关键瞬间的能力:比如想要拍摄闪电,就需要在毫秒的时间里做出判断并拍摄,还需要面临极端的高亮度对比,这都需要手机产生认知。

另一个特殊的认知场景,则是手机拍照的背景虚化。曾经手机的背景虚化,需要借助两颗摄像头进行景深判断,但它的精度相当有限。而在今天,借助神经网络计算,可以在有限的景深信息中,算出我们需要的清晰前景、模糊后景,并用更仿真的方式做出表达。

这都是AI在核心场景下的工作——它可能不像显卡那么直接,但我们会越来越离不开它。

万事不决问AI

万事不决问AI

一颗AI引擎来跑运算,但在仔细研究了骁龙峰会后,我们发现另有玄机——在第二代骁龙8里,甚至还藏了另外两颗小AI芯片,其中一颗在高通的传感器中枢里,传感器中枢同样起源于曾经DSP芯片的“低功耗岛”,负责着手机内外部的设备连接,相比于前代骁龙,这次传感器中枢的AI芯片性能提高2倍,因此首次实现了摄像头的智慧感知,也被用于强化比如二维码检测、眼球追踪、活动识别等基于传感器的AI功能。

其实在今天,很多功能是传感器、输出设备与AI运算的综合实力的体现。在第二代骁龙8、第二代高通S5、S3音频芯片的共同作用下,还能实现动态空间音频、时延低到48毫秒的aptX Adaptive连接技术、无损音乐串流——这些功能,早就是消费者想要的了,但想系统地解决问题,还得做到芯片上。

而另一颗小AI引擎,则藏在骁龙移动平台的王牌功能,5G基带里。

问题来了,怎么连基带都需要人工智能了?

事实上,很多自动化控制,已经被写在了今天的通讯协议中。比如在几年前,Wi-Fi 6刚刚开始推广普及时,对于为什么要用Wi-Fi 6,我们往往可以拿出一个非常有说服力的理由:波束成形技术。它相当于让路由器和手机的天线打个招呼,让更多的信号定向发送给对方,而不是毫无目标的均匀发射信号。当然,最终的结果就是,支持Wi-Fi 6的路由器和电脑手机,信号更强、速度更快。

其实高通在Wi-Fi领域里一直有很多“黑科技”,比如Wi-Fi 6是双频的,而高通芯片能支持同时连接2路2.4G信号和2路5G信号,即“实时双频Wi-Fi”或很多人熟悉的“实时双Wi-Fi 6技术”。第二代骁龙8,则成为首款支持Wi-Fi 7的手机芯片,在原有的强大基础上,首次实现了支持5GHz和6GHz的高频双并发,高通称其为“高频并发多连接技术”,在物理层面进一步大幅加速Wi-Fi连接。

而在5G技术里,波束成形同样是一项关键技术,特别是在毫米波5G,本身信号的穿透力就差,就更依赖波束成形等增强信号的技术了——但毫米波5G可能一两百米就有一个基站,那么多的天线信号,手机就要开始犯傻了:该向哪个基站“握手”传输数据?

打开网易新闻 查看精彩图片

这就有了AI的用武之地。第二代骁龙8集成的骁龙X70,就是全球首个和唯一一个配备5G AI处理器的调制解调器和射频系统。它通过四载波聚合(可以理解为四路信号并行下载)实现了10Gbps的5G传输速度,支持全球几乎所有先进的5G网络连接;骁龙X70首次通过内置的5G AI处理器高效地实现了AI辅助的毫米波波束管理,优化波束聚焦和方向,来解决毫米波的信号难题,并用AI来管理天线,自动优化信道、对抗环境变化产生的负面影响——比如在火车或者快速路上,快速切换的基站,AI就能帮你稳住信号。

我们的AI地基

我们的AI地基

如果以技术炒作曲线(Gartner Hype Circle)的眼光去看,今天我们看起来热闹非凡的人工智能,其实早已步入了稳步提升、创造真实价值的阶段。某种程度上说,AI可能已经完成了祛魅,变成了一个实用的、低调的东西。正如我们在骁龙峰会上观察到的,在手机上,AI就成了一项项我们每天在用的功能——拍照更清楚、语音识别更快、扫二维码更快、信号更稳定,诸如此类。实际上,业界围绕这些痛点,推出过一个个不同的解决方案,它们可能叫DSP、NPU或者ASIC,成为某个响亮的品牌名。作为消费者,我们或许可以感谢它们给了支持我们拍照、上网、听音乐的底层基础。

AI还将更有可为。比如在图像显示上,今天光线追踪已经加入了手机,而基于人工智能的DLSS技术也已经箭在弦上——这是一种通过人工智能运算,提升显卡在高分辨率下帧率性能的关键技术。而在未来,我们还有更多需要想象力的事情。

比如XR。第一代骁龙AR2,AI性能提升2.5倍、支持AR眼镜小于1W功耗,支持9路摄像头进行用户和环境理解,都是算力和需求的匹配。也同样采用支持Wi-Fi 7的FastConnect 7800连接系统。我们期待AR可以成为下一代个人计算的中枢设备,但想要做得更轻便、无线工作,那对芯片的要求要比手机还高。

今天我们面对的XR与沉浸式体验的概念,可能仍然处于雏形阶段,而XR未来也更需要AI的支持与创新。比如说有一个概念叫做“注视点渲染”,让显示芯片配合眼球追踪设备,它同样也是传感器、AI芯片与图形芯片的密切配合。而这可能就是AI以后的常态——集成在芯片里的AI引擎无处不在,AI的用武之地也越来越多,芯片之间的配合与连接,成了提高效率的必然选择。

AI就是这么“结果导向”——它就是要满足我们各种各样的需求。也正是我们的需求,在推动着高通这样的公司,围绕人工智能、深度学习训练,设计更高效的芯片、算法与开发接口,让整个系统高效地运转起来。在骁龙峰会里,我们不仅要热热闹闹地看着处理器和GPU的漂亮数据,偶尔关注一下AI,或许也能让你对未来更有期待。