4K、8K等超高分辨率电影越来越普及,人们的“眼光”也随之提升,对于日常使用手机看视频有了更高的画质追求。然而,现实生活中我们经常会遇到视频片源质量差、网络环境不好画质自动降低等情况,随之而来的就是视频观感直线下降。

那么,有没有可能利用技术让画质达到期待的效果呢?华为新一代5nm 5G SoC麒麟9000为我们带来了新的解决方案,强劲AI能力支持,升级版AI视频超分技术可以轻松将低品质视频超分至高清。

什么是AI超分技术?手机花式玩法都离不开它

AI超分指的是基于神经网络算法和AI技术,从低像素的图片、视频里提取素材,实时合成高分辨率画面的技术。

今年5月,有网友利用AI超分修复了加拿大摄影师于1920-1929年间拍摄的一组反映当时北京社会风貌的视频,引起了巨大反响。人们在深刻感受到百年前北京风俗人情的同时,也惊叹于AI在修复摄影工业早期视频中展现的神奇力量。

目前,AI超分主要应用于低画质视频修复。但是,这需要非常专业的设备,由专业人士逐帧处理,普通用户很难做到。想要视频超分技术走入日常,需要手机平台支持更加智慧化的AI视频超分技术。

麒麟9000AI超分技术升级,带来实时超高画质体验

在麒麟9000发布会上,华为展示了基于麒麟9000实现的AI视频超分技术。从下面这则视频可以看出,麒麟9000主要从生成网络、分类网络和检测网络三个层面着手来实现视频超分:

试试

1、智能修复细节,实现“无中生有”

生成网络是一项开创性的工作,通过对感知域的损失进行改进,使用激活前的特征,可以实现在单一画面超分中生成逼真的纹理和细节,为纹理的修复和亮度的一致性提供了强有力的保证,从而得到更好的视觉质量。

视频中,我们可以看到麒麟9000基于生成网络,对蜥蜴的皮肤纹理进行增强,从540P到HD的画质转换中,蜥蜴皮肤的每一个细节都变得清晰可见,并且在保证皮肤细节颜色不变的情况下,整个画面的色彩得到智能提升,变得更亮更有质感。

而通过对落叶纹路的修复,使得落叶与绿植间的对比更明显,画面整体意境感觉更突出。

2、智能场景分类,增加整体清晰度

麒麟9000另一项技能是可以智能识别场景并进行分类。在视频中能够看出,与蜥蜴和绿叶不同,麒麟9000在识别出文字之后,基于分类网络将数字与背景区分开,再将视频超分到HD画质时,我们可以明显察觉到画面右侧的数字被锐化,相比较270P的状态整体清晰度大大提高。

3、智能检测对象,完成局部优化

麒麟9000高品质的AI超分效果离不开其强大的检测网络。通过智能检测技术,麒麟9000能轻松地识别画面噪声并进行去噪。在后两组场景中,麒麟9000分别对人物的耳环、衣饰、发丝以及落叶进行细节上的修复。通过智能生成网络,画面中人物身上的装饰变得更显眼,头发的细节也能更容易被察觉。配合着亮度提升,整个画面变得更加立体、饱满。

升级华为达芬奇架构NPU2.0,强劲AI能力助力超分效果更出彩

麒麟9000在AI视频超分中的惊艳表现离不开其AI能力的升级。麒麟9000升级华为达芬奇架构2.0 NPU,借助达芬奇架构灵活可剪裁的特性,使用双大核增加矩阵乘的算力,AI实时处理能力成倍增长。其次,为了提升AI计算的完备性和不同场景的计算效率,华为优化了达芬奇架构的各种计算单元,它们各自负责不同的运算任务,实现并行化计算模型,共同保障AI计算的高效处理。

在苏黎世理工学院发布的AI Benchmark最新榜单上,搭载麒麟9000的华为Mate40 Pro以AI性能总分216.6位列第一,力压第二名逾80分,强大的综合AI能力,助力手机实现了更好的AI超分效果。在中国电信发布的2020终端洞察报告中,麒麟9000 AI表现优异:在定点能力、浮点能力、硬件算力上力压苹果A14,获得了权威肯定。

正是由于麒麟9000强劲的NPU底层能力支持,才能在手机平台实现更具智慧的AI超分效果。如今,AI的应用范围逐渐扩圈,AI超分等技术的实用性也越来越强。比如在视频网站的片源较差、或者为了节约流量成本而压缩素材时,可在通过终端侧强劲的AI视频超分能力,将更加清晰的画质呈现在用户眼前。另外,这一能力还能够集成于主流视频播放器、播放引擎中,用技术实力为产业链赋能,真正让AI智慧成为改变生活体验的契机。相信在未来,AI技术仍将不断发展,将更多炫酷AI体验带入生活的方方面面。