最近,小雷在网上刷视频,偶然看到这样一条截图:

打开网易新闻 查看精彩图片

(图源:youtube)

这是从卡普空新作《识质存在》的测试Demo中截取出来的片段,这张游戏截图相当模糊,仿佛像是将一张正常的游戏截图,用微信来回传了二十多遍后带有“电子包浆”的网图。

不得不说,虽然糊得没眼看,游戏的场景还算是勉强看得清的,人物、背景、场地都还算能识别。

但是,如果告诉你,这游戏的内部实际渲染分辨率是38x22呢?

这位大神使用了dlsstweaks修改软件,将22p的画面效果经由英伟达最新的dlss4.5,搭载了第二代transform模型算法的超分技术上采样到了4k。

打开网易新闻 查看精彩图片

(图源:youtube)

而原像素,大概占据这么一小块。

无独有偶,还有一个更加极限的场景:在小黑盒上,有玩家使用《巫师3》这款游戏超分生成进行上采样,它的原像素是多少呢?是16x9,没错,不是16:9而是16x9,这意味着整个屏幕像素数量只有144块。直接观看,看起来像是某些博物馆上展出的抽象主义作品,如果没有周边的ui,很难让人知道这是一款游戏。

打开网易新闻 查看精彩图片

(图源:小黑盒)

而在dlss4.5的加持下,这款游戏的画面是这样的。

打开网易新闻 查看精彩图片

(图源:小黑盒)

虽说依旧模糊,但它起码能清晰地分辨出人物与背景的位置关系,有点类似近视眼没戴眼镜时的效果,这样的画面技术着实让人汗颜。

曾几何时,超分辨率还是一个饱受争议的话题,2018年首次搭载的dlss1的超分质量也难以给出让人信服的答复。然而到了近几年,几乎99%的2a或者3a游戏都至少采用了dlss,fsr,xess此类超采样技术的一种或多种。

打开网易新闻 查看精彩图片

(图源:youtube)

而在几个月前的ces展会上,英伟达正式公布了dlss4.5,带来了第二代的Transfromer模型与高达6X帧生成技术。

我们暂且抛开最开始图上那些用修改工具做出来的极端情景,就单纯使用官方允许的最大化设置。在同时开启DLSS超级性能档+6X帧生成的情况下,一款游戏在4K300FPS超高分辨率和超高帧率运行的游戏,其内部实际渲染的画面只有720P+50FPS。抛开超分超帧所需的计算量不谈,游戏背后的实际计算量仅有原生画面的1.85%。也就是说,游戏98%的画面是由AI生成的。

暂不论“我们是在玩游戏还是玩AI”这种忒修斯之船的哲学问题,但我们能清晰地看到,延续了40余年的图形技术正在迎来一次深刻的变革。

若要理解这深刻的变革,不妨从那场变革最开始的源头说起。

最早起家ai图形技术的英伟达

最早起家ai图形技术的英伟达

在2018年的德国科隆展上,NVIDA正式发布了20系游戏显卡。除了常规的性能升级外,此次20系显卡还带来全新的硬件光线追踪技术以及专属的ai计算单元tensor core。配合这款专属的ai计算单元的是首代深度学习超采样(Deep Learning Super Sampling,简称dlss)。

打开网易新闻 查看精彩图片

(图源:NVDIA)

在最开始,这类超采样技术是为了弥补20系显卡同期带来的光线追踪的不足——因为是首次研发此类技术,导致开启光追后的游戏帧数暴跌,此时就需要通过降低分辨率来降低渲染压力。而又想要保证画面质量,因此dlss便应运而生。

dlss借助其ai单元,由预先训练好的模型,在分辨率降低后空出的地方“猜测”像素进行填充(与现今的ai语言大模型相当相似)。

然而,初代的dlss的实际落地表现并不好,虽说已经比降级直出的要好上不少,但仍然存在模糊严重的问题。同时,与现在的随意调整渲染倍率的现代超分方案不同,你只能在固定的分辨率下以固定的缩放形式输出,还需要针对每一款不同的游戏分别进行模型训练……总之,玩家们并不买账。

而在大约一年半后,英伟达推出了dlss2.0,这次的技术进步相当大,同时也奠定了现代AI超分技术的基础。这次的模型升级为CNN(卷积神经网络)模型,不仅模型生成速度达到了上代的2倍,还能够从多个历史帧中提取向量、深度等数据作为画面参考,还带来了质量、平衡、性能三个超分辨率挡位,性能挡位能够从1080p四倍上采样到4k,而质量模式甚至已经接近了原生画面的水平。

此后,dlss2.X也在不断更新,每一次版本迭代都让画面质量更上一层。也是在此时,超分辨率低劣的刻板印象在玩家群体中逐渐消失,此类技术赢得了更多玩家的青睐

然而若是以目前普遍接受的超分技术来比较,dlss3.0新带入的帧生成技术带来的争议要大得多。

打开网易新闻 查看精彩图片

(图源:NVDIA)

DLSS3与RTX40系列显卡一同发布,它使用新硬件的光流加速器在两帧之间额外生成一帧,实现了双倍的帧数提升。但同时也引入了额外的延迟,不少玩家在使用超分辨率时抱怨增加的延迟严重影响了游戏手感,特别是在射击类或者动作类需要高精度反应的游戏中显得尤为突出。同时dlss3.0在超分模型上引入了超级性能挡位,能够以720p分辨率基底上采样至4k。

到了当前最新的RTX50系显卡,老黄也同步带来了dlss4.0,这次将超分与超帧这两方面进行了完全重构。

打开网易新闻 查看精彩图片

(图源:NVDIA)

在超分方面,从cnn模型更换成了全新的Transformer模型,采用了更大的模型计算量,图像生成的质量得到了极大地提高。原先的性能挡位即可媲美cnn质量档,更高级的平衡档和质量档甚至已经超越了原生的画面水准。

打开网易新闻 查看精彩图片

(图源:NVDIA)

超帧方案也从原先的光流方案升级到了新的AI生成模型,不仅生成速度加快,显存占用降低,相比dlss3的方案显著降低了延迟,还支持了最多4倍的帧数倍率。

在开启超分超帧等所有方案后,各种顶级3a游戏大作都达到了恐怖的两百多帧。

打开网易新闻 查看精彩图片

(图源:NVDIA)

到了最新的一代,英伟达在ces展上给出了最新dlss4.5技术,6X帧生成与第二代transformer模型的出现,算是给本就成熟的AI图形技术再度强化。

已经离不开AI的游戏业界

已经离不开AI的游戏业界

游戏开发商们也对这些AI技术相当重视。

对于他们而言,超分超帧技术的“反向应用”可以大大地缩短开发周期与降低成本。

在游戏开发过程中,“优化”一直是一个费力不讨好的工作,需要在资源受限的情况下去做减面、缩光影、砍画质等内容极为耗时耗力。而有了此类技术,则能够通过AI轻松生成出高质量的画面与极高的帧数。

打开网易新闻 查看精彩图片

(图源:NVDIA)

这当然也相当程度地影响了部分“守旧派”,对那些拒绝使用超分超帧的用户来说,他们成了牺牲品。然而在这“时代车轮滚滚向前”的大潮中,此类人要么最终“真香”,要么孤注一掷,用着残缺的显卡性能体验游戏,尤其是当前的显卡价格的构成早已不是单纯的光栅化性能,AI、光追也在产品价格中占据了相当一部分。

所以,积极拥抱未来技术既是理智的,也是不得不做出的选择。如果能主动选择,这类技术甚至能让曾经的60系甜品卡,在2K乃至4K分辨率的最高画质下流畅运行游戏。

未来的游戏形态?

当下的dlss超分技术无论多么先进,目前更像是锦上添花,游戏的所有元数据依然需要大量的人工开发,哪怕做到了99%,没有剩下的那1%依然无法满足需求。

同时,这类技术并非没有副作用,如同前文提到的模糊,延迟等问题,目前到最新的技术下依然没有得到妥善地解决,超分带来的画面bug和超帧带来的操作不跟手的问题依然存在。我们还需要等待技术的进一步成熟。

近几年还推出了一种完全由AI生成的游戏形式,虽然目前来说仅仅是个技术展示,甚至连正常游玩都做不到,但展望未来,或许由人工搭建的游戏与纯AI游戏将会并行发展。

当下这个摩尔定律失效,制程工艺接近极限的时代,这类ai技术正在使用“曲线救国”的技术持续的更新迭代。

由编辑“定西”和主播“阿雷”领衔的雷科技MWC26报道团已集结完毕,将于2月27日启程飞赴巴塞罗那。
MWC(世界移动通信大会)26主题是智能新纪元「The IQ Era」,将在5G-A/6G通信新技术外,生动展示AI、IoT、XR、机器人、云计算、智能出行等技术及其解决方案的应用。
AI4Enterprise、AI Nexus、ConnectAI、游戏规则改变者们、智能基础设施、Tech4All,六大主题盛宴,AI贯穿全场、连接未来。
3月,与雷科技报道团一起,在巴塞罗那洞见AI落地新趋势。

打开网易新闻 查看精彩图片