索尼最近申请了一项专利,思路是把"等渲染"这件事绕过去。据科技媒体 TechSpot 报道,这项专利描绘的场景是:让 AI 在 GPU 完成渲染前预测下一帧画面,减少游戏画面卡顿,同时避免帧生成技术带来的额外延迟。

打开网易新闻 查看精彩图片

要理解它想解决什么,得先看现有帧生成的问题。当前方案需要等两帧画面都渲染完成,才能在中间插入一帧。索尼的设想是直接利用已经生成的画面预测下一帧,无需等待两帧就能插值,帮助游戏维持更稳定的帧输出节奏。

具体怎么实现?索尼使用了联合训练的编解码器,把渲染完成的画面转换为嵌入表示,对图像做紧凑的数值化表达,再让解码器利用这些提示生成预测帧。游戏运行时,这套系统与图形渲染管线并行工作:硬件渲染下一帧时,AI 处理上一帧,并把预测结果发送至显示缓冲区。因此在下一帧完成渲染之前,预测画面就有可能先行显示。

预测的依据不止画面本身。该系统还可利用运动矢量和玩家近期的手柄操作,让玩家操作角色的历史成为下一帧动作预测的根基。训练过程使用连续的视频帧,神经网络最初采用随机初始化的权重,以一帧画面作为输入并尝试预测下一帧,随后将预测结果与实际的后续画面比较,计算一个用于衡量预测误差的损失值。

正方看,这套并行思路确实避开了"等两帧"的等待,理论上能让帧输出节奏更稳;反方看,专利本身没有给出任何实测数据。这项技术能否发挥实际作用,取决于 AI 能否迅速地生成准确画面,从而在渲染速度下降时填补帧输出间隙。

换句话说,预测得准不准、快不快,才是它从纸面走向显示缓冲区的门槛。