索尼申请了一项专利，思路有点反直觉：不等显卡把下一帧渲染完，先用AI把这一帧"猜"出来顶上。

打开网易新闻 查看精彩图片

这套系统的目标是减少卡顿，同时避开某些帧生成方法带来的额外延迟。它拿最近一张已完成的帧，再可选地结合最近的控制器输入，生成一张预测帧，在硬件渲染下一帧的间隙里先显示出去。

要理解这个设计为什么绕，得先看现有帧生成技术的短板：它们需要两张已完成的帧，才能在中间插入一张生成的图像。等第二张帧到位，延迟就来了。索尼的方案不插帧，而是用一张已经到手的帧去预测下一张，省掉了等待。

这个差别在渲染变慢时可能派上用场——帧交付率有机会维持得更稳。但专利申请文件里没有任何性能测量数据，它对延迟和画质的实际影响仍属未验证。

技术路线上，索尼的设计用了一对联合训练的编码器和解码器。编码器把一张渲染帧转成嵌入向量，也就是图像的紧凑数值表示；解码器再拿这个表示生成预测帧。

游戏运行时，这套系统与图形管线并行工作。硬件渲染下一帧的同时，AI处理上一帧，把预测结果送进显示缓冲区。于是生成图像可以在下一张渲染帧就绪之前先出现在屏幕上。

模型还能吃进运动矢量和最近的控制器输入。运动矢量描述图像各部分如何移动，按键则透露玩家最新的动作——这两类信息都比单张上一帧提供更多线索。

训练用的是连续视频帧。网络从随机初始化的权重起步，输入一帧，尝试预测下一帧，再与真实的后续帧比对，得出衡量预测误差的损失值。专利的权利要求描述了训练中把该损失与一个阈值做比对。由于视频本身自带参考图像，这个过程不需要人工标注训练材料。解码器输出的颜色通道数还多于编码器接收的通道数，使它能够一次生成多张预测帧。

专利里还写了一条非AI的替代路径：按像素块的运动方向平移像素块，不依赖训练好的编码器-解码器模型，同样能合成帧。文件也提到在不降低画质的前提下维持固定帧交付率——不过生成的帧究竟能不能保住那份画质，仍是个开放问题。

真正的考验很朴素：渲染慢下来的那一刻，AI能不能足够快地生成足够准的帧把空档填上。专利给出了方法，没有给出答案。