CVPR 2024 | 如何通过“扩散模型”让视频清晰度稳定提升|保真度|像素|帧间|扩散模型|算法

近年来，扩散模型（diffusion models）的发展促进了图像，超分辨率算法的进步。通过算法将低分辨率图像，转换为高分辨率图像的技术有了显著的提升。这是基于已有的“二维图像扩散模型的技术方案”来进行转化的。即：利用低分辨率图像中的特征，作为图像去噪的控制信号，从而完成高分辨率图像生成。然而，这种基于扩散模型的算法只能根据输入的图像生成内容大致相似的高分辨率图像。但在动态视频的超分辨率处理上在挑战，直接应用于视频超分辨率时，无法进一步控制高分辨率视频帧的细节保真度，也无法控制生成视频帧之间的连续性，从而使生成的结果不够真实且连贯。

基于这样的问题，我们提出利用扩散模型中的空间适应模块，学习高分辨率视频帧和与之对应的低分辨率视频特征的空间适应性，促使生成的高分辨率视频细节丰富且与输入的低分辨率视频对应内容相符。除此之外，在空间适应模块之后，进一步利用时域对齐模块学习高分辨率视频帧之间的时序连贯性，保证生成的高分辨率视频不同帧之间图像细节内容的一致。最后通过调节生成视频的质量和保真度，生成一个与低分辨率对应的高分辨率的视频。

论文标题： Learning Spatial Adaptation and Temporal Coherence in Diffusion Models for Video Super-Resolution 论文链接： https://arxiv.org/pdf/2403.17000

一、研究背景：视频超分辨率任务及难点

当下视频超分辨率算法主要基于以卷积神经网络或者Transformer网络为基础结构的回归模型，而基于扩散生成模型的视频超分辨率鲜有涉及。如何利用扩散生成模型生成具有良好局部细节的高分辨率视频，是本工作研究的重点。相应的技术难点主要体现在以下两个方面：

如何减少扩散过程中的随机性，以保持生成的视频内容与低分辨率视频一致；
如何保证生成高分辨率视频的帧间细节一致。

二、通过在扩散模型中学习空间适应性和时序连贯性完成视频超分：SATeCo

针对上述的两个技术难点，本工作提出了一个以扩散模型为基础的视频超分辨率算法——SATeCo。基于海量高清数据预训练好的扩散生成模型（包括一个变分自编码器VAE和一个去噪网络UNet），该方案主要通过在原有VAE和UNet的框架中添加可训练微调的控制模块来实现从低分辨率视频到高分辨率视频转换。该方案通过主要的三个步骤来实现从低分辨率到高分辨率视频的转换。

第一步，通过时域互注意力机制（Temporal Mutual Self-Attention）和像素重排机制（Pixel Shuffle）设计了专用的视频上采样器Up-scaler，以获得更准确的上采样视频来输入后续的预训练模型的编码器中。

第二步，将编码得到的视频特征向量噪声化，再通过去噪网络进行恢复。在去噪网络中，引入的空间适应模块（Spatial Feature Adaption，SFA）通过像素级的特征调制将低分辨率视频的逐像素特征注入到去噪网络生成的高清视频特征中。随后，时域对齐模块（Temporal Feature Alignment，TFA）通过自注意力机制和交叉注意力机制来分别实现高清视频特征的帧间信息交互和高低清视频特征的对应位置的信息校正。

最后一步，经过循环去噪之后，视频特征向量经过解码器得到视频帧，这里的解码器也相似地引入了SFA和TFA模块。解码处理之后的视频最终经过残差网络（Residual Networks）构成的调节器与之前的上采样视频进行融合，从而在生成视频的质量和色彩保真度上实现更好的平衡效果。

本方案充分利用图像扩散模型的生成先验知识，同时在视频扩散模型中学习空间适应性和时序连贯性，因此可以良好地实现低分辨率视频到高分辨率视频的转换，保证视频内容保真度的同时，具有清晰细节和连贯性。

三、视频生成结果

用户可以通过输入一个低清视频，生成其对应的具有清晰细节且连贯的高清视频，以下是对应的低清视频和高清视频生成结果：

低清视频与对应生成的高清视频帧展示：

与其他方法生成结果的局部细节对比：

动态视频例子：