5分钟素材创造超写实人物形象！人大等团队提出SyncTalk - 高保真说话人合成|synctalk|人物形象|哈希|编码器|说话人

本文介绍来自人大等多个团队的最新科研成果 - SyncTalk。这是一种基于NeRF的高同步性说话人合成方法，专门针对提升说话人视频真实感和同步性而设计。本文克服了以往在同步性方面遇到的挑战，仅使用5分钟的说话视频即可生成高真实感的人物形象。目前该工作已入选CVPR 2024。

论文题目： SyncTalk: The Devil is in the Synchronization for Talking Head Synthesis 论文链接： https://arxiv.org/abs/2311.17590 项目主页： https://ziqiaopeng.github.io/synctalk 代码链接： https://github.com/ZiqiaoPeng/SyncTalk

图1 SyncTalk通过使用5分钟的训练视频即可输出高真实感的说话人视频

一、动机

合成由语音驱动的高真实感的说话人物视频面临着许多挑战。传统的基于GAN的方法难以保持一致的面部身份，而基于NeRF方法虽然能够解决这个问题，但通常会产生不匹配的唇部动作、不具表现力的面部表情和不稳定的头部姿势。一个逼真的说话人物需要同步协调人物身份、唇部动作、面部表情和头部姿势。缺乏这些同步效果是一个根本性缺陷，导致生成的效果不真实。

为了解决同步这一关键问题，作者引入了SyncTalk。这种基于NeRF的方法有效地保持了人物身份，增强了说话人物合成中的同步性和真实感。SyncTalk采用面部同步控制器（Face-Sync Controller）来使唇部动作与语音对齐，并创新性地使用3D面部混合形状模型来捕捉准确的面部表情。使用头部同步稳定器（Head-Sync Stabilizer）优化头部姿势，实现更自然的头部动作。使用动态肖像渲染（Dynamic Portrait Renderer）来生成高质量图像并恢复头发细节，提供更好的视觉体验。

二、方法

在本节中，将介绍作者提出的SyncTalk的三个关键模块，如图2所示，分别是：1）使用Face-Sync Controller控制嘴唇动作和面部表情，2）使用Head-Sync Stabilizer提供稳定的头部姿势，以及使用Dynamic Portrait Renderer渲染高同步面部视频，以下将进行详细介绍。

2.1 Face-Sync Controller

Audio-Visual Encoder

现有的基于NeRF的方法主要使用Deepspeech、Wav2Vec 2.0或HuBERT等方法提取音频特征，但是这些专为自动语音识别（ASR）任务设计的音频编码器并不能准确反映嘴唇运动。这是因为预训练模型基于从音频到文本的特征分布，而该任务需要从音频到嘴唇运动的特征分布。作者选择使用在2D视听同步数据集LRS2上进行预训练的视听同步音频编码器。这确保了通过该方法提取的音频特征和嘴唇运动具有相同的特征分布，从而提供更精准的唇部运动。

Facial Animation Capturer

先前基于NeRF的方法只能控制眨眼，不能准确地控制面部表情。如果用于训练的角色有大幅度的面部动作，如眯眼、扬眉或皱眉，会导致面部表情僵硬和面部细节不正确等问题。考虑到对更加同步和逼真的面部表情的需求，本文增加了一个表情同步控制模块。具体来说，通过使用 B 表示的52个面部混合形状系数，引入3D面部先验来对面部进行建模，如图3所示。由于3D人脸模型可以保留人脸运动的结构信息，因此可以很好地反映面部的运动，而不会造成人脸结构失真。在训练过程中，首先使用来自EmoTalk的面部混合形状捕获模块将面部表情捕获为E(B) ，并选择七个核心面部表情控制系数来控制眉毛、额头和眼睛区域。它们与表情高度相关，与嘴唇运动无关。

2.2 Head-Sync Stabilizer

为了获取头部姿态，本文首先使用头部运动跟踪器来将3D可变形模型（3DMM）中的投影Landmark与视频帧中的实际Landmark之间的误差降到最低，从而得到较为稳定的头部旋转和平移。考虑到基于NeRF的方法对于头部运动的稳定性要求较高，如果运动参数不准确会出现较为明显的头部忽大忽小的情况。之前的方法仅使用稀疏的面部关键点来得到不稳定的头部姿态。

本文通过引入稠密点面部运动的追踪算法，并使用SLAM中的Bundle Adjustment来提高关键点和头部姿态估计的准确性，并引入了一个两阶段的优化框架。在第一阶段，随机初始化个关键点的3D坐标，并优化它们的位置，使其与图像平面上跟踪的关键点对齐。此过程涉及最小化损失函数，该函数捕获投影关键点和跟踪关键点之间的差异，如下所示：

在第二阶段，进行更全面的优化，以细化3D关键点和相关的头部联合姿态参数。通过Adam优化器调整了空间坐标、旋转角度和平移，使误差最小化，表示为：

最终得到准确且稳定的头部姿态。

2.3 Dynamic Portrait Renderer

Tri-Plane Hash Representation

先前的方法如RAD-NeRF利用Instant-NGP实现了说话人的快速推理，但在音频驱动的3D动态头部建模中，哈希冲突影响了渲染质量和收敛性。为解决此问题，本文参考ER-NeRF使用三平面哈希表示，通过NeRF的三平面分解将3D空间分解为三个正交平面。在因子分解过程中，所有空间区域都被压缩到2D平面上，并修剪相应的特征网格，从而减少低维子空间中的散列冲突。在较少噪声的情况下，网络可以更专注于音频特征的处理，因此能够更准确地重建头部结构和更精细地捕捉动态运动。在建模过程中，对于给定的坐标，通过三个2D哈希编码器对其投影坐标进行编码：

其中输出，表示层级数，表示每个条目的特征维度，表示与投影坐标相对应的平面几何特征，表示平面的多分辨率哈希编码器。通过合并结果，得到最终的几何特征：

其中特征的串联由表示，结果为一个通道的向量。利用、观察方向、嘴唇特征和表情特征，三平面哈希的隐式函数定义为：

Portrait-Sync Generator

在训练过程中，为了解决NeRF在捕捉头发细节和动态背景等细节方面的局限性，作者引入了一个具有两个关键部分的人像同步生成器。首先，NeRF渲染面部区域 ( ) ，通过高斯模糊创建作为面部的遮罩，然后使用同步的头部姿态，能够将面部渲染结果与原始图像 ( ) 贴合以增强头发细节的保真度。

其次，当头部和躯干结合在一起时，如果源视频中的角色说话而生成的面部保持沉默，可能会出现下巴上的伪影，我们使用平均颈部颜色 ( ) 来填充这些区域，从而实现了更加逼真的细节和改进的视觉质量。

三、实验

3.1 定量评估

首先作者比较了在自驱动情况下不同方法的结果，SyncTalk在图像质量上均优于其他方法，在同步性方面结果超过了大部分的方法。

SyncTalk具有两种输出模式，分别是使用人像同步生成器，和不使用人像同步生成器。通过使用人像同步生成器后，头发细节得到恢复，图像质量也得到提高。由于唇部、表情和姿势的同步，在图像质量方面也优于基于NeRF的方法，特别是在LPIPS度量方面。
其次比较了使用异源音频驱动的效果(使用其他人说话的音频驱动当前人物)。

表2 嘴唇同步的定量结果

本文引入唇形同步误差距离（LSE-D）和置信度（LSE-C）用于唇形音频同步评估。SyncTalk展示了最先进的唇形同步效果，通过结合预训练的视听编码器进行唇形建模，克服了小样本NeRF的局限性。

3.2 定性评估

为了更直观地评估图像质量，在下图中展示了SyncTalk与其他方法之间的比较。从这张图中可以看出，SyncTalk展示了更高质量、更准确的面部细节。

图4 不同方法合成面部的定性比较

为了对所提出的模型进行更全面的评估，作者设计了一个用户研究问卷，并要求参与者从五个角度对生成的视频进行评分：口型同步准确性、表情同步准确性、姿势同步准确性、图像质量、视频真实度。用户研究的结果见下表。SyncTalk在所有评估中都超越了以前的方法。此外，SyncTalk在视频真实性方面取得了最高分，比第二名的IP-LAP高出20%。可以看出该方法可以产生人类感知的视觉质量，从而实现高真实感。

表3 用户研究结果

四、总结

本文详细介绍了一种高度同步的基于NeRF的逼真语音驱动说话人合成方法 - SyncTalk。该框架包括面部同步控制器、头部同步稳定器和人像同步生成器，它们可以保持人物身份并生成同步的嘴唇运动、面部表情和稳定的头部姿势。通过广泛的评估，与现有方法相比，SyncTalk 在创建逼真和同步的说话人视频方面表现出卓越的性能。随着说话人任务的快速发展，在不久后大家都可以拥有属于自己的虚拟人物。
Illustration From IconScout By 22

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。