上交联合Tiamat AI、中国科学院沉阳自动化研究所、新加坡国立大学提出了一种新颖的基于扩散的头发转移框架，名为Stable-Hair，该框架能够稳健地将各种真实世界的发型转移到用户提供的面部图像上，以实现虚拟试发的效果。
输入一张 source 图片（希望变换发型的人脸）和一张 reference图片（预期发型的人脸），如上图所示，可以看到Ours（Stable-Hair）生成的效果，除了发型变化外，人脸的特征保留完整，且效果比其他模型都好。
Stable-Hair采用Hair Extractor（头发提取器）和Hair Cross-attention Layers（头发跨注意力层）的组合，有效地注入了参考发型特征。为了确保转移过程中源内容的一致性，引入了一种新的Latent ControlNet架构，该架构既充当Bald Converter（光头转换器），又作为Latent IdentityNet，促进了从像素空间到潜在空间的发型移植过程。另外还开发了一条自动化数据生产流程，对于框架的成功训练起到了至关重要的作用。
实现方法
Stable-Hair 通过两个关键阶段来实现高质量的发型迁移。
首先，将用户提供的源图像转换为秃头图像。这一步骤是通过结合预训练的稳定扩散 (SD) 模型和专门设计的秃头转换器来完成的，如下图左上角所示。
接下来，第二阶段使用预训练的 SD 模型和发型提取器将参考发型移植到秃头图像上。发型提取器负责捕捉参考发型的复杂细节和特征，然后通过新添加的发型交叉注意层将这些特征注入到 SD 模型中。
通过这两个阶段，Stable-Hair 实现了高度详细和高保真度的发型移植，生成自然且视觉上吸引人的效果。与其他方法相比，Stable-Hair 实现了更精细和稳定的发型迁移，无需依赖精确的面部对齐或明确的掩模进行监督。
与现有的优秀方法对比
现有的一种简单的方法是利用ControlNet结构作为Bald Converter和Latent IdentityNet来确保内容一致性。利用 ControlNet 作为 Bald Converter 和 Latent IdentityNet 可确保内容一致性，但难以保持颜色一致性。原因在于像素空间和潜在空间以不同方式表示图像信息，导致训练过程中难以对齐。
该方法的稳健性使得发型可以跨不同领域进行迁移，这是以前的方法所无法实现的。
创新架构Latent ControlNet
在将图像输入 ControlNet 之前，图像首先通过 VAE 编码器被编码到潜在空间，然后通过一个新的可训练卷积层传送到 U-Net 的可训练副本。最终，基于提出的 Latent ControlNet 结构，训练了 Bald Converter 和 Latent IdentityNet，从而获得了最佳的一致性效果。
感谢关注～，带你学习AI，了解AI
热门跟贴