舞台亮片、艺术脸绘这类复杂妆容,一直是妆容迁移技术的"翻车现场"。纹理糊成一团,人物脸型还悄悄变了样——淡妆时代那套方法,到这里基本失灵。
vivo BlueImage Lab 在 ECCV 2026 发表的 ART 框架,给出的解法有点反直觉:别再拿合成出来的假目标当标准答案了。
打开网易新闻 查看精彩图片
监督信号换了个来源
传统思路是先合成一个"伪目标"图像,再让模型去逼近它。问题在于,伪目标本身就是算出来的,细节在合成那一步就已经丢了,模型再怎么学,上限也被锁死。
ART 的做法是把监督信号从伪目标转向真实的参考图像。团队在方法里构建了一个可微的妆容载体(Makeup Carrier),把迁移结果当成一个独立的妆容图层来看待。
具体怎么验证?把这个妆容图层叠加到参考图的素颜上,重建出的图像和真实图像之间的误差,就成了训练用的监督信号。像素级对齐,细节才有机会被保住。
两阶段,先起步再锚定
ART 采用两阶段训练策略:
- 第一阶段用伪目标初始化基础迁移能力,先把模型带起来;
- 第二阶段做"现实锚定细化",靠可微妆容载体把重建误差作为真实监督信号,把细节拉回真实像素。
用团队的话说,伪目标可以用,但只能用来起步。真正决定最终效果的,是后面这一步能不能锚定到真实图像上。
顺带补上了数据缺口
复杂妆容迁移难,一部分原因在于数据。高分辨率、真实场景下的妆容数据一直是空白。
团队构建了 MF2K 数据集,这是首个 2K 分辨率的真实妆容数据集,覆盖素颜、淡妆、浓妆及艺术妆四类。分辨率上去了,亮片、脸绘这类高频细节才有被学习和还原的基础。
从方法设计到数据补齐,ART 想解决的是同一件事:让妆容迁移在复杂场景下,既留住妆,也留住人。
热门跟贴