自动化视频中的线条画上色对于简化动画制作流程、减少人工成本非常重要。然而，一些问题，比如角色设计和线条画草图之间的对齐问题，以及需要保持画面一致性的问题，给自动化带来了挑战。以前的方法往往需要人工上色关键帧和精细的线条画指导，增加了艺术家的工作量，并且因为草图条件不明确，容易导致颜色信息泄露。
香港科技大学提出了一种全新的一体化模型AniDoc，利用视频扩散模型中的先验知识来自动化上色过程。AniDoc方法引入了一个明确的对应机制，并通过注入模块将参考图像的颜色信息准确传递给输入的草图，从而提高上色的准确性。AniDoc方法为自动化线条画视频上色提供了有效的解决方案，进而提升了动画制作的效率。（链接在文章底部）
01 技术原理
AniDoc 可以根据角色设计参考图，高保真地为一系列草图上色，即使这些草图的姿势和比例差异很大。更重要的是，这个模型支持稀疏的草图输入，能够在进行有效插值的同时，实现高质量的上色，正如最后一行所展示的那样。
AniDoc 的工作流程概述如下：采用了两阶段的训练策略。在密集草图训练阶段，从参考图像和每一帧训练视频中提取匹配的关键点对，构建点图来表示它们之间的对应关系。在稀疏草图训练阶段，去除了中间帧的草图，只使用起始帧和结束帧的匹配点来插值生成点的轨迹，从而指导中间帧的生成。
对于以前的视频上色方法，当给定一个非二值化的草图时，即使参考图像为空，它仍然能生成与真实颜色模式相似的上色结果。然而，一旦将草图二值化，上色效果就会显著下降。因此，AniDoc在训练中采用了二值化草图。
02 实际效果
相同参考图，不同草图：通过使用相同的参考图，AniDoc模型能够在不同的视频片段中生成一致的上色效果，即使这些草图在姿势或比例上有很大差异。
相同草图，不同参考图：当将不同的参考图应用于相同的草图序列时，AniDoc方法能够保持角色的基本特征，同时根据参考图的不同风格调整细节，比如光照和背景。
稀疏输入草图：得益于AniDoc的两阶段训练策略，AniDoc方法支持使用稀疏草图制作动画。只需使用起始和结束草图，模型就能有效地生成平滑且连贯的动画。
多个角色：尽管AniDoc的工作主要集中在单一参考图像，并没有专门针对多个参考图像进行训练或处理，但当参考图像包含多个角色时，AniDoc模型可以自动根据每个角色的特征进行区分，并为每个角色正确上色。即使参考图像和线条画中的角色姿势、角度或相对位置有很大不同，模型也能正确处理。
不同背景的参考图：当使用背景不同的图像作为参考时，AniDoc模型能够将参考图像的风格转移过来，为动画生成不同风格的背景。
https://github.com/yihao-meng/AniDoc
https://arxiv.org/pdf/2412.14173
热门跟贴