作者｜袁博
来源｜AI先锋官
你是否在短视频平台刷到过绘画大神从一张白纸一步一步手绘出一副精美插画的视频，如果你也想做这样的视频却不会画怎么办？那就让AI帮你生成吧。
它就是ControlNet作者张吕敏（Lvmin Zhang）在GitHub上又发布的一个新项目Paints-Undo。
Paints-Undo可以将任何一张图像“拆解”成一个25秒的图像绘制过程视频，从线 稿到填色以及局 部细节调整的全过程。例如：
它不止可以生成动漫风格，其他风格照样精通，例如油画、水墨画等。
或者提取不同程 度的草图。
给草图上色也不在话下。
它还可以输入线稿，生 成线稿的绘制过程。
并且，输入一张图片它还能输出多个 视频。
但是它还存在一些问题，比如难以实现 现实照片的内容
处理复杂的构图很困难；
难以 理解特殊概念；
在某些设计中，结果不遵循 主流工作流程。
需要注意的是，GitHub是Paints-Undo的唯一官方页面，其他在Google或社交媒体上均为虚假网站。
Paints-Undo 提供了一系列模型，这些模型将图像作为输入，然后输出该图像的绘制序列。它展示了各种人类绘画行为，包括草图、墨迹、着色、阴影、变换、左右翻转、颜色曲线调整、改变图层的可见性，甚至在绘图过程中改变整体构思等。
它可以 通过以下方式将Paints-Undo部署到本地：
值得一提的是，它是在Nvidia 4090和3090TI上使用的24GB显存进行测试，它也可以与16GB显存一起使用，但不适用于8GB，理论上最低显存要求约为10~12.5GB。
它可以在大约5到10分钟内处理一张图片，不过具体还需要取决于用户的设置，它可以生成25秒、4FPS的视频，分辨率有可能是320x512、512x320、384x448 或 448x384。
它目前发布了两个模型，分别是单帧模型paints_undo_single_frame和多帧模型paints_undo_multi_frame。
单帧模型是将一个图像和一个操作步骤（operation step）作为输入，并输出一个图像。在用户输入图像后并指定操作步骤的次数，一次操作步骤对应一次撤销，比如操作步骤为100，则表示它要在此图像上模拟撤销100 次，以获得第 100 次撤销之后的外观。
多帧模型将两个图像作为输入，并在两个输入图像之间输出16个中间帧。它的结果比单帧模型更一致，但速度却慢得多，“创意”更少，并且仅限于 16 帧。
在GitHub存储库中，默认方法是将它们一起使用。首先用单帧模型得到5-7个“关键帧”，然后再使用多帧模型对这些关键帧进行“插值”，以实际生成一个相对较长的视频。
从理论上讲，该系统可以以多种方式使用，它甚至可以提供无限长的视频，但在测试中，当最终帧数约为 100-500 时，效果更好。
感兴趣的感兴趣的小伙伴快去试试吧。
扫码邀请进群，我们带你一起来玩转ChatGPT、GPT-4、文心一言、通义千问、讯飞星火等AI大模型，顺便学一些AI搞钱技能。
往期文章回顾
热门跟贴