翻译 / 思考姬
Maya+UE+Stable Diffusion=2D舞蹈动画新解法？
使用AI可能面临的抄袭问题，似乎逐渐成为房间里的大象。然而我们依然惊喜地发现了一例愿意从一开始就试图面对和解决这一问题的动画作品。
下面这一案例，来自从去年年底开始在TikTok和YouTube上活跃的账号『ツインズひなひま』，其内容为 两位可爱的穿着水手服的高中女生的舞蹈视频，动画风格乍看之下为2D手绘风格，但是人物动作非常丝滑流畅，运镜也经常是环绕式，似乎丝毫不考虑动画师的痛苦……
但是实际上这部动画是AI生成的！很明显，这次的整体质量之稳定丝滑，让人又一次倒吸了一口气。
制作公司KaKa Creation刚刚完成了约16亿日元的融资，并正式启动了利用各种AI技术进行的动画制作和动画制作制作业务。
而在上述 『ツインズひなひま』这个项目中，KaKa Creation非常自信地对外公布，团队部分解决了最让人诟病的AI侵权问题（考虑到很多AI底模的训练数据的合法性就较为暧昧，因此这里用“部分解决”可能更精准）。
此外，公司也表示这套综合应用了3D辅助、UE和AI的制作流程，非常高效高质量，可以让 『ツインズひなひま』这一账号维持高速更新（上一次我们详细记录的AI动画流程在这篇，可以对比阅读→）。
那么他们是如何做到的呢？我们翻译了 CGWORLD.JP对该公司的采访文章，来一探究竟。
原文章：AIを活用したアニメーション制作に注目！アニメTikToker『ツインズひなひま』
作者：No The Robot
链接：https://cgworld.jp/article/307HS-hinahima.html
女子高中生双胞胎姐妹“ひなひま（Hinahima）”这一账号以TikTok为中心发布着舞蹈动画视频，而其动画制作使用了基于Stable Diffusion的AI技术。
背后制作方KaKa Creation表示，他们在制作这一作品时不仅解决了在使用AI时候备受关注的版权问题，还建立了一套能够量产高质量内容的制作体系。为此我们采访了KaKa Creation。
-文章大纲-
利用AI进行动画制作，并确立了制作流程的相关解说
<1>利用AI的动画制作流程
<2>素材的准备和制作全貌
· 利用AI进行动画制作、并确立的制作流程解说
KaKa Creation以“利用AI的力量，赋能创作者，创作更能连接世界的作品”为目标，开展了利用AI进行动画制作和内容服务开发业务。从去年11月21日（星期二）起，启动了动画TikToker『双胞胎ひなひま（Hinahima Twins）』项目。
由曾负责2020年动画《Love Live! 虹咲学园学圆偶像同好会》角色设计的横田拓己先生参与角色设计，通过社交媒体发布的可爱双胞胎的日常生活，已经成为话题。
喜欢跳舞的双胞胎高中生（ひなな，ひまり）的舞蹈视频正在TikTok和YouTube短视频上播出中！
TikTok：@hinahimaa
YouTube：@hinahimaaa X（前身为Twitter）：@hinahimaa
©KaKa Creation, Inc.
在该动画的制作过程中，运用了公司作为概念的AI技术。“我们在动画制作的过程，通过引入了AI，得以让工作量减少并构建了一套能够高频率更新高质量舞蹈动画视频的流程。”制作人饭塚直道表示。
“公司的成立也是由曾在CyberAgent工作的成员为主导开始的，他们本身就有互联网内容运营的经验。而我在动画公司也有过就职经历，因为我们开始以利用AI拓展创作的可能性为目标，包括技术研发在内，启动了『双胞胎ひなひま』项目。”
从右到左：制作人・饭塚直道，KaKa Creation代表・竹原康友（以上皆为KaKa Creation），建模负责人・坂本圭司（坂本商会）。
无照片，AI/CG技术总监・Ultra-noob（自由职业者）。
虽然将AI应用于创作是一项备受关注的技术，但同时也存在着诸如版权和抄袭等非常敏感的问题。“AI带来的可能性也伴随着一些问题，但我们致力于在版权上实现合规的制作。其核心是开发了一种特定角色记忆学习模型‘LoRA’，在此基础上，我们构建了一套能够减少工作量且能够量产高质量动画的流程” （饭塚氏） 。
本作在引入AI的过程中，包括独自开发学习模型LoRA，也引入Unreal Engine等新技术来实践新的动画制作流程。接下来，我们将介绍这部作品在不断尝试的过程中所经历的探索以及最终确立的制作流程。
<1>利用AI的动画制作流程
· 通过使用AI来减少工作量
KaKa Creation以利用AI为愿景，并以此为方向启动了本项目。在后续推进动画TikToker项目时，他们提到动画已经变得更加贴近人们的生活了。
“VOCALOID （歌声合成软件） 的出现让作曲变得更加贴近大众，近年来作为YouTuber或TikToker发布内容也变得更加容易。我们认为，动画也正在变得越来越贴近人们的生活——不仅仅是观看，还包括创作。我们相信，加入AI的力量会进一步加速这一趋势。因此，我们决定首先自己亲手实践这一点，从这里开始。” （饭塚氏） 。
然而，一方面，正式的动画制作涉及到剧本和声优的安排等等，事情会变得非常复杂和庞大，此外动画全篇都使用AI试验的话目标也难以实现，因此最终决定了项目为在TikTok上发布舞蹈动画。
“在制作过程中，如何将AI与数字制作结合起来是本项目的主题。经过反复试验，最终我们采用了在‘后期制作阶段（仕上げの工程）利用AI’的方式。”（饭塚氏）。
整体流程是，先使用CG角色制作舞蹈动画，然后通过AI将其加工成手绘风格。尽管听起来很简单，但为了实现这一点进行了大量的验证和调整。“我们采用了全数字化的动画制作流程。在舞蹈动作方面也使用了动作捕捉技术，不过CG模型的制作和动作捕捉的使用已经成为标准，并为大众所熟知了。然而，在当前的动画制作中，当我们开始整合3DCG时，合成和调整的成本非常高。在‘双胞胎ひなひま’这个项目中，我们把手绘风格的加工工作交给了AI，这样既保证了质量，又达到了降低成本的目的”（饭塚氏）。
此外，本项目中使用的AI工具采用了Stable Diffusion。“虽然市面上出现了各种AI工具，但实际上，在生产级别上能够使用的工具只有Stable Diffusion。选择它的决定性因素是，它具备了充分的功能来控制使用AI时可能出现的角色对象意外变形和由此引起的画面闪烁等问题”（饭塚氏）。
另外，本制作的另外一个特点是使用Unreal Engine构建CG场景。‘我们利用了其在模拟舞蹈动作时头发、裙子等摇摆物体的模拟效果，以及灯光功能等优点’（AI/CG技术总监Ultra-noob先生）。
· 正在发布“跳舞尝试”视频的动画TikToker『双胞胎ひなひま』
姐姐是白发的妃莉（ひまり），妹妹是红发的阳奈奈（ひなな）。她们在TikTok上开始发布视频是因为这种活动在她们周围很流行，她们同时也在YouTube上发布了大量的“跳舞尝试”视频等内容。通过上述中构建的流程，短时间内大量生产相关内容得以实现。
· 启用AI的制作工作流
本作中使用的工作流，各个步骤的详细操作将在下文进行解说，不过基本素材都是在Maya中创建的。
在Unreal Engine中构建场景并进行渲染后，再通过Stable Diffusion加工成手绘风格。
主要使用的工具包括Maya、Unreal Engine和Stable Diffusion。在项目启动后，角色制作与各个阶段的技术验证同时进行。角色制作由坂本商会的坂本圭司先生负责。
“由于前提是利用AI进行最后的处理，因此与一般的CG模型制作相比，我们限制了一些要素的使用。基本前提是忠实再现设计，在此基础上添加必要的动作机制，但是为了表现表情而制作的形变（Morph），包括用于表达情感的形变，我们只制作了非常基本的类型。这是出于避免制作过于复杂模式的考虑”（坂本先生）。不过，根据各个工序中测试结果的反馈，也对部分内容进行了调整。
“在对制作的模型进行验证时，我们收到反馈说头发和裙子的摆动过于剧烈了。起初我们认为MMD模型*的骨骼数量是合适的，但根据结果，我们减少了可以再现大动作的骨骼数量”（坂本氏）。
“MMD模型”是指“初音未来舞蹈”（MikuMikuDance，简称MMD）软件中使用的3D模型。MikuMikuDance是一款用于创建3D动画的软件，最初是为了让用户制作初音未来等虚拟偶像的舞蹈视频而开发的。MMD模型通常具有一定数量的骨骼（Bones），用于控制角色的动作和姿态。
尽管在动画制作中采用了Unreal Engine，但对此Ultra-noob有如下解释：“由于对象穿模等问题，Unreal Engine在当前的动画制作中使用得还比较少，但它的模拟和照明等功能非常有用。这次，我们通过使用AI自动修正对象穿模问题，从而能够成功应用Unreal Engine。”
译者配图：左为头发与手臂穿模图，右为AI修图后效果
最后，再将在Unreal Engine中渲染的连续帧文件通过Stable Diffusion处理为插画风格，这块团队也下了很大功夫。“我们自主开发了可以在Stable Diffusion中使用的、记忆特定角色的学习模型‘LoRA’。通常LoRA模型的开发由于学习数据数量的限制，质量会有一定的局限。但在这次的‘双胞胎ひなひま’项目中，我们不仅使用了横田拓己先生亲手绘制的插画，还准备了超过500张CG模型的渲染图像作为学习数据集，从而能够实现对模型的形状进行无破绽加工了”（饭塚氏）。
这样一来，通过使用AI，我们能够在不触及版权问题的情况下，提高了公司自主开发角色的再现性。
· 由横田拓己先生负责的角色设计
横田拓己先生设计的妃莉（ひまり）角色设计图。
· 以AI加工为前提制作的角色模型和纹理
通常在制作模型时，为了避免其在动画效果中显得过于瘦弱，常常会进行夸张设计。但由于此次项目是以AI加工为前提的，因此在制作时更注重直线型轮廓。此外，考虑到在加工过程中皱纹等凸起可能会造成干扰，这些元素被排除在外。同时，关于纹理，也只准备了颜色和固定阴影。面部方面，使用了用于表达情感的形变和一般的口型等构造。
· 在Unreal Engine中的模拟
在Chaos RBAN（刚体动画节点）的基本物理设置界面中，主要调整质量和阻尼。但每个用于计算的Body（计算用的简化3D网格体）的质量设置都是单独调整的
动画导入后的时间轴。在这里还可以进一步进行校正，以改善模拟效果
动画蓝图的一部分。“在进行Chaos RBAN模拟后，我们还使用了Kawaii Physics伪物理插件。这是一种大胆的尝试，目前还有实验的余地，因此可能会有所改进”（Ultranoob氏）
影片渲染队列。通过写入额外的特殊参数，可以使角色发生变化。
· 通过Stable Diffusion进行最终处理
这是使用Stable Diffusion进行工作的一个例子。 基于CG生成AI视频，所以主要使用img2img标签下的Batch标签来进行工作。 由于在测试等过程中需要进行各种文件操作，因此在工作时总是显示文件管理器。 此外，还使用了多个自制工具，比如使用Python简单制作mp4视频，或者重新命名文件等。
·保证了质量的学习模型“LoRA”
LoRA的概要图。通过让其记录500多个学习数据，而成功防止了角色崩溃和对象失真，并维持了质量。此外，通过如此大量记录这些学习模型，避免了与现有作品的相似性，彻底提高了公司角色的再现性，并干脆地解决了版权问题，使得的AI使用得以合规。
· 抑制动画闪烁的措施
虽然通过利用LoRA模型和其他功能已经能够抑制闪烁现象，但在与手绘处理的平衡方面仍在不断试验和改进。
以上就是这次翻译的全部内容了。
怎么说呢，AI技术日新月异，而试图用它来进行合理创作的创作者也在不断涌现。之后利用AI还会发展出怎样新潮的工作流和作品呢？小趴继续拭目以待了。
-相关课程推荐-
如果你了解过AI的底层原理，那么AI带来的焦虑，你会更加有条理应对——
↓学术趴推出的这节相关课程，就是专门给焦虑的创作者的↓
【当创作者面对AI·联合分享】
我们特別邀请了三位利用过AI技术，已经实践出了一些有独特性与探索性的成果的创作者，从Midjourney到Stable Diffusion从Runway到Pika……围绕这些层出不穷的AI工具，进行了一次高效易懂的AI创作分享。
你在其中会了解到——
●应当利用AI的什么特点去进行新的创作形式的探索。
●应当利用AI哪些的特点去做人类画师手动无法完成或者难以完成的创作形式与内容。
我们也希望有更多的创作者们能在对AI有更深入的了解之后，不再充满焦虑。
— 点击图片阅读更多精彩内容 —
热门跟贴