AI绘画+3D建模渲染=未来？最新工作流分享！|ai|工作流|建模渲染|纹理|线稿|绘画

如何把AI绘画融入到自己的3D工作流中？

AI绘画到底会对3D艺术家们带来怎样的帮助？

今天给模友们带来的

是日本艺术家

NeoClassicalRibbon

对于这个问题的探索

希望能给模友们带来一些启发

手动翻译校对

如有错误欢迎指正

概述

我主要做了以下工作。

1：AI角色设计

我使用 ControlNet 设计了一个原创角色。

2：手工3D建模

根据AI生成的角色设计创建3D模型。
这个过程主要是手动的。

3：3D渲染图像由AI重绘

基于3D模型的渲染图像，主要利用ControlNet 1.1的功能进行重绘。
我们重点研究是否有可能在保持 3D 模型创建的角色的同时，通过 AI 改善纹理并改变绘画风格。

目的

开始这项研究是为了了解如何在自己的 3D 制作工作流程中使用 AI。

角色设计是AI擅长的领域，但相反，这是我有很多弱点的领域，所以我认为这肯定会对工作流程有所贡献。

利用 AI 提高渲染质量是一项实验性的工作，但我们之所以致力于此，是因为我们认为，如果 AI 能够弥补 3D 渲染的高成本，我们就可以从根本上扭转工作流程。
尤其是在表达头发、皮肤等细节的质感时，虽然3D的制作成本很高，但在图中看到的对整体形象的贡献度并不是那么高，但如果调整得好的话，就会显得廉价，这一点我们特别期待AI的增强。

1.角色设计的运用

我决定设计一个已经在我脑海中存在了一段时间的角色。
既然大体方向已经确定，我决定通过输出一张图片来体现图像，并使用与图像匹配的文字作为提示。

接下来，我使用CN openpose创建了三个视图。
直接向 AI 指定颜色和特征很困难，因此我在 Photoshop 中对其进行了纠正。

最后，为了让角色的形象在我的脑海中更进一步的固定，我用手绘的图画检查了元素，并将它们具体化为 CN scribble涂鸦的输入。

由于这是第一次实验，我尝试创建一个对于 AI 和 3D 来说都不困难的设计。
从最终的设计来看，似乎不值得使用AI，但创建具体视觉参考的能力，并且在向AI发出指令的过程中，我能够将脑海中的图像用语言表达出来。极大地促进了 3D 工作。

2. 3D建模

由于该过程主要是手工工作，因此省略整体工作内容的解释。

考虑到人工智能未来的增强功能，与通常的过程相比，皮肤和头发尤其节省劳力。

创建皮肤

对于皮肤，我通常使用ZBrush来包裹扫描模型并传输细节。
这需要增加模型的细分级别，从而导致处理负载增加并进行额外的编辑，同时保持细节相当繁琐。

由于预计AI会改善皮肤的纹理，这次我只在Substance Painter中设置Procedural Material。

作为一个独立的 3D 模型，最终的皮肤感觉很平坦，但我相信 AI 可以通过其自然的皮肤表现有效地覆盖这一方面，因此我进行了相应的工作。

创建头发

正常过程中，用Curve遮挡后，改用Particle Hair来表现细毛。

更改为粒子毛发将增加渲染负载并使编辑毛发引导变得更加困难。
另外，由于Blender的头发粒子功能本来就很弱，所以有必要想办法来表达自然的头发。
（我还无法尝试新的头发系统。如果至少像 Clump 这样的修改器是可堆叠的，我会感觉更好，这样我就不必羡慕地看着 XGen...）

这次，我将头发保留为曲线块，并希望 AI 能够生成自然的头发流动。
在弯曲状态下，之后头发很容易扭曲或展开，所以如果能在这种状态下进行工作，那么在摆姿势等工作中会有很大的优势。

在这份中期报告中，我们决定通过AI在添加Rig之前的状态下传递模型，看看是否主要对皮肤和头发有影响。

AI辅助重绘

增强纹理和细节

设定值

重绘是在 i2i 中使用CN 瓷砖和线稿的组合进行的。
Lineart_realistic用作Lineart的预处理器。使用了 Alstroemeria Mix （https://civitai.com/models/38606/alstroemeria-mix）模型和 High-poly LoRA（https://civitai.com/models/8730/hipoly-3d-model-lora）。

评价

保持输入图像保真度的同时，在头发和皮肤中观察到预期的改进，并且整体照明和细节结构也显示出改进。

对于头发，消除了输入图像的块状，创建自然的头发流动。
发际线的处理如果在 3D 中完成可能会很费力，但也很合适。

对于皮肤，出现了输入图像中故意省略的纹理和光泽。
而且嘴唇的表现也很自然。

作为整体效果，照明对比度得到了改善，并添加了发光效果。
为图像添加景深（输入图像中没有）也是一种深思熟虑的做法。

总体而言，虽然由于再生而发生了变化，但令人惊喜的是服装标志中的字体形状几乎完全保留下来。
如果文本因再生而扭曲，我曾考虑在使用 Photoshop 进行后期处理时添加它，而不是将其写入纹理中，因此很高兴可以避免这一步。

问题

问题是颜色有些变化。
比如，我这次想把头发做成草莓金色，但重新画完后，结果变成了普通的金色。
看起来颜色变化是使用CNtile和“ControlNet更重要”时的一个已知问题，所以我希望将来能够改进它。

其他相关项目

关于提示，如果设置了“ControlNet更重要” ，基本上就不用指定了。
相反，很难生成输入图像中不存在的提示。在这种情况下，似乎会同时使用普通的修补等。

采样器的选择很重要，DPM++ SDE Karras对原始图像的改变很大，因此模型的风格显得更多，模型的纹理往往会发生很大的变化，但如果这是不可取的，DPM++ 2M 选择 Karras 或DDIM更容易保持输入图像的纹理。

如果不使用线稿，输入图像的保真度可能会下降一点，细节可能会被破坏，但AI有更多的自由绘制空间，因此你可能会获得更丰富的细节。

概括

虽然还存在一些问题，有一些地方需要今后去检验，但我认为总体上还是达到了预期的效果。
High Poly LoRA 正是为此目的而创建的，我很高兴我们终于能够进行演示实验。

风格改变

还可以通过切换模型和LoRA来改变绘画风格。
虽然面部表情有些变化，但这是可以用 Photoshop 调整的范围。

如果将Lineart的“结束控制步长”设置为较低的值（例如 0.4），细节会更容易受到干扰，但面部结构会更容易体现模型的图案。

然而，在输入图像的保真度和风格的改变之间存在权衡，并且在保持原始风格的同时可以改变风格的范围是有限的。
例如，如果尝试绘制动漫，则还需要允许面部变化。

如果不使用CN来创建并生成角色LoRA，则可能可以同时实现图案和角色的变化。这将是我们未来的研究项目之一。

怎么不起作用

平铺扩散 + CN 平铺

通过增加Noise Inversion和Denoise Strength ，我们尝试了一种方法，通过结合使用Tiled Diffusion和CNtile来提高分辨率，同时重新生成细节。

结果，图像中的细小噪点图案被再现为图案的一部分，导致质量较差。

背景中的轻微条纹或表达连帽衫纹理的微妙亮点和暗点被重新生成为条纹图案，这是不受欢迎的。
虽然可以通过调整参数或输入图像来提高质量，但与CN平铺 + 线稿方法相比，这种方法需要更多的精力和计算时间，因此我停止了这项研究。

CN参考

当我使用CN reference_adain+attn时，我可以看到模糊地再现元素的努力，但它并没有达到再现角色的程度。

即使与线稿配合使用，结构也崩塌得厉害，似乎不太适合我们这次想要达到的效果。

玛莎Ctrl

使用MasaCtrl WebUI Extension，我记录了一个曾经使用CNtile + Lineart输出的角色，在重新创建它时，我尝试根据提示用不同的构图和姿势重新创建它。
但是，当我尝试使用RECON重新生成它时，出现错误并且无法确认结果。当前的 WebUI 实现中似乎存在一个错误，会导致超出特定分辨率时出现错误。
（有信息表明，如果超过 512x768，就会出现错误）
（附录：我收到的信息是，通过在 webui 中指定 --xformers 和 --medvram，即使在大分辨率下也能工作。当我手头进行实验时，RTX3090 上的 768x1024 图像是可以使用CN瓦片和线稿输出。它将用于下一个和后续的实验。）

当用普通的t2i测试时，它比CN参考更有保持一致性的能力，而且这似乎是一个非常有趣的技术，所以我想等待未来的改进并重新审视它。

摘要和后续步骤

我们了解到 AI 可以增强 3D 渲染，并且在考虑未来的工作流程时我们能够获得非常重要的知识。
最终，如果你能准备出一个完成度约为60-70%的模型，剩下的交给AI，那目前已经可以实现了。

假设未来与AI合作，哪些部分应该被创建为3D模型，哪些部分可以委托给AI?我认为规范和限制应该是什么，是一个非常有趣的主题。

作为该项目的下一步，我们计划添加一个装置并对包括姿势和背景在内的情况进行实验。

另外，作为另一种方法，我想通过创建角色 LoRA 来验证如何将绘图留给 AI，而不直接使用 3D 渲染。

上一期央美数字人&次时代游戏角色研修招生时

有不少同学反馈没有基础担心跟不上进度

针对这些特殊情况，

中央美术学院国际学院对新一期的课程进行了调整

特意给零基础的同学新增了线上预科班：

本次预科班通过一系列基础课程