打开网易新闻 查看精彩图片

大家好,我是特效师小高

欢迎回到CGtube

打开网易新闻 查看精彩图片

最近复仇者联盟3热映,大家都去影院看过了吧。这集最大的看头当然是灭霸了。恶霸身形,紫薯皮肤,领袖脸型,还有最坚定的意志和决心,很有魅力的反派啊。

打开网易新闻 查看精彩图片

一句话概括全片:一个响指变走一半人,然后再拍两集变回来。(玩笑)

话说已经有很多公众号推送了诸如彩蛋合集、剧情二次创作之类的“软内容”,我们CGtube作为CG领域的博物美少年,必须来一支颇有深度的技术硬货,硬到连我自己都看不懂在说什么...好吧,咱们说硬就硬,今天就来一篇纯技术推文,和大家介绍一下CG灭霸的诞生过程,一探CG工业的流程和奥秘。

(此文内容源来自英文材料,我做了翻译并且删减了我自己死都看不懂的地方,从句套从句要人命啊)

【开始】

CG灭霸主要是由DD制作完成( Digital Domain ),同时DD研发了一套新的面部捕捉技术流程。漫威制作组意识到,灭霸在复联3中出现了将近40分钟,如果CG灭霸稍有不尽人意,就会影响整部电影的观感,所以漫威在正式拍摄前的三到四个月就联合DD做了详尽的测试和预演工作。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

导演组先对灭霸扮演者Josh Brolin进行面部视频采集,然后进入面部捕捉阶段。

针对面部动画,演员需要戴上头盔摄影机以48帧每秒进行面部信息采集,摄像机被垂直摆放在演员面部正前方以获得最大面积的拍摄(这和手机拍摄一个道理,竖排才能让这个画面被充分利用),每个演员都会被重新三维建模,然后把采集到的信息赋予到模型上,并且驱动模型产生面部运动。

Digital Domain创造了两个系统来控制面部动画,一个叫 in-house Masquerade,另一个叫Direct Drive。这两套工具协同作业,根据演员现场的表演实时创造出了灭霸高质量的面部动画。

Masquerade】

头部立体摄像机创造出了灭霸演员低面数头部模型,Digital Domain要解决的是从这个低面网格中计算出一套FACS AUS(面部肌肉运动单元),Digital Domain的工作流非常智能化的做到了在低面数网格和高面数网格中的中间插值运算,而这正是运用了Masquerade这款软件。

Masquerade是一款应用程序,他使用机器学习算法,可以将低分辨率网格转换为高分辨率网格,其功效和直接使用高精度捕捉设备是一样的。Masquerade极大的提升了Digital Domain所能从演员身上捕捉的到信息。

打开网易新闻 查看精彩图片

说穿了,Digital Domain从一台头盔式摄像机中提取画面,利用AI输出成高分辨率高精度的三维面部模型(动态),Masquerade使用机器学习根据之前在Medusa扫描收集的高分辨率追踪数据,将HMC动捕阶段采集的150个面部数据转换为大约40000点的高分辨率演员面部运动数据。

打开网易新闻 查看精彩图片

从高精度扫描模型上收集到的数据精确显示了演员脸部表情所能表达的一切内容,这就让电脑学习和识别到演员表情的细微变化、脸部表情动作的极限、脸部肌肉运动的范围等等,甚至是皱纹的运动。

打开网易新闻 查看精彩图片

当开始进行动作捕捉的时候,演员身穿动捕紧身衣,头戴面部捕捉摄影机进行数据采集,在这个过程中,身体捕捉和面部捕捉是同时进行的,这样才能做到演员的肢体动作与面部表情完全匹配。如果分开采集,那就无法做到匹配。面部表情的数据不仅精确而且是完全与肢体表演相互对用。

Masquerade能够把肢体和面部更好的融合在一起,确保高精度的采集肢体和面部的数据。不仅如此,Masquerade还具有学习反馈的过程,如果出现了错误,制作团队就对进行修正工作,然后把数据反馈到学习算法当中,这就是机器学习的过程,修正反馈次数越多,Masquerade将来计算的精度就越高。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

从纯技术层面上讲, Masquerade 还不是完全意义上的神经网络或是传统计算机视觉人工智能,他应该属于局部空间的基础工具,能够查找空间缺失进行插值补偿,比如低分辨率模型上经常会缺失皱纹细节,那就能在丢失细节的地方进行添加。

迪士尼在Siggraph2014上发布的面部技术参考

灯光和着色】

除了面部动画之外,工作团队在渲染合成上也下了大工夫。他们先是扫描下Brolin 的头部模型,数据上保有大量的细节,然后用Zbrush开始雕刻。这步工作是模型师材质艺术家共同完成的。

打开网易新闻 查看精彩图片

制作团队用V-Ray完成渲染工作,渲染的难点在于得到真实的皮肤质感,因为灭霸的皮肤是紫色的,如果把颜色做的太深,看起来就像是卡通缺少真实感,但也不能做的太过黯淡失去觉得本身的属性。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

为了让这个庞然大物看起来更加真实,工作组还制作的细微的毛发、胡渣和皮下血管材质细节,尽管在大荧幕上很少人会真正注意到这点,但在特写镜头上我们可以看到这些细节。

打开网易新闻 查看精彩图片

制作组还在特写镜头中额外制作了灭霸的眼球模型,Digital Domain之前对眼睛有过很长时间的研究,模拟真实眼睑的数据,眼睛周围皮肤和软组织、皱纹的运动状态,这样才能应对电影级的特写镜头,做到完全写实骗过观众的眼睛。

Weta的工作】

Weta和DD共同完成了灭霸在视觉呈现上的研发部分,weta主要搞定的是泰坦星上的战斗场景测试。

Weta对Brolin进行了扫描,然后构建了一个FAC rig用来驱动面部肌肉系统,他们的方式可以做到肌肉高精度运动以提供逼真的表情模拟,让数字表演符合导演的要求。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

Weta工作组建立了自己的FACS模型,然后将数字Brolin的肌肉与他们制作的CG灭霸相匹配,当动画效果与真人表演达到一致时,再把他转移动灭霸的脸上做细节调整,在转移动画过程中,还会继续添加动画表演的细节。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

除了灭霸之外,weta工作组也创作了其他几个在泰坦星上进行战斗的角色动画,包括蜘蛛侠、钢铁侠、烟雾、爆炸、地形变化、大结构破坏等好几组动画。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

钢铁侠和蜘蛛侠在泰坦星上与灭霸的战斗动画是无法用动作捕捉采集的,因为缺少那种超级英雄的速度感和重量感还有打击感,所以还是用传统的手key动画来完成。

OK,以上就是今天的内容,同学们可能会看的云里雾里,一大部分原因是我的英语水平有限,有些从句实在不知如何解释,某些语句确实生硬晦涩不讲人话。

全文总结就是:数字领域这家公司为了能让灭霸这个CG角色的面部表情能更加生动形象,专门开发了一款面部表情软件进行深度制作,和以往表情制作相比更加智能,能够利用机器学习自动修正和填补面部细节。但是!这种软件属于大型制作公司内部开发资产,正常情况是不会外流商用的。

今天的推送如此之“硬”,明天我们在“灭霸”这个专题上继续推送“软一些”的内容,你肯定喜欢!

OK!以上就是今天的内容,

个人微信号:xiaogao0132

我们下次再见!

打开网易新闻 查看精彩图片

打开网易新闻 查看精彩图片

打开网易新闻 查看精彩图片

打开网易新闻 查看精彩图片