打开网易新闻 查看精彩图片

 幕后解密 | 复杂道具定制化捕捉背后藏着的技术重点
打开网易新闻 查看更多视频
幕后解密 | 复杂道具定制化捕捉背后藏着的技术重点
在“迪生 VICON- 东方影都动作捕捉创作中心”盛大启用仪式的定制化捕捉技术展示环节中,震撼的小轮车虚拟视觉效果收获现场无数的掌声, 今天我们对迪生数字内容运营部总监魏少雄先生进行采访,为大家解答复杂道具定制化捕捉的幕后故事。

打开网易新闻 查看精彩图片

小轮车的演绎环节都使用了哪些技术?

在整个表演的准备和执行环节,团队将动作捕捉、三维扫描、Maya建模绑定、UE实时渲染、虚拟拍摄等多项技术进行融合,其中动捕自定义骨骼与虚拟拍摄技术作为重点展示项,给观众们展示出了动捕的无限可能与多样的虚拟拍摄手段。

自行车姿态的捕捉与普通道具捕捉有何区别?为何采用自定义骨骼创建技术应用在自行车姿态捕捉上,过程中遇到了什么技术挑战吗?

像刀枪剑戟常规道具的捕捉,一般只对被捕捉道具的空间位置、旋转信息进行跟踪记录,只需给道具贴上反光点,在动捕系统内对道具进行单独的骨骼创建,就可以把信息记录下来提供给后期使用。自行车区别于普通道具,脚踏带动车轮的旋转、自行车的运行速度、车把方向控制自行车的运行轨迹,每个控制单元独立但又互相关联,反光点的粘贴位置选择也会有特殊要求。

大家常见的动作捕捉技术都是应用在人类的动作记录上,少见的动物捕捉或者特殊结构道具的捕捉大家可能更感兴趣,但基于现场环境条件、以及活动的整体节奏安排,现场很难把动物捕捉这项技术现场实时呈现给观众,我们只是拿捕捉猫、狗的离线数据给大家进行了回放讲解。自定义骨骼创建的技术可以应用于上述两者,极限运动小轮车的表演,成为了我们的首选,因为它的结构、运动方式、后期使用需求的特殊性也与动物捕捉的动捕制作流程后期使用需求类似。

打开网易新闻 查看精彩图片

考虑到演员表演时可能会做一些比较极限、复杂的动作,不可避免会对自行车一些关键位置点位造成遮挡,影响数据质量。小轮车点位的选择、每个点对骨骼的约束强度多少,既要记录还原出自行车每个关联骨骼之间的关系、真实的运动数据,又要保证整体数据的稳定性,以及如何实现实时无穿帮的表演,是对动捕技术上的一个挑战。

我们利用Vicon的自定义骨骼创建功能将被捕捉物体作为一个整体进行骨骼生成,尽可能少贴点的情况下让各种数据关联精准,保证骨骼数据的稳定性与准确性。同时这种方式也可以为后期制作减少工作量、提升效率、提供更多的创意参考。这种骨骼创建方式在动物以及异形物体的捕捉上优势非常明显。

通过这次的技术挑战,我们实现了在数据稳定性、准确性、制作效率等方面的提升,还有更重要的一点是,希望通过Vicon自定义骨骼创建功能展示给大家,能够为广大内容创作者提供更多的创意参考。

小轮车每个齿轮转动的真实还原,是如何做到的?

技术团队通过大量的资料学习,了解运动员是如何与小轮车进行交互的,对前车把与前轮、脚踏的旋转关系进行分析,扫描建模1:1模型,确定自行车根骨骼的创建位置,及多级子骨骼位置,根据不同需求赋予空间信息和旋转信息,以及对特定旋转轴向进行锁轴。 再根据骨骼位置及实际道具情况设计应有的点位,创建点与骨骼的约束关系。

对于小轮车轮胎的捕捉,由于它的转动速度非常快,所以我们团队提前用风扇进行极限技术测试,以判断贴点位置与转动速度之间的关系,使动捕系统更好的识别小轮车的运动姿态,实现最精准的捕捉效果。

打开网易新闻 查看精彩图片

小轮车演员与小轮车的精准匹配,以及完成了各种极限动作表演,这对动捕技术的突破点是什么?

现场展示了一场实时虚拟人与道具交互无穿帮的表演。首先Vicon系统会根据演员的身材比例生成一套属于演员本人的骨骼,并且系统会根据骨骼比例自适应生成模型,实现了演员模型的1:1还原。其次我们对小轮车也进行了三维扫描,对关键位置的长短、角度进行测量验证,创建道具1:1模型资产。接下来我们在Shogun软件里根据贴点位置、尺寸去给小轮车创建属于它自己的骨骼,把骨骼导入建模软件,将骨骼与模型绑定,最终模型骨骼与动捕创建的骨骼精准匹配,保证了无损的动画传递。

打开网易新闻 查看精彩图片

小轮车的虚拟视觉效果非常震撼,迪生技术团队在资产方面都做了哪些准备?

这是多技术特点融合的一场秀,通过极限运动秀的方式展示出Vicon在虚拟制作中的技术特点与优势,以及迪生制作团队的技术、服务水平。

前期准备首先是对动捕相机的部署进行规划,我们实地测量了整个动作捕捉场地的大小、TRUSS架尺寸,然后对场地以及TRUSS架进行三维建模。接下来在Shogun软件模拟相机部署,以测试捕捉范围及每个空间的数据质量,搭建符合表演需求的场地环境。然后将同比例场地模型放置UE场景中,根据场地尺寸去调整表演使用场景资产。

一共两个秀的场景,可以在UE中进行自由切换。第一个场景中,小轮车的平地花式表演,从技术角度来看,使用与演员比例不一的角色模型,对于虚拟角色与虚拟道具的匹配有着极高的要求,利用自定义角色重定向功能对角色模型和演员数据进行精细的调试,让模型和演员能够更好的匹配,实现虚拟角色与小轮车模型的精准交互。第二个场景中,为了实现演员虚拟角色无缝切换,无穿帮效果,我们使用了Vicon根据演员体型自适应生成的模型,在切换场景的同时,演员驱动的模型也随之进行切换。对场景内会与自行车有碰撞交互的道具也进行了捕捉,将每一次碰撞道具产生的抖动都记录并呈现给观众。

打开网易新闻 查看精彩图片

穿越机作为虚拟预演工具,对动捕提出了哪些更高要求?

活动现场我们展示了穿越机和手持VC(虚拟相机)两种虚拟拍摄方式,向大家展示在虚拟场景里不仅有手持VC这一种拍摄方式,还可以利用无人机这种高空拍摄实现虚拟场景里的各种复杂运镜,特殊镜头的及时定位。高速运动的穿越机、极小的定位反光点,镜头部署如何满足穿越机飞行轨迹,是对整套系统以及制作团队的一个考验。当然能够利用穿越机顺利完成拍摄,还是得益于Vicon的高帧率、高分辨率捕捉功能,进而使整个虚拟拍摄的流程更接近实景拍摄。

打开网易新闻 查看精彩图片

随着虚拟制作技术的逐步发展,动捕技术将发挥更大作用,它为虚拟与现实世界搭建了更加稳固的桥梁,配合制作人员的创意实现跨越式发展并对行业进行不断革新,而这也正是迪生所不断期待和努力的。

打开网易新闻 查看精彩图片