单人虚拟工作室HanaX
HanaX是一名虚拟艺术家,在一个完全沉浸式的世界中通过数字替身进行现场表演,在这个世界中,体验不再受现实的束缚。她像她的角色一样表演,唱歌,移动,并以介于真实和虚拟之间形式进行表演。
她的工作跨越多个平台。在Twitch上,提供交互式虚拟现场音乐会体验。在YouTube上,她发布电影内容和音乐驱动的故事,由虚幻引擎、Blender和动作捕捉等工具驱动。
看起来完整的制作团队其实是由一个人建立和执行的。在幕后,她一个人运作虚拟工作室,在自己的数字环境中创作故事,构建角色和世界,制作音乐,并指导电影。
为什么视频直播成为完美的媒介
HanaX一直既是表演者又是讲故事的人。她早期在镜头前的音乐表现很好,但在将真实自己带入直播时,她感觉受到了限制。她想要的不仅仅是在镜头前唱歌。她想要自由地讲述自己以外的故事。
VTubing解决了这个问题
VTubing使她能够走进不同的角色,讲述他们的故事,并围绕他们建立整个世界。同时,它消除了传统的生产限制。不需要物理位置、大量工作人员或昂贵的设置。相反,她可以按照自己的方式进行创作。
从零开始,从零开始建立管道
她从零开始,没有3D或动作捕捉背景。这很有挑战性,但也给了她一张空白的画布。根据公共教程和文档,她构建了自己的方法,并设计了一个高效、性能优先的管道。
动作捕捉很快成为这个过程的核心。
起初,她尝试了更容易实现的解决方案,包括虚拟现实和手部跟踪系统。随着她变得更加认真,她转向了绑带式惯性动作捕捉设置。刚开始时,它工作得很好,但是随着时间的推移,局限性变得很明显。
在直播过程中,小的技术问题变得非常明显。角色会慢慢漂移,身体会扭曲,保持稳定的表演需要持续的关注。
对于录制的内容,问题转移到后期制作。动画经常需要大量的清理,尤其是手指和身体的对齐。最初的创造性工作变成了技术修正。
当时,她认为这只是动作捕捉的工作方式。
HanaX的幕后使用Xsens Mocap和Manus手套用于OceanX生产。
当她开始使用Xsens时,情况发生了变化。差别是立竿见影的。一切都变得简单起来。
有一刻很突出。她可以在同一个位置站几个小时,没有漂移,无需校准,不会中断。她不需要调整自己的动作来适应这个系统。系统会辅助她。她只是负责表演。
“这是一件很小的事情,但令人难以置信地感到自由。” — HanaX
从解决问题到创建内容
切换到Xsens的最大影响不仅仅是更精准的数据,而是改变了她的工作流程。之前,她的大部分时间都花在解决问题上。动画需要修改,录音需要清理,技术工作往往先于创造性工作。
使用Xsens系统之后,这种平衡发生了逆转。以前花在修复动画上的时间现在可以用来改进它们。她可以专注于将好的数据做得更好,而不是将较差的数据提高到可接受的水平。
正如她所描述的,改进是渐进的,但是它们增加得很快,随着时间的推移,可靠性就成为了重要指标。
创新流程
另一个关键变化是捕捉的连续性。创造性的工作依赖于动力,而干扰,无论是来自跟踪问题还是电池限制,都会打破这种流动。以前,这是一个反复出现的问题。传感器会在中途耗尽能量,迫使她重新拍摄或暂停录制。
有了Xsens,这种担心就消失了。当你在一个创造性的流程中,你不想因为一些技术上的失败而停止。
这种可靠性使她能够专注于性能,特别是在较长的录制会话或直播期间。
随着创意而扩展的设置
从基于绑带的系统转向全套服装改变了她与动作捕捉的交互方式。她最初期望的不太方便,结果却恰恰相反。随着将传感器集成到套装和统一的充电工作流程中,设置速度变得更快、更一致。
另外Xsens的技术支持也是良好体验的一部分。这种组合使得从设置到生产变得更加容易。
如今,HanaX正在实时捕获、渲染和交付。
动作捕捉Xsens
手动捕捉Manus手套
虚幻引擎中的实时创建和渲染
Blender中的角色创建
在Premiere Pro和After Effects中编辑
Twitch上的实时互动体验
附加工具,如Leap Motion和VTubing软件,如Warudo
这种设置的独特之处不仅在于工具,还在于它们是如何一起使用的。
在她的现场直播中,观众可以成为表演的一部分。他们可以作为虚拟化身出现在舞台上,与她一起跳舞,触发舞台效果,或者实时投掷虚拟元素。这种程度的交互性依赖于稳定、实时的动作捕捉作为基础。
HanaX在一场慈善活动中现场表演,为医院里的儿童筹集了9,706.96美元。
展望未来
有了这个基础,HanaX正在将多年的实验引导到更雄心勃勃、以性能为导向的工作中,扩展到她自己的世界之外。
最近的工作包括与OceanX合作创造他们的吉祥物和开发一部以知识为导向的短片,以及与其他艺术家合作进行全乐队表演。动作捕捉仍然是核心,支持角色驱动的故事讲述和多角色表演。
展望未来,她正在开发原创音乐、新的合作和更大规模的虚拟作品,继续推动实时表演向前发展。
对于HanaX来说,切换到Xsens不仅仅是为了提高动作捕捉质量。
这改变了她创作的方式。
通过消除技术摩擦,她可以专注于表演、讲故事和持续改进。最初由变通方法驱动的流程变成了可靠的、可扩展的工作流。
对于一个人的工作室来说,差异就是一切。
“Xsens很好用。因为一切都非常合理。”— HanaX
热门跟贴