“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”
中国很有影响力影视特效CG动画领域自媒体
编辑：木木
今天给大家来一期干货，帮助大家迅速进入到工作状态中，着重给大家聊一聊HoloEdit。
什么是HoloEdit？HoloEdit是体积视频的非线性编辑器，也是HoloSuite工具的一部分。
可能还有人会问，什么是体积视频！？
体积视频是一种可以捕获三维空间中信息（如深度信息和色彩信息等）生成三维模型序列的技术。简单的来说，就是将一连串的三维模型链接在一起，并让他们运动起来，就得到一个可以自由视角观看的体积视频。
体积视频技术是一个可以将整个现实中的空间数字化的技术，它利用摄像机采集到的深度色彩等数据通过算法将现实世界通过三维模型展现出来，因为转换了三维模型，使得体积视频可以在任意平台上播放，随时都可以让用户以任意角度进行观看。
2005年到2009年许多制作团队开始革新，把三维视频这一科幻概念在现实中还原，到2010年体积视频才开始了一个新的高度。
从2021年1月到2021年12月，体积视频拍摄工作室的数量增长了45%。随着越来越多的工作室和便携式设备上线，捕捉数据变得越来越容易获得，但有些问题仍然存在，比如捕捉数据的编辑依旧是许多VFX制作人和剪辑师比较难以搞定的地方。
【大赛推广】点击图片进入详情页
Arcturus
对于体积视频的探索和开发，最值得一提的是三维视频编辑工具及流媒体服务公司Arcturus。Arcturus目前拥有30多名员工，由来自Netflix、Autodesk、皮克斯、梦工厂、谷歌、YouTube 和优步的产品、艺术和科学背景的管理团队创立。
公司的创立目的是从现实世界中拍摄、定制数字人体全息图，可以让观众进行实时互动。产品主要应用方向有以下几个方面：作为数字客户服务代理、人类化身、虚拟3D音乐会和时尚跑道，以及在广播体育中可视化专业运动员的视角。
HoloEdit
而开头所提到的HoloEdit，就是由Arcturus开发出来的，是利用体积捕捉的所有优势，提供传统3D管线的编辑和控制。用于为VFX以及沉浸式虚拟和增强现实项目创作等用处。它支持交互式编辑、润色、细化和排序等，同时为了减少项目时间和复杂性专门还开发了一种用于编辑和压缩的工具，支持许多常见的3D体积文件格式。
除此之外，HoloSuite可处理当前由各种体积捕捉核心技术生成的大多数不同数据集。一般都是我们CG行业的格式，例如Alembic、.OBJ、.PLY以及许多专有格式。
介绍完体积视频和Arcturus公司，接下来了解一下HoloEdit最突出的三个方面：
时间拓扑一致性
首先，要知道对体积视频编辑存在一个难题，就是在捕捉体积输出中，用户在第1帧中接收到的网格与在第2帧和第3帧中接收到的网格完全不同，所以对网格进行编辑并且让这个编辑存在于一帧之后的所有帧具有很大的挑战性。而HoloEdit通过其拓扑网格稳定阶段解决了这个问题。软件以多种方式执行此操作，从全自动解决方案到用户指导的解决方案。
除此之外，对于表面绘画编辑，HoloEdit提供了特殊的绘画工具，允许用户以相同的投射纹理一致性跨越片段边界，因为相邻视频片段之间的UV映射完全不同。在操作层面上，如果用户在体积视频的开头画出T恤标志，那么在每个分段分割处，他们可以进行编辑并将绘制后的编辑重新投射到新段中。
同样数据也会在管线中被压缩，但在编辑过程中数据被保留不会被压缩或破坏。例如，对于离线VFX编辑不需要压缩。
重光照
HoloEdit有一个特别值得一提的一点，就是它能够重新给体积捕捉打光。大多数体积解决方案捕捉反照率、颜色、纹理以及每个顶点具有法线的网格。通常，网格密度相当高，每帧50000到250000个三角形，但即便如此，网格解决方案的细节和表面法线也很少足够高，无法进行复杂的重照明。
HoloEdit首先尝试将扫描识别或分割成相同类型的材质。对于表面上的给定点，程序执行“材料分割”。然后，它尝试近似每个材料的材料属性。这个阶段是“材料估算”，结合材料分割和估计用户可以有意义地编辑和调整扫描数据，而无需依赖简单的2D过滤器或键控方法。
公司还在探索机器学习超分辨率来提供“超法线”。这种推断的解决方案为更合理的表面法线重光照提供了方法。
但是并非所有这些工具一直都能产生完美的解决方案，该公司认为3D社区是相互关联和协作的，因此他们的一些工作是着眼于落实在管线中。
绑定
为了对拍摄对象进行动画和操作，HoloSuite工具为扫描的演员构建了一个绑定。过程是使用多个摄像机角度来推断正确的绑定姿势。
HoloSuite的HoloEdit工具可以利用多个相机同时拍摄的优势。解决方案从所有这些相机位置寻找绑定骨骼的相关性，以及随着时间的推移的相关性。在对所有数据进行最佳拟合，为以后的动画提供稳定一致的平台。
另外这种16骨骼绑定的方式可以轻松导出为常见格式。过程涉及高级深度学习人工智能和更传统的统计优化算法。绑定目前没有手部骨骼，部分原因是在正常捕捉体积绑定中拍摄全身高度时演员手指的分辨率。全画幅相机或舞台的视觉捕捉分辨率一般不足以为关节手指和手提供高质量和准确的视觉。
文字读起来晦涩些，总的概括来说就是这个公司开发了一个叫HoloEdit的软件，在克服种种困难后，可以对拍摄的体积视频进行各方面的编辑，比如进行重光照和生成绑定等等。
end
照片级渲染，没有之一！
捉！原来大神们的美女角色都是用它做出来的毛发啊？
全程跪着看完！大神笔下的超写实人物作品！
热门跟贴