【硬知识】虚拟制作的透视与几何|多边形|摄影机|矩形|虚拟制作

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”

中国很有影响力影视特效CG动画领域自媒体

本文转自公众号：cgview

引言

如《创战纪》一般，虚拟的世界是数字世界，VP 从现实走向虚拟世界的窗口是 LED 屏幕，而它正确显示的根基是透视，这当然绕不开几何关系。几何学的本质上是揭示不同条件下角度与长度的不变量关系。本文将揭示 VP 的基本透视与几何内容，旨在让前后环节的制作人员理解我们到底是建立在什么样的基础上，通过什么样的术语谈论同一样东西。

符号约定

不同的DCC软件和着色编程语言中有不同的坐标系和朝向，这里我们默认采用 UE 的左手坐标系，在不同软件中实现下文算法只需转换即可。先来给一些透视，射影几何学的术语符号约定，这里术语并不唯一，请朋友们自行根据各自专业、学科判断对应理解的术语，也欢迎各垂直领域的老师或资深学者给出建议。

CV = 视点中心 Center of Vision

D = 屏幕距离 Distance from Picture Plane

HL= 地平线 Horizon Line

GL= 地面线 Ground Line

GP = 地平面 Ground Plane

MP = 测量点 Measuring Point

Os = 观察者 Observer

PP = 屏幕图像平面 Picture Plane

PS = 站点 Point of Station

PV = 观看点 / 摄影机位置 Point of View

H = 眼睛水平 Height point of view (eyes level)

I_MP = 左测点 Left Measuring Point

l_VP = 左消失点 Left Vanishing Point

r_MP = 右测点 Right Measuring Point

r_VP = 右消失点 Right Vanishing Point

VL = 消失线 Vanishing Line

虚拟制作中，是实时渲染的 Os = PV 情况，即真实摄影机和虚拟投影摄像机的两个位置实时同步锁定，业界目前主流采用的是光学动捕方案求解锁定，坑是真实摄影机和摇臂产生的物理动力学、惯性、抖动、数值预测等问题，即实时准确、稳定同步锁定二者，不然会有延迟、撕裂、变形等问题。在早期的《曼达洛人》剧集中，剧烈运动的镜头几乎没有用VP完成，不同的方案系统有不同的响应边界极限。用前文中的工程演示一下上帝视角和 Os 自身视角的区别。

在一般的系统搭建中，环幕的底层视频一般是选另一个虚拟相机固定位置，在大的 FOV 下直接放映无需投影，顶层只需要叠加：虚拟摄像机视椎内投影变换即可。二者之间一般有一个过渡范围，即虚拟投影的摄像机视椎参数比锁定的物理摄影机要大，这是为了给惯性运动匹配留有冗余缓冲边界，目前这种双层叠加的做法有两个主要原因：

1、物理摄影机视椎外拍摄不到的地方还很大，不需要连续精准的全局光照，简单的灯光环境甚至可以用AI生成的静态HDRI图片代替。《曼达洛人》第一季顶盖的LED还很多，后面为了增加物理灯光则舍弃了很多。

2、软硬件负荷能力和算力要求太高，不久的将来随着超高算力芯片诞生，这里面的一切都将是虚拟内容正确的投影变换。

虚实匹配的最常见主要问题有：色彩的虚实多次转换匹配，畸变、色差、暗角等。无论您是肩扛过胶片机的资深摄影师，还是相关前后期人员，大家都知道这些常识，EPIC 官方出过 Unreal Engine 4.27 In Camera VFX Tutorials，内含基础标定校正课程，这里不赘述了。如果有研发的朋友想深入探索这方面问题，推荐阅读论文：DoF-Dependent and Equal-Partition Based Lens Distortion Modeling and Calibration Method for Close-Range Photogrammetry。

透视类型

在普通美术课中，我们以前可能只学过平面绘画多点透视。在古代，中西宫廷画师掌握的不仅仅是这些普通符合视觉直觉的透视。而 VP 的图形计算则是在所有透视种类下引擎去计算不同元素交互，可以来回互相转换。

在虚拟制作的 LED 搭建设计中，没有绝对因为透视类型而固定搭配的套路，这主要是根据虚拟技术预演决定的“以静拍动”方式后而制定舞台搭建的大小规格。在老视频中已具体讨论了关键，恕不再赘述。对于'豪'无人性的预算，可以像下图 ILM 一样，直接三个棚根据对应的搭建方案，不同场景设计、景别分类的戏份一起开工。由此可见什么叫恐怖如斯的前后期指挥调动协调能力，工业二字真的不仅仅是体现在堆数量。

常见搭建方案的几何关系

这里我们约定世界坐标零点为标准观察位置便于理解，在着色编程语言中一般转换在地面计算，这并不影响本质，只差一个世界坐标系的基变换。

Linear Perspective 单个矩形屏幕的线性透视

P = (x, y, z) point 舞台空间坐标 / CG场景空间 P 点坐标

x, y, z = coordinates of point P

d = Distance from Picture Plane 屏幕距离

P1 = (x1, y1, z1) Projection of P on the Picture Plane 单个矩形屏幕UV空间 P1 坐标

x1, y1, z1 = transformed coordinates of point P

坐标转换方程组：

x1 = d * x / y

y1 = d

z1 = d * z / y

Cylindrical Perspective ( Four-point perspective ) 圆柱环幕的四点透视投影

P = ( x, y, z ) point 舞台空间坐标 / CG场景空间 P 点坐标

x, y, z = coordinates of point P

r = radius of the cylinder 环幕的半径

rc = sqrt( x^2 + y^2 ) P 点地面投影到 Os 站点的实际物理距离

rs = sqrt( x^2 + y^2 + z^2 ) P 点到 PV 的实际物理距离

al = arccos( y / rc )

P2 = (x2, y2 z2) Projection of P on the Picture Plane 环幕 LED 屏幕整体的UV空间 P2 坐标

x2, y2, z2 = transformed coordinates of point P

x2 = sgn(x) * r * al * π / 180

y2 = r

z2 = r * z / rc

不同标准规定立体角符号与取值范围不一样，可自行斟酌

θ = arctan( y / x )

φ = arccos( z / rs)

Cylindrical Perspective ( Six-point perspective ) 圆柱环幕的六点透视投影

这个透视类型就是众所周知 HDRI 贴图 LatlongMap 矩形形式，属于老传统了，常用转换是：球投影在正方体变换为 CubMap，即映射为正方体的 UV 展开形式。这时候 VP 使用中又退化回到了上面的四点透视。

以上给出了最主要的矩形屏幕、环幕的几何转换标准定义。还有球形投影模型的推导、坐标转换方程组这对有数学基础的朋友几乎没有困难，有机会写 VP 虚实灯光渲染主题可以更详细展开。而有的方案是矩形屏幕阵列围成的多边形的近似环幕，上面的转换方程需要做截断误差估计，或改写为离散多边形方程渐进为圆弧。

图形学中，渲染方程的工作原理是基于辐射度量学构建的光线双向反射分布函数 BRDF，它来反映所有角度的光线后全部求和，所以大家看到的 onset 使用中的灰球与金属球的形状来源是光线积分角度的几何表达是球形。舞台上 CG 内容的灯光积分路径范围，在下图左边是观察视角下的光线立体角范围，右边演示材质球的内部如何获取灯光范围，这种视角的透视变换在 BRDF 上，是深刻理解渲染方程数据传输的必经之路。也是卢卡斯影业 Logo 和星战系列剧集片头所表达 VP 视角下的运动光源渲染之思想内涵。

在LED屏幕中经常出现虚拟的圆形点光源补光，这样做有两个主要原因：

1、一定范围内弥补 LED 受限于发光材料限制的峰值曝光不足，光强不足导致较弱的全局光照闭塞感。

2、增加镜面、高光反射的视觉丰富性，比如车漆高反射类材质，《曼达洛人》的铠甲高光细节等…

下图为虚拟灯光 s 点的运动路径，坐标在 LED 屏幕 UV 坐标的变换关联，Q 点为上图紫色圆圈，上文的坐标公式这时就大展身手，它是沟通联系这一切的根基。比如，传统现场的灯光指导可能会指着 LED 屏幕说这里加个虚拟灯，而引擎的灯光生成位置，操作改变则是上文里的延伸三维坐标点p。不同工种的沟通实质不变的就是这些底层符号。

就是这样⬇️观察者的视角打开很多扇窗

尾言

不久前 ILM 重组为上图四个部门，名称上就容易看出为 VFX 行业未来指出了核心分支方向，以 VP 作为纽带让它们高度的非线性分配规划：沉浸式表演体验、虚实舞台设计、技术探索驱动、艺术之间的关系，而达到更高效率协作。任何一家公司的 Logo 都是其领导群体理念中和后的信仰图腾，而新的艺术部门 Logo 再次强调齿轮上的灯光飞星轨道，无疑这是 StageCraft 的应用主题也就是本文诞生的意义。技术固然有：概念炒作期，泡沫冷静期，产业成熟期，但疫情加速演进了这一不可逆转的历程，历史无一例外的告诉我们：伴随着更先进的生产力诞生，必然早晚发生劳动密集型产业改革。叶落辞柯，行业几何？

ILM 的 StageCraft 内部软件 GUI 界面里，我们也能看出就是在设计以上提到的全部关系之总和。在过往案例中，灯光不仅仅是上文提到 LED 上的虚拟点光源，摄影机视角画外添加物理灯光也一样可以通过机械臂达到设计的运动轨迹。以此，传统电影的灯光理论和图形学的灯光渲染来建立沟通交互的准确语言，毫无疑问是数学化后而再谈艺术感觉。