VR是虚拟的，但体验是真实的，大家好，欢迎来到本期的VR速递，我是你们的老朋友载老师，回顾今年Connect大会，扎克伯格主题演讲里对VR部分的寥寥带过，connect大会原本VR春晚的性质正被AI的关注度所掩盖，实际上在connect大会第二天的内容里Quest3有更多的亮点值得我们关注。
比如Quest 3将具备任何一台现有VR设备都不具备的追踪功能，就是通过左右侧边向下的摄像头，利用计算机视觉算法实现内向外的上半身跟踪，对比拿起手柄的IK估算，它的优势在于这两边的摄像头，可以视觉识别手肘和肩膀的姿态，这样再结合更易获取的手腕和头显位置数据，就能把整个上半身躯干的动作追踪出来，甚至包括向前弯腰前倾。
如果说oculus quest一代让内向外手柄追踪成为了主流，那么quest3的内向外上半身追踪则是迈出了新的里程碑的一步，对于结合了内向外上半身追踪的VR运动游戏或者剑斗游戏，他们的体验或许会带来更沉浸的视觉匹配，目前已知《剑客VR》将是第一个加入此功能的游戏。
想必未来quest4有正面朝下的摄像头，以Meta对计算机视觉算法的掌握，那么做到完全的内向外全身追踪将绝对不是问题。
我们继续来看Quest头显通过上半身数据模拟下半身生成腿的部分，因为这只是一个简单的估算模拟，所以它不是quest3独家功能，而是适用于全部quest头显，目前是可以模拟出轻跳、下蹲以及坐姿，也就是那些有充分上半身参与的动作，但是不会估算到很多实际的腿部动作，比如抬起膝盖或者翘起二郎腿。
但是我个人感觉，前面两颗摄像头理论上是能拍到翘二郎腿的动作吧，感觉未来还是很有希望能够更新进来的。
其实Meta现在全身虚拟形象还有个小更新，对于那些不支持手势追踪的游戏，就是之前你临时把手柄放到桌面上时，你的虚拟手臂会向弹簧一样无限拉长，但现在Quest的虚拟形象会判断到（这一动作），并自动以正常手部姿态下垂的动画来替代，这一点改进还是很细节的。
对了，因为Quest3具有内向外的上身追踪，所以它也有一个基于此特性，所独有的手势追踪宽动态模式，在这个模式下即便你的手部，脱离了正向视野之外也能够被跟踪，这意味着你可以在裸手状态下，做从肩膀背包里拿东西的动作。
另一个针对计算机视界算法所呈现的手势追踪的进步，来自于Meta即将新推出一个主打拇指轻点和轻扫的微手势，帮助VR玩家在各种场景下的互动感觉更直观，比如可用于增强菜单面板的滚动浏览、或者游戏中传送移动等功能。
我们可以看到这一段较长的演示里，VR玩家仿佛只是在用大拇指，点触或左右拨动一个看不见的摇杆，就能进行传送和转向，这可比之前的手势方案来的动静要小的多。
而接下来画面里两个小演示，左边我们看到的是META开发人员带着Quest2，以坐着的姿态把手摆在大腿上，直接用微手势来对向上视角菜单面板进行选择，这不禁让人想起vision pro的眼手一体交互，而右边的演示则是向下视角对菜单进行微手势交互。
有趣的是这段，我们还看到了一个窗口自动伸缩比例的全新UI动效，看上去是非常的丝滑，希望我们能够早日在正式系统里用上。
然后咱们说一下全新的无追踪环手柄，正如大家之前预计的那样，红外 LED 灯内置到了手柄的黑色面板和底部，这意味着头显在追踪时的可视标记更少，考虑到quest3和quest2的四颗黑白摄像头位置不同，两者的追踪覆盖范围也会不同。
Quest3在头顶上方和下巴下方的捕捉效果不如quest2，但作为交换，Quest3对身后方以及肩部的追踪面级会更大，最后Meta自己测试下来Quest3的覆盖范围在91.79%，会略大于Quest289.69%，那对于头顶上方和下巴下方，就要靠AI模型和IMU传感器的瞬时加速度数据来弥补，不过前面我们也已经提到了Meta在这方面的成果，倒也不需要太担心。
触觉反馈方面对比quest2手柄增加了vcm马达，以及Quest3手柄扳机键现在是支持二阶段触发。
但这不代表增加了键程，简单的说就是，现在Quest3用户完全扣动扳机后，任何后续添加额外的力，都可以作为一个单独的值来读取，具体如何呈现就看游戏开发者怎么来利用了。
Connect大会以前都会有Meta长远的VR技术研发展示，比如各种新路线原型机，EMG输入等等，这一次基本上都没了，不过好在过了几天的场外活动里，扎克伯格和知名博主Lex用一次远程播客对话给我们展示了最新进展的真实数字形象（Codec Avatar）研发成果。
六月份我们已经看到了苹果Vision Pro版本的真实数字形象叫Persona，当然Meta的这个我们好几年前就有看到了。
那个时候它的演示时一定要连接电脑来做算力驱动，而这一次我们看到扎克伯格是直接使用Quest Pro，并且有实时的面部和眼部动态捕捉输入，效果看上去非常的不错。
但是这类技术的实际落地真正难点，是一开始对面部或者身体扫描输入的成本，像苹果Vision Pro强就强在能够直接独立扫描输入生成。
而Meta这边之前是展示过在实验室里的全身扫描，也有用手机来扫描再导入等各种研究方案，但真的想要实装到头显上使用明显还有很长的路要走，希望我们能够早上看到实现的那一刻。
然后是关于MR混合现实功能，这里我主要把深度传感器的部分拿出来讲一讲，这个也是目前quest3比较明显有待完善的部分，深度传感器的存在会比纯透视模式增加网格数据和深度数据，网格数据可以实现用户现实空间的几何表示，让虚拟物体准确的和现实物体产生碰撞以及进行稳定的位置导航。
而深度数据则是实现虚拟元素与现实物体产生虚实遮挡的基础，我们之所以现在都没有看到已有的MR游戏，产生动态虚实遮挡效果的原因在于，深度数据接口今年晚些时候才提供给开发者，其次就是Quest3依然没有解决物理实体在摄像头移动时所产生的扭曲问题。
尤其是手或者现实物体离quest3特别近以及在画面边缘时，扭曲依然比较明显，这会影响虚实遮挡效果的呈现，希望未来Meta能够通过更新来解决这个问题。
最后就是一些细枝末节的东西，比如Quest3支持AV1编码有望提高串流效率，quest3后续会更新从透视模式下无缝启动MR游戏，不再需要黑屏过渡启动。还有像深度传感器支持扫描多个房间环境的记忆功能，以及商店的游戏支持正式发售前预下载等新的更新计划，这些等我们正式到手Quest3之后再细说。
热门跟贴