21项系统更新，PICO 4 Ultra持续打磨|pico|人机交互|大模型矩阵|手机|算法

文/VR陀螺冉启行

每次OTA升级，都充满惊喜。

近日，PICO OS 5.12.0正式推送，作为PICO 4 Ultra上市后的第二次系统重大版本更新，PICO正在一步步完善混合现实的最初承诺，不断打磨产品，提升用户体验。

本次系统升级，新增手机镜像显示与反向操控、混合现实观影、浏览器多窗口、主控室蓝牙键鼠交互等功能，并改进优化了全景屏多窗口、空间相册、VST畸变、体感追踪、手势追踪与手柄追踪算法，累计 21 项重要更新(不含MR生态与SDK、Bug修复等)。

PICO 4 Ultra从今年8月推出以来，PICO在操作系统上的打磨正在变得越加精细化。作为一个从测试版一路走来的老用户，硬件之外，可以明显感受到PICO在操作系统上的「诚意」，特别是在人机交互算法、单点功能优化，以及多模态扩展上的变化。

PICO 4 Ultra上线「手机互联」，从「孤岛」走向「多模互联」

本次系统更新中，最让人惊喜的功能莫过于「手机互联」。无论是开放的Android系统，还是封闭的iOS机型，PICO都完成了兼容适配。

以iPhone为例，只需在手机端最新PICO APP内，点击「手机互联」，按照指定提示，打开辅助触控、蓝牙连接、直播屏幕，即可轻松完成PICO 4 Ultra与iPhone的连接。

成功连接之后，一体机端会主动弹出一个9:16的手机界面，通过手柄还能进行反向操控。交互方面，虽然没有直接触控屏幕版丝滑，不过在「辅助触控小圆点-自定义操作」与手柄点对点的精确交互加持下，除《英雄联盟手游》这类需要高频率点击的游戏应用外，大部分应用、功能皆可操作，且响应速度极快。

「手机互联」的加入，这意味着无论用户通过PICO玩游戏、观影、又或者是轻办公，都能在不摘下一体机的条件下，随时查看手机界面，处理个人事务，回复重要消息。

手机互联之外，PC端交互软件「PICO 互联」也迎来了重磅更新。PICO 互联 10.3.10 版本更新中，增加了PC多窗口串流，以及高清画质及超大码率支持，分别覆盖轻办公，以及PC VR游戏娱乐场景。

PC多窗口串流最高可一次串流三个显示器内容，满足多屏办公需求。即使用户没有多块物理显示屏，PICO软件端的 PC虚拟显示器驱动，还可以让用户自由创建虚拟显示器，最大支持创建3840×1080的4k超宽虚拟屏，实现桌面扩展。

在某些需要多屏使用的场景下，可以大大提升工作效率，减少频繁切换窗口，更减少身心疲惫。如笔者经常需要一边检索数据资料，一边制作表格，13英寸的物理电脑屏幕并行窗口又会显得格外拥挤，如此之下，PICO 互联的扩屏功能就成为最佳选择。

笔者在办公WIFI环境下，实际仅拓展了一块虚拟屏，当拓展第二个虚拟屏时，有时会出现断流的情况。据了解，当用户处于工区环境时，用局域网串流普遍干扰比较大，这时用户可以使用USB 3.0进行有线连接解决该问题，家用环境，通常不会出现该情况。

对于程序员、3D美术、设计师这类需要频繁使用多个大屏的职业来说，「虚拟多屏、360度大屏」可利用的空间，发挥的价值自然也就更大一些。当然，没有电脑也没关系，PICO一方浏览器也已上线多窗口创建，支持多个在线文档、网页同时打开。

为进一步强化交互，拓展办公能力，PICO主控室还新增蓝牙键盘、鼠标交互模式，让用户可以在 VR/MR 中更高效率办公、聊天、娱乐。实际操作下，若在不熟悉的蓝牙键盘上码字，需要一定时间的适应性，不过全彩MR透视起到了很好的辅助作用，让用户可以看到实体键盘。

过往，虚像距离往往采用固定形式，在距离肉眼3-5米外，以提供全视野的大屏体验。PICO在最新系统中，不仅给到了用户极高的自由度，在原有拉伸窗口尺寸的基础上，还优化了虚像窗口远近距离的控制方式，只需选中窗口控制台，并前后推动摇杆，即可轻松完成调整，实现更个性化的多窗口界面排列。配合「PICO 互联」、浏览器多窗口、蓝牙外设、在轻办公场景上，可谓锦上添花。

通过遥感控制虚像窗口远近距离

「互联」是IOT时代趋势，从「手机互联」到「PICO互联」，PICO已然打通了MR硬件与手机、PC之间的壁垒。从画面镜像、多模交互的方式解决了消费者在使用一体机时与外界信息的隔绝问题，也让其不再是一个「封闭性」娱乐产品，而是一款可以联动手机、PC的新一代「自由全景屏」工具。

MR交互再上一层楼，PICO 4 Ultra「精益求精」

PICO 4 Ultra通过双目3200万像素彩色摄像头，实现了高质量混合现实。凭借该摄像模组，以及一体机本身的双目异显特性，用户还能拍摄、观看具有高清晰度和高色彩还原度的3D空间视频和照片。

在本次系统更新中，PICO对「相册」内的空间视频播放器也进行了优化，空间影像内容的视觉效果和相册切换时的动画效果都得到了改进。

通过对比图，可以明显看到，相比上一版空间影像观看时的窗口界面，新版系统「窗口界面」更加规范，清一色采用圆角矩形窗口，影像内容边缘还采用毛玻璃特效，以增强视觉体验。

VST畸变的优化也是一大亮点。通过软件算法迭代，PICO 4 Ultra现在大大减小了超近距离观看物体和运动过程中周围环境的畸变情况，解决了混叠场景下的扭曲，进一步提升了在各类游戏、应用、窗口下混合现实的综合体验。

在下方的图片中，笔者在距离一体机5-15cm的范围内，通过VST超近距离观看手机，手机边缘矩形规整，手形正常，无明显畸变情况。

此外，在本次更新中，PICO还降低了户外阳光下地面的抖动情况，为户外使用PICO 4 Ultra进行MR娱乐，或更加B端的场景，如MR大空间、MR文旅等做了很好的技术铺垫。

在阴天环境下，笔者在实际体验中，整体VST效果相当不错，无畸变，画面抖动等异常情形，户外 6DoF 空间定位也十分稳定。

动图略有压缩，仅展示地面抖动情况

事实上，过去很长一段时间里，对于VR/MR一体机来说，「走出去」是一个很大的挑战。无论是基于计算机视觉做SLAM地图重建与定位，还是VST技术路径做全彩透视都不免会受到外界光线影响，光线太强需要矫正，光线太弱则需要补偿。

如何在不同的光线强度下，不断补偿、优化算法，保证一体机空间定位以及全彩透视的准确性和稳定性，一直以来都是一个难题，而PICO在户外场景下，已经做了诸多算法优化，提升了使用体验。

人机交互算法方面，PICO也在持续优化，体感追踪、手势追踪与手柄追踪也得到了全面升级。手势识别算法更加准确，在遮挡、快速移动的情况下追踪稳定性更高，让手势互动更灵活、更及时、更准确。从实际体验来看，虚拟手势与真实的手拟合度进一步提升，圆点式指向效果，进一步提升了手势交互的准确性，延迟几乎忽略不计，整体人机交互更加丝滑了。

手柄追踪算法架构升级，手柄在盲区回到视野内的找回速度更快。体感追踪器算法也得到了优化，躺姿下使用腰部追踪器时的姿态准确度更精准，同时针对持续静态躺姿下使用导致追踪停止的问题，提供了静止检测设置能力，还改善了双脚跳跃、脚尖点踩的识别，优化了音乐节奏游戏中的漏识别问题，以及持续坐姿漂移问题和躺姿下抬腿姿态准确性。

这一系列的混合现实、算法、人机交互优化不仅提升了用户在混合现实中的体验，也让 PICO 4 Ultra 在操作上更加便捷顺手，成为用户探索虚拟世界的得力伙伴。

一次次OTA升级的背后，PICO持续加强品牌

一次又一次OTA升级背后，是PICO对产品能力的极致追求。无疑，PICO在XR这条道路上，已经走出了传统手机大厂的风格。

对于用户来说，这何尝不是喜闻乐见的事呢？产品的价值在不断的系统优化中持续提升，每次都能带来惊喜。在此过程中，PICO也能持续维持设备新鲜感，提升老用户设备使用率的同时，也有利于持续拉新，拔高市场占比。

内容生态方面，截至目前，PICO 4 Ultra已累计20+MR内容，400+VR应用。近期《幻音骑士》《Racket Club》《拼装死斗》等游戏也都新增MR模式，持续生态更新的背后，一方面，是开发者的积极投入，对于PICO品牌的认可；另一方面，也少不了PICO在开发者生态上的支持，如更开放、便捷的SDK，与时俱进的MR相关能力注入等。