新智元报道
大家平时没少看主角「魂穿」的小说，可很少有人想过，有一天AI也会玩起「魂穿」。
假如让AI穿越回1925年的黑白默片《淘金记》，直接代入卓别林的第一视角，睁开眼会看到什么画面？
低头是自己双手握着刀叉，正切开餐盘里那只著名的煮皮鞋，抬头还能瞥见对面饥肠辘辘的大胡子同伴。
下一秒再切换到《夺宝奇兵》主角视角，幽暗古墓里左手试探机关，右手捏着沙袋把黄金神像瞬间掉包。
而在《侏罗纪公园》幽暗局促的地下配电室里，角色在仪表盘前紧急操作。
生成画面里，青色3D手部骨骼把手指一个接一个拨动发光开关的细微动作都还原了出来。
这一连串跨越百年的「赛博魂穿」，全部来自刚刚发布的全新跨视角生成模型Exo2EgoPolicy。
它能把任意第三人称旁观镜头，一键转换成操作者本人的第一人称视角（Ego View），并实时描出左右手每一根手指的3D手部骨骼（Ego Skeleton）。
魂穿影史百年名场面
镜头乱切也跟得住人
哪怕遇上多人同框、频繁切镜头和大幅度运镜的复杂场面，它的第一视角转换也依然丝滑。
《闻香识女人》里那场著名的探戈，宴会厅人头攒动，原片镜头在全景和近景之间来回切换。
模型从头到尾牢牢锁定阿尔·帕西诺饰演的盲人中校。
生成的第一视角里，中校双手正牵着女伴在白色三角钢琴旁旋转，手部骨骼与乐手方位分毫不差。
换到1952年《雨中曲》的倾盆大雨街头，吉恩·凯利撑着黑伞仰头转圈。
第一人称视野里，立刻呈现出漫天落下的雨丝，以及握紧伞柄飞速旋转的雨夜街景。
既然连镜头乱切的好莱坞大片都能自由魂穿，日常家务活就更不在话下了。
办公桌前有人伸手把桌上的水瓶收进网篮，第一视角连手指抓握与放下的3D骨骼轨迹都跟得清清楚楚。
办公室桌前有人随手叠起一件红色T恤，旁观画面喂进去后，立刻输出带鱼眼畸变的胸前第一视角。
画面里双手3D骨骼捏住衣角折叠的节奏，与原片动作严丝合缝。
走到茶水间拉开冰箱门拿取饮料并拧开瓶盖，生成画面完整保留了冰箱内部多层隔板的几何纵深。
右手拉门与左手取瓶的手指骨骼细节，在第一视角下同样清晰可见。
端起微波炉里加热好的盒饭转身走向长桌，第一视角稳稳锁定双手托住餐盒边缘的骨骼姿态。
行走过程中，桌面与走廊的光影变化也十分自然连贯。
人类拍了一百多年电影和短视频，摄影机几乎一直站在旁观者的第三视角上。
如今，不用深度相机，也无需标定参数，Exo2EgoPolicy攻克了把百年影像从「旁观视角」还原为「第一视角」的难关。
看到这里，你可能会以为，这又是哪家视频大模型公司拿出来炫技的新作。
但让人意想不到的是，打造出Exo2EgoPolicy的，竟是一家做机器人的中国具身智能独角兽——维他动力（Vbot）！
这次他们要解决的，是困扰具身智能行业已久的头号难题：如何同时拿下训练数据的多样性（Diversity）与海量规模（Scale）。
与此同时，他们还同步推出了端到端通用数据管线Vbot Echo与采集应用EchoApp，并且即日起向所有人全面开放！
项目主页：https://www.vbot.cn/echo/
无论是网上的海量第三人称视频，还是手机支在桌边随手拍下的收碗碟、做咖啡画面，都能直接喂给系统。
机器人瞬间就能「魂穿」进拍摄者视角，顺着「Exo → Ego → Ego Skeleton」算出三维关节轨迹与物理接触力。
人形机器人真机看完这组数据，站在桌前当场就能自己上手干活！
网上视频堆成山
机器人却吃不下
一家做机器人的公司，花这么大力气教AI学会「魂穿」第一视角，瞄准的是困扰具身智能行业已久的数据稀缺难题。
就在几天前，Anthropic发布了Claude Fable 5.2。
在双臂机器人基准RoboDojo上，它只看摄像头画面指挥机器人，成功率从上一代27.6%飙至64.9%。
大脑在飞速变强，已经是明摆着的事。
可大脑再聪明，手上的功夫也得靠海量具身操作数据一点点喂出来。
在这件事上，维他动力的团队深有体会。
创始人余轶南是地平线001号员工、前智能驾驶总裁，联创宋巍是地平线前软件平台总架构师。
另一位联创秦海龙曾任千里智驾首席科学家、蔚来自动驾驶高级总监，赵哲伦曾任理想汽车第一产品线营销负责人。
团队在自动驾驶领域深耕了十年，切入具身智能赛道后很快发现，机器人缺数据的程度远超自动驾驶。
为了用更低成本采集更多数据，全球具身智能界试遍了各种方案——真机遥操作、ALOHA、UMI夹爪，以及第一人称（Egocentric）穿戴式视频。
硅谷独角兽Physical Intelligence与英伟达前不久发布的EgoScale，都在大举搜集第一视角人类视频。
可无论是让采集员头上绑GoPro、手里握UMI夹爪，还是穿上沉重的外骨骼，都绕不开同一个瓶颈：
穿戴式采集设备不仅大幅增加了硬件成本，还严重拖累了操作员在真实场景中的作业效率。
整个具身智能行业，始终缺少一种既能满足数据多样性（Diversity）、又能获得海量规模（Scale）的数据方案！
为了打破这一困局，维他动力把目光投向了人类世界规模最大、来源最广的视频金矿——互联网。
大语言模型之所以能席卷全球，靠的是消化了互联网上现成的数万亿Token文本。
而在人类已经构建的视频世界里，YouTube平均每天新增超过2000万条视频，TikTok每天更有超过1亿条内容上传！
互联网视频天然丰富多样、体量巨大，躺着数百亿小时人类做饭、叠衣、收纳的真实经验。
可面对这座金矿，机器人之前却一口都吃不下。
第一个拦路虎，是90度的视角错位。网上绝大多数视频都是第三人称视角，而非具身智能所需的第一人称视角。
第二个拦路虎，是缺失第一视角下的三维手部骨骼（Ego Skeleton）与物理力学信号。
人类与机器人在身体结构和关节约束上截然不同，没有对齐的手部关节轨迹与接触力数据，机器人照样动不起来。
若能精准把海量互联网视频转为第一人称视角，并打通「Exo → Ego → Ego Skeleton」全链路，具身智能的数据难题就能真正迎刃而解。
Vbot Exo2EgoPolicy与Vbot Echo，正是在这样的背景下诞生的！
扔掉深度相机
直出21个手部关节
要让AI隔着屏幕完成跨视角「魂穿」并提炼出精准动作，必须跨过硬件数据缺失与手部变形失真这两道坎。
网上能下载到的视频，既没有深度传感器数据，也没有相机标定参数。
普通视频模型就算能生成画面，手部与物体接触时也极易糊成一团。
为此，维他动力把三维几何约束与手部骨骼监督，直接融进了Exo2EgoPolicy的视频生成主干里。
模型以140亿参数、50层H3 Ref2VA DiT视频生成网络为主干，前端并联了两路编码器。
一路用冻结的H3 Video VAE编码器，提取原视频的外观参考特征。
另一路调用Qwen多模态编码器解析画面语义与文本指令，配合多镜头拼接训练，哪怕电影频繁切机位也能牢牢锁定目标人物。
为了让模型真正理解三维空间，研发团队在训练前半程注入了6D普吕克（Plücker）相机光线投影，帮它搭起「空间脚手架」。
到了训练后半程，团队直接关闭相机光线末端的随机门控开关，将外部几何输入彻底归零！
技术报告显示，撤掉带噪声的外部先验后，流匹配误差反而下降了7.9%至11.2%。
模型在推理阶段得以彻底摆脱外部硬件依赖，仅凭一段普通视频就能直接还原三维空间。
在546段真实场景片段评测中，零先验推理的Exo2EgoPolicy全面击败了仍需输入几何先验的开源基线EgoX。
它不仅将长时序PSNR提升了3.25 dB，视频生成FVD误差更直接暴降39.8%！
更关键的是，为了打通「Exo → Ego → Ego Skeleton」，团队在DiT主干底部同时挂载了两个核心模块：
一个是三分类手物语义掩码头，另一个是两阶段手部几何读取头（H3 Hand Readout）。
语义掩码头对双手区域施加2.0倍损失权重、对被操作物体施加1.5倍权重，引导模型聚焦手物接触区域。
手部读取头先在模型第20层对齐ACE-Ego-Hand空间表征。
到了第39层隐藏状态，它就能直接回归出左右手各21个关键点（42维坐标）的手部Skeleton！
实测数据显示，这套监督机制让严苛的手部关键点定位精度（PCK@5%）从11.52%直接翻倍至20.02%。
在未见过的新场景下，手部关节有效覆盖率更高达98.92%，为下游提炼机器人操作轨迹打下了高精度底座。
手机拍19秒
真机当场学会收盘子
打通了从Exo到Ego再到Ego Skeleton的感知表征，下一步就是把「手部骨骼」变成机器人「使得出的力气」。
这正是端到端通用数据管线Vbot Echo与Echo App的核心舞台。
更重要的是，这套工具链今天起面向所有人全面开放，任何人都能直接上手使用！
不用买遥操作设备，也不用穿戴任何拖累效率的外骨骼。
普通用户在手机上打开Echo App，调用手机自带的ToF深度传感器或双目相机，就能开启低门槛采集。
实拍演示里，把手机支在木桌旁，随手拍下19秒把桌上彩色盘子收进木盒的画面，点击上传即可。
视频进入Vbot Echo云端管线后，智能清洗模块会先自动剔除高糊、黑屏与静止帧，并按动作完整度打分。
伸手抓盘子、放盘子的有效片段得1.00分予以保留，站在桌边发呆观察的无效片段得0.00分被自动剔除。
洗干净的视频随即穿过Exo2EgoPolicy，转成第一视角与手部Skeleton，进入统一时空人机物交互（HOI）重建模块。
系统将场景三维点云、任务语义与手部骨骼对齐在同一时空下，再结合目标机器人的关节约束完成跨本体运动重定向。
随后，仿真环境重演机器人与物体的接触过程，算出真实的接触力与关节力矩，补齐「如何发力交互」的训练依据。
在意式咖啡机精细操作测试中，操作员仅用第三视角拍下双手接粉、研磨与转移手柄的过程。
仿真环境里的双臂机械臂，就能根据提取出的Ego Skeleton，同步复现出全套双手协同操作！
而在桌面收纳真机实验中，经过防穿透与轨迹误差校验的多层训练数据，被直接喂给双臂人形机器人真机。
站在同一张木桌前，双臂人形机器人不用人遥操作，自己伸出机械夹爪拈起桌上的蓝盘子与绿盘子，稳稳放进木盒中央。
19秒的手机视频，就这样变成了机器人的一次真本事。
这套管线的能力远不止桌面家务，连户外街头的双人全身互动也能一把拿下。
路边长椅上两名男生完成起身、擦肩交错行走与换位落座，Vbot Echo对整段视频完成4D时空重建。
重建后的画面支持在虚拟视点A和视点B之间自由切换，还能一键魂穿进黑衣男生的第一视角看对方迎面走来。
通过统一时空HOI对齐，两名男生的全身动作与三维街道被实时解算为青色与橙色数字人网格。
这套全身交互数据随即同步映射到两台人形机器人身上，驱动真机模型完成交错走位。
同一条管线还一口气打通了林荫步道、长阶梯、障碍平台与户外车辆等12组复杂真实场景。
大脑在变强
数据从此不再是问题
具身智能走向通用，必须突破数据供给的边界，让机器人的学习经验从有限采集现场扩展到真实的广阔世界。
过去靠堆砌真机遥操作、ALOHA、UMI和穿戴式设备，不仅硬件成本高昂，还严重拖累真实作业效率。
那种依赖专用采集资源扩张的模式，永远无法同时满足通用机器人对数据多样性（Diversity）与海量规模（Scale）的双重需求。
维他动力这次通过Exo2EgoPolicy、Vbot Echo与Echo App三者协同，为行业搭起了一套全新的数据基础设施：
Exo2EgoPolicy精准把YouTube日增2000万条、TikTok日增超1亿条的互联网第三视角视频，转化为机器人第一视角素材；
Vbot Echo顺着「Exo → Ego → Ego Skeleton」与物理仿真闭环，把视频画面炼成可执行的机器人训练数据；
EchoApp则把零穿戴负担的低门槛采集入口，直接塞进了每个普通人的手机里。
「Fable 5.2们」正在把机器人的大脑越练越聪明，而喂养这颗大脑的人类经验，终于迎来了规模（Scale）与多样性（Diversity）的共同突破。
全网沉睡的百亿小时第三视角视频，加上普通人手机里的随手拍，自此全都变成了机器人持续进化的源泉。
具身智能数据，从此不再是问题！
编辑：摩西 桃子
热门跟贴