戴上头显操控人形机器人,最先被注意到的往往是延迟:人的手臂抬起来,过了一拍,机器人的手臂才跟着抬起来。这一拍决定了操作员能不能接住一个正在滑落的箱子,或者在一台机器倾斜到无法挽回之前把它停住。

这一拍的时间大多花在“翻译”上。人的身体和机器人的身体并不匹配:肢体长度不同,关节活动范围不同,重量分布的位置也不同。遥操作系统通常用在线重定向来弥合这种差异,在人还在动的时候,把人的姿态转换成机器人的姿态。这个转换要花时间,还可能交给控制器一个机器人在物理上根本保持不住的目标。

把转换这一步拿掉

一篇近期预印本《Beyond Retargeting》选择了一条更直接的路:去掉这个转换环节。作者描述了一种策略,用单次前向传递把原始人体运动直接映射为机器人关节指令,运行时不进行任何运动学适配。他们同时配了一个学习得到的全身运动基元码本,相当于一套“合理动作词汇表”,让带噪声或不完整的观测被投影到机器人实际能做的动作上,缺失的身体部位也能被补回来。

这套方案在宇树 G1 上做了仿真和硬件测试,驱动来源包括虚拟现实、光学动捕、文本生成的运动以及普通单摄像头视频。作者报告称,其延迟和鲁棒性优于所对比的基线方法。

去掉运行时的这一步,并不等于把工作量删掉了,而是把它推到了训练阶段:模型必须提前吸收过去要在现场实时计算的每一种身体差异。按这个逻辑,响应速度既是控制器的属性,也是数据集的属性——演示里省下的那一瞬间,是几个月前在录制人体运动时买下的,那些数据覆盖了不同的体型、速度和传感器条件。

词汇表有多宽,能力边界就有多宽

把一个陌生的观测吸附到最接近的合理原型上,在原型库足够宽时是一种安全特性,在原型库很薄时就是一种失效模式。一个从没人录过的下蹲动作,会变成已录制动作里最接近的那个,机器人会很有信心地做出那个动作。决定机器能被要求做什么的,是运动库的覆盖范围,而不是投影算法的聪明程度。

同样的逻辑适用于所有输入通道:同一段动作,干净的光学捕捉和抖动的手持手机视频,必须落到同一个地方。这首先是录制和标注标准的问题,然后才是架构的问题。

这类语料库更像生产问题而非研究问题,要靠受过训练的人、成文的规范和审核流程来搭建,并且把第 1000 条记录当作第 1 条来对待。

仍然必须被观测的那一半

无重定向控制并没有减少观察真实人类运动的必要性。运动基元来自被捕捉的运动;提供其中一路输入通道的文本生成运动模型,本身也是在被捕捉的运动上训练的。甚至“系统很鲁棒”这个说法,也是关于某个分布的断言,而这个分布是有人组装起来的,有人决定了什么该被放进去,也有人核对过标签在两次使用中含义一致。

这条技术路线让依赖关系无处可藏。当人和机器之间隔着一道翻译步骤时,你可以说服自己这道步骤会吸收掉混乱;把这道步骤拿掉,混乱就直接抵达关节。

让机器人当下更快、更稳的每一种技术,都是在更早的时候花掉数据。模型训练越来越便宜,也越来越容易被复制,而关于人体究竟如何运动的记录,两样都不是。稀缺的从来不是策略,而是策略底下那层真实基准。