李飞飞教机器人摸麻将挤牙膏，AI 终于有「手感」了|摸麻将|机器人|机械手|李飞飞|空间感知模型|视觉|触觉

2009 年，李飞飞团队发布 ImageNet，让人工智能第一次有机会通过海量图片认识这个世界。十五年后，她在一次演讲中提出「空间智能」，认为 AI 的下一步，不只是识别一张图片里有什么，而是理解物体在哪里、彼此如何关联，以及人在其中采取行动后，世界会发生什么变化。

今年，这条研究路线又往前走了一步。6 月，李飞飞参与的一项机器人研究 T-Rex 发布，研究者为机器人加入高频触觉反馈，让它完成翻书页、拿鸡蛋、挤牙膏、抽取薄卡片和拧灯泡等任务。

一位因计算机视觉闻名的科学家，为什么开始反复谈论触觉、模拟器和机器人？这并不意味着视觉已经过时。恰恰相反，今天的具身智能厂商仍在给机器人安装更多摄像头、更精确的深度传感器和激光雷达。

真正发生的变化是，行业逐渐意识到， 「看」只是智能进入物理世界的第一步，一张图片也只是世界留下的表面 。

AI 可能根本没在看

今年 3 月，李飞飞参与的一项研究做了一个实验：研究者向多模态模型提出视觉问题，但故意没有真的把图片传进去。按理说，模型应该回答「我没有看到图片，无法判断」。

但不少前沿模型依然开始一本正经地描述图像内容，给出完整的分析过程，甚至能在部分视觉问答测试中取得很高的分数。比如，在一个胸肺 X 光问答基准里，模型没有看过任何 X 光片，成绩却依然排到了前列。

研究者把这种现象称为 「幻景推理」 ，模型并不一定在根据视觉证据回答问题，而可能是在利用问题里的文字线索和训练数据中的常见搭配，猜测一张「通常会和这个问题同时出现的图片」应该长什么样。

类似于，大模型并不一定知道自己在说什么，而是在推测「下一个最有可能出现的字」。题目问「图中车辆正在等待什么信号」，即使没有图片，人也可能根据常识猜出，答案无非是红绿灯。

模型吃过足够多的图片说明、诊断报告和问答数据以后，也可能绕过真正的视觉观察，直接从问题跳到答案。它说得非常像看见了，不代表它真的看见了。

在聊天窗口里，只要答案听起来合理，用户未必关心模型究竟是看图得出的，还是靠语言猜中的。但进入物理世界以后，二者的区别会立刻暴露出来。

杯子究竟在桌子的左边还是右？距离手臂还有十厘米还是二十厘米? 这些都不是可以靠语言常识蒙混过关的问题，尤其是对于机器人而言，差几厘米，就会直接抓空。

这也是为什么，今天的机器人身上正在出现越来越复杂的感知系统。宇树 G1 使用深度相机和 3D 激光雷达，一种负责判断物体远近，一种负责建立周围空间的距离地图。

智元灵犀 X2 除了 RGB-D 相机和激光雷达，还使用前视双目、后视相机和触摸传感器，从不同方向补充环境信息。

这些配置看上去，像是又一场针对传感器的军备竞赛，但它们其实是在弥补视觉的不同盲区。头部摄像头适合观察整个房间，但容易在机械臂靠近物体时被自己的手挡住；激光雷达能够测量距离和建立地图，却看不懂桌上的东西究竟是杯子还是苹果。

对人来说，转一下头、眯一下眼睛或者伸手试探，是几乎不需要思考的动作。 机器人却需要把来自不同摄像头、雷达和关节传感器的信息拼在一起，才能确定自己面对的是同一个、持续存在的物理空间。

所以，具身智能首先遇到的问题，并不是模型能不能认出一个杯子，而是它能不能确认：这样一个杯子，真的在那里。

大多数世界模型，其实只是在画世界

这两年，「模型」成了 AI 行业最热门的词之一。视频生成模型可以根据一句提示词，生成一台机器人走进客厅、拿起篮子、凑近玩具，再把玩具放进篮子。

这些画面中的光影、运动和镜头都可以非常自然，观众很容易产生一种感觉：既然模型能够生成这段过程，它大概已经理解了环境和物体如何运作。但只是从视频来看，杯子究竟有多重、柜门的铰链能承受多大的力、机械手碰到杯壁时会不会打滑，都不是必须回答的问题， 只要下一帧看起来合理，任务就完成了。

实际上，对机器人来说， 这些不足以在镜头中充分展示的细节，恰恰决定了任务能不能成功。

World Labs 今年把目前被统称为「世界模型」的技术拆成了三类。第一类是渲染器，负责生成给人看的像素；第二类是模拟器，负责表示几何结构、物理属性和动态变化；第三类是规划器，根据目标决定机器人下一步应该做什么。

这个分类维度恰恰说明了刚才我们提出的问题：模型如果只是会画出一个世界，不等于能够在里面干活。

一辆车可以在生成视频里顺利穿过城市，但镜头之外的街道是否持续存在，建筑有没有稳定的三维结构，车轮和地面之间是否真的存在摩擦，模型未必知道。对于观众来说，像真的已经够了；对于机器人来说，世界必须可以计算、可以碰撞，也必须在它转过身以后继续存在。

World Labs 推出的 Marble 已经可以从文字、图片或视频生成可探索的三维环境。除了供人观看的画面，它还可以输出碰撞网格，让物理引擎判断一个物体能不能穿过墙壁、落到地面后会停在哪里。

英伟达的 Cosmos 则把世界生成、视频预测和机器人训练放在同一套 Physical AI 体系中，希望用大量合成场景填补真实机器人数据不足的问题。

这条路线听起来很宏大，落到机器人公司的研发流程里，其实非常朴素，这就是先让机器人在虚拟世界里反复失败。

只不过，一台双足机器人学会走路，不可能只靠工程师每天把真机推倒几千次。逐际动力的 TRON 1 支持 NVIDIA Isaac、MuJoCo 和 Gazebo 等仿真平台，开发者可以先在虚拟环境里测试不同地面、坡度和碰撞情况。智元则发布了 AgiBot Digital World，用仿真环境生成操作数据、训练模型并评估机器人策略。

逐际动力支持的训练平台

在现实中让机器人摔倒一次，可能意味着零部件磨损、维修成本和安全风险；在模拟器里，同一个动作可以由成千上万个虚拟机器人同时尝试。桌子的高度、地面的摩擦系数、物体摆放的位置都可以不断变化， 机器人不必真的打碎一万只杯子，才能学会怎样端稳一只杯子。

不过，模拟器也不是答案本身，虚拟世界中的地面永远比真实地面干净，模型设定的摩擦力也不可能覆盖每一种材料。机器人在模拟器里练得再熟，进入工厂、商场和家庭以后，依然会遇到没有被写进参数表的意外。这就是机器人行业一直面对的「仿真到现实差距」。

World Labs 在 7 月 21 日收购 SceniX，重要之处也正在这里。它不再只满足于生成一个可以观看和探索的三维空间，而是开始把模拟出来的世界与真实机器人的行动反馈连接起来。

触觉，不只是另一双眼睛

即使视觉和模拟已经足够成熟，机器人真正碰到物体以后，仍然会遇到一类摄像头很难独立解决的问题。

拿起鸡蛋时，机器人怎样知道手指已经用力过大？抽出一张薄卡片时，它怎样判断自己捏住的是卡片，还是只碰到了桌面？拧灯泡时，它怎样感知螺纹已经卡住，继续旋转可能会损坏物体？ 摄像头可以看到手已经接近目标，却很难及时判断接触面正在发生什么。

触觉解决的不是「物体在哪里」，而是「接触以后发生了什么」。压力是否增加，物体是否开始滑动，材料有没有变形，抓握是否稳定，这些信息都发生在视觉画面之下。

Figure 今年发布的 Helix 02，就把头部摄像头、手掌摄像头、指尖触觉和全身本体感知接入同一套控制系统。当头部摄像头被机械手遮挡时，手掌里的摄像头继续提供近距离画面；指尖传感器则可以感知低至 3 克的力，让机器人从药盒中取出单颗药片、控制注射器推出精确剂量，并在杂乱物体中分离出尺寸很小的目标。

国内厂商也在快速补上这块感知能力，像帕西尼这样的上游厂商，则直接把触觉传感器、灵巧手、人形机器人、数据采集和多模态模型组成一条产品链，希望把触觉从一个零部件问题，变成机器人训练数据的一部分。

图片来自：帕西尼

但给机器人装上传感器，并不意味着它自然就会使用触觉， 很多被称为「常识」的能力，并不是来自我们看过多少图片，而是来自身体在漫长的接触中，学会了让动作适应世界。

李飞飞参与的 T-Rex 研究展示了这一步为什么困难。团队收集了 100 小时包含触觉信号的机器人操作数据，让机器人完成翻书页、转移鸡蛋、擦盘子、挤牙膏、分离叠放的杯子、摸索麻将、开锁、抽取卡片和拧灯泡等任务。最终，T-Rex 在 12 项任务中的平均成功率达到 65%，比最强对照模型高出 30 个百分点。