机器手指的"感觉细胞"，怎么才能学得聪明一点|deco|上下文|传感器|信号|感觉细胞|旗舰基座模型|机器手|编码器|触觉

先问你一个问题：如果把机械手上密密麻麻的触觉传感器，比作皮肤上的神经末梢，那这些神经末梢发来的信号，机器人的大脑该怎么理解？

大多数机器人的答案是：从零开始学。每次装上新手，都要重新教它读懂这些触觉信号，就像一个人失去了所有触觉记忆，每次碰到东西都得从头判断这是软还是硬、疼还是不疼。这事听起来有点荒唐，但确实是当前机器人触觉感知领域的现实。

这篇论文要解决的，就是这个"每次都从头学"的困境。

**触觉的孤儿地位**

先说说为什么会这样。现在的机器人越来越依赖那种能听懂指令、看懂画面、还能自己动手干活的大模型，专业上叫它

VLA模型:Vision-Language-Action模型，一种能同时处理视觉、语言和动作的机器人智能系统，简单说就是让机器人"看得懂、听得懂、还能动手"

这类模型有一个共同的特点：它们的视觉和语言能力都不是从零练出来的，而是站在了别人的肩膀上。图像识别用的是在海量图片上预训练好的编码器，语言理解用的是训练过的大语言模型的底子。这就好比一个刚入职的新员工，公司已经帮他做好了岗前培训，他只需要在这个基础上学一点专业知识就能上岗。

但触觉这个模态没有这种"岗前培训"。大多数触觉编码器还是直接拿原始的、充满噪声的传感器数据从零训练，这就像让一个刚出生的婴儿直接上岗操作精密仪器，没有任何前置的感觉训练积累。

那视觉触觉传感器不是也有预训练方法吗？确实有。像GelSight、Digit这类传感器，内部装了个摄像头，专门拍摄软胶变形的画面，本质上输出的就是一张图片，所以可以直接套用图像领域那些成熟的自监督学习方法，比如MAE、DINO这类。

但问题来了：这类传感器虽然分辨率高，但体积笨重，覆盖面积很小，通常只能装在指尖那么点地方。

如果整只手甚至整个身体都想要有触觉，就得靠另一种叫电子皮肤的东西。

**电子皮肤的特殊性**

电子皮肤，也就是e-skin，可以柔软地铺满手掌、手臂甚至全身，它靠很多个感应点来采集压力信息，这些感应点专业上叫

taxel：分布式触觉传感器上的单个感应元件，可以理解成一个个"触觉像素点"，但和图像像素不同，它们的位置分布是稀疏且不规则的

这里就出现了这篇论文抓住的核心矛盾：电子皮肤的taxel排布，跟摄像头图像的像素排布，根本不是一回事。

图像里的像素点是整齐排列的网格，每个像素都紧挨着固定的四个邻居，这种规整性是视觉SSL方法能够直接套用的前提。可是taxel分布是稀疏而不规则的，有的地方密一点，有的地方稀疏得多,它们之间的连接关系取决于传感器实际装在手上的物理布局,而不是一个简单的行列网格。

如果硬套用视觉的自监督学习方法，把这堆不规则的taxel信号硬塞进一张"图片"里去处理,会发生什么?

论文里提到一个叫T-DEX的方法，就是这么做的：把磁性触觉传感器的读数排成一张三通道图像，然后用图像领域常用的BYOL方法去预训练。这种做法虽然能跑起来，但完全没有考虑taxel之间真实的空间连接关系，好比把一堆散落在桌上的按键硬凑成一张方格图，看起来是图了，但按键之间原本的邻近关系已经被打乱了。

这就是研究者们要解决的真正问题：怎么让机器学会理解taxel之间"谁和谁是邻居"这种拓扑关系，而不是简单地套用视觉方法。

**Tactile-JEPA的解法：把传感器接线图变成学习地图**

论文提出的方法叫Tactile-JEPA，思路上继承了一个叫

I-JEPA:一种自监督学习框架，核心思路是遮住图像的一部分，让模型根据看到的部分去预测被遮住部分的"特征"，而不是直接预测原始像素

的经典设计,但做了一个关键的改造。

I-JEPA遮的是图片上的一个矩形区块，因为图片是规整的网格，区块很好定义。但Tactile-JEPA面对的是不规则分布的taxel，它没法简单地"画一个方框"，而是直接在

taxel connectivity graph:根据传感器物理布局构建的连接图，记录哪些taxel在物理位置上是相邻的，这个图不需要精确坐标，只需要知道谁挨着谁

上做遮盖采样。这个图就相当于给每个taxel建立了一份"邻居关系表"，不管传感器形状多奇怪、taxel分布多稀疏，只要知道谁挨着谁，就能在这份关系表上做各种操作。

具体怎么遮？论文设计了两种遮盖方式。一种叫局部遮盖，从图上随机选一个taxel当"种子"，然后像撒网一样沿着连接关系一圈圈扩散，直到覆盖到指定数量的taxel为止，这样遮住的是一块连续紧凑的区域，专门用来捕捉局部的接触细节，比如某个手指尖碰到了硬物边缘这种精细信息。另一种叫全局遮盖，直接在整张图上随机撒点，遮住的taxel分散在各个角落，这样能捕捉的是整只手在某个瞬间的整体接触状态,比如是握拳还是摊开。

这两种遮盖方式会同时使用，一半局部一半全局。

这里可以做一个类比。想象你在教一个新来的按摩师傅判断病人肌肉的紧张状态。如果只让他关注手掌下面那一小块地方的触感,他确实能精准判断局部是不是有个结节,但他完全不知道病人整个背部是紧绷的还是放松的。反过来,如果只让他从远处粗略感受整个背部的松紧程度,他又会错过那些藏在细节里的小结节。真正厉害的按摩师傅,是既能感知局部的微小异常,又能把握全身的整体状态,这两种能力缺一不可。如果Tactile-JEPA只用局部遮盖或者只用全局遮盖去训练,学出来的模型就会像只有一种感知能力的按摩师傅,面对某些任务时表现会明显打折扣,论文里的实验数据也证实了这一点,后面会详细说。

预训练的具体流程是这样的：整个系统里有三个角色。一个叫

上下文编码器:只负责处理"看得见"的那部分taxel,把它们的信号编码成向量表示

一个叫

目标编码器:负责处理全部taxel,它的输出会被当作预测的"标准答案",但这个编码器的参数不是直接训练出来的,而是通过EMA(指数移动平均)的方式,缓慢跟随上下文编码器的参数更新,这样能让训练过程更稳定

还有一个叫

预测器:接收上下文编码器给出的可见taxel的表示,加上被遮住taxel的位置信息,尝试猜出这些被遮住的taxel"应该长什么样"

整个训练过程不要求预测器猜出原始的触觉信号数值,而是猜出目标编码器给这些taxel算出来的特征向量,两者之间的差距用均方误差衡量,这个差距越小,说明模型对触觉信号的理解越准。

为什么不直接预测原始信号，而是预测特征向量？因为原始的触觉读数本身就充满了传感器噪声，直接去拟合这些数值，就像让学生死记硬背一本满是印刷错误的教科书，学到的可能都是噪声本身的特征，而不是真正有用的规律。在特征空间里做预测，相当于让模型去理解"这块区域大概是什么状态"，而不是纠结于某个像素点的具体数值波动。

**数据怎么喂进模型：把一小段时间的信号打包成一个语义单元**

触觉信号是随时间变化的，一个瞬间的读数其实说明不了什么问题，就像你只看一张静止的照片，很难判断这个人是正在走路还是刚站定。所以论文设计了一个

时间窗口:把连续若干帧的触觉信号打包在一起处理,让模型能看到一小段接触过程,而不是孤立的一瞬间

窗口的长度选择很讲究，论文参考了人类神经科学的一个发现:人在感觉到物体打滑之后，调整抓握力度的反应时间大概是0.1秒左右。于是论文把窗口时长也定在了差不多0.1秒的量级，这样窗口既能捕捉到一次完整的接触事件的动态变化，又不会太长导致混入多个不相关的接触事件。

每个taxel在这个窗口里的一连串读数，会被压缩成一个固定长度的向量，所有taxel的向量堆叠起来，就成了模型的输入。这个转换过程用的是一个共享的线性映射加层归一化，所有taxel和所有时间窗口都用同一套映射参数，这样保证了不同taxel之间的表示是可以互相比较的。

**验证效果：三套完全不同的硬件、不同的任务**

一个方法好不好，光在实验室里的单一场景跑通是不够的，得看它能不能在差异很大的真实场景里都站得住脚。这篇论文选了三个公开数据集，涵盖了磁性传感器和压阻式传感器两种不同的物理原理，涵盖了单手机械手、双足人类、双手机械手三种完全不同的身体形态。

第一个数据集叫Sparsh-skin，用的是磁性的Xela uSkin传感器，装在一只机械手上，采集的是随意抓取把玩物体的数据，涉及力估计、手中物体姿态跟踪、物体分类三个任务。

第二个数据集叫Tactile socks，是给人穿的针织触觉袜子，记录的是走路、爬楼梯、跳跃等日常动作，涉及动作分类和全身姿态估计两个任务。

第三个数据集叫DECO-50，用的是压阻式传感器装在双手机械手上，模拟的是插拔插头这种精细装配任务，最终用来训练一个结合视觉和触觉信息的操作策略。

结果怎么样？在Sparsh-skin数据集上，跟此前表现最好的方法相比，Tactile-JEPA把手中物体的旋转角度估计误差降低了20.8%，把力估计的误差降低了6.3%。在Tactile socks数据集上，动作分类准确率提升了1.28%，全身姿态估计误差降低了2.6%。在DECO-50的策略学习任务上，Tactile-JEPA拿到了第二名的成绩，仅次于MAE方法，但表现更加稳定。

这里有个细节值得单独说一说：不少对比方法在某些数据集上直接"训崩了"，专业说法是

模型坏塌:自监督训练中,模型的输出变得高度单一,失去了区分不同输入的能力,相当于学生不管题目是什么都写同一个答案

比如BYOL方法在Tactile socks和DECO-50两个数据集上都出现了这种坏塌，MAE方法则在Tactile socks上坏塌，DINO方法在标准配置下也坏塌，得关掉一个叫iBOT的辅助损失才能勉强跑起来。而Tactile-JEPA在全部三个数据集上，用的是完全相同的遮盖配置，没有针对每个数据集单独调参，却都能稳定训练下来。这说明这个方法对不同类型的硬件、不同的信号特性有比较好的适应能力，不是那种只能在特定条件下才管用的脆弱方案。

除了效果好，训练速度也快。相比DINO方法，Tactile-JEPA的预训练时间缩短了65%到75%，效果却不输甚至更好。

**拆开看看：局部遮盖和全局遮盖到底谁重要**

论文还专门做了一组实验，把混合遮盖策略拆开来单独测试，看看局部遮盖和全局遮盖各自贡献了什么。

实验对比了四种设置：完全照搬I-JEPA的方块式遮盖、全部用四个局部遮盖、全部用四个全局遮盖、以及默认的两个局部加两个全局的混合方案。

结果显示，在DECO-50的策略学习任务上，全局遮盖单独用效果最好，这其实很合理，因为判断双手接下来该往哪个方向动作，需要的是对整只手接触状态的整体把握,而不是纠结某一个指尖碰到了什么。但在力估计和物体姿态判断任务上，混合方案表现最好，这两个任务恰恰需要精细的局部接触信息，比如判断物体具体压在了哪个位置、力度多大。

这个结果印证了前面按摩师傅的类比：单一尺度的遮盖会让模型在某些任务上很强,但在另一些任务上明显吃亏,只有把局部和全局两种视角都学进去,才能得到一个通用性更好的表示。

论文还测试了如果把"上下文"也改成局部采样会发生什么。结果是力估计任务反而有所改善，但姿态估计和策略学习的表现大幅下滑。这说明让模型在预训练时"看到"尽可能全面的上下文信息，对大多数下游任务是更稳妥的选择，只在少数对局部细节要求极高的任务上，局部上下文才可能占优。

另外论文还单独比较了同样是局部紧凑遮盖，但一个基于taxel连接图采样、另一个照搬I-JEPA的方块式采样，结果基于图的采样在力估计和策略学习任务上都胜出。这组对照把"是否利用传感器拓扑结构"这个变量单独隔离出来做验证，证明了利用taxel连接图确实带来了实打实的好处，而不只是换了个说法的巧合。

**这篇论文没直接说但值得多想一层的事**

Tactile-JEPA这套思路，本质上是在给触觉这个长期被忽视的感知模态，补上一份视觉和语言领域早就享受到的"预训练福利"。但补上的方式很讲究：不是粗暴地把触觉数据硬塞进现成的视觉框架里，而是先承认触觉传感器有自己独特的物理结构，再针对这个结构设计专属的学习方式。

这背后其实藏着一个更普遍的道理：迁移一个成功的方法论时,盲目照搬往往会丢掉被迁移对象的关键特性。图像SSL方法之所以好用，是建立在像素网格这个规整结构之上的，一旦把这套方法套到一个不规整的结构上，那些隐含的假设就悄悄失效了，效果打折扣是必然的，运气好还能凑合用，运气不好就直接坏塌。

Tactile-JEPA做的事情，某种程度上就是先老老实实地把这个不规整结构显式建模出来,也就是那张taxel连接图，然后让自监督学习的采样过程建立在这个真实结构之上，而不是建立在一个方便计算但失真的假设之上。

Q&A

Q1：Tactile-JEPA是什么？

A：Tactile-JEPA是一种自监督预训练方法，专门用来学习分布式触觉传感器（比如电子皮肤）的表示，它利用传感器上各个感应点之间的真实空间连接关系来指导训练，而不是简单套用图像的处理方式。

Q2：Tactile-JEPA相比之前的方法效果提升有多大？

A：在手中物体姿态估计任务上，旋转角度误差降低了20.8%，力估计误差降低了6.3%，在动作分类和全身姿态估计任务上也都有提升，同时训练速度比同类方法快65%到75%。