近 5000 小时「手感」开源：蚂蚁灵波 LingBot-Touch，让三类触觉传感器说同一种语言|传感器|信号|原理|编码器|蚂蚁灵波|触觉|阵列

近 5000 小时「手感」开源：蚂蚁灵波 LingBot-Touch，让三类触觉传感器说同一种语言

机器人拧瓶盖时，画面里看不出盖子已经松了，还是指腹正沿着盖壁打滑；拉拉链时，视觉也很难确认拉头有没有真的咬合。手已经伸到了正确的位置，动作却 replay 错了下一步——差的不是看得更清楚，而是摸得准不准。

问题在于，装上触觉传感器并不等于会用触觉。压阻式输出电阻标量，磁触觉输出三轴磁场变化，视触觉输出凝胶形变图，触点数量和排布也各不相同。换一款传感器、换一只灵巧手，之前攒下的数据和模型往往要重来一遍。

2026 年 11 月 9 日技术报告上线 arXiv，11 月 10 日蚂蚁集团旗下具身智能公司蚂蚁灵波科技（Robbyant）开源LingBot-Touch：用 4983 小时真实触觉数据预训练一个编码器，把三类传感原理压进同一套表征，冻结后直接插到现成的动作策略上。在两只灵巧手、26 项真机任务、四种策略的评测里，平均成功率提升约 14 到 26 个百分点；其中 XHand1 的磁触觉传感器型号根本没出现在预训练数据里，编码器一个参数都没改。

这篇文章按「它是什么 → 解决什么问题 → 架构与模块 → 设计要点 → 实验数字 → 开源范围」拆开讲，顺便把仓库里那些容易踩坑的接口约定说清楚。

图 1：官方总览图把「输入有多乱」和「输出给谁用」放在同一张里。上半部分是三类原理、不同分辨率与布局、大量无接触的稀疏帧；下半部分是冻结特征可以服务的三类下游任务。它解释了这项工作真正的落点：不是再做一个策略，而是在传感器和策略之间补一层通用「翻译」。先说清楚几个词

Taxel（触觉单元）：可以粗略理解成触觉版的像素，一个指尖上按一定几何排布的测点。不同传感器的 taxel 数量、坐标、采样率都不同，这是「数据不能合起来用」的根源。

JEPA（联合嵌入预测架构）：不重建原始信号，而是让模型根据可见部分，在表征空间里预测被遮住部分的表征。触觉帧里绝大部分区域是零，重建信号很容易变成「猜背景」；预测表征能绕开这个陷阱。

触觉 Token：编码器输出的 token 级特征，每个 token 还带着时间、手指、空间位置的地址。策略模型不必读原始传感阵列，只需把这些 token 当作额外条件接进去。

VLA（视觉-语言-动作模型）：把视觉、语言指令映射为机器人动作的策略范式，文中出现的 π0.5、LingBot-VLA、T-Rex 都属于或接近这一类；Diffusion Policy 则是模仿学习基线。

一、核心功能与目标：给机器人补一层可复用的「手感」

LingBot-Touch 的定位是触觉基础模型／触觉表征编码器，不是抓取策略，也不直接输出动作。它做一件事：把异构、稀疏的指尖触觉时序信号，变成统一、可迁移的 token，供下游任务读取。

官方把它归纳为四个性质：

Unified（统一）：压阻、磁、视触三类数据在同一隐空间里互相增益，一个编码器服务三种传感原理；

Transferable（可迁移）：即使预训练没见过某款传感器，也能零参数更新地迁移到新的触觉传感器和真机灵巧手；

Efficient（高效）：最小版本 HaT-Tiny 只有 546 万参数，面向高频下游推理；

Scalable（可扩展）：预训练数据越多，下游触觉理解任务和真机操作任务的表现继续往上走。

一句话概括目标：让触觉理解摆脱「传感器物理特性」的绑定，使触觉经验可以跨传感器、跨灵巧手、跨策略、跨任务复用。它处在传感器与动作模型之间，谁的动作策略都可以保留，谁的硬件也不被绑定。

二、它解决什么问题，谁真正用得上

技术报告把触觉没能像视觉、语言那样规模化，归结为三个缺口：没有统一输入格式（每类传感器自定义通道、布局、分辨率、采样率）、没有大规模语料（数据无法跨传感器合并，且每一小时都要一只带传感器的手真实接触世界）、没有成熟的扩展范式（换个硬件往往就要重新采集和训练）。

更现实的一层是视觉盲区。受力大小、是否打滑、接触位置、软物体是否被捏变形、拉链头是否咬合、叠放杯子是否已分离——这些信息大多被手指和物体本身遮挡。论文里一句话很到位：接触这个事件是客观的，被哪种换能器记录是偶然的。

图 2：论文附录中的喷雾扳机任务连续帧。这类任务的关键信息是「扳机按到位没有」，画面几乎无法分辨，只能靠接触力的变化判断；它也是全文增益最大的单项任务之一。

因此应用场景并不是「让机器人有触觉」这么笼统，而是几类明确需要接触反馈的活：

精细操作：翻单页、弹出 SD 卡、拔笔帽、插吸管、拧瓶盖、拉拉链、按喷头；

易碎与可变形物体：鸡蛋转移、软杯搬运、取袋、封口；

触觉判别：麻将牌分拣、按刚度分类；

双手协同：递交盒子、抽书；

仿真中的强化学习探索：转笔、转碟、球平衡、盲抓、抓握稳定、保定球旋转、螺母装配；

理解类任务：从指尖信号反推接触力、接触中心、接触面积、短期力变化，甚至只用触觉去检索对应的视频帧；

产业链侧：触觉传感器厂商、灵巧手厂商、整机团队可以用同一个编码器对接不同硬件，减少每换一种「硬件 × 算法」组合就重做触觉能力的重复投入。

三、整体架构与主要模块

架构可以分成「数据接口 → 分词 → 共享主干 → 自监督训练 → 下游读出」五层。

1）统一几何接口（canonical fingertip space）。每个 taxel 不再用传感器私有阵列里的下标描述，而是换成连续三维坐标加手指编号。通过每款传感器、每根手指离线固定的旋转、原点、参考半径与偏移，把坐标映到共享的指尖空间：p_canonical = (p @ rotation.T - coordinate_origin) / radius + offset_xyz。信号幅值也按传感器量程归一化：有符号切向响应进 [-1,1]，非负法向响应进 [0,1]，标量信号放进 Z、XY 置零。几何与量程一起构成公共输入接口。

2）按传感原理分开的 tokenizer。磁、压阻、视触各一个两层 MLP，把「同一 taxel 连续两帧、共 6 个数」压成一个 token；每个训练片段按数据源加权采样。传感器特有的参数只留在网络边界的浅层投影里。

3）共享的 Haptic Transformer（HaT）。三类 token 进入同一个 Transformer 主干，时间、手指身份、三维坐标组成五维地址 (t, f, p)，通过5D RoPE作用到注意力的 query/key 上——不依赖固定 token 数或传感器专属位置表，这是处理不同布局、迁移到未见传感器的前提。两层规模：Tiny 546 万参数、12 层、嵌入 192、tubelet 2；Small 2176 万参数、12 层、嵌入 384、tubelet 4。

4）Tactile-JEPA 训练结构。上下文编码器只看可见 token；目标编码器看完整片段，输出多层特征作为目标，参数由上下文编码器EMA更新、目标分支 stop-gradient；predictor 把可见表征与可学习 mask token 一起映射出全部位置的预测，在掩码位置算 prediction loss、在可见位置算 context loss。训练时随机遮住 80% 有效 taxel，且同一个空间掩码贯穿整段时序，防止模型从相邻帧抄答案。

5）下游读出。冻结 EMA 目标 tokenizer 与编码器，拼接四层特征得到 token 级表征；真机上用可训练的 cross-attention readout 把每只手的 token 压成 40 个条件 token，接入策略原有的视觉与本体感觉输入。Tiny 编码器只给 T-Rex、π0.5、LingBot-VLA 分别增加约 0.16%、0.15%、0.13% 参数量。

图 3：架构图的重点不是模块数量，而是「哪些参数共享、哪些分开」。三条 tokenizer 分支之后是同一个 Haptic Transformer，预测器也只在输入输出投影上按模态分组；这种「边界分层、主干共享」正是换传感器零适配的工程前提。四、关键设计思路与技术要点

要点一：把坐标当成通用语言，而不是给每款传感器做适配器。5D 地址只通过 RoPE 进入注意力，不受 taxel 数量与排布限制。对比对象 FTP-1 需要为每款传感器单独训练 input adapter，LingBot-Touch 在 XHand1 上不更新任何编码器参数。

要点二：在隐空间预测，不重建信号。触觉片段绝大部分是零背景，重建目标（VAE、MAE）会把容量花在背景上。论文在相同数据、相同参数量下对比：4K 小时预训练时，JEPA 的接触中心误差 0.32 mm、触觉-视频检索 Recall@5 为 49.3%，而 VAE 数据变多反而变差（中心误差 3.03 → 4.08 mm）、MAE 的检索召回始终低于 9%。同时，掩码比例要在训练前 300 步从 40% 线性升到 80%：一开始直接遮 80%，接触证据容易被整块抹掉，目标不可预测、梯度会爆；总训练 20 万次更新，warm-up 只占极小一段。EMA 动量的消融也显示这套稀疏信号训练对目标更新速度非常敏感（0.999→1.0 明显优于 0.998→1.0 与固定 0.99925）。

要点三：把「布局」当作需要随机化的干扰变量。只有三套预训练布局，模型完全可以背下三组点集；遇到第四只手就失效。做法是训练时随机改变采样密度（磁触觉 96/76/64/48/32/24 点每指，视触觉 200/96/32 虚拟 taxel；压阻的 3×3、4×4 手套阵列太稀疏，保留原布局），并对规范坐标加入不超过邻近点间距一半的扰动。消融显示「数值增强 + 位置增强」在五项指标里四项最优，检索召回从无增强的 25.6% 提到 37.1%。

要点四：数据规模化靠手套，不靠机器人。4983 小时里约三分之二来自人戴触觉手套的第一人称日常操作，三分之一来自双臂遥操作 Sharpa Wave；24 个任务类别（开合、装配、擦拭、倾倒、工具使用等）让两边在行为上对齐，而不是在硬件上对齐。标注只到 episode 级任务类别，没有力、接触位置、接触时序标签。这是一个很实际的取舍：容易采集的传感器负责堆数据量，学到的接触强度与动态规律再迁移到真正部署的手上。

传感原理

采集方式

时长

Episodes

触点与采样率

压阻

触觉手套，第一人称

2197 h

86,906

9 / 16 / 61 点每指（拇指 124），60–100 Hz

PaXini 手套，第一人称

1136 h

294,871

拇指 116 / 其余 96 点，41.7–83.3 Hz

视触

Sharpa Wave 双臂遥操作

1650 h

82,654

240×240 形变图，30 Hz

合计

4983 h

464,431

约 13.3 亿帧

表 1：预训练语料构成。三类原理在通道语义、空间分辨率、采样率、指尖几何上都不一致，这也是「统一表征」要处理的真正难度。

要点五（工程上最容易踩的坑）：token 要用注意力去读，不要池化或按地址挑。README 明确建议用可学习或任务条件化的 query 做 cross-attention，而不是默认对 token 做线性投影或 mean/max pooling。原因是经过自注意力后，每个 token 已经融合了其他 taxel 与时刻的上下文；按 time_id、finger_id、pos_xyz 挑几个 token，拿不到「某一根手指、某一小段时间」的独立测量。这个约定直接决定下游接入能否复现论文效果。

五、实验表现：分四层看

第一层：冻结编码器的接触物理探针。五项任务（力恢复、接触中心、接触面积、未来力预测、触觉-视频检索）在两只手上测，编码器全程冻结，只训轻量探针。

指标

Sharpa Wave（预训练见过）LingBot / FTP-1

XHand1（预训练没见过）LingBot / FTP-1

力恢复误差 (N) ↓

0.81/ 2.31

1.32/ 3.72

接触中心误差 (mm) ↓

0.12/ 2.19

0.16/ 5.89

接触面积误差 (pp) ↓

0.66/ 2.90

0.43/ 4.39

未来力误差 (N) ↓

1.04/ 1.67

1.45/ 2.00

触觉-视频检索 R@5 ↑

72.6%/ 16.5%

47.1%/ 6.0%

表 2：FTP-1 需要为每个传感器与探针单独训练输入适配器，LingBot-Touch 不更新任何编码器参数。XHand1 上的接触中心误差，比 FTP-1 在「见过」的传感器上还低一个数量级。

第二层：26 项真机任务，四种策略。20 项在 Sharpa Wave、6 项在 XHand1，每项 20 次连续试验，200 条示范/任务（双手任务 500 条）。LingBot-Touch-Tiny 的冻结 token 只作为额外条件接入，策略本体与训练流程不变。

策略

无触觉

+ LingBot-Touch

提升

Diffusion Policy

21.6%

35.6%

+13.9 pp

π0.5

48.1%

69.9%

+21.8 pp

LingBot-VLA

48.3%

73.1%

+24.8 pp

T-Rex

45.4%

68.6%

+23.2 pp

表 3：26 项任务平均成功率（对外口径常写作 14–26 个百分点）。104 个「任务 × 策略」组合里，LingBot-Touch 在 89 个组合中是三种配置里最好的，99 个组合不低于原策略。

更有说服的是对照组：直接把原始触觉信号喂给策略，最多只带来 7.0 / 6.6 / 8.2 / 11.2 个点的提升，还在 22 个组合里让结果变差（LingBot-VLA 的麻将分拣 28.8% → 5.0%、π0.5 的拉拉链 39.0% → 15.0%）。在没见过的 XHand1 上，原始信号对四种策略几乎无用（+4.6 / -1.7 / 0.0 / +2.0 点），而同一批信号经 LingBot-Touch 编码后提升 16.3 / 24.5 / 17.8 / 13.8 点。增益来自「读懂」，不是来自「多接了一路传感器」。

单项提升集中在视觉判断不了的那一步：拉链咬合 11% → 55%（LingBot-VLA），喷头按到位 42.5% → 87.5%（LingBot-VLA），SD 卡弹出 32% → 92%、瓶盖拧松 56% → 90%（T-Rex），叠杯分离 32.5% → 72.5%（π0.5 / XHand1）。

图 4：论文附录的叠杯分离连续帧。判断「最上面那只杯子是否已经脱离」靠的是瞬态接触变化；π0.5 在 XHand1 上从 32.5% 提到 72.5%，正好对应这种视觉咬不住的时刻。

第三层：12 项仿真强化学习任务。五种观测配置对比，用冻结特征的平均成功率 69.0%，任务内 CNN 特征 45.6%、原始信号 38.5%、二值接触 30.3%、无触觉 21.4%。跨随机种子的标准差不超过 9.2 点、平均 3.9，而其他方案在转笔、转碟上能出现 55、40 点的波动——有些种子学会了，有些完全没学会。转笔 97.1%（次优 64.2%）、转碟 97.4%（次优 82.9%）、Sharpa 球平衡 67.7%（次优 32.4%），无触觉与二值接触在球平衡上都是 0。

第四层：规模化与消融。预训练从 1K 增到 5K 小时，LingBot-VLA 在五项真机任务上的平均成功率依次是 69.8% / 74.3% / 77.4% / 81.4% / 82.2%（原策略 55.9%）；换成 FTP-1 编码器只有 67.5%。Small 模型在两只手的五项探针任务上随数据增加单调变好或持平，Tiny 在约 4K 小时后饱和、5K 小时检索召回反而下降——数据不再是瓶颈时，容量得跟着涨。多源数据实验也给出了一个诚实的结论：在固定总预算下，单传感器模型在自家传感器上的空间精度更好（多源混合会损失一点空间精度）；但当自家数据稀缺时，别家的小时数能顶上强度与动态的学习。换句话说，「一个编码器服务三类原理」是拿部分空间精度换来的通用性。

六、开源了什么，没开源什么

这是本次发布最需要看清的部分。仓库是Apache-2.0，但 README 明确写了「Inference release」：公开的是冻结的目标编码器 + 推理/数据接口工具链，不是完整训练栈。

类别

已公开内容

位置与说明

推理代码

tactile_jepa_inference/（model.py、config.py、rope.py、tokenizer.py、loading.py、preprocessing.py、address.py）、CLI infer.py

GitHub 仓库

传感器接口

data_interfaces/：几何标定、信号归一化、重采样、预训练采样图与参考几何、Sharpa / XHand 适配器

GitHub 仓库；新传感器接入主要靠这一层

样例数据

Sharpa、XHand 各 30 对双手样本，每手 16 帧，共 120 个单手文件；sample_data/manifest.json

GitHub 仓库；Sharpa 为标量 [1,16,5,200]，XHand 为三轴 [1,16,5,120,3]

模型权重

LingBot-Touch-Tiny / Small 的 config.json + encoder.pt

Hugging Face 与 ModelScope 单独托管，按 README 说明需要账号权限，不与源码同仓

文档与测试

README、DATA_INTERFACE_GUIDE.md（详尽的输入契约指南）、LICENSE、第三方声明、4 个测试文件

GitHub 仓库

技术报告与演示

arXiv:2611.12806；项目主页含 26 项任务 Demo、3 个重点部署演示、12 项仿真策略与接触可视化，均为 1× 速度真机/策略推理

项目主页内嵌，未单独提供视频直链

未包含

4983 小时预训练语料

数据规模与构成在论文中公开，数据本身未开放

训练代码与训练侧 predictor / 上下文编码器

只发布冻结的 EMA 目标编码器用于提特征

下游策略与 readout 训练代码

仓库给接入建议与接口，不提供 policy 本体、训练脚本、示范数据

力/接触位置等细粒度标注

预训练本身只用 episode 级任务类别，探针任务的标注数据未随仓库发布

上手路径（README 六步）：下载权重 → 对齐数据格式 → 归一化几何与信号 → 可选重采样 → 选择 modality → 跑推理。几个硬约定值得先读：

固定手指顺序为拇指、食指、中指、无名指、小指；左右手分别推理，不要拼成十个手指槽；帧必须按时间顺序，T 要能被模型 tubelet_size 整除（样例为 16 帧）。

三种 modality 取值只能是 magnetic、piezoresistive、visuotactile；改标签不等于物理适配新传感器。

新传感器需要已验证的几何标定参数（rotation、coordinate_origin、radius、offset_xyz）；Sharpa 样例本身已是规范坐标，XHand 适配器内置固定映射与点序，都不要再做一次变换。信号只归一化一次：XHand 除以 [128,128,255]，Sharpa 标量除以 255。

重采样可选但推荐：磁触觉支持 96/76/64/48/32/24 点每指，压阻 61/16/9（拇指 124），视触 200/96/32；README 提到 XHand 的 120→96 处理效果更好。

输出是 token 级 latent [B,N,C]，并附 time_id、finger_id、pos_xyz；下游请按前文要点五用注意力读取。

参考环境是 Linux / Python 3.12.13 / PyTorch 2.11.0 / NumPy 2.4.4，CPU 就能跑示例，NVIDIA GPU 把 --device cpu 换成 --device cuda:0；不需要训练环境。

七、技术溯源：它站在哪条线上

方法上，LingBot-Touch 把视觉与语言领域成熟的自监督范式搬到了触觉：I-JEPA、V-JEPA 到 V-JEPA 2.1 的「潜空间预测 + 多层目标 + EMA 目标编码器」，被改造成适合稀疏、无细粒度标签、多源异构信号的 Tactile-JEPA；改动包括 80% 空间掩码与 warm-up、5D 位置编码、按模态分组的边界层、布局增强，以及「不重建信号」这一关键选择。

触觉表征这条线上，Sparsh 探索视触自监督，T3 用「传感器专属编码器 + 共享 Transformer」做跨视触传感器迁移，UniTouch / AnyTouch / AnyTouch 2 做跨模态对齐与跨传感器匹配，Sparsh-skin / Sparsh-X 处理磁触觉历史与多模态，HTT 面向异构光学与阵列传感器，FTP-1 用 morphology-aware token 做基础策略预训练并靠传感器专属编码器适配新硬件。LingBot-Touch 最直接的对话对象是 FTP-1：同样想收编异构传感器，一个靠每传感器一个适配器，一个靠统一几何接口加布局增强把适配器去掉。下游对照则覆盖 Diffusion Policy、π0.5、LingBot-VLA 与 T-Rex 四类策略，说明这层表征并不绑定自家模型。

团队脉络上，蚂蚁灵波的项目页已经列出 LingBot-Vision、Depth、Touch、Map、VLA、VA、Video、World 等系列模型。此前「通用大脑」解决的是看得清、想得明白、干得利索，这次把感知延伸到指尖，并且已经在 LingBot-VLA 中接入使用。按官方表述，这是一条「具身原生」路线：通用大模型负责理解与推理，具身基础模型负责物理感知和操作闭环，两者互补。

八、局限与适用边界

保持克制地看，有几条边界不能忽略：

论文自述的局限：真机与仿真实验覆盖的手型还不够多；传感器覆盖可继续扩展，电容式传感器因数据质量等原因未纳入预训练；规范几何主要围绕指尖，手掌、指节等更大范围的接触覆盖不足。

固定数据预算下，多源混合会牺牲一部分空间精度；Small 随数据继续变好，Tiny 约 4K 小时后饱和，说明「一个编码器通吃」仍有容量代价。

XHand1 上四项物理探针的误差仍高于见过的 Sharpa Wave，零适配不等于无损。

本次开源止于推理侧：想复现预训练、扩大传感器种类或训练自己的策略，需要自建数据、训练代码和探针标注。权重还需要 HF / ModelScope 账号权限。

接入新传感器不是改个 modality 就行，需要可信的 taxel 几何、坐标手性、量程与零点漂移处理；README 甚至提醒「形状对得上不够，点序和信号轴约定变了要先验证映射」。

九、资源直达

技术报告：https://arxiv.org/abs/2611.12806

报告 PDF：https://arxiv.org/pdf/2611.12806

项目主页（含真机与仿真演示）：https://technology.robbyant.com/lingbot-touch

代码仓库：https://github.com/Robbyant/lingbot-touch