11月10日，蚂蚁灵波科技开源触觉基础模型LingBot-Touch。据介绍，该模型基于近5000小时真实触觉数据预训练，覆盖磁触觉、视触觉和压阻式三类主流传感原理，可将不同信号转化为统一的触觉Token，供不同灵巧手和动作模型使用，为机器人大脑补齐触觉感知能力。目前该模型已接入蚂蚁灵波自研动作模型LingBot-VLA。
图注：LingBot-Touch将磁触觉、视触觉、压阻式触觉信号编码为统一的触觉Token，供不同动作模型使用
据悉，蚂蚁灵波在Sharpa Wave和XHand1两款灵巧手上进行了26项真机测试，涵盖翻书页、拧瓶盖、辨识麻将牌等精细操作。接入LingBot-Touch后，LingBot-VLA、π0.5、Diffusion Policy和T-Rex四种动作模型的平均任务成功率较无触觉时提高约14至26个百分点。以T-Rex控制Sharpa Wave拧瓶盖为例，不使用触觉时任务成功率为56.25%，接入触觉表征后升至90%。
图注：接入LingBot-Touch后，四种动作模型在两款灵巧手上的真机任务成功率均达到各自最高水平
触觉能力可跨硬件复用。LingBot-Touch按传感原理分别设置编码入口，将不同触点布局映射到统一的指尖坐标空间，输出统一触觉Token。在XHand1上，其磁触觉传感器型号不在预训练数据中，团队保持模型参数不变，仅用该灵巧手的操作示范训练动作模型，验证了跨硬件复用能力。
模型提供两种容量。26项真机测试全部使用约530万参数的轻量版LingBot-Touch-Tiny完成，接入动作模型后参数量仅增加约0.13%至0.16%；容量更大的LingBot-Touch-Small在预训练数据增至近5000小时时仍能从中获益。
目前，LingBot-Touch的技术报告、模型和代码已开源，可在Hugging Face、GitHub和魔搭社区访问下载。（袁宁）
热门跟贴