来源:市场资讯

(来源:CAAI认知系统与信息处理专委会)

机器人伸手触碰一个物体:是像膝跳反射一样迅速作出判断,还是停下来调动知识、理解情境?人类触觉的答案并非二选一——快速感知与深度推理可以并行协作。如今,这种能力正在被写进机器人触觉系统。

打开网易新闻 查看精彩图片

机器人“摸到”了,为什么还不等于“懂了”?

压力、振动、应变和温度,是触觉世界的基本线索。近年来,电子皮肤和柔性传感器已经可以越来越灵敏地捕捉这些信号,但“感知到物理变化”与“理解变化意味着什么”之间,仍隔着一道关键鸿沟。在封闭、熟悉的任务中,传统模型能够快速判断训练过的材料或物体;一旦环境变得复杂,触摸对象、接触状态和任务目标不再完全落在既有类别中,单纯依赖固定分类边界就很难给出具有语义和行动价值的判断。反过来,如果每一次触摸都交给大模型进行长链推理,又会牺牲机器人实时交互所需要的速度。真正实用的机器人触觉,因此需要同时回答两类问题:哪些信息应当快速处理,哪些情形需要进一步理解?更重要的是,速度与深度不应相互替代,而应在同一套系统中各展所长。

2026年7月15日,清华大学计算机科学与技术系孙富春教授团队提出了一种脉冲—语言双编码的具身触觉感知与认知系统。该系统将仿生皮肤式触觉传感阵列、脉冲神经网络与大语言模型融为一体,使机器人既能对常规触觉信息作出毫秒级响应,也能面向复杂、不确定情形开展语义理解与深度推理。相关成果以“A spike-language dual framework bridges fast perception and deep reasoning in artificial tactile somatosensory systems”为题,发表于《Nature Sensors》。研究连接了神经形态触觉感知与基础模型驱动的具身智能,为机器人从获取触觉信号到理解触觉含义、再到形成行动依据提供了新的系统框架。

一张仿生皮肤,复现四类触觉感受能力

研究团队首先从“触觉从哪里来”入手,研制了基于激光诱导石墨烯材料的仿生皮肤式传感阵列,对应模拟人类皮肤中的梅斯纳小体、帕西尼小体、梅克尔细胞和鲁菲尼小体,感知动态接触、振动、压力、应变与温度等多模态信息。

这并不是把多种传感器简单叠加在一起,而是为后续认知提供一套具有生物启发的触觉入口:同一次触摸产生的连续信号,可以被转换成不同计算体系都能理解的表示。

打开网易新闻 查看精彩图片

图1人类触觉机制与机器人类脑触觉双通路框架

打开网易新闻 查看精彩图片

图2仿生皮肤式触觉传感阵列结构与性能

同一次触摸,走上两条并行通路

系统的核心是让触觉信号同时拥有两种“表达方式”。

一条是脉冲通路。连续触觉信号被编码为神经脉冲,输入脉冲神经网络,以接近生物神经系统的事件驱动方式完成快速识别。在多模态触觉任务中,这条通路可以在约毫秒级尺度内给出判断,适合常规、熟悉且强调实时性的交互场景。

另一条是语言通路。系统将触觉时序数据中的结构化特征转化为自然语言可理解的描述,再结合触觉知识库与大语言模型,分析材料属性、接触状态及其潜在语义,为复杂或不确定场景提供更深入的解释与决策依据。它并非只在“遇到未知物体”时才有价值,还承担知识关联、情境理解和行动推理等更广泛的认知任务。

两条通路不是先后替代的关系,而是围绕同一触觉输入并行组织:快速通路保证机器人反应及时,深度通路扩展系统对开放世界的理解边界;自适应融合机制则根据当前信息的确定性与任务需求,协调两类结果。

打开网易新闻 查看精彩图片

图3基于脉冲神经网络的多模态快速触觉识别

打开网易新闻 查看精彩图片

图4基于大语言模型的开放集触觉语义推理

从“这是什么”,继续追问“接下来怎么做”

触觉智能的价值,最终要体现在行动上。对于机器人而言,识别材料或物体只是第一步:它还需要判断是否应继续接触、调整抓取力度、重新探索,或结合已有知识采取更合适的操作策略。

研究进一步将触觉感知与语义推理结果映射到机器人的动作决策中,形成从多模态触觉输入、快速识别与深度理解,到动作生成与执行的衔接。由此,触觉不再只是机器人系统中的一个传感通道,而成为连接物理接触、认知判断与具身行动的重要接口。

打开网易新闻 查看精彩图片

图5SNN–LLM自适应融合架构及触觉语义到机器人动作的映射

让机器人拥有更接近真实世界的类脑触觉

现实环境不会按照训练集整齐出现。服务机器人可能接触陌生生活用品,工业机器人可能遭遇异常工况,人形机器人也需要在持续变化的环境中兼顾安全、速度与泛化能力。仅有快速分类,难以覆盖开放环境中的复杂语义;仅有深度推理,也难以满足实时交互。

脉冲—语言双通路框架的意义,正在于把这两种能力纳入同一具身触觉系统:它既保留神经形态计算面向实时响应的优势,也引入大语言模型的知识与推理能力,推动机器人触觉从单一的信号识别,拓展为可解释、可推理、可作用于行动的认知过程。

审稿人认为,该工作连接了此前相对独立发展的神经形态触觉感知与基础模型驱动的具身智能两个方向,是一项及时且具有推动意义的研究。未来,随着触觉数据规模、端侧推理效率和闭环操作能力进一步提升,这类双通路架构有望服务于人形机器人、灵巧操作、安全交互、智能假肢和远程操控等场景。

论文作者:清华大学计算机科学与技术系博士生孙豪为论文第一作者。清华大学计算机科学与技术系孙富春教授、中国科学院北京纳米能源与系统研究所王中林院士、蒲雄研究员为论文共同通讯作者。清华大学计算机科学与技术系为论文第一完成单位。

清华大学计算机科学与技术系刘华平教授、周怀东助理研究员、博士后李隆伟、博士生牛万灏、博士生刘磊,北京理工大学计算机学院博士生高鑫,中国科学院北京纳米能源与系统研究所博士生宋雨桐参与了本研究工作并做出重要贡献。

论文链接:https://www.nature.com/articles/s44460-026-00108-1