打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

过去几十年,人机协同的发展,几乎都建立在两个感官之上:视觉和听觉。

无论是工业机器人协作、远程操控,还是人与人的联合作业,人们习惯通过"看见对方"和"听见对方"来完成配合。但真正发生在身体里的另一种信息,却长期没有进入主流的人机交互体系——触觉。

事实上,当两个人共同完成一项动作时,真正决定协同质量的,并不仅仅是谁先看到、谁先听到,而是双方是否能够实时感知彼此动作中的力量、速度和细微偏差。这类信息很难通过视觉完整表达,却天然存在于人与人直接接触时产生的触觉反馈之中。

打开网易新闻 查看精彩图片

来自罗马生物医学自由大学(Università Campus Bio-Medico di Roma)Francesco Di Tommaso团队发表于《Science Robotics》的一项研究,试图回答一个更加基础的问题:如果机器人能够在人与人之间建立一条实时触觉通道,是否能够比视觉更有效地帮助人们完成协同任务?

他们没有选择工业流水线,也没有选择实验室里的标准轨迹,而是选择了一项远比机械运动复杂得多的任务——双人小提琴合奏。

01

为什么触觉一直缺席?

在人类神经系统中,触觉承担着一种特殊的信息传递功能。

视觉能够告诉我们"对方在哪里",听觉能够告诉我们"发生了什么",而触觉能够直接传递运动中的机械信息,例如力量、阻力、加速度以及动作误差。

这种信息几乎不需要复杂认知处理,身体便能够立即作出调整。

这也是为什么,两个人抬同一张桌子时,即使彼此一句话不说,也能够自然调整步伐;两位舞者身体轻轻接触,就能完成复杂配合;医生在手术过程中,通过器械传来的阻力变化判断组织状态。

然而,在绝大多数机器人系统中,这种天然存在于人体之间的信息几乎消失了。

过去大量关于触觉反馈的研究,大多停留在实验室环境,例如按照固定轨迹移动、按照节拍同步摆动等高度结构化任务。这些实验虽然证明触觉能够提升协同性,却很难说明它是否能够真正适用于更加开放、更自然、更复杂的人类联合行动。

因此,这项工作的意义,并不仅仅是增加了一种新的反馈方式,而是在探索一种新的协同机制:机器人是否可以成为人与人之间感觉信息的"中介"。

打开网易新闻 查看精彩图片

图 外骨骼系统概览

02

机器人没有连接两个人

却让两个人"感觉到了彼此"

为了验证这一问题,研究团队开发了一套双向触觉交互系统。

整个系统由两套上肢动力外骨骼组成,分别佩戴在两位演奏者身上。每套设备能够实时采集肩关节和肘关节运动,并根据另一位演奏者当前动作计算对应的反馈力矩,再通过外骨骼重新作用到使用者手臂。

这种反馈并不是简单的振动提醒。

研究人员构建了一种与两人动作偏差成比例变化的粘弹性力场(Viscoelastic Torque Field)。换句话说,两位演奏者动作越一致,反馈越小;动作偏差越大,系统产生的机械约束也越明显。

整个过程中,两个人之间没有任何物理连接,也无需主动交流,却能够持续感知彼此动作变化。

为了保证交互自然性,系统采用串联弹性驱动器(SEA)提供柔顺输出,同时设计了肩部重力补偿机构以及多自由度可调结构,使机器人能够尽可能与人体运动保持一致。控制系统则采用高层、中层和底层三级控制架构,实现透明模式与双向触觉模式之间的实时切换。

从本质上说,这套系统并不是在控制人的动作,而是在重建人与人之间原本不存在的"机械联系"。

03

一场关于协同的实验

为了避免实验过于理想化,研究团队共招募40名小提琴演奏者,包括专业与业余演奏者,共组成20组二重奏。

实验过程中,两位演奏者分别完成四种不同信息反馈条件下的演奏:仅听觉(A)、听觉加触觉(AH)、听觉加视觉(AV)以及听觉、视觉和触觉同时存在(AVH)。

打开网易新闻 查看精彩图片

图 实验配置概览

为了进一步突出不同感觉通道的作用,在部分实验中,两位演奏者之间还通过幕布完全遮挡视线,使视觉信息无法参与协同。整个过程中,动作捕捉系统和音频采集系统同步记录关节运动、琴弓轨迹以及最终演奏质量。

相比很多机器人实验关注任务是否完成,这项研究更加关注人与人之间"配合得是否更自然"。

因此,研究团队分别从运动学和声学两个层面对协同效果进行了量化分析。

运动学方面,通过主成分分析(PCA)和偏最小二乘法(PLS)提取动作主导特征,分别计算空间协同性和时间协同性;声学方面,则利用频谱重心和小波相干分析评价音色一致性以及动态一致性。

04

触觉没有替代视觉,而是补充了视觉

无论是在关节运动还是琴弓运动层面,引入触觉反馈后,两位演奏者之间的空间偏差均明显减小,动作同步程度进一步提高。

更重要的是,在时间协同性指标上,触觉反馈同样持续表现出优势。

这意味着,触觉不仅帮助演奏者知道"应该往哪里动",更帮助他们知道"什么时候一起动"。

打开网易新闻 查看精彩图片

图 声学特征分析结果

相比之下,在音乐最终表现方面,触觉并未明显改变音色特征,却显著提升了两位演奏者在响度变化上的一致性,也就是说,双方对于音乐强弱变化的把握更加同步。

尤其值得注意的是,当视觉、听觉和触觉同时存在(AVH)时,各项指标通常达到最佳表现。

这一结果说明,触觉并不会干扰已有感觉系统,而是能够作为一种新的信息维度,与视觉和听觉共同参与联合行动。

长期以来,人们对于外骨骼的理解主要集中在"增强力量"和"辅助运动"。无论工业外骨骼还是康复机器人,其目标大多是帮助一个人完成动作。

而这项研究提出了一种完全不同的思路:机器人不仅能够连接人与机器,也能够连接人与人。

未来,外骨骼或许不只是运动辅助设备,还可能成为一种感觉信息传递平台,在人与人之间建立新的交互方式。

这种能力意味着,它未来不仅可以应用于音乐训练,也可能扩展至康复训练、远程操作、技能传授乃至跨空间协同等更加广泛的场景。例如,康复治疗师可以通过机器人实时将动作信息传递给患者;经验丰富的工匠可以把细微操作感觉传递给学徒;远程机器人操作者之间也能够建立近似面对面的身体协同。

从这个意义上说,这项工作真正验证的,是一种新的协同范式:机器人可以不只是人的工具,也可以成为人与人之间的感觉中介。

打开网易新闻 查看精彩图片

脑机接口社区是国内首家脑机接口(BCI)产业服务平台。主要为企业、科研团队、投资机构和从业者提供以下服务:

宣传报道:图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容,提升曝光和行业影响力。

资源对接:根据需求匹配资本、供应链、临床机构、渠道方等资源,完成真实对接,促进合作。

成果转化:协助技术团队寻找产业方、投资人及落地场景,推动技术到产品的转化。

活动策划执行:承接线上线下路演、沙龙、论坛等活动的策划与执行。

其他定制需求:包括报告定制、市场调研、人才招聘支持等个性化服务。

合作洽谈,请联系微信:ZuoLeiLeiya

(备注:姓名-单位-合作)

投稿丨成为创作者,请联系微信:RoseBCI

打开网易新闻 查看精彩图片

不错过每一条脑机前沿进展

一键三连「分享」、「点赞」和「在看」

欢迎在评论区聊聊