在生物学的研究理论当中,生物混合系统是当今研究的热点话题,除脑机接口这种前沿领域外,人与动物之间的无障碍交流一直是科学家们致力于攻破的方向。

近几年,基于机器人与生物之间的沟通的探索屡见不鲜。新罕布什尔大学的教授Michelle Fournet,使用水下扬声器作为“对话”工具,播放预先录制的鲸鱼呼叫信号,观察并记录鲸鱼的反应,实验结果表明,鲸鱼之间可能存在高级的交流形式和复杂的沟通体系。

此外,瑞士洛桑联邦理工学院(EPFL)的移动机器人组织(MOBOTS)发明了一种对话机器人,在相隔700公里的鱼群和蜂群中,分别放置一个机器人。能够使鱼和蜜蜂这两种几乎不会相见的物种进行交流。

近日北京理工大学机电学院石青教授团队生物混合系统研究方面获得重要进展,该团队通过一款模仿大鼠形态和行为的机器人(SMuRo),首创了一种机器人-大鼠社交新范式,实现了机器人与动物长时、重复和可控的开放式互动,克服了生物系统内自然社会交互的局限性,为理解人类与人工智能之间的“社会”互动提供新思路。

机器人与老鼠社会互动范式
打开网易新闻 查看精彩图片
机器人与老鼠社会互动范式

目前该研究成果已在《Nature Machine Intelligence》期刊发表。北京理工大学机电学院石青教授为论文通讯作者,机电学院博士生贾广禄为论文第一作者,北京理工大学是该论文第一完成单位。

▍生物混合系统面临的主要挑战在于机器人与动物之间难以建立有效的沟通机制

生物混合系统,即将机器人集成到生物系统中作为社交伙伴,为人类理解生物的社会行为机制提供了新的视角。这种系统拥有较强的可控性,有助于揭示传统技术难以触及的潜在生物智能。

现有的交互式机器人在传达多层次、异质信息方面仍然存在不少的短板,且难以有效调解复杂的生物交互过程。这主要是因为生物体的社会行为深深植根于其遗传、分子和神经回路层面,而机器人难以全面模仿这些复杂的生物特征。

打开网易新闻 查看精彩图片

引入可控机器人到动物群体中,是推进对其社会行为理解的重要途径。机器人可以作为观察者和刺激物,探索个体或群体动物如何对控制的环境变化做出响应,甚至实现跨物种和生态系统的信息传递。尽管生物混合系统研究方面已取得不少进展,揭示了个体或群体动物的有趣交互规则,但由于动物社交中信息交流的异质性和复杂性,机器人与动物之间的有效沟通仍是一个重大挑战。

模仿复杂动物行为,为解决机器人与动物交互的局限性提供了可行性解决方案。通过开发能够执行类似动物动态运动的灵巧机器人来测试动物反应,已经取得良好效果。特别是开发与大鼠交互的灵巧机器人正受到越来越多的关注。

打开网易新闻 查看精彩图片

研究人员表示,简单的机器人运动难以满足触发特定社交行为决策的需求。因此,交互式机器人应能够从其生物对应物中学习,并具备类似动物的外观,执行精细、复杂的仿生运动,以被动物视为可感知的社交伙伴。

▍SMuRo机器人的设计原理、自主控制与交互模式解析

为了克服现有机器人与大鼠交互的局限性,北京理工大学团队设计了一款名为SMuRo的小型多关节机器人。该机器人从大鼠的解剖结构、动态运动和社交互动中获得灵感,配备了一个关键运动关节数量和位置与大鼠相同的多关节脊柱,使其能够模仿大鼠的复杂姿势。

SMuRo小型多关节机器人身体结构
打开网易新闻 查看精彩图片
SMuRo小型多关节机器人身体结构

此外,SMuRo还采用了轮式后肢结构,实现了与大鼠相似的快速运动,并保持了平衡。通过优化后肢结构,确保了机器人在执行复杂姿势时的稳定性。

SMuRo集成了自主控制系统,该系统结合了视觉感知、目标跟踪和行为决策,使机器人能够根据预定义的任务目标与自由活动的大鼠进行自主交互。

机器人配备了一个定制的立体相机和无线图像传输系统,用于感知环境并将视频流传输到工作站进行复杂的视觉处理。通过模仿学习,SMuRo能够从大鼠的演示数据中学习并产生适应机器人结构和不同大鼠姿势的社交行为序列。

打开网易新闻 查看精彩图片

机器人模仿大鼠经典的社会行为包括 MAF (i)、PIN (ii)、POU (iii) 和 SNC (iv)

SMuRo能够生成四种社会行为模板,如大鼠之间的攻击、防御、亲密互动(如嗅探、接触)等不同类型的社交行为,并且可以表现出大鼠的运动特征。量化评估结果显示,学习到的行为轨迹在关节空间中很好地位于数据集边界内,且优化后的轨迹能够很好地再现大鼠的特征,并显示出比数据集平均轨迹更高的相对动态范围指数。此外,机器人在执行学习的轨迹时表现出较低的关节跟踪误差和较高的动态相似性指数,表明其能够准确地模仿大鼠的社交行为。

打开网易新闻 查看精彩图片

与国际同类机器人相比,SMuRo在移动速度、体长、仿生外观、运动能力等方面更接近大鼠,综合性能更优。

评估所学习到的社会行为模板
打开网易新闻 查看精彩图片
评估所学习到的社会行为模板

除社会行为模板外,研究人员同时也为SMuRo设计了三种交互模式:按压(PIN)、攀压(POU)和社交鼻尖接触(SNC)。每种模式都对应特定的大鼠社交行为,并通过不同的运动轨迹和速度来实现。

实验结果显示:SMuRo具备调节大鼠情感状态能力

值得一提的是,为了验证SMuRo与大鼠交互之间的关联性,团队建立了可自定义交互规则的自动控制系统,突破了视觉感知、目标跟踪和行为决策等多项核心技术,使机器人能够根据预定义的任务目标与大鼠自主交互,大大提高了交互效率,实现了半小时内平均30次持续互动。

SMuRo激发老鼠的互动兴趣
打开网易新闻 查看精彩图片
SMuRo激发老鼠的互动兴趣

实验结果表明大鼠可以区分不同的机器人的意图和活动并作出相应的行为和声学反应。与对照组相比,与机器人交互的大鼠表现出更高的活动水平,更频繁地接近机器人所在的区域。此外,用异性大鼠尿液伪装机器人能够进一步增强大鼠的交互兴趣,表明嗅觉功能在动物-机器人交互中发挥着重要作用。

在机器人与大鼠社交互动实验中,大鼠表现出不同的行为和听觉反应
打开网易新闻 查看精彩图片
在机器人与大鼠社交互动实验中,大鼠表现出不同的行为和听觉反应

通过不同的交互模式,SMuRo能够调节大鼠的情感状态。在PIN模式下,大鼠表现出逃避和冻结行为,发出更多与恐惧相关的22kHz超声波叫声。

而在POU和SNC模式下,大鼠则表现出更多的探索行为和接近行为,发出与积极情绪相关的50kHz超声波叫声。这些发现表明,机器人不仅能够吸引大鼠的注意,还能通过不同的行为模式影响大鼠的情感状态。

机器人与老鼠社交互动实验的量化
打开网易新闻 查看精彩图片
机器人与老鼠社交互动实验的量化

一直以来,基于生物混合系统的研究,在全球范围内仍然处于起步阶段,尤其是如何直接改变动物的内部状态(如情绪)尚未深入探索。北京理工大学机电学院石青教授团队通过打造SMuRo机器人,实现了调控大鼠情绪状态的行为,有力推动了生物混合系统的研究,在仿生机器人领域拥有非常重要的意义。

团队表示,未来将继续探索使用多种感知反馈和行为模式在更长的时间内控制大鼠的内部状态,扩展行为模式的“学习空间”,并泛化到更大的群体。

▍关于团队:

北理工微小型仿生机器人团队依托机电学院,面向国际科技前沿,在微小型仿生机器设计、感知、控制等方面已开展了一系列研究,相关成果发表在Nature Machine Intelligence、PNAS、IEEE Transactions on Robotics等国际知名期刊。该篇论文以北京理工大学为第一完成单位,部分工作与德国慕尼黑工业大学研究团队合作完成,展现了团队在微小型仿生机器人技术领域积极探索国际合作模式、提升国际影响力取得阶段性进展。

论文下载地址:

https://www.nature.com/articles/s42256-024-00939-y