机器人手术已经不再新鲜,外科医生坐在控制台上,引导长臂器械通过预先制作的微小切口进入身体。外科医生的手部动作被转化为稳定的微型动作,同时3D相机实时显示场景。在这种情况下,机器人永远不会自己行动,外科医生始终保持完全控制。

但如果由机器人主导呢?约翰斯·霍普金斯大学的研究人员表示,一个经过手术视频训练的机器人在没有人类帮助的情况下,在一个真实的患者模型上完成了胆囊切除的漫长阶段。这台机器听取了专业团队的语音提示,并实时调整操作,就像住院医生从高级外科医生那里得到提示一样,远程学习。

约翰斯·霍普金斯大学中心的一份报告称:“即使在现实生活中常见的意外情况下,机器人也能在试验中表现得镇定自若,并拥有熟练的人类外科医生的专业知识。”这项名为“SRT-H:通过语言条件模仿学习进行自主手术的分层框架”的研究今天发表在《科学机器人》杂志上。

研究人员表示,这项由联邦政府资助的工作将手术机器人从刚性自动化转向了可以以机械精度和人类般的适应性和理解力进行操作的机器人系统。

医学机器人专家兼研究作者Axel Krieger说:“这一进步使我们从执行特定手术任务的机器人转变为真正了解手术程序的机器人。”“这是一个关键的区别,使我们更接近临床上可行的自主手术系统,这些系统可以在实际患者护理的混乱、不可预测的现实中工作。”

SRT-H有两层大脑:语言规划器使用“纠正标志”在任务和纠正命令之间切换;而低阶控制器将所选指令转换为精确的仪器路径。

约翰斯·霍普金斯大学的团队解决了一个让大多数“自动驾驶”机器人无法进入手术室的问题:长时间的操作,小错误会累积。他们的分级系统称为手术机器人变压器-H(SRT-H),将工作分为两部分。高级规划人员用简单的语言命令(“在这里修剪”,“将左夹具移近”)进行思考,而低阶控制器将这些单词转换为精确的仪器路径。当事情偏离轨道时,修正标志会将机器人切换到恢复模式,让它修复轻微的失误,而不是失速。

为了教授这些技能,研究人员在30多只猪的胆囊上记录了大约18000次演示,包括他们故意引入错误的序列,这样机器人就可以学习如何恢复。在对八个离体胆囊的测试中,该系统在没有任何人为干预的情况下完成了胆囊切除术的关键夹持和切割阶段。外科医生仍然可以用简单的语音提示来引导它,每次纠正都成为新的训练数据。

“这项工作代表了与先前工作的重大飞跃,因为它解决了在现实世界中部署自主手术机器人的一些基本障碍,”主要作者Ji Woong“Brian”Kim说,他曾是约翰斯·霍普金斯大学的博士后研究员,现就职于斯坦福大学。“我们的工作表明,人工智能模型可以足够可靠地实现手术自主——这曾经让人觉得遥远,但现在已被证明是可行的。”

这项工作建立在之前的实验基础上,包括2022年的一项研究,Krieger的智能组织自主机器人STAR在活体动物身上进行了第一次自主机器人手术:在猪身上进行腹腔镜手术。这一壮举引人注目,但管理严格:组织有特殊标记,设置受到高度控制,STAR遵循一个固定的计划,就像一辆限制在预先绘制的测试轨道上的自动驾驶汽车。

Krieger说,新的SRT-H系统是不同的,因为它“就像教机器人在任何条件下在任何道路上导航,对遇到的任何情况做出智能反应。”

SRT-H实时执行手术,根据独特的解剖结构进行调整,在条件变化时选择下一步行动,并自行纠正小错误。该系统基于与ChatGPT相同的变压器(Transformer)架构构建,采用语音指导,如“抓住胆囊头”或“将左臂向左移动一点”,将反馈记录为新的训练数据。

去年,该团队展示了这种方法可以教会机器人三种核心技能,即针刺、组织提升和缝合。这些任务只持续了几秒钟,为今天更长、完全自主的手术奠定了基础。据报道,胆囊切除手术是一个由17项不同任务组成的几分钟长的序列,机器人必须识别某些导管和动脉并精确地抓住它们,安全有序地放置夹子,并用剪刀切断组织。

研究人员表示,机器人在不同的解剖条件和意想不到的突发情况下以100%的准确率完成了手术,尽管手术时间比人类外科医生长,但结果与外科医生专家的结果相当。

“正如外科住院医生经常以不同的速度掌握手术的不同部分一样,这项工作说明了以类似的模块化和渐进的方式开发自主机器人系统的前景。”约翰斯·霍普金斯大学的外科医生Jeff Jopling说。

未来,该团队预计将对SRT-H进行不同类型手术的训练和测试,以扩展其能力。

Krieger说:“对我来说,这真的表明(机器人)可以自主执行复杂的外科手术。”“这是一个概念证明,这是可能的,这个模仿学习框架可以以如此高的鲁棒性(稳定性)将如此复杂的过程自动化。”

NVIDIA DLI 与 Ai 时代前沿合作,将大门向更多普通用户敞开!无论你是对新技术充满好奇心的爱好者,还是希望提升自己技能的职场人士,这里都有适合你的课程和资源。