近日,美国麻省理工学院赵选贺教授团队造出一款可以戴在手腕上的超声手环。当把手环戴上手腕,只需轻轻弯曲食指,旁边的机器人手指也能跟着弯下去。
当活动五指弹一段旋律,机器人就能照着一模一样弹出来,比如真人食指按下 C 键,机械手也会按下 C 键。再动动拇指和食指,机器人就会用同样的手势捏住一颗篮球并投进桌上的小篮筐。
据了解,这是第一次有人使用可穿戴超声技术连续追踪 22 个手部自由度,平均误差只有 3.78 度,相关论文发表在 Nature Electronics。
论文第一作者是 Gengxi Lu,其本科毕业于南京大学,博士毕业于美国南加州大学,此次论文是其在麻省理工学院担任博后期间的工作,目前他在 Meta 担任超声波研究科学家。
据了解,这款超声手环能够实时看清你手腕里肌肉和肌腱的动静,再使用 AI 猜你的手指和手掌在做什么,然后把动作传给机器人或者虚拟世界。
人类手部有 4 块肌肉、27 个关节、100 多根肌腱和韧带,是人体全身最灵巧的部分。以前想把手部动作传给机器人,要么得架一堆摄像头但是这样容易被挡住,要么戴个手套但是这样会妨碍触觉。还有一种方法是贴在手臂上测量机电信号,但是机电信号太粗糙了。
(来源:DeepTech 基于原视频制作)
该团队的破局方法是:手腕里的肌腱就像牵线木偶的线,每根线连着手指,只需要看清楚线的状态,就能知道手指怎么动。
他们将 256 个微型超声换能器排成一个阵列,频率为 10 兆赫,然后将其缝进一个手环里,尺寸为 51 毫米长、5 毫米宽、4 毫米厚,连接着电路板和电池,总重量为 91.6 克,戴在手腕上不会很重。
这个手环每秒可以拍摄 30 张手腕内部的超声照片,照片内容涵盖了手指运动时肌肉和肌腱的形状变化。比如:弯曲食指的时候,超声图像里对应食指的那块区域会变;弯曲中指的时候,另一块区域会跟着变化。
手上一共 22 个自由度,每个都在图像里有对应的区域,难点是如何把超声照片变成手指位置。他们让一位成员戴上光学追踪摄像头,一边做各种手势一边录制超声图像,再把每张图像里和 22 根自由度相关的区域手动标出来,然后用这些标好的数据训练一个 AI 模型。
训练好的模型在拿到新的超声照片之后,就能在几毫秒内猜出来手指和手掌的 22 个角度。
接着,他们又找来 8 位受试者来尝试,受试者们的手腕周长从 12.8 到 18.4 厘米不等。该团队累计做了 69 种手势,包括 26 个字母的手语和 33 种抓握动作。
结果模型猜出来的角度和摄像头测试出来的真实角度误差很小,平均角度误差为 3.78 度。最准的是拇指和食指,误差不到 2 度,最难的无名指也只有 6 度多。
(来源:DeepTech基于原视频制作)
这款手环还有一个好处,完全不怕佩戴位置是否偏移。该团队专门设计了一个名为空间变换网络的模块,能够自动地把图像里的偏移纠正回来。即使每次佩戴的位置差了一两厘米,猜出来的动作照样准确。
他们还在上述 8 位受试者身上做了跨天测试,也就是隔了一周再测,同时不对模型进行重新训练,结果发现误差依然保持在稳定范围,这说明手环记住了这些人的手腕特征。
该团队还把这只手环接上了一个商用机械手和一套虚拟现实程序。借此实现了这些功能:
- 真人一动食指,机械手就会动动食指;
- 真人把拇指和食指捏在一起,屏幕上的物体就会缩小;
- 真人把拇指和食指松开,屏幕上的物体就会放大;
- 真人转动手腕,屏幕上的照片就会跟着转;
- 真人弯曲四根手指,照片就会前后移动。
这些操作非常连续和顺滑,不像之前领域内的机电手环只能识别几个固定档位。
目前,这个手环还需要针对每个人单独地训练模型,使用光学摄像头录制一次手势大约需要 8 到 12 分钟,接着再使用这些数据训练模型,每个人都得这样进行一次。
下一步,他们打算收集上千人的手部数据,打造出来一款通用模型,让新手环一戴上就能用。
他们还想把手环做得更小,把电路板也集成到手环里,争取做到使用一块芯片就能解决所有的信号处理问题,这样一来不仅功耗更低,而且能戴更久。
如果这件事能够做成,未来只需戴上这只手环,就能在虚拟世界里像使用自己的手一样去抓捏和推拉。人类的机械手替身也许可以在千里之外代替我们去劳动,而我们只需要动动手指就可以。
参考资料:
相关论文https://www.nature.com/articles/s41928-026-01594-4
https://youtu.be/F2HaSoladgM
https://news.mit.edu/2026/wristband-enables-wearers-control-robotic-hand-with-own-movements-0325
https://www.linkedin.com/in/gengxilu
http://zhao.mit.edu/teams/gengxi-lu/
运营/排版:何晨龙
热门跟贴