你的 AirPods 其实一直知道你的头朝哪。空间音频用过的朋友应该有体会:转头时声音还停在原来的方向,像音箱摆在面前。能做到这一点,是因为耳机里装着陀螺仪和加速度计,一直在读头部朝向。

这些数据原本只服务空间音频。从 macOS 14 开始,苹果开放了一个叫 CMHeadphoneMotionManager 的接口,第三方 App 也能读到。NodLink 的思路很直接:既然耳机知道你的头朝哪,那就让光标跟着走。

作者说,他希望这东西能帮到手不方便的人——有肢体障碍的、长期卧床的。用电脑对大多数人太自然了,但对他们来说,挪一下鼠标、点一下按钮可能都很难。

为什么不用摄像头

苹果系统里自带「头部追踪」辅助功能,靠前置摄像头看脸。但摄像头方案有几个绕不开的问题:要有光、要正对屏幕、脸还得在画面里。专门的头控鼠标价格往往要上千美元,还得额外戴个反光贴片或者传感器。

NodLink 只读 AirPods 里的传感器,全程不开摄像头。所以理论上,躺着、侧着、关了灯都不影响。对卧床的人来说,这一点挺关键。

它能做什么

左右转头,光标左右移动;抬头低头,光标上下移动。校准之后,头部角度会直接换算成屏幕上的位置,你看向哪,光标就在哪。

看东西的时候人很少歪头,所以歪头被拿来当「按键」,和移动光标不冲突:

  • 向左歪头再回正:单击
  • 向右歪头再回正:右键
  • 向左歪头不回正:按住,可以拖拽,回正就松开

这些都能自己改。比如把左歪头改成「按住 Fn 语音输入」,就能直接说话打字;刷视频时,左歪头又可以是「下一条」。

觉得歪头不方便,也可以直接说:「点击」「双击」「右键」「上滑」「下滑」「复制」「粘贴」「撤销」「关闭窗口」,中文英文都行,「click」「command tab」这种也认。语音识别用的是系统自带的本地识别。

这里有个小细节:一开口,光标就会冻住,等识别完再在冻住的位置执行。不然识别那零点几秒里,头稍微一动,光标就会跑偏。按钮太小、头不好对准的时候,还可以说「标号」——头指的地方附近,能点的按钮会标上 1-9 数字,说个对应的数字就能点中;执行点击时,光标也会自动吸到附近能点的按钮上,并画一圈框告诉你选中的是哪个。

想转头看别处又不想光标乱跑,说一声「暂停」,再说一声「继续」就能接着用。慢慢地歪头、或者边转头边歪头都不会被当成点击。按一下 Esc,或者碰一下真鼠标、键盘,控制权又会马上回到手上。

实际用起来是什么样

控制台左边是歪头的角度,底下是左右转头,右边是上下点头。戴上之后会发现苹果这颗传感器很灵敏,数值也很稳,整个头控系统就基于它的数据。

作者还画了个小角色,它自己不会动,每个动作都来自你的头:你点头它就笑,点得越快笑得越快;你一停,它也停;转头的时候,它还会出招。

控制台里做了四个练习场景,都是平时用电脑最常做的事:

  1. 关弹窗。头指到按钮上,说「点击」。开口那一刻光标先停住,识别完就在停住的地方点下去。
  2. 刷短视频。左歪头下一条,说「双击」点赞,右歪头打开评论区。
  3. 回消息。左歪头不回正,等于按住 Fn,用输入法说话;回正就松开,字就上屏了。最后说一声「点击」发出去。
  4. 点外卖。把前面几种办法串起来:语音点选菜品、选送达时间,歪头说备注,最后下单。

语音偶尔也会听错,录视频时它就把「点击」听成过「天气」,这种时候什么都不会发生,再说一遍就好。作者也在真实的抖音网页版上试过:左歪头换下一条,全程不用手。

为了调试方便,也为了好看,控制台做了一个 3D 场景。第三人称视角下,能看到一个小人戴着耳机,头朝向的延长线落在哪块屏幕上;切到第一人称,就是你自己的桌面视角。

背后的一点原理

校准用的是鼻尖,不是眼睛。戴上耳机后,先用鼻尖对准屏幕正中的点,保持 2 秒,定下「正前方」。想更准,可以再做一次 30 秒左右的路径校准:先看中心和四个角,再用鼻尖跟着光标沿四边走两圈。这里一定要用鼻尖,因为 AirPods 测的是头的朝向,不是视线,只转眼珠没用。

防抖方面,人的头不可能完全不动,光标直接跟着走会一直抖。NodLink 用了一种叫 One Euro 的滤波:头不动的时候使劲压住抖动,快速转头的时候又尽量不拖慢。

漂移校正也做了。AirPods 里没有指南针,左右方向只能靠陀螺仪一点点累加,用久了会慢慢偏,最后可能得把头扭向一边才能看到屏幕中间。好在用电脑时人总体正对屏幕,所以 NodLink 会在后台悄悄地、慢慢地往回拉。真偏多了,说一声「回中」或者按 C 就好。

技术上,Mac 端是一个用 Swift 写的小程序,作者叫它「耳机桥」,负责读耳机数据、听语音指令、控制系统鼠标;校准、滤波、手势识别和 3D 场景都在一个网页控制台里,用 Node.js 和 three.js 写成。

怎么装

需要一台 macOS 14 以上的 Mac,和一副支持头部追踪的 AirPods(第 3 代及以后、Pro、Max)。安装步骤写在 GitHub 的 README 里。装好之后按页面顶部的引导走:连接耳机、定正前方、开始头控。用到的权限和数据都只在本机处理。没有 AirPods 的话,可以直接打开在线版用鼠标模拟头部,先感受一下。

NodLink 目前只支持 Mac,安装也有点门槛,要开终端、装 Node.js,对不熟悉电脑的朋友不太友好,之后作者也想做成双击就能装的 App。

作者最想做的是手机。手机屏幕小、按钮密,又是很多人躺着时用得最多的设备。但 iOS 不允许一个 App 去控制别的 App,纯软件做不到。所以他打算加一块很便宜的 ESP32 小板子:iPhone 上的 App 读 AirPods 的头部数据,发给 ESP32,ESP32 再以蓝牙鼠标的身份连回同一部 iPhone,借系统的辅助触控来移动光标、点击。

NodLink 以 MIT 协议开源。作者特别希望能听到正在用头控鼠标或其他辅助设备的人、以及身边有需要的家人朋友的意见:哪里不顺手、哪些操作还做不到,都可以告诉他。