手机放在支架上,你对着它挥一下手,屏幕上那条等待批准的 Bash 命令就通过了。没有点击,没有滑动,甚至没有碰到屏幕。这就是 Palm Pilot 想解决的那个瞬间:AI 代理已经跑了四十分钟,弹出一张卡片,上面写着 "rm -rf node_modules && npm i",风险等级中等,两个按钮——批准、拒绝。你今天已经点了六十次,这次大概率也没问题,但你没细看。
Palm Pilot 把最后一步物理操作也拿掉了。手从手机顶部掠过,光线下降,传感器触发,模型给出回答,代理的请求被批准、拒绝,或者被告知忘掉之前的一切。四种模式,五种手势,一个传感器,零行脚本台词。
这个应用真正有意思的地方,是它怎么用一个只能测亮度的传感器,做出五种可区分的手势。
传感器选型:没有距离,只有明暗
作者想要的是"手靠近手机"这个动作,而且不打算做原生构建,因为演示必须能从 Expo Go 的二维码在 Galaxy S24 Ultra 上直接跑起来。最顺手的候选是红外接近传感器,就是打电话时自动熄屏的那个。但它不在 Expo 的 SDK 里。
于是信号变成了照度,大约每 80 毫秒采样一次。问题被彻底重新定义:你无法知道手在哪里,只能知道光线是否下降、下降了多久。应用里的每一个手势,因此都由两个数字构成——持续时间和重复次数。
这个限制反而成了特性。一套"时长加次数"的语法不需要机器学习,不需要校准模型,不需要摄像头,也不耗电,还能在笔记本电脑上完美地做单元测试。
检测器:四个决定让光传感器变得可用
核心文件是 170 行纯 TypeScript,没有 React,没有传感器,没有定时器——输入是亮度和时间戳,输出是手势事件数组。整个项目里所有有意思的东西,都藏在这四个决定里。
- 学习房间,而不是假设房间。房间的照度可以从 0 勒克斯到 60000 勒克斯,硬编码阈值意味着应用只在一个房间里能用。检测器改为跟踪环境光的指数移动平均值,把相对下降当作遮挡。
- 用时长和次数区分手势。单击、双击、三击由 1500 毫秒的点击窗口判定。窗口给得宽松,因为人是坐着对支架上的手机挥手的,窗口太紧会让双击变成节奏游戏。
- 用长按升级,而不是新增手势。作者想要第四个"撤销一切"的动作,但手势已经用完了。按住本身就是一个时长,按得更久可以表示另一件事,而且对用户来说不增加任何物理成本:手放下 0.9 秒触发 hold,继续按住超过 2.4 秒则升级为 holdLong,终止会话、重新开始。
- 记住已经播报过的事件。一只手停在那里可能合法地产生两个事件,检测器必须记住自己已经宣布过什么,否则松手时会出现重复。就这一个变量,花了两条失败的测试才写对。
模型层:屏幕上的每个字都是一次实时调用
没有用 SDK,客户端文件 168 行:规范化基础地址,向对话补全接口发 POST 请求,从散文或代码围栏里提取 JSON,抛出带类型的错误。
踩过一个花了一小时的坑:第一版把最大输出 token 设成 200,结果一半的回复是空的或者直接报 400。模型本身没问题,它在先思考,而推理 token 在答案开始之前就把整个预算花光了。两个修复缺一不可——对 particle-1 发送 reasoning_effort: "none",让全部预算用于输出;给结构化调用更大的上限,播种六条事实用 700,改写一条用 300。这个做法并不通用,z-ai/glm-5.3-flash 直接拒绝 "none",所以配置里把空值当作"省略该字段",一个环境变量就能切换两个模型。
校验本身就是功能。这里没有兜底文案。如果模型返回的是散文而不是 JSON,如果工具名不在 Read、Write、Edit、Bash 之内,如果某条事实不在给定列表里,如果某个 issue 编号根本不存在——应用会显示错误并支持点击重试,绝不会为了把演示撑下去而编一行字出来。
这也是仓库标签页可以被信任的原因。模型拿到一份真实 issue 的名单,只能从中挑选。这是一个闭集任务,所以幻觉是可检测的,而不是看起来像真的。在 25 个 issue 的积压上,真实输出是这样的:GitHub 读取耗时 1013 毫秒,25 个待办、25 个已读、12 次提交;分诊 1392 毫秒;计划 3478 毫秒;站会总结 683 毫秒;吐槽 930 毫秒。
没有手机也能测试
手机是任何演示里最不可靠的一环,所以它被放在循环的最后。测试命令覆盖 23 条检测器断言和 14 条解析器断言,全部离线;类型检查零错误;每个提示词都能打真实端点;真实 GitHub 数据能走完分诊、计划、站会、吐槽全流程。
最关键的是演示命令:它按传感器真实的 80 毫秒节奏回放照度样本,喂给手机上同一个检测器,断言分类结果,然后打印模型实际说了什么。快速遮挡再松开,检测器判定为挥手,模型返回一条低风险的 Bash 命令;三次快速遮挡,检测器判定为三击,拉取真实仓库数据;手停留超过 2.4 秒,检测器判定为长按。这段记录就是整个演示,只差一只手。
诚实的边界
照度没有方向,所以做不了滑动,词汇表只有时长和重复。基线低于约 12 勒克斯的明亮房间,检测器会拒绝进入待命状态,而不是随机触发。iOS 跑不了这个应用,因为 expo-sensors 没有光传感器,模拟器那一行就是为此和舞台备份准备的。公开环境变量会被内联进打包产物,个人演示没问题,上架则必须把模型密钥和 GitHub 令牌都通过服务器代理。手势目前是作为数据被证明的,不是作为玻璃上的动作——检测器对着真实照度序列测试,物理挥手由人来验证,不是持续集成。
作者列出的下一步包括:流式输出,因为 0.7 到 1.1 秒是唯一让人觉得慢的地方;差异审查,真实的代理交互不是批准一条 Bash 字符串,而是审查一份 diff;真正的执行循环,在沙箱里运行被批准的工具调用并把结果喂回去;以及校准,700、900、2400 毫秒都是猜的,一段十秒的"遮挡、松开、遮挡"流程可以按房间持久化阈值。
热门跟贴