想让AI替你操作iPhone，你会想到什么办法？越狱、写一堆底层代码、折腾开发环境——听起来就像一场硬仗。

但有人换了个思路：不碰手机系统，直接让一块现成的微控制器去"动手"。做这件事的人叫 Henry Yuan，他给出的方案核心是一块 ESP32。

打开网易新闻 查看精彩图片

先让AI"看见"屏幕

AI要操作手机，第一步得知道屏幕上现在是什么。这一步靠的是 AirPlay 屏幕镜像，配合 UxPlay 实现。

画面拿到之后，再用一条 Gstreamer 管线，把屏幕内容以 JPEG 流的形式喂给你选定的AI代理。也就是说，AI看到的不是抽象指令，而是实时的屏幕画面。

这一步解决的是"感知"问题——AI得先看得见，才谈得上下一步动作。

再让AI"动手"

控制部分交给一块 ESP32-S3，它在这里扮演的是 USB-HID 设备，同时模拟 USB 鼠标和键盘。

配合 iOS 上开启的 AssistiveTouch（辅助触控），AI代理就获得了对设备输入的控制权。点哪里、滑哪里、输入什么，都由它来执行。

至于具体该做哪些动作、怎么组合才能达成目标，那就完全取决于AI代理自己判断了——用作者的话说，这显然是非常依赖具体使用场景的。

绕开门槛，才是这套方案的价值

听起来有点绕，但这条路有它的好处。

它不需要你有 Apple 开发者账号，不需要 Xcode，甚至根本不需要一台 Mac。

你可以直接让AI代理在手机上折腾起来，省掉那些繁琐的前置成本。对于想快速试水、又不想被开发环境卡住的人来说，这个组合的门槛低得多。

换个角度看，这套方案真正有意思的地方不在于技术多复杂，而在于它把"AI操作手机"这件事，从软件层的攻坚，变成了硬件层的一次取巧。

一块几十块钱的板子，加上现成的镜像工具，就绕过了原本需要账号、工具链和特定电脑才能进入的门。

如果你手上正好有一块 ESP32-S3，又对让AI接管手机这件事好奇，这条路或许值得一试。至于AI拿到控制权之后会做出什么，那就看你给它定什么目标了。