连上数据线,AI就能直接操控你的真实苹果手机。这不是演示视频里的概念,是一个已经拿到3700多颗GitHub赞的开源项目——iPhone Use。
它的思路很直接:绕开传统API的限制,让大语言模型对手机屏幕截图做视觉语言理解,识别出按钮、列表、文本这些可操作元素及其位置,再执行点击、滑动或输入。手机通过USB连到电脑,项目集成进支持的AI框架,就能远程把活干了。
从能力上看,它解决的是"AI看懂屏幕"这一步。传统自动化依赖应用开放接口,接口没有的能力就卡住;iPhone Use改成直接读屏幕,把界面本身当成输入。创建备忘录、查找应用这类任务,都可以交给模型自己判断下一步点哪里。
调试体验上,电脑端会弹出一个实时同步的手机屏幕窗口。AI在哪里点击、滑动、输入,用户都能同步看到。对自动化工具来说,这一步很关键——过程可见,才谈得上信任和排查。
接入门槛也被压得比较低。任何基于PyTorch 0.8+的AI模型都可以集成这个库,意味着几乎所有流行的聊天机器人都能被扩展用于手机自动化。不需要为某个特定模型单独适配,换模型的门槛随之降低。
把这几件事放在一起看,iPhone Use的价值不在单点功能,而在链路:屏幕理解负责"看懂",实时窗口负责"看见",框架兼容负责"接得上"。三者串起来,手机自动化从写死脚本变成由模型临场判断。
当然,它目前仍是一个开源库形态的项目,需要USB连接和电脑端配合,并非装个App就能用的成品。但对于想把AI能力延伸到真实设备上的开发者来说,3700多颗星已经说明了一件事:这条路有人在走,而且走得挺快。
热门跟贴