大家好,我是把玩手机外包给AutoGLM的袋鼠帝
这两天看了真好玩,我其实早就想试试了。
因为最近事儿太多了就一直搁置了,昨天打开一看,都涨到17.5K Star了!
https://github.com/zai-org/Open-AutoGLM/
然后昨天我尝试了一个懒人自动安装的方案,后面也踩了一点小坑,分享给大家,希望有帮助。
体验下来,我感觉本地部署的9B模型,跑的有点勉强,也稍微有点儿慢。
我Mac电脑是M2芯片,24G内存,但是跑起来还是有点慢,大概像这个速度吧。
如果你有一个备用手机,没啥隐私的话,可以用API,更快更智能,确实比9B的爽多了。
我用的就是一个之前闲置下来的安卓手机,建议大家也用一个不常用的手机来跑。
对了,目前貌似只支持安卓机跑,如果想用苹果手机来跑,可以看下这个:
github.com/zai-org/Open-AutoGLM/pull/156
我尝试了用来操纵手机,简直了,操作又快又准(虽然偶尔还是会不准)我感觉手机直接可以给它玩了
比如让它帮我点首李荣浩的《恋人》,嗯,很丝滑
难度升级,让它帮我点个外卖
任务:我口渴了,想点个果茶喝喝,帮我选一个评分高的店,找一款销量最高的果茶,加入购物车
完成得很好啊,选了经常点的古茗,也按照要求找到了销量最高的果茶-杨枝甘露,唯一有问题的就是,它给我点了两杯.. 不过我家确实有两个人。
不是都说做小红书要经常刷一刷小红书相关内容吗,让系统知道你是一个"活"账号。平时可以让它帮我刷小红书,顺便点点赞,发发评论。
任务:打开小红书,帮我找AI类最近的爆款图文和视频(分别找2个),并点赞,以及发送一条合适的评论。
挺牛的,用Gemini3 Flash跑的这几个视频,我开了两倍速,但是我觉得它的操作速度,已经算快了。
除了qq音乐、美团、小红书,AutoGLM支持操作的应用还有很多
这篇有点长,但是干货满满,建议收藏,并转发给你身边需要的朋友们~
内容主要有:
1.自动安装AutoGLM;
2.一键安装本地模型,并接入AutoGLM使用;
3.安装AutoGLM-GUI,有UI界面更方便;
4.解决一些遇到的坑;
5.把Gemini 3 Flash接入AutoGLM使用。
一、安装前的准备工作
说回到安装,我用的是Open AutoGLM本身推荐的方式之一:一键让AI帮忙安装
官方称之为懒人版快速安装,还挺贴切的
既然是安装智谱的开源项目,我就用GLM-4.6+Claude Code帮忙了,正好我的GLM Coding Plan套餐也还有,可以随便挥霍。
虽然本次大部分安装流程都是交给AI帮忙,但我还是给大家先梳理一下流程,方便一开始掌握全局,后面不至于一脸懵。
首先我们需要准备的有:
1.Claude Code+GLM-4.6,不清楚怎么把GLM-4.6接入Claude Code的朋友可以
2.本地安装了Python 3.10及以上版本;
3.本地安装了ollama(方便一键安装本地模型);
实在不会Claude Code的朋友,用Trae这类本地的AI编程工具也是ok的。
AutoGLM操控手机的原理是这样:
整个安装流程大致如下:
看上去有点复杂对吧,不用管,下面我们用Claude Code帮我们自动完成大部分操作。
二、Claude Code自动安装AutoGLM
第一步就是把下面这段指令复制一下,丢给Claude Code
访问文档,为我安装 AutoGLM
https://raw.githubusercontent.com/zai-org/Open-AutoGLM/refs/heads/main/README.md
让它学习整个安装流程,自动帮我们完成
我总结的经验是,无论在Windows,还是Mac,都要先把魔法的Tun模式打开,否者很多东西Claude Code在执行过程中下载不下来。
如果是在Linux或者Mac里面,最好加一句:"下载文件使用curl",可以避免一些人工介入。
到这里,我们已经完成了一半
接下来我们完成跟手机对接的部分。
先打开手机的开发者模式,设置->关于手机->版本号,然后连续快速点击10次左右,直到弹出弹窗显示“开发者模式已启用”。
不同手机可能会有一些差别,如果找不到,可以上网搜索一下教程
启用开发者模式之后,到设置->开发者选项,开启USB调试
有一些机型在设置开发者选项以后, 可能需要重启设备才能生效,可以测试一下: 将手机用USB数据线连接到电脑。
链接的时候记得选传输文件/Android Auto
然后在电脑终端输入adb devices查看是否有设备信息,如果没有说明手机和电脑的adb连接失败。
下一步,安装ADB Keyboard(用于大模型操纵手机打字)
我是在做的过程中漏掉了这步,后面启动Open AutoGLM报错,然后把报错信息丢给了Claude Code。
不用学我,你可以提前直接告诉Claude Code说:“帮我安装ADB Keyboard”
然后它就会帮我们安装ADB Keyboard了(手机上会弹出安装界面)
安装完成之后,在设置->输入法 启用ADB Keyboard
手机上操作完,Claude Code这边会弹出安装成功的提示
接下来是搞定模型,本次选择了两种方式:
一种是私密性的本地部署官方提供的AutoGLM-Phone-9B
一种是云端模型,正好试试昨晚刚出的Gemini 3 flash。
三、本地一键部署AutoGLM-Phone-9B、启动AutoGLM
Ollama在Github 已经有158K 的超高Star了,可以说是一键本地部署模型的明星级项目。
刚好ollama也有AutoGLM-Phone-9B
方式很简单,在终端直接运行(前提是安装了ollama):
ollama run yeahdongcn/AutoGLM-Phone-9B
搞定
ollama list查看模型是否安装成功
然后ollama的本地API地址默认是:
http://localhost:11434/v1
本地模型名称是:
yeahdongcn/AutoGLM-Phone-9B:latest
执行AutoGLM启动指令,就能启动啦
python3 main.py --base-url http://localhost:11434/v1 --model "yeahdongcn/AutoGLM-Phone-9B:latest"
启动过程有什么报错也可以丢给Claude Code,一般一轮就解决了
像下面这样就是启动成功啦~
四、自动安装AutoGLM-GUI
Open AutoGLM没有带UI界面,不方便我演示,所以我又通过AutoGLM-GUI开源项目启动,就有了个UI界面,方便实时观察手机页面的操作情况(像开头演示那样)。
也可以让Claude Code帮忙一键安装并启动AutoGLM-GUI
提示词可以这样发给它:
访问文档,为我安装 AutoGLM-GUI:
https://github.com/suyiiyii/AutoGLM-GUI/blob/main/README.md
注意:我已经本地安装过AutoGLM了,有些操作你不要重复做,我现在想要一个UI操作界面。
模型端点是:http://localhost:11434/v1
模型名称是:yeahdongcn/AutoGLM-Phone-9B:latest
安装启动成功之后,默认地址是:
http://127.0.0.1:8000
不过这里面有个坑,就是后续跑任务的时候会出现格式解析错误 (Parsing Error)
现象是:模型明明反馈执行了操作,但是手机端并没有任何变化
主要是因为大模型(LLM)生成的指令中包含了多余的结束标签,导致AutoGLM原有的Python代码无法将其识别为合法的函数调用。
貌似是用ollama才会触发
这个问题也困扰了我不少时间,最后我还是把上图的报错丢给Claude Code,让它直接改代码解决了
注意,AutoGLM-GUI和AutoGLM是分开的,相当于AutoGLM-GUI内部是单独包含了一个AutoGLM。
所以如果你要用AutoGLM-GUI,就得让Claude Code改AutoGLM-GUI的代码
如果你用的是AutoGLM,那就让Claude Code改AutoGLM的代码
到这里本地部署的模型就ok啦~
五、把Gemini 3 Flash接入AutoGLM使用
接下来我们看看怎么接入Gemini 3 Flash
我看了一下,目前AutoGLM貌似只支持接入兼容OpenAI API的接口
Gemini 3 Flash的API在Google官方应该是有免费调用次数的,可惜不兼容OpenAI API。。。
所以我使用了KG中转站:
https://kg-api.cloud
API地址是:
https://kg-api.cloud/v1
模型名称是:
gemini-3-flash-preview
apikey 自行到平台获取
有两种方式切换到云端的gemini3 Flash
一种是下面这样点击左下角的全局配置
还有一种是靠Claude Code帮你换,把API地址,apikey,模型名称丢给它,告诉它要换模型即可(前提是在AutoGLM-GUI的根目录启动Claude Code,否则它不知道你想操作哪个项目的配置)。
最后,作为GLM布道师,我给大家争取到了GLM-4.6 Coding Plan的一点福利。
扫码领券,GLM-4.6 Coding Plan的套餐一律八折,就可以在Claude Code里面随便使用GLM-4.6了
有需要的朋友可以领取一下~
我是袋鼠帝,持续分享AI实践干货,我们下期见!
能看到这里的都是凤毛麟角的存在!
如果觉得不错,随手点个赞、在看、转发三连吧~
如果想第一时间收到推送,也可以给我个星标⭐
谢谢你耐心看完我的文章~
热门跟贴