打开网易新闻 查看精彩图片

作者 | 董道力
邮箱 | dongdaoli@pingwest.com

如果一个 Agent 只能用固定的功能,那它还是 Agent 吗?

在去年 AutoGLM 的发布会上,智谱 CEO 张鹏用 AutoGLM 演示了一次自动化操作:面对面建群、修改群名、在群里发出一百个红包,总额两万元。观众惊叹,这是一个能“操控手机”的 AI。然而,只要把演示舞台换成真实世界,问题立刻浮现——不同用户的微信版本不一样,UI 布局有差异,有人用折叠屏,有人用小屏手机,甚至连广告弹窗都可能打断任务。对大模型来说,这些不确定性,都是无法完全掌握的变量。

智谱选择的答案并不是继续提高模型的“认知力”,而是另辟蹊径:直接绕开现实世界的不确定性,造一个“标准化”的世界。AutoGLM 2.0 的核心不是算法突破,而是一台云手机——尺寸统一、软件版本统一、功能范围统一。在这个虚拟世界里,Agent 的操作才能被保证。

换句话说,AutoGLM 2.0 体现出的思路,不是在驯服手机,而是在用一种自己建立一个环境来驯服混乱的现实。

这个思路诞生的产品,究竟怎么样呢?

打开网易新闻 查看精彩图片

1

AutoGLM 的“标准化”的世界

AutoGLM 有两个云端设备,一台智能体手机一台智能体电脑。手机主要担任生活助手的功能,负责出行点餐,而电脑承担着办公研究的功能。

我们分别看一下两两台设备,智谱为了让 Agent 运行,定制的世界保留了哪些功能,又牺牲了哪些。

打开网易新闻 查看精彩图片

AutoGLM 云手机

手机端除去系统自带的相机、时钟等 APP,额外一共有 30 款 APP,基本可以覆盖生活和娱乐

社交资讯:微博、小红书、今日头条

长短视频:红果、抖音、快手、B 站、爱奇艺、腾讯视频、芒果 TV

音乐广播:QQ 音乐、汽水音乐、喜马拉雅

小说阅读:番茄小说

消费购物:同花顺、淘宝、京东、拼多多

本地生活:美团、饿了么、大众点评、支付宝、KFC、Keep

出行与旅行:滴滴打车、携程、去哪儿、高德

租房:贝壳找房

打开网易新闻 查看精彩图片

想用浏览器下载新的软件?很遗憾,智谱也把这条路堵死了。我尝试安装盒马和知乎,系统直接禁止,提示软件包无效,甚至把知乎的官方下载网页给 404 了。

打开网易新闻 查看精彩图片

随后再来看一下配置,云手机是一台基于安卓 14设备,型号是 SM-F900F,从搜索信息来看,这台设备居然是三星 第一代折叠手机 Galaxy Fold?(红米不香吗?)如果云手机使用的是完整设备,而不仅仅是使用 Fold 的系统,那么配置是就是骁龙 855 处理器,12GB RAM + 512GB 存储。

打开网易新闻 查看精彩图片

AutoGLM 云电脑

AutoGLM 云电脑是一款基于 Ubuntu 系统的设备,从软件生态上来看,除了浏览器外,云电脑只安装了 Libre 办公软件,也许 AutoGLM 所谓的办公就是 Word、Excel、PPT 三件套吧。同样,AutoGLM 云电脑把 Ubuntu Softstore 删除,禁止用户下载新软件。

打开网易新闻 查看精彩图片

1

AutoGLM 实测:广告与登录成最大障碍

看完对 AutoGLM 云手机和云电脑的大致了解,我们也清楚了 AutoGLM 的能力边界,接下就是测试 AutoGLM 在限定的环境中,表现如何。

云手机任务——淘宝购物:

prompts:帮我清空淘宝购物车再购买官方店铺的 iphone16 pro 1t 版本
打开网易新闻 查看精彩图片

在淘宝购物测试中,AutoGLM 展现了较为完整的流程:从网页搜索、需求澄清到应用操作。问题出现在账号登录环节——如今国内的应用几乎都要求登录才能使用。AutoGLM 会在检测到登录需求时提示用户“接管”,由人手动输入账号密码,再退出接管继续任务。

打开网易新闻 查看精彩图片

然而,问题在于,国内 APP 对于账号“安全意识”极高,很多应用的安全验证远比输入账号复杂。比如登录小红书时提示我需要用旧设备扫码才能登录,而我的旧设备正在使用 AutoGLM;登录抖音时候需要我扫脸进行身份验证,但 AutoGLM 一直显示加载(摄像头)资源,好不容易加载完成,镜头中的我也十分“扭曲”导致识别错误登录失败。

小红书登录失败也直接导致了一些联动功能不能用,比如在去年 AutoGLM 版本中,可以实现在小红书搜红烧肉做法及食材,然后在小象超市购买。

当然这个锅不能由 AutoGLM 来背,国内手机应用生态可能真的不适合 AutoGLM 发展。更糟糕的是 AutoGLM 不会记住用户的账号密码,这个很安全,但每次使用需要登录的 APP 过程也非常煎熬。

打开网易新闻 查看精彩图片

此外,我在使用抖音人脸识别登录时发现,当 AutoGLM 调用摄像头资源后,你在 AutoGLM 云手机中退出抖音(清理后台),并不会结束 AutoGLM 对摄像头的调用,除非你把 AutoGLM 关闭。

打开网易新闻 查看精彩图片

回到任务,除去登录等问题 AutoGLM 可以轻松完成清空购物车等任务。在执行删除、购买等关键动作时候,AutoGLM 会提醒用户是否要继续。

云手机任务——购买机票:

prompts:上去哪儿网买一张后天11点到14点,从上海飞北京的机票,不要波音飞机

该任务并不复杂,但我特意选择了在 23 点接近凌晨的时间进行测试。任务有几个关键点需要 AI 识别,分别是“后天”“11 点到 14 点”“上海飞北京”“不要波音”。

尝试了两次都失败了。先看航班,AutoGLM第一次在机票时间上出错,第二次在日期出错,但航程起点和终点是正确的并且都没有选择波音。

打开网易新闻 查看精彩图片

至于出错的原因,我仔细看了 AutoGLM 的操作逻辑。首先是日期选择的 bug:进入日历页面再退出后,“后天”常常会莫名变成“大后天”。这种问题并不稳定复现,但足够说明它在基础交互上还不够可靠。

时间选择的问题更明显。AutoGLM 并不是在真正理解“11 点到 14 点”这个条件,而是机械地依赖去哪儿网的预设选项,只有“9–12 点”和“12–15 点”。它会随便挑一个区间,若刚好有符合的航班,那就是“歪打正着”,一旦没有,就直接出错。换句话说,这并不是智能,而是凑巧。

打开网易新闻 查看精彩图片

在测试该任务时候,还发现了和会员登录同样麻烦的东西——弹出广告。一旦有广告弹出,AutoGLM 会愣在那边,等几秒后,有良心的广告会自动消失,AutoGLM 就会继续执行任务,而遇到那些不会消失的广告,AutoGLM 就会需要用户接管,严重影响进程流畅性。

打开网易新闻 查看精彩图片

云电脑任务——制作PPT 发小红书

和 AutoGLM 云手机不同,云电脑只能操控浏览器,因此,让其生成 PPT、表格等内容,它都会用智谱 CodeX 编程来完成。从页面上来看,可以认为 AutoGLM(云电脑)就是一个 Agent 增加了可以控制浏览器的功能。

prompts:搜索特斯拉最新发售的Model YL信息,并做成 ppt 发布到小红书
打开网易新闻 查看精彩图片
prompts:搜索特斯拉最新发售的Model YL信息,并做成 ppt 发布到小红书

在执行时,AutoGLM 会先通过浏览器搜索,打开汽车之家等页面收集信息,再整理成 Markdown 文档,最终生成 PPT,供用户下载。这一步其实并不特别,kimi、元宝、豆包等工具也都能做到。

AutoGLM 最大的特点是调用浏览器,也就是任务的最后一步“发布到小红书”。遗憾的是 AutoGLM 失败了,它成功打开了小红书发布网页,但卡在“上传”页面。原因可能是 AutoGLM 没有完成把 PPT 转换成图片的这一它已经规划好的任务。

为了验证 AutoGLM 操控浏览器的能力,我选择的官方建议的 DEMO 尝试了一遍。

帮我生成一个视频,一个小狗半夜偷偷地去蹦床上跳,监控视角。然后把这个视频发到小红书上,和大家分享

结果依然一样,内容生成没问题,但到了上传页面,AutoGLM 只能提示“请手动上传”。我接管电脑后发现,更尴尬的是:云电脑貌似保存生成的视频文件,只能找到前几个任务遗留的 PPT 和 .py 文件。

打开网易新闻 查看精彩图片

其实从 AutoGLM 的介绍页面也能看出,其主要功能就是 AI PPT、AI 视频、AI 播客、AI 研报、AI 编程等功能,单独配置个云电脑有必要吗?

打开网易新闻 查看精彩图片

回到文章开头的问题:如果一个 Agent 只能用固定的功能,那它还是 Agent 吗?答案或许并不重要。AutoGLM 已经用“标准化”的云手机和云电脑,证明了智能体依然可以存在,只是它不再是那个能适配一切的万能助手,而是一个在边界内精细运转的机器。

但现实世界的混乱始终在那里,即便解决了不同版本的应用和尺寸,还有会有层出不穷的验证机制、永远跳不完的广告弹窗。

智谱解决了一部分难题,但依然还有一些没解决。

打开网易新闻 查看精彩图片

点个爱心,再走 吧