腾讯 WorkBuddy 今日宣布上线电脑操控(Computer Use)能力。它能识别当前页面、看懂客户端界面,并完成点击、输入、滚动等操作。

打开网易新闻 查看精彩图片

这套能力的关键在于不需要目标软件开放接口,就能在后台操作。对长期受制于接口缺位的自动化场景来说,这是一条绕开 API 的路径。

目前该功能处于公测体验阶段,支持 macOS 和 Windows,需将客户端更新至 5.11.0 及以上版本,并开启功能、完成相关授权。界面识别效果会因软件而异。

使用方式上,用户直接在对话框里描述任务,Buddy 会根据任务意图调用电脑操作,进度可在侧边小窗查看。任务完成后,Buddy 会汇报执行结果。

官方建议,涉及登录、授权、支付、提交、删除等敏感操作时保持在场,实时监控。