打开网易新闻 查看精彩图片

⬆️点击报名见实上海年度大会

近日,WorkBuddy正式上线「电脑操控」(Computer Use)能力。

据悉,用户只需在对话框里说一句需求,Buddy就能看懂当前页面、识别客户端界面,自主完成点击、输入、滚动等一系列操作。目标软件无需开放任何接口,一切在后台悄然完成。

过去,AI工具的能力边界常卡在「最后一公里」:软件没有接口、连接器接不上、也没有网页版。遇到那些只有客户端的老旧应用,无论是查一条系统记录还是填一份表单,人仍要打开软件、手动操作。这成了智能办公里一道尴尬的缝隙,而电脑操控能力的上线,正是要把这道缝隙补上。

据介绍,该功能目前处于公测体验阶段,支持 macOS 与 Windows 平台。

用户需将客户端更新至最新版本,在「设置—智能体」中开启「电脑应用操控」,并完成辅助功能与录屏两项系统授权。官方同时提示,界面识别效果会因软件而异,建议首次使用时先做查询核对,或只处理一条记录,不必急着交出一大批任务。

打开网易新闻 查看精彩图片

使用前的关键,是把任务说清楚:说明用哪个应用、走什么流程、要什么结果。Buddy会据此判断意图、调用相应的电脑操作。执行过程中,侧边栏的画中画小窗会实时显示操作界面与当前步骤,扫一眼就知道进行到哪一步。

打开网易新闻 查看精彩图片

真正让它区别于普通自动化脚本的,是「后台执行、并行工作」:Buddy操作目标应用时,你可以在别的软件里写文档、备课、回消息,不必变成另一份「看着AI干活」的工作。

当然,并行有边界,人与Buddy要用不同的应用。任务执行期间,不要同时操作它正在使用的那个应用,以免输入焦点或页面状态冲突;发现不对想自己接手,先停止任务再介入。

涉及登录、授权、支付、提交、删除等敏感操作时,建议保持在场、实时监控。任务完成后,Buddy会汇报执行结果,此时最好回到原系统抽查一遍:查到的是否是目标记录,填入的信息是否正确,再继续后续工作。

能力落地到具体场景,变化的不仅是「少点几次鼠标」,而是从查信息到跨系统办事的完整链路。官方演示基于自建的教务、资产、仓储模拟客户端。

其一,在教务系统里按姓氏查询、核对所属班级,只查不改,把「找入口、填条件、看结果」连成一条线。

其二,往前一步做设备领用登记:领用人与资产编号不能手填,要从两个弹窗里分别挑选,遇到同名员工还要核对部门,提交则由人最终确认。

其三,当信息分散在两套互不打通的系统里,一台设备到货后,先去仓储系统确认到货内容,再凭同一串入库单号到资产系统核对、准备领用登记,连接两套系统的,正是这串单号。

这一能力上线后,有很多用户直言“猎杀RPA了”,对此,你怎么看?欢迎评论区一起聊聊。

对了,见实,WorkBuddy 企业产品运营负责人蒋文华,将带来《从超级个体到超级组织:企业落地 WorkBuddy 最佳实践》的主题分享,拆解组织效率的真实跃迁,从一个人用得飞起,到百人团队协同跑通,WorkBuddy 企业落地踩过的坑、验证过的路径、可复制的方法,将全部摊开讲透。

大会第二天(12月4日)上午的私享会,我们设了「WorkBuddy 提效专场」,届时蒋文华和WorkBuddy客户成功华东负责人陆佳青、苏宁科技副总裁秦中,还将一起分享更多WorkBuddy落地实践经验。

欢迎下方一起报名,我们在见实年度大会现场见。大会目前正在报名,欢迎大家下方抢购早鸟票。此刻还有合作伙伴提前备下的免费票,正开放申请,手慢无!