来源:市场资讯

(来源:阿枫科技)

豆包还是太权威了,没想到现在要随便录个屏,它就能模仿我的操作帮我干活儿了...

先给大家看个自动化工作案例:

打开网易新闻 查看精彩图片

这是一个电商后台的订单页面,运营需要检查后台的发货情况。

如果发现用户下单超过24小时仍未发货,就需要点击“催发货”按钮,点完按钮会通知工厂,工厂收到提醒后就会加急发货。

打开网易新闻 查看精彩图片

这项工作看着很无脑对吧?但真正上手干起来会很繁琐,需要时刻盯着页面,很浪费人力和精力(我一朋友就是干这个的)

打开网易新闻 查看精彩图片

你可能会说:这种事情交给Agent不就行了?

其实我试过,Agent确实能搞定很多重复性操作,但涉及页面交互的场景,会遇到很多不严重、但影响体验的小问题,比如点错按钮、选错输入框等...

打开网易新闻 查看精彩图片

但豆包工作最近上线的「浏览器录制与回放」技能,完美的解决了这些小问题。

开头那整个流程之所以能如此流畅地完成,就是因为我提前用这个技能录制了一遍操作流程

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

这个技能的原理是这样的:

它会先开启录制,用户再在浏览器中完整执行一遍操作。录制结束后,它会总结整个工作流程,并制作成一个具体的Skill,里面会记录这次任务的操作流程和重点。

下次再执行相同任务时,直接调用这个Skill就行,Agent也能像真人一样准确地完成操作。

打开网易新闻 查看精彩图片

如果我没记错的话,这个功能是Codex上个月首次推出的。

但截至目前,许多Agent工具并没有第一时间上架该功能,因为实现这个功能需要工具和模型进行深度融合。

许多Agent平台使用的都是第三方模型,有的模型支持多模态输入,却不支持多模态输出,有的则正好相反。还有的输入和输出都不支持...

所以,使用这类功能时,必须适配合适的模型才行。

而豆包工作强就强在工具和模型都比较给力。

尤其是最近上线的2.1Pro模型,进一步提升了多模态理解能力,豆包原生模型和豆包工作结合起来,也能把这项能力发挥到更高水平。

打开网易新闻 查看精彩图片

实操第一步:录制操作过程

首先需要切换“本地电脑”模式,因为录制时需要你在本地电脑上操作。后续让豆包工作执行任务时,再按需选择云电脑模式就好。

然后在技能中搜索并选择「浏览器录制与回放」,再输入你的具体需求。比如我写的是:

网站+查发货时间,如果超过24小时还没发货,就点击催发货按钮。

把需求写清楚,有助于豆包工作进一步理解任务,从而把这个Skill做得更准确

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

接下来,豆包工作会弹出豆包浏览器,如果浏览器中没有打开需要操作的网页,就需要手动输入一下目标网址。

打开页面后,按照日常的工作流程在后台操作一遍。操作完成后,先别点下方的“结束录制”按钮。

打开网易新闻 查看精彩图片

也别急着关浏览器,我们先返回豆包工作的对话页面,回复“完成”,等待豆包工作把录制过程整理成Skill文件就完事儿了。

打开网易新闻 查看精彩图片

第二步:回放录制过程

回放就简单多了,因为Skill中已经记录了足够的信息,这里面包含你的需求、页面位置、操作方法和任务重点。

所以这时基本不需要输入任何提示词,直接调用这个技能,豆包工作就知道该怎么做了。

给大家演示一下操作过程:

打开网易新闻 查看精彩图片

看到这里,我突然有种手把手教徒弟的感觉,我只需教它一遍,它就能帮我重复操作百遍千遍

打开网易新闻 查看精彩图片

还能配合定时任务

当然,在实际使用中,我肯定懒得每次检查订单时都和豆包工作对话一次,否则这工作量也没差太多...

所以,我其实可以让豆包工作全自动完成这项任务,只需要给它安排上“定时任务”即可。

而且不用专门去“定时任务”里添加,只需要在同一个对话窗口中发送以下指令就行:

添加一个定时任务,每X分钟执行一次这个技能。

打开网易新闻 查看精彩图片

接着,豆包工作会自动理解上下文,明确你的需求和所使用的技能,并把这个任务添加到定时任务列表中。

你甚至可以让豆包工作以云电脑模式运行这个定时任务。这样一来,电脑都不用开机,它在云端就能帮你把任务全部完成

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

就这么一个小功能,直接让老旧的订单系统也能享受到AI带来的便利。

带来的效率提升也很直观:如果以前每10分钟检查一次、每次需要1分钟,一天就能节省一个多小时...

现在把这种重复性操作交给AI在云端接管,属于是真正的解放双手了~

更多的用途

别看这只是一个小技能,实际上,它可以应用在很多行业和场景中,帮助你突破Agent执行工作流时的局限。

我也帮大家总结了一些适合使用这个技能的场景,同时这些也是我们公司内部能真实落地的场景。

打开网易新闻 查看精彩图片

如果你手上也有那种每天都要重复、流程相对固定、但又很耗时间的工作,不妨试着把它录下来,让AI看着录屏学习一遍,相信效果肯定比直接打字更直观~

千万别一上来就想着让AI帮你解决所有问题,因为现阶段的Agent还并不足以彻底取代手动操作。

我们可以先从一个小流程开始,比如让它帮你检查一次订单、整理一次表格、处理一次后台。

很多效率提升,往往不是从宏大的改变开始,而是从每天少点几下鼠标开始。

最后,虽然大部分人可能都知道了,但我还是提醒一句:没有登录过豆包工作的新用户,首次登录即可获赠30天标准订阅。

打开网易新闻 查看精彩图片

认证学生身份最多可领取三个月订阅权益,还有额度重置机会和一些专属优惠哦,不花一分钱就能把你的日常工作全部包揽~