智猩猩AI整理

编辑: 没方

Agent 能操作网页已经不是什么新鲜的事了。

但很多 Agent 操作的浏览器,不是你正在使用的那个浏览器。它可能运行在一个全新的浏览器实例、沙箱或者远程环境里。

想让它替你办事,还得重新登录,碰到验证码、短信 OTP、扫码登录时,自动化流程很容易直接卡住。

但如果直接让 Agent 控制用户当前正在工作的浏览器,会打断其他工作,还会担心它会不会误操作其他页面。

腾讯最近开源的 BrowserSkill,解决的正是这些问题。该项目在github上已获得5.3k stars。

打开网易新闻 查看精彩图片

它能够让Cursor、Claude Code、Codex、OpenClaw、CodeBuddy、WorkBuddy、DeepSeek Harness 等Agent,连接到用户已经登录的 Chrome 或 Edge 浏览器中,让 Agent 直接复用现有登录状态执行网页任务。

它比较有意思的一点,是没有简单粗暴地把整个浏览器控制权都交给 Agent。

BrowserSkill 会为 Agent 创建一个独立、可见的 Agent Window。Agent 默认在自己的窗口里工作,用户仍然可以继续操作原来的浏览器窗口。

如果 Agent 确实需要操作用户已经打开的某个标签页,则必须先显式“借用”这个 Tab,完成任务后再归还。

打开网易新闻 查看精彩图片

01

一条本地链路,

打通Agent与浏览器

从架构上看,BrowserSkill 在 Agent 和浏览器之间增加了一层本地执行链路。

打开网易新闻 查看精彩图片

当 Cursor、Claude Code 或其他 Agent 决定执行浏览器任务时,首先调用 BrowserSkill 提供的bskCLI。

CLI 再通过本地 IPC 与 BrowserSkill daemon 通信,daemon 通过运行在127.0.0.1上的 WebSocket 与浏览器扩展连接,最后由扩展真正完成页面操作。

整个链路可以理解成:Agent → bsk CLI → 本地 Daemon → BrowserSkill 扩展 → 浏览器页面。

因此,Agent 本身并不需要直接操作 Chrome,也不需要针对 Cursor、Claude Code、Codex 分别实现一套浏览器控制协议。

只要 Harness 能够调用 Shell,就可以复用 BrowserSkill 提供的统一接口。

对于 DeepSeek Harness,BrowserSkill 还提供专门的 DSH 插件,可为 Agent 接入 browser_* 原生工具,底层由插件调用 bsk 完成操作。

BrowserSkill 不要求 Agent 再启动一个全新的测试浏览器,可以直接连接真实浏览器环境。但“复用真实浏览器”并不等于让 Agent 随意控制所有页面。

BrowserSkill 把 Agent 自己创建的页面与用户自己的页面区分开来。正常情况下,Agent 在单独的 Agent Window 中操作。如果任务确实需要使用用户已经打开的标签页,需要先获取用户 Tab 列表,再通过 tab borrow 借用,任务完成后通过 tab return 归还。浏览器扩展中还可以控制借用是否需要人工确认。

这个设计很像给 Agent 发了一张“临时门禁卡”。它可以进入被授权的房间办事,但并不意味着整栋楼都归它控制。

BrowserSkill 的第二个关键,是它没有把网页完全当成一张图片来理解。

Agent 可以先调用 observe 读取页面。BrowserSkill 会返回页面中的文本、控件以及类似 @e3 这样的元素引用。之后,Agent 可以针对这些语义元素执行点击、填写、选择、按键、Hover、滚动等操作。

还有一个值得关注的能力,则是 Human-in-the-loop。

当 Agent 遇到登录、CAPTCHA、OTP、支付确认、授权确认等需要人参与的步骤时,可以调用 request-help 请求用户接管。用户处理完成之后,Agent 再重新观察页面,从当前位置继续执行后面的流程。

02

安装教程

可以输入下方的指令,让你的Agent自动安装:

按照 https://raw.githubusercontent.com/Tencent/BrowserSkill/main/AGENT_INSTALL.md 的说明,在本机安装并配置 browser-skill

接着需要安装一个浏览器插件:

打开网易新闻 查看精彩图片

完成浏览器扩展连接后,Agent 会继续进行连接检查和首次使用测试:

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

对于DeepSeek Harness,开发者提供了专门插件,完成 CLI 和浏览器扩展连接后,可以执行:

dsh --profile web

测试如下:

打开网易新闻 查看精彩图片

03

总结

随着 Agent 从“会回答”走向“会执行”,浏览器正在成为连接 AI 与真实数字世界的重要入口。

BrowserSkill 的价值,在于把浏览器操作从某个 Agent 的专属能力,进一步抽象成可以被不同模型、不同 Harness 复用的基础设施。让 Agent 真正进入用户日常使用的软件环境。

关注+星标,获取AI前沿进展与开源一线动态