来源:市场资讯

(来源:AI信息Gap)

现在,Claude 开始接管你的电脑、鼠标和键盘了。

打开 App,切换浏览器,填写表格,运行测试。你人在外面,手机发一条消息,它在你的电脑上替你干活。

和「龙虾」同一个逻辑。

4 周前 Anthropic 收购了一家做电脑操控(Computer Use)的初创公司。昨天,功能上线了。

打开网易新闻 查看精彩图片

我们之前聊过 Claude Dispatch(手机遥控 Cowork)和 Claude Code Channels(手机遥控 Claude Code)。

电脑操控不太一样。

Claude 直接读电脑屏幕,点鼠标,敲键盘。跟一个真人坐在电脑前操作,没什么区别。

有 MCP 连接器的走 MCP。Slack、日历这些打通了的服务,Claude 直接 API 操作,快稳准。没有 MCP 的,退回屏幕操控。

Dispatch 负责手机派活。Computer Use 负责操控电脑干活。

打开网易新闻 查看精彩图片

Claude 电脑操控能力其实 2024 年 10 月就有了。但那是给开发者调用的,得写代码。

这次直接集成进 Cowork 和 Claude Code 桌面版,设置里打开开关就行。

背后的模型能力进化很快。

OSWorld 是目前最主流的 AI 操作电脑基准测试。2024 年 10 月第一版 Computer Use,Claude 3.5 Sonnet 得分 14.9%。今年 2 月的 Sonnet 4.6,72.5%。

16 个月,翻了将近 5 倍。人类基准线大约 72%。

2 月 25 日,Anthropic 收购了 Vercept。

打开网易新闻 查看精彩图片

一家 20 人的初创公司,专做 AI 视觉感知和电脑操控。脱胎于 AI 研究机构 Ai2(Allen Institute for AI),融资超过 5000 万美元。天使投资人里有前谷歌 CEO Eric Schmidt、DeepMind 首席科学家 Jeff Dean、Cruise 创始人 Kyle Vogt。

联合创始人之一 Matt Deitke 在收购前被 Meta 挖走,加入超级智能实验室,据报道薪酬 2.5 亿美元。CEO Kiana Ehsani 带着其余核心团队加入 Anthropic。

Vercept 的桌面产品 Vy 直接关停。

4 周后,Claude 电脑操控功能上线。

负责这块的是 Felix Rieseberg。

Slack 桌面 App 的开发者,Electron 框架核心维护者。Claude Cowork 和 Claude Code 桌面客户端,他都是核心开发者。

Anthropic Labs 的 Boris Cherny 发文,「MCP、Skills、Claude 桌面应用、Claude Code,全出自同一个小团队。就那么几个人。」

打开网易新闻 查看精彩图片

Felix 说,Anthropic 内部工程师现在很少自己写代码了。程序员的日常是告诉 Claude 要做什么,Claude 负责实现。

Claude 写了 Anthropic 大约 90% 的代码。甚至 Cowork 本身就是 Claude 写的。

Claude 写代码。代码变成产品。产品让 Claude 操控你的电脑。

「Claude 操作电脑比人类慢很多。」

加了屏幕控制之后能做的事更多了,但速度和准确率还需要时间。

投资、交易类应用 App 默认不允许 Claude 操作。你也可以自己加安全名单。Anthropic 在系统层面做了提示词注入检测,Claude 操作屏幕时会实时扫描激活状态,防止屏幕上的恶意文字劫持它。

目前只支持 macOS,Windows 要再等几周。

Claude Pro 和 Max 订阅可用。开启方式:Claude 桌面应用,设置,通用,打开 Computer Use 开关。

打开网易新闻 查看精彩图片

电脑要一直开着,Claude 应用也不能关。

手机扫码配对后,可以用 Dispatch 远程派活。

Dispatch 进了沙箱。

Channels 住进了 Telegram。

Computer Use 接管了电脑、鼠标和键盘。

我是木易,Top2 + 美国 Top10 CS 硕,现在是 AI 产品经理。