9月18日,Anthropic首次详细公开Claude参与研发下一代AI的内部进度。截至今年8月,Claude已能主导Anthropic约26%的AI研发工作,超过90%的任务至少达到“AI协作”水平。今年2月,这一数字还不到1%。
Anthropic为此建立了“研发自动化指数”,采用Epoch AI的AL0至AL5六级标准。26%对应AL4级别——AI接到高层目标后可完成大部分任务,只在关键节点接受人类监督。以夜间数据管道故障为例,工程师只需把故障提醒交给Claude,后者便可自行分析日志、编写测试修复方案、处理意外情况,最后整理问题原因,由工程师决定是否部署。Anthropic表示,尚未发现任何一类研发工作达到AL5,即完全无需人类介入。
目前,Anthropic最常用的内部平台上约有3万个AI Agent同时从事研究和工程工作。仅今年8月,它们就作出了超过10亿次决策,其中约0.002%被实时监控系统拦截,相当于每4.7万次触发一次阻止机制。事后监控系统每周标记约10万份对话记录,最终约50份最高优先级记录提交人类审查。
算力分配方面,Anthropic统计了7月13日至20日的数据:在分配给AI研发的算力中,约6%用于安全研究;在AI驱动的AI研发算力中,安全占比约12%
Anthropic也承认,研发自动化指数由Claude收集材料并判断,相当于让公司模型评估自己参与的工作。Claude与人类对自动化等级的完全一致率为59%,允许一个等级误差后可达97%。公司计划邀请第三方评估人员进入内部系统,对自动化数据进行审计。
热门跟贴