谷歌又把大模型排行榜的第一名拿回来了。
距离上一款旗舰模型发布仅仅两周,谷歌 DeepMind 再次推出新模型,并在最新综合评测中超过了 Anthropic 和 OpenAI。
当地时间 10 月 28 日,谷歌正式发布新一代前沿模型 Gemini 4 Carbon。在独立评测机构 Artificial Analysis 最新公布的综合测评 Intelligence Index v5.0 榜单中,Carbon 以 59 分排名第一,超过 Claude Opus 5.5 的 58 分和 GPT-6 Astra 的 57 分。
除了综合评分,Carbon 还在多项具体评测中超过两大竞争对手。在考察复杂编程任务的 Terminal-Bench 4.0 中,Carbon 得分达到 65.2%,超过 Claude Opus 5.5 的 59.6% 和 GPT-6 Astra 的 59.1%;在智能体综合能力测试 Agents' Last Exam 中,Carbon 以 77.4% 的成绩领先两者。此外,在科学研究、知识准确性和自动化任务等评测中,Carbon 也取得了领先成绩。
两款模型分别以化学元素氩(Argon)和碳(Carbon)命名。谷歌披露,新模型在编程、复杂推理、科学研究及网络安全等方面均取得了明显进展,甚至已经能够连续数天自主执行复杂的软件工程任务。
不过,这款刚刚登顶的模型暂时不会面向普通用户开放。谷歌决定优先将其提供给少数网络安全防御人员,并继续开展安全测试,再逐步扩大使用范围。
两周提升9分,谷歌重新登顶
此次 Carbon 登顶的时间点可以说非常赶巧。
就在新模型发布前一天,Artificial Analysis 刚刚推出 Intelligence Index v5.0,对原有的模型评测体系进行了较大调整。新版指数涵盖知识工作、编程、科学以及通用推理四个领域,各占总评分的 25%。
为了提高评测难度,新版指数引入了真实代码库中的编程任务、科学研究任务等新测试,并将采用私有测试数据或隐藏答案的评测权重提高至 60%,以降低模型通过接触公开测试题而获得高分的可能性。
10 月 27 日,新榜单刚刚公布时,Claude Opus 5.5 以 58 分领先,GPT-6 Astra 以 57 分排名第二,GPT-6.1 Sol 得到 55 分。相比之下,两周前发布的 Gemini 4 Argon 只有 50 分。
一天后,Carbon 的出现改变了排名。根据 Artificial Analysis 公布的独立评测结果,Carbon 在新版指数包含的九项测试中拿下四项第一,分别涉及高难度推理、科学研究、知识准确性和自动化任务。
在考察科学研究能力的 Terminal-Bench-Science 测试中,Carbon 取得了 64.8% 的成绩,超过 GPT-6 Astra 的 63.3% 和 Claude Opus 5.5 的 59.0%。在衡量知识准确性与幻觉问题的 AA-Omniscience v1.1 测试中,Carbon 得到 54 分,同样领先于 Claude Opus 5.5 的 48 分。
编程能力的提升同样明显。在谷歌公布的 Terminal-Bench 4.0 测试中,Carbon 得分为 65.2%,超过了 GPT-6 Astra 的 59.1%。
不过,Carbon 还没有在所有领域占据优势。Artificial Analysis 的 Coding Agent Index 显示,Carbon 得到 59 分,编程能力暂时仍落后于 Claude Opus 5.5 的 62 分。在另一项软件工程评测 FrontierSWE 2 中,Carbon 的 61.2% 也低于 GPT-6 Astra 的 65.5%。
总体来看,Carbon 在综合推理、科学任务和部分智能体任务上的进步更为突出,而复杂软件工程仍是头部模型竞争最激烈的领域之一。
已能连续数天编程,网络安全能力大幅提升
相比综合排名的变化,谷歌此次更加突出 Carbon 执行长时间复杂任务的能力。
过去,大模型已经能够根据自然语言生成程序,但处理大型软件项目仍然存在不少困难。一个隐藏在底层系统中的软件缺陷,可能涉及大量文件、复杂的调用关系和多轮调试,需要模型持续定位问题、修改代码,并根据测试结果反复调整方案。
谷歌表示,在内部实际编程环境中,研究团队已经观察到 Carbon 能够连续运行数天,处理大型代码库和底层系统中的复杂工程问题。即使中途遇到障碍,模型仍能继续寻找其他解决方案,最终定位并修复一些隐蔽的软件缺陷。
可见,AI 正在从完成单次编程请求,逐渐发展为能够长期承担工程任务的自主智能体。
其他方面,Carbon 在长上下文测试 GraphWalks 中取得了 96.2% 的成绩,高于 Argon 的 84.2%。在网页开发评测 WebDev Arena 上,其 Elo 评分提高了 89 分,达到 1768 分,排名第四。
而在此次发布中,网络安全是谷歌重点强调的另一项能力。软件安全工作通常需要经历多个环节:找到代码中的漏洞,判断漏洞能否被实际利用,再编写补丁完成修复。Carbon 在覆盖这三个环节的测试中均取得了领先成绩。
在漏洞发现测试 SEC-bench Pro 中,Carbon 得到 88.2%,超过 Argon 的 83.4% 和 GPT-6 Astra 的 85.4%。找到漏洞之后,还需要判断它是否真的能够被利用。在 ExploitGym 测试中,Carbon 的得分从 Argon 的 42.0% 提升至 54.8%,提高了 12.8 个百分点。
而在考察漏洞修复能力的 CWE-bench 测试中,Carbon 又取得了 71.0% 的成绩,高于 Argon 和 GPT-6 Astra 的 68.0%。这表明,新模型在发现漏洞、验证风险和生成修复代码等环节都有明显进展。
谷歌内部的实际应用也显示出类似趋势。在安全代码生成任务中,Carbon 的成功率达到 Argon 的两倍以上。Chrome 浏览器团队发现,其生成高质量安全补丁的表现超过另一家实验室的前沿模型十倍以上。谷歌旗下云安全平台 Wiz 也观察到,Carbon 在网络应用渗透测试中表现领先。
重新登顶后,暂不对外开放
尽管取得了这些成绩,Carbon 目前还不会全面开放。
谷歌宣布,本周起将首先向少数网络安全防御人员提供 Carbon,随后通过 Fairwind 计划逐步扩大至其他可信合作伙伴。普通开发者和消费者何时能够使用,尚未公布具体时间。
这一安排主要与模型的网络安全能力有关。能够自主发现、验证和修复漏洞的 AI,可以帮助防御人员提高效率,但也可能被攻击者用于寻找和利用软件缺陷。谷歌希望让防御方优先获得这些能力,同时继续完善模型的安全措施。
为此,谷歌还加强了 Carbon 的行为约束。在 Terminal-Bench 4.0 测试中,模型尝试投机取巧的比例降至 0.4%,成功作弊率降至 0%。在内部编程环境中,严重偏离任务要求的行为警报减少近 80%,缺乏证据支持的断言数量也减少了约一半。
针对提示词注入攻击,Carbon 同样取得进展。在 Gray Swan 的间接提示词注入测试中,攻击成功率从 Argon 的 0.7% 降至 0%。目前,谷歌还在参与美国政府自愿开展的模型发布前测试。
价格方面,Carbon 沿用 Argon 的首发定价,每百万输入 Token 收费 2 美元,输出 Token 收费 10 美元,缓存输入可享受 95% 的折扣。优惠期结束后,标准价格将分别提高至 4 美元和 20 美元。
回顾过去一年,谷歌的大模型发展经历了不少起伏。2025 年底,Gemini 3 发布后曾登上多个评测榜单前列,一度风头无两。但进入 2026 年,随着 Anthropic 和 OpenAI 接连推出更强的模型,谷歌逐渐失去领先优势,备受期待的下一代旗舰模型也迟迟没有亮相。
此后,谷歌虽然陆续更新 Gemini Flash 系列,但始终没能重夺榜首。与此同时,Gemini 的实际使用体验也引发不少吐槽,甚至一度被戏称为“美国大豆包”。直到今年 10 月,谷歌终于开始发力,短短两周接连推出 Argon 和 Carbon,重新登顶综合评测榜单。
从一度领跑,到被竞争对手超越,再到如今重新拿回第一,Gemini 过去一年的经历甚至可以说有些“坎坷”。不过,按照如今大模型厂商的发布节奏和技术迭代速度,谷歌这次究竟能在榜首待多久,恐怕还是个未知数。毕竟,下一款改写排名的模型,可能已经在路上了。
1.https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/
2.https://artificialanalysis.ai/pt/articles/gemini-4-carbon-new-number-1
3.https://artificialanalysis.ai/evaluations/terminal-bench-science
热门跟贴