来源：AI寒武纪
OpenAI推出o3模型系列(因为o2和英国电信商 命名有冲突，所以跳过了o2)，包括o3,o3mini ，o3 mini low（低计算力）,o3mini medium（中等计算力），o3mini high（高计算力）
废话不多多说，直接看o3硬核测试表现
o3在ARC-AGI（通用人工智能评估基准）上取得了惊人的高达87.5%的分数，而人类是85%！
ARC-AGI 创始人对这一测试结果的详细解读：
今天，OpenAI 发布了其下一代推理模型 o3。我们与 OpenAI 合作，在 ARC-AGI 上对其进行了测试，我们相信它在让人工智能适应新任务方面取得了重大突破。在低计算模式下（每个任务的计算费用为 20 美元），它在半私人评估中的得分率为 75.7%；在高计算模式下（每个任务的计算费用为数千美元），它的得分率为 87.5%。它的成本很高，但并不只是蛮干 -- 这些能力是全新的领域，需要科学界的认真关注”
那么，这就是 AGI 吗？虽然新模型令人印象深刻，是通往 AGI 道路上的一个重要里程碑，但我并不认为这就是 AGI -- 仍然有相当数量非常简单的 ARC-AGI-1 任务是 o3 无法解决的，而且我们有早期迹象表明，ARC-AGI-2 对 o3 来说仍然极具挑战性。这表明，在不涉及专业知识的情况下，创建对人类来说容易但对人工智能来说不可能的不饱和、有趣的基准仍然是可行的。当创建这样的测试变得完全不可能时，我们将拥有 AGI”
这是否意味着 ARC-AGI 基准已经饱和？是的-- 该基准的 v1 版本已经开始饱和。在今年的 Kaggle 竞赛中已经出现了这种迹象--所有参赛者的合计得分将达到 81%。明年的竞赛将在 ARC-AGI-2 上进行，这是数据集的更新版本，与 v1 版保持了相同的格式，但减少了容易被暴力破解的任务。早期迹象表明，ARC-AGI-v2 将代表最先进技术的全面重置，对于 o3 来说，难度仍然非常大。与此同时，聪明人或由普通人组成的小型小组仍能获得 95% 以上的分数”
这对未来的 AGI 研究意味着什么？对我来说，主要的未决问题是 o3 背后技术的扩展瓶颈会在哪里。举例来说，如果人类标注的CoT数据是一个主要瓶颈，那么其能力就会像LLM一样迅速达到顶峰（直到下一个架构出现）
分析新系统的优势和局限性也极为重要。以下是一些 o3 在高计算设置下无法解决的任务示例（即使它在此过程中生成了数百万个 CoT 搜索令牌，并消耗了数千美元的计算资源）。有趣的是，第一个任务就是我们在大学巡回演讲中用来说明 "人类容易，人工智能难 "的任务
另外两个例子。您可以在这里找到完整的测试数据：
https://github.com/arcprizeorg/model_baseline/tree/main/results......如果您对该主题感兴趣，可以看看对这些数据的分析
o3在最难的前沿数学基准测试（EpochAI陶哲轩认证）中实现了重大突破
o3同时在其他技术基准如AIME（美国数学竞赛）和GPQA-Diamond上也达成了SOTA，在 AIME 2024 上：o3 获得了 96.7%的分数，只错过了一个问题 ，在 GPQA Diamond 上：o3 获得了 87.7%的分数，远高于人类专家的表现
o3其他表现：
SWE-bench O3有70分真的离谱，推理这路上也算看到希望了，在 Codeforces（编程测试） 上：o3 获得了 2727 分，超过了 OpenAI 首席科学家的 2665 分
o3mini表现
Sam Altman 喊话安全人员进行测试
如果你是安全研究员，请考虑申请帮助测试 o3-mini 和 o3
测试申请地址：
https://openai.com/index/early-access-for-safety-testing/
O3 Mini 1月底就可以用
阅读报告全文，请访问欧米伽研究所的“未来知识库”
https://wx.zsxq.com/group/454854145828
未来知识库是“ 欧米伽 未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。 欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。
截止到11月25日 ”未来知识库”精选的100部前沿科技趋势报告
热门跟贴