OpenAI推出o3模型系列(因为o2和英国电信商命名有冲突，所以跳过了o2)，包括o3,o3mini ，o3 mini low（低计算力）,o3mini medium（中等计算力），o3mini high（高计算力）
废话不多多说，直接看o3硬核测试表现
o3在ARC-AGI（通用人工智能评估基准）上取得了惊人的高达87.5%的分数，而人类是85%！
ARC-AGI 创始人对这一测试结果的详细解读：
今天，OpenAI 发布了其下一代推理模型 o3。我们与 OpenAI 合作，在 ARC-AGI 上对其进行了测试，我们相信它在让人工智能适应新任务方面取得了重大突破。在低计算模式下（每个任务的计算费用为 20 美元），它在半私人评估中的得分率为 75.7%；在高计算模式下（每个任务的计算费用为数千美元），它的得分率为 87.5%。它的成本很高，但并不只是蛮干 -- 这些能力是全新的领域，需要科学界的认真关注”
那么，这就是 AGI 吗？虽然新模型令人印象深刻，是通往 AGI 道路上的一个重要里程碑，但我并不认为这就是 AGI -- 仍然有相当数量非常简单的 ARC-AGI-1 任务是 o3 无法解决的，而且我们有早期迹象表明，ARC-AGI-2 对 o3 来说仍然极具挑战性。这表明，在不涉及专业知识的情况下，创建对人类来说容易但对人工智能来说不可能的不饱和、有趣的基准仍然是可行的。当创建这样的测试变得完全不可能时，我们将拥有 AGI”
这是否意味着 ARC-AGI 基准已经饱和？是的-- 该基准的 v1 版本已经开始饱和。在今年的 Kaggle 竞赛中已经出现了这种迹象--所有参赛者的合计得分将达到 81%。明年的竞赛将在 ARC-AGI-2 上进行，这是数据集的更新版本，与 v1 版保持了相同的格式，但减少了容易被暴力破解的任务。早期迹象表明，ARC-AGI-v2 将代表最先进技术的全面重置，对于 o3 来说，难度仍然非常大。与此同时，聪明人或由普通人组成的小型小组仍能获得 95% 以上的分数”
这对未来的 AGI 研究意味着什么？对我来说，主要的未决问题是 o3 背后技术的扩展瓶颈会在哪里。举例来说，如果人类标注的CoT数据是一个主要瓶颈，那么其能力就会像LLM一样迅速达到顶峰（直到下一个架构出现）
分析新系统的优势和局限性也极为重要。以下是一些 o3 在高计算设置下无法解决的任务示例（即使它在此过程中生成了数百万个 CoT 搜索令牌，并消耗了数千美元的计算资源）。有趣的是，第一个任务就是我们在大学巡回演讲中用来说明 "人类容易，人工智能难 "的任务
另外两个例子。您可以在这里找到完整的测试数据：https://github.com/arcprizeorg/model_baseline/tree/main/results......如果您对该主题感兴趣，可以看看对这些数据的分析
o3在最难的前沿数学基准测试（EpochAI）中实现了重大突破
o3同时在其他技术基准如AIME和GPQA-Diamond上也达成了SOTA，在 AIME 2024 上：o3 获得了 96.7%的分数，只错过了一个问题 ，在 GPQA Diamond 上：o3 获得了 87.7%的分数，远高于人类专家的表现
o3其他表现：
SWE-bench O3有70分真的离谱，推理这路上也算看到希望了，在 Codeforces 上：o3 获得了 2727 分，超过了 OpenAI 首席科学家的 2665 分
o3mini表现
Sam Altman 喊话安全人员进行测试
如果你是安全研究员，请考虑申请帮助测试 o3-mini 和 o3
测试申请地址：
https://openai.com/index/early-access-for-safety-testing/
O3 Mini 1月底就可以用
⭐星标AI寒武纪，好内容不错过⭐
用你的赞和在看告诉我～
求赞
热门跟贴