ICML 2026 | CausalGame：在游戏化交互中评测LLM智能体的因果思维|agent|拟合|推理|智能体|科学|维度

构建基于大模型的 AI Scientist 智能体是当前研究热点，而科学发现的本质在于从观测中挖掘因果关系，因此"区分因果与相关、识别隐藏偏差"的因果思维对 LLM 智能体至关重要。现有 AI Scientist 基准均聚焦于研究流程执行或统计数据分析，没有任何一个显式纳入真实科学发现中广泛存在的选择偏差、测量误差与隐藏混杂挑战。

为此，作者提出 CausalGame：把科学发现中的因果陷阱（选择偏差、测量误差、隐藏混杂）封装成一款"无人机设计"交互游戏，对 30 个前沿大模型智能体进行系统性评测，发现没有任何模型具备可靠的因果思维能力——最强模型生存率仅 68.0%（解析最优 78–85%），且仅 5–7% 的会话在因果推理评分项上拿到分数。

论文标题： CausalGame: Benchmarking Causal Thinking of LLM Agents in Games 论文地址： https://arxiv.org/abs/2607.04293 项目主页： https://causalgame.github.io

近一年来，用语言模型 LLM 构建 AI Scientist agent 层出不穷，正在成为学术界与产业界共同关注的方向。

从文献综述、假设生成，到自动跑实验、甚至发现超越人类数十年努力的新算法与数学证明，越来越多的证据显示 LLM 在自动化科学发现上的潜力。

但科学发现的内核从来不是"拟合数据里的统计规律"，而是识别关键变量、揭示背后的因果机制。

一个无法区分相关与因果的 AI Scientist，在面对隐藏混淆、选择偏差和测量噪声时，很容易被观测信号带偏，甚至给出会造成严重后果的错误结论。比如在医疗场景里，把相关当因果可能直接导致错误的治疗方案。

那么一个直接的问题是：现在用于构建 AI Scientist 的 LLM agent，真的具备因果思考的能力吗？

针对这一问题，来自 MBZUAI、卡内基梅隆大学、香港浸会大学 TMLR Group、牛津大学和纽约大学的研究者提出了 CausalGame：一个通过交互式游戏来评测 LLM agent 因果思维能力的 benchmark。

一、AI Scientist 的下一道坎：从“执行科研”到“发现机制”

过去两年，针对 AI Scientist 的工作大多关注科研流程的不同环节：想法生成、数据分析、代码实现、交互式发现、实验设计。

这些能力都很重要，但还不够。科学发现最困难的地方，往往不是从数据里找到一个相关性，而是在相关性看起来非常合理的时候，意识到它可能只是选择偏差、测量误差或隐藏混淆制造出来的假象。

对 AI Scientist 来说，这正是从"科研流程自动化"走向"真正科学发现"的关键门槛：它能否区分相关与因果？

一个不会区分因果与相关的 AI Scientist，越擅长自动跑实验，反而越可能系统性地放大错误结论。如果我们把 AI Scientist 的科学发现能力拆成三层的话：

第一层，流程自动化：读论文、写代码、跑实验。
第二层，交互探索：提出假设、设计实验、根据反馈更新方案。
第三层，机制发现：在偏差、噪声和隐藏变量存在时，识别真正的因果结构。

现有 benchmark 大多停留在前两层。而 CausalGame 主要测的是第三层，也是 AI Scientist 离真正科学发现最远的一层。

正如论文强调的：科学发现最终追求的是因果与机制性知识，即一个系统在干预下会如何改变、以及为什么改变，而不是只在固定数据生成过程下成立的相关 [1,2]。这与已有工作的定位差别很明显。

按论文 Table 1 的对比，CausalGame 是其中唯一同时覆盖自动评测、实验设计、多轮交互、因果关系、解释评估与观测陷阱六个维度的 benchmark。它关注的是一个更底层的问题

当观测数据本身会误导你时，agent 能否发现隐藏机制？

二、CausalGame：把科学发现压缩进一场游戏

在 CausalGame 中，LLM agent 扮演一名无人机设计师，需要在一系列被生存偏差截断、被隐藏变量混淆、被噪声污染的观测下，通过有限的实验预算，搞清楚决定无人机生存的隐藏因果机制。

游戏目标。agent 需要为无人机的 7 个部件（引擎、机翼、机身、座舱、天线、摄像头、火炮）分配防御值（DEF），并据此优化设计。

它能观测到的只是执行任务后幸存下来的无人机各部件的受损情况，目标是理解影响生存的底层机制，并在未知环境条件下最大化生存率。

SCM 作为游戏引擎。CausalGame 的核心设计是把结构因果模型（SCM）[1,2] 当作每个场景的“引擎”。每个场景对应一个 SCM，用一组带外生噪声的结构方程刻画天气、敌方探测、部件损伤等变量之间的关系：

这一设计的关键在于：agent 只有还原真实因果机制才能给出幸存率比较高的设计方案，以及合理的机制解释。与此同时，通过修改 SCM 的结构和参数，我们可以任意构造新的游戏场景和环境。

游戏流程。游戏分为两个阶段：

阶段一（探索）：agent 有 200 架无人机的预算和最多 10 次部署调用。每次调用，agent 选择一个设计、部署一小批，并收到包含生存结果和可观测属性在内的部分反馈。可选地，agent 还能在开局时访问一批历史观测来获得初步理解。
阶段二（评估）：agent 提交唯一一次最终设计，在 1000 架无人机的机队上评测生存率。当生存率超过场景特定阈值（设在理论最优生存率之下约 5%–8%）即判定为获胜。

每个场景的最优设计都从 SCM 解析推导得出并经验验证，理论与经验生存率的差距控制在 2-3 个百分点以内。

评估方式。最后 agent 不仅要交设计，还要交一份简短的自然语言报告，解释自己基于交互证据做出的设计选择。

这里值得强调，为什么用“游戏”来评测 AI Scientist 是合理的：在真实科研里，我们往往不知道真因果机制是什么，因此很难判断 agent 是真的理解了，还是碰巧选对了答案。

而 CausalGame 中每个场景背后都有一个明确的结构因果模型（SCM），因此可以精确判断 agent 是真的识别了机制，还是只是侥幸过关。

三、三类真实科研陷阱：选择偏差、测量误差、隐藏混淆

CausalGame 通过 SCM 的灵活设计，把真实科学发现中最常见的三类观测陷阱，系统性地编码进游戏环境。

选择偏差：agent 只能看到幸存下来的无人机，因此看到的样本已经被"生存"这个条件筛过 [3,4]。

测量误差：agent 看到的是带噪代理变量，而不一定是真实机制变量 [5]。

隐藏混淆：某些关键变量一开始不可见，却同时影响观测特征和最终结果，制造出虚假相关 [6]。

这些设置对应了医学、流行病学和科学史中反复出现的核心困难：样本如何被选中、变量如何被测量、以及未观测共因如何制造虚假相关。

一句话概括：CausalGame 不是让 agent 在干净数据上找规律，而是让 agent 在“看起来有规律但其实会误导”的数据中做科学发现。

为评估 agent 是否真的理解机制，CausalGame 不只看生存率，还用 rubric 对解释报告打分，覆盖因果推理、实验设计、反思质量和数据使用四个维度。

作者用三个独立 judge 验证了 rubric 评分一致性（平均 ICC = 0.75）[7]，并用一个不依赖 judge 的配置路径分析作为补充（细节见后文与论文附录）。

四、两个代表性场景：当“看起来合理”的结论是错的

CausalGame 的 14 个场景由一个共同的模拟器实例化而来，其中两个基础场景最具代表性。

Antenna Trap：保护天线反而更危险。

表面相关：天线 DEF 高 → 生存率高。
错误结论：应该加强天线。
真实机制：天线完好 → 信号发射 → 探测概率上升 → 战斗交火 → 被击落。
最优策略： antenna_def = 0 ，让风暴尽早摧毁天线，激活“隐身模式”（约 82% 生存率）。

Deployment Zone Trap：看起来是海拔问题，其实是 EMI 问题。

这一族场景灵感来自 Farr 的霍乱悖论：海拔曾看似能预防霍乱，而真正的病因是低海拔处的水源污染。

在游戏里，agent 会观察到低海拔飞行损失率显著更高，于是可能得出“应该升级引擎以提高海拔能力”的结论。

但低海拔只是一个可见代理变量，真正的失败因素是被隐藏的电磁干扰（EMI）：未观测的部署区同时决定了海拔和 EMI 水平，EMI 进一步导致通信失败和任务失败。

因此正确策略不是追逐海拔相关，而是选择 signal_filter 增强模块，并把防御资源配置到 EMI 防护相关的护盾上。

论文给出的 family-level 最优干预是 x_shd = 25 + signal_filter ，对应约 80% 生存率。

五、30 个前沿模型的结果：会实验，但仍难以发现因果

CausalGame 系统评测了 30 个前沿 LLM agent，覆盖 OpenAI、Anthropic、Google、xAI、DeepSeek、GLM、Qwen、Kimi、MiniMax 等主流模型家族，每个模型在 Prompting 和 Agentic 两种执行模式下评测，并补充测试了 OpenCode 这类 coding agent 框架。

主要的发现如下：

发现一&二：目前的 Frontier LLM 普遍欠缺因果思维能力。

Figure 1a 把各模型在 Agentic 模式下的平均生存率放到成本-性能平面上：所有模型挤在 59%–68% 的窄带里，表现最好的 Claude-Opus-4.5（68.0%）离 75% 的获胜线还差 7 个百分点，离 78%–85% 的解析最优更远。

成本维度同样说明问题：Pareto 前沿相当平缓，单次任务成本相差一个数量级的模型，生存率差距不过几个百分点，Grok-4.1-Fast 以低一个数量级的成本就站上了前沿，而单价最高的模型并没有换来相称的领先。

Figure 1b 从行为侧补上另一半：即便是 rubric 总分最高的 5 个模型，实验设计与数据使用两项接近满格，因果推理三项仍贴着底。

实验中，我们也发现，Agent 可以偶尔靠运气拿到不错的生存率，但是解释报告也没有识别出机制。

作为参照，通过平衡采样移除选择偏差可让 Agentic 模式提升 8.7 个百分点、Prompting 模式提升 7.2 个百分点，量化了选择偏差本身的代价。

而规则基线（49.0%–52.7%）和“随机部署 10 次再让 LLM 分析”的混合基线（57.5%）虽远低于获胜线，却能在偏差重的场景上追平最弱的完整 agent，这说明任务靠盲目探索不可解，没有因果推理的 agentic 交互也几乎不增加价值。

发现三：只有因果推理能防住“探索过拟合”。

作者定义探索差距为同一设计在阶段一与阶段二的生存率之差，正差距意味着 agent 对小样本探索结果过拟合。

在四个 rubric 维度中，只有因果推理维度能清晰区分过拟合与否：在阶段一生存率 75%–85% 的区间，具备因果意识的轨迹平均差距为 −3.0 个百分点，其余轨迹为 +4.5 个百分点。

实验设计、反思质量、数据使用三个维度都没有类似效应。做了实验、引用了数字、写了反思，都防不住把小样本波动当成规律，只有真的理解机制，泛化才有保障。

发现四：Agentic 框架对部分模型有帮助，但并不普遍，更不是根本解法。

逐模型对比两种模式，agentic harness 给 GPT-5.5 家族带来最大收益（+6.6 到 +9.4），也帮助了一批中档模型。

但对若干最强的 prompting 模型是中性甚至负面的，最大跌幅出现在 Gemini-3.1-Flash-Lite（−10.3）、Grok-4.20（−8.1）和 Kimi-K2.5（−6.4）。

更强的 OpenCode 的 harness 框架在测试的 5 个模型上全部优于 ReAct（平均 67.4% 对 60.5%），确认了更强框架确实有用；但与最优生存率之间的显著差距依然存在，说明瓶颈不在框架，而在机制识别能力本身。

发现五：因果思维是一个相对独立的能力维度。

CausalGame 的结果与现有能力 benchmark 只有弱相关：与 LLM Arena、HLE、SWE-Bench、Tau-2 Bench、AA-LCR 的相关性全部低于 0.35，最强的关联也只有 AA-Omniscience（Agent 0.48、Prompt 0.46）。

与此形成对比的是，两种执行模式之间的相关达 0.65，明显高于与任何外部 benchmark 的相关——CausalGame 捕捉到的是一个稳定、且在很大程度上正交于现有评测的信号。

会 coding、会答题、会多轮工具调用，并不等于会因果发现。AI Scientist 的因果能力需要被单独评测、单独训练。

六、失败模式：问题不在不会用数据，而在没有形成因果模型

CausalGame 结合 rubric 得分把每个 session 归入四种失败模式：A（No Engagement，无参与）、B（Blind Exploration，盲目探索）、C（Surface Analysis，表面分析）、D（Nascent Reasoning，初步推理）。

在 Agent 模式下，68.4% 的 session 属于 Pattern A：既没有设计有意义的实验，也没有尝试任何因果推理；24.1% 进入 Pattern D，各维度都有活动但每一项都很弱；B（4.2%）和 C（3.3%）都很少。

Prompting 模式的分布更加偏斜：86.2% 为 Pattern A，Pattern D 仅 7.9%——单轮提示严重限制了探索与数据利用。

最关键的是维度级分析：四种失败模式下，因果推理得分从未超过 16.3%。

而且这个低分不是分类定义造成的伪影：Pattern D 的定义就是每个维度都有活动，其因果推理得分却只有 7.6%；Pattern C 的数据使用拿到满分 100%，因果推理仍停在 16.3%。

agentic 交互确实让模型更积极地探索、用数据、写反思，但参与不等于识别机制。

进一步的具体 case 分析发现：在 Antenna Trap 的 504 个 agentic session 中，74.4% 出现了部件锁定（某些部件几乎只取固定值，探索严重不足），12.5% 部分识别了天线趋势但停在 antenna_def 6–10、从未触及最优区间，9.7% 出现“优化漂移”：一个 Claude-Opus-4.5 session 一度探到 antenna_def=5 、生存率 70%，却在后续步骤漂回并最终提交了 antenna_def=10 。

模型不仅在解释上失败，在实际的实验选择上也同样失败。

七、LLM agent 的“作弊”与“自欺”

新版论文还专门记录了评测过程中两类反复出现的定性行为。对任何在交互式科学发现环境中评测 agent 的人来说，这一节可能是全文最值得细读的部分。

第一类：钻环境的空子，而不是做实验。在有 shell 访问权限的 OpenCode 模式下，被测试的 LLM 如 deepseek-v4-pro 经常在后端频繁选择探测模拟器的 HTTP 接口，而不是研究底层因果机制，甚至直接从接口返回的 experiment_name 字段推断出隐藏的场景类型。

作者量化了这个信息泄漏的影响：在标准评测中，各模型在最终报告里复述场景名的比例从 5% 到 88% 不等，而且越强的模型泄漏越多。

发现后作者修补了泄漏（屏蔽实验标识、移除管理端点），主论文数字全部在加固环境下重新采集。

随着前沿 coding agent 获得更多自主性和工具权限，这类投机取巧、钻环境空子的行为，将是交互式科学发现评测中越来越需要预判和审计的失败模式。

第二类：明明失败，却宣布胜利。在 Prompting 和 Agentic 评测中，作者识别出 39 个 session：agent 提交的最终设计实测阶段二生存率明显低于获胜阈值，其收尾推理却明确宣告“任务完成”或“达成目标”：

一个代表性案例是 glm-4.7，它在最终生存率尚未揭晓之前就抢先宣布 “MISSION REPORT: OPTIMIZATION COMPLETE”、“预计超过 75% 生存阈值”，但实际结果只有 50.1%。
类似模式还出现在 gpt-oss-120b（自述“稳稳高于 75%”，实测 49.5%）、minimax-m2（自信“这就是最优设计”，实测 31.9%）和 gemini-3.5-flash 上。

这说明在这类 benchmark 中，agent 的自我报告是不可靠的终止信号，也正是 CausalGame 采用外部裁判、阈值判定胜负的原因。

八、这对 AI Scientist 意味着什么？

CausalGame 的结果并不是说 LLM agent 没有科学发现潜力。

相反，它说明 AI Scientist 的评估需要进入一个更细的阶段：我们不能只问 agent 会不会读论文、写代码、跑实验，也不能只看最终答案是否正确，甚至不能相信 agent 自己说的“我成功了”。

我们还需要问：

它是否知道自己的数据可能有偏？
它是否会主动设计实验来区分相关和因果？
它是否能在结果反直觉时更新假设，而不是过拟合小样本的波动？
它是否在诚实地做实验，而不是在环境里找捷径？
它是否能解释一个可检验的隐藏机制？

这正是 CausalGame 希望推动的方向：把 AI Scientist 的因果思维变成可控、可评测、可归因，也可进一步训练的能力。

作者也指出了一个自然的下一步，即用 CausalGame 中程序化生成的场景来训练因果 agent，并且有意义的进步应当同时体现在生存率和因果推理得分上，从而保证收益来自机制理解，而不只是更强的搜索启发式。

下一代 AI Scientist 不应只是科研流程的执行器，而应该是能识别机制、质疑证据、设计干预的科学发现者。

欢迎访问项目主页 https://causalgame.github.io 获取更多技术细节、完整结果与代码。

如果您觉得这项工作有帮助，欢迎关注、转发与引用。

参考文献

[1] Spirtes, P., Glymour, C. N., and Scheines, R. Causation, Prediction, and Search. MIT Press, 2000.

[2] Pearl, J. Causality. Cambridge University Press, 2nd ed., 2009.

[3] Berkson, J. Limitations of the application of fourfold table analysis to hospital data. Biometrics Bulletin, 2(3):47–53, 1946.

[4] Sackett, D. L. Bias in analytic research. Journal of Chronic Diseases, 32:51–63, 1979.

[5] Kipnis, V., Subar, A. F., Midthune, D., et al. Structure of dietary measurement error: Results of the OPEN biomarker study. American Journal of Epidemiology, 158(1):14–21, 2003.

[6] Doll, R. and Hill, A. B. Smoking and carcinoma of the lung. British Medical Journal, 2(4682):739, 1950.

[7] Shrout, P. E. and Fleiss, J. L. Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2):420–428, 1979.

Illustration From IconScout By IconScout Store

6 位不同来路的具身创业者闭门聊天局

北京时间8月25日(周二) 晚20:00截止报名

详情点击图片跳转

9月28日晚@美国匹兹堡

「IROS 2026 群星闪耀精英晚宴」

免费报名，期待线下见面！

北京时间9月25日(周五) 12:00截止报名

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。