ICML 2026 的 AI4S 现场：工具、合著者，还是创始人？|icml|science|scientist|workshop|合著者|神经网络

作者丨周蕾

编辑丨岑峰

ICML 2026 的最后一天，一个主题为“AI Scientists —— Tools, Co-authors, or Founders?”的 workshop，让在场研究者们讨论起了有关 AI for Science 的焦虑。

其实这个 workshop 的主题，本身就带着一层追问：当 AI 从实验室里的“工具”变成科学家的“合作者”，甚至试图成为独立提出问题的“创始人”，我们到底该怎么衡量它的价值？

Workshop的全天议程横跨了从理论到应用的多个切面：Allen Institute for AI 的 Peter Clark 谈 AI 与通用科学的交叉，Northwestern University 的 Wengong Jin 展示 AI 在药物与化学发现中的落地，CuspAI 的 Jonas Kohler 讨论 AI 在计算化学采样中的角色，Google DeepMind AI Impact Accelerator 的 Ramine Tinati 则从产业侧审视 AI 与科学的结合。

普林斯顿团队提出了“掌控力”（empowerment）框架，讨论 AI 在没有人类反馈时如何自主探索未知任务，Google DeepMind 团队则用物理信息神经网络逼近流体方程的不稳定奇点，为千禧年数学难题提供新的数值路径——研究者们正在从完全不同的方向逼近同一个问题：AI 到底能在多大程度上参与科学发现？

但最激烈的交锋发生在一场圆桌讨论上。来自 Meta、Anthropic、LG AI、UCSF 和首尔大学的五位嘉宾，围绕一个核心困境展开了近一小时的辩论：当 AI 模型能在几周内刷爆任何静态 benchmark，我们还能用什么标准来定义“AI scientist”？

Meta 的 Ben Miller 认为，真正的质变在于“假设生成”而非“假设检验”——AI 能提出人类从未想过的猜想，才是它成为 co-scientist 的关键；Anthropic 的 Julian Schrittwieser 则直言，他更相信与模型的实际交互和“直觉”，传统 benchmark 很难代表真实的研究工作流；UCSF 的 Brian Cheung 把标准定得更高，认为 AI scientist 的终极衡量只能是“是否做出了让人愿意在此基础上继续构建的发现”。

而 LG AI 的 Moontae Lee 和首尔大学的 Chaok Seok 则从两个相反的方向发出警告：前者指出 benchmark 一旦发布就“死”，必须做成动态演化的 RL 环境；后者则强调，科学中还有很多“我们不知道自己不知道”的领域，AI 和科学必须协作进化，而非单方面替代。

这场争论暴露出的，正是 AI for Science 当前最深层的张力：我们急于给 AI 的“科学能力”打分，却连“科学能力”本身该怎么定义都还没达成共识。而在 workshop 的其他环节，研究者们正在用具体的工作回应这种焦虑——有人从强化学习的基础理论出发，重新设计 AI 的“内在驱动力”；有人则把物理定律写进神经网络的损失函数，让 AI 去捕捉连传统数值方法都无法触及的数学结构。

以下是本场 workshop 的部分精彩发言，雷峰网 AI 科技评论做了不影响原意的编辑：

圆桌：当 Benchmark 失效，AI Scientist 的衡量标准是什么？

本场圆桌的主题为“Benchmarking Breakthroughs in AI Scientists: Definitions and Truthworthiness”，五位嘉宾分别是：来自 LG AI 的 Moontae Lee，Anthropic 的 Julian Schrittwieser，UCSF 的 Brian Cheung，Meta 的 Ben Miller 与首尔大学的 Chaok Seok。

雷峰网注意到，关于 benchmark 的争论中，Moontae Lee 首先抛出悲观观察。他花了五年时间做 LLM 基础工作，之后转向推理和思考。在此过程中，他发现 benchmark 对提升性能至关重要，但说实话，benchmark 一旦发布，几乎立刻就“死”了——现有模型为了竞争 SOTA，几乎瞬间就能解决那些 benchmark 刚发布时还不存在的问题。这一现象很难避免，因为只要存在难题，大家就会去攻克，这本身就是构建模型的过程。所以他现在构建 benchmark 的思路转向了动态化：让 benchmark 基于最新论文或全新数学问题不断演化，像 RL 环境一样“呼吸”，才能避免被轻易拟合。

Julian Schrittwieser 则更为激进。他理想中的 AI scientist 应该像一个合作者，可能是 Slack 或 Discord 上的一个 agent，可以向他发送问题和结果，然后得到有用的反馈。不过他对 benchmark 有个更犀利的看法：他其实不太买账。他评估模型更多是靠实际交互和“直观感受”。他认为很难做出能真正代表实际使用和工作流程的 benchmark，做一些微观 benchmark 来指导自己的研究、衡量改进进展是合理的，但很难做出长期有效、能跨代比较模型的 benchmark。

Brian Cheung 把标准定得更高。他认为衡量 AI scientist 是非常困难的事，即使在科学领域本身，“什么是科学”也很难定义。一个可能有用的角度是先定义科学家做什么，而“发现”肯定是其中之一——也许理想的 AI scientist 应该能做出某种发现，让人们受到启发，并在此基础上继续构建。他的衡量标准至少是这样的。他引用导师的话来区分“假设检验”与“假设生成”，即不在乎一个机器学习模型是否证明了某个定理，而在乎它是否提出了数学家觉得有用或有趣的猜想。目前 AI 在假设检验做得很好，但真正的假设生成仍遥不可及。

Ben Miller 从另一个角度指出 benchmark 的局限。他认为benchmark 在机器学习领域之所以有趣，很大程度上因为 ML 的本质是在摊销成本——先把某件事做得很昂贵，然后学会用更便宜的方式复现它。但 LLM 和 agent 现在似乎走到了一个临界点：它们可能开始能够组合不同想法、做出真正新颖的东西。这和传统的"复现昂贵过程"不太一样。他个人认为，这确实是 AI scientist 迈向下一步的关键，但我们还没真正看到它实现。某种意义上，除了历史的事后检验之外，我们暂时找不到更好的衡量方式。它某种程度上已经超越了传统 benchmark 的范畴。

在AI for Science 是被高估还是被低估的问题上，嘉宾们给出了不同判断。Chaok Seok 认为，在 AI 社区里是被高估了——人们有时会高估现有系统的能力；但在科学社区里是被低估了，很多研究者仍然把 AI 主要当作一种生产力工具，而非能够从根本上改变科学研究方式的东西。

Ben Miller 认为，从投资热度来看，这个领域确实有些过热——我们尚未看到证据表明 AI 能提出“对未知现象的有趣而简洁的理解”。但 Julian 持相反意见：如果我们看到过去五年的进步，那一年之后“所有软件工作自动化”、两年之后“所有智力工作自动化”并非不可能，从这个角度看，它反而被低估了。问题在于，当前模型仍需要大量人类引导和干预。

验证信号从哪里来，是讨论的另一个焦点。Brian Cheung 认为，科学是非常回顾性的——你发现不了发现，直到你看到它；你也不知道它是否重要，直到它被广泛采纳。科学是开放的，这导致验证信号极难获取。他提出一个可能的新 scaling law——“evaluation scaling law”：你能把多少评估塞进系统，决定了 AI 能做多好的科学。这些评估可以来自物理实验，也可以来自更好的模拟器。Ben Miller 进一步区分了“假设检验”与“假设生成”的难度。他认为“意外发现”是很多科学突破的来源，而这恰恰是 AI 难以扩展的部分——这也是为什么他坚持认为，比起“完全自主的 bot”，“co-scientist”才是更现实的路径。

观众的精彩提问也是本场workshop圆桌的看点之一。一位观众自嘲“问了个挑衅的问题”，他提问：如果模型在 benchmark 上强 10 倍或 100 倍，AI scientist 的问题是否就解决了？

Moontae Lee 的回应最为谨慎：模型强 100 倍本身需要 benchmark 来衡量，而 scaling law 目前是用预训练 token 数衡量的，这与"发现问题"之间还没有建立连接。Julian 则认为，除了更强的模型，还需要更好的“harnessing”范式——就像 Claude Code 解锁了软件工程一样，科学领域也需要类似的驾驭工具。Chaok Seok 提醒道，科学中还有很多“我们不知道自己不知道”的领域，真实自然并不在论文里。

另一位观众从风投视角提问：AI4S领域是否有过度炒作或投资不足的问题？钱该往哪投？Julian 指向了可重复性危机：LLM 可以自动化评审论文，减轻人类审稿人负担、及早发现问题，这对公共领域极有益处，但商业公司缺乏动力去做。Brian Cheung 甚至提议，未来应该有一个 benchmark——“一个语言模型能否复现你的研究？如果不能，就重写论文。”

Moontae Lee 补充了评审中的具体难点：LLM 在评审标准化方面进步很快，但人类评审员与 LLM 在“新颖性评估”上差距巨大。算法上判断新颖性需要与所有现有工作比较，这在计算上不可行，而人类专家却能直觉式地做出判断。

在圆桌的最后，Ben Miller 表达了对“技能退化”的担忧。学习科学或任何东西，通常都需要与最困难的部分搏斗——暴露于没有答案的状态，再慢慢获得答案。他希望未来的研究者，无论是人还是 AI，都不要跳过这个“搏斗”的过程，直接跳到某个能给出令人信服答案描述的东西。

“科学没有解决方案，但这个过程本身，或许才是我们十年后最不该忘记的事。”

当 AI 不再需要人类反馈

来自普林斯顿大学的计算机科学助理教授 Benjamin Eisenberg 与其博士生 Catherine G 带来了关于“掌控力”（empowerment）的最新研究。Eisenberg 运营着普林斯顿强化学习实验室，其工作曾获得 NeurIPS 最佳论文奖、NSF CAREER 奖、斯隆研究奖等荣誉。他们的研究试图回答一个基础问题：当 AI 越来越接近人类知识前沿，我们还能靠什么驱动它继续探索？

Eisenberg 首先抛出了三个让他失眠的问题：

第一，训练前沿 AI 所需的人类反馈成本已达数十亿美元，且随着知识边界推进，现在需要雇佣博士、律师、医生来提供训练数据，“那明年怎么办”？
第二，我们真正在乎的不是今天会解的问题，而是明天不会解的问题，如何训练模型为未知任务做准备？
第三，当 AI 帮我们订机票、发邮件、写软件时，我们怎么知道它真的“有所掌控”？

他们引入了掌控力的概念，这是一个源自信息论的旧概念，但团队赋予了它新的数学内涵。简单来说，它指的是“你的行为对世界可能有多大影响”。Catherine 用登山者做比喻：山脚下的新手只能走安全路线，选择很少；而山顶的资深徒步者可以走向四面八方，即使天气突变或走错路也能应对。前者是“失去掌控力”的，后者是“充满掌控力”的。

关键在于，团队区分了两种形式。潜在掌控力是“处于能行使选择的状态”——比如先爬到山顶，从那里可以决定往哪边走；有效掌控力则是“主动行使选择”——比如从山顶主动走下山，进入不同路径。两者都是掌控行为，但机制不同。

在数学上，潜在掌控力衡量的是信息从当前选项传递到未来状态的最大信息量。团队证明，这等价于“承诺一个选项后节省的预期时间”。Catherine 用 ICML 现场举例：如果你约人见面但不知道对方想喝咖啡还是去自动售货机，选在 ICML 欢迎标志处见面就是潜在掌控力高的，因为无论对方选什么你都能快速到达；反之约在偏僻的 Hall C 三楼，承诺任何选项都省不了时间。

更重要的是，掌控力与解决下游任务的能力直接挂钩。当我们不知道明天面对什么任务时，最大化掌控力的状态为适应能力提供了理论保证——从这些状态出发，智能体能最快适应新的目标。换句话说，婴儿玩积木不是在解决某个特定任务，而是在通过"掌控"环境来为无数未来问题做准备。

基于这一理论，团队开发了同时学习潜在和有效掌控力的算法。在实验中，当掌控力定义在整个观察空间时，智能体倾向于忽略难以扰动的物体；但当限制在特定对象（如足球或积木）上时，智能体会主动导航到该对象并执行不同操作。在 Craft Axe（Crafter 与 NetHack 组合的二维 Minecraft 环境）中，潜在掌控策略让智能体收集资源保命，而有效技能则包括造镐、挖矿、种树等。

团队在演讲最后提出了几个开放问题：掌控力如何依赖感知？在部分可观察环境中能否训练？掌控力是否对应信息收集行为？以及在多智能体环境中，如何设计让语言模型帮助人类保持可量化的掌控？