你有没有想过一件事：现在的AI大模型已经能写代码、能画图、能陪你聊天聊到深夜，可要是让它去用QuPath分析一张病理切片，或者在ASKCOS里规划一条化学合成路线，它能干好吗？
这个问题听起来可能有点奇怪。毕竟我们已经见过太多AI操作电脑的演示视频，点点鼠标、敲敲键盘，看起来都挺顺畅。但科学软件是另一个物种。它们界面复杂、操作逻辑反直觉、而且往往要求极高的精度。一个像素的误差,在修图软件里无所谓，在NMR谱图分析里可能就意味着整个化学结构判断错误。
来自清华大学、UCLA、RIKEN AIP等十几所机构的研究者们，联手搞了一件挺较真的事:他们造了一个叫OSWorld-Science的基准测试，专门用来检验AI智能体在真正的科研软件里能走多远。结果出来之后,我只能说,比我想象的要惨烈得多。
科学软件到底难在哪
先说清楚这个测试长什么样。研究团队招了一批有博士水平知识背景的领域专家,涵盖化学、物理、医学、生物、统计、地理信息和语言学七个方向,让他们设计真实研究中会遇到的任务。整个基准最后收录了146个任务,覆盖了17种软件,从QuPath病理图像分析,到ChemDraw化学结构绘制,到ASKCOS逆合成路线规划,到SAS和R的统计建模,到ANSYS和OpenFOAM的工程仿真,再到用来做语音学分析的Praat、处理脑电数据的EEGLAB。
AI智能体*：也叫计算机使用智能体（Computer-Using Agent，简称CUA），指的是能够通过观察屏幕截图、理解图形界面，然后模拟鼠标点击和键盘输入来操作电脑软件的AI系统，和那种只会聊天回答问题的AI不是一个概念。
这些任务不是随便拍脑袋想出来的。研究者的筛选标准很明确:选的问题得是科学家真正关心、真正需要用软件解决的问题。所以这个任务集里,既有AI能轻松搞定的简单操作,也有连最强模型都束手无策的硬骨头,形成了一条完整的难度梯度。
测试结果给出的第一个数字就让人倒吸一口气:在这12个顶尖模型里,表现最好的那个,平均成功率也只有73.7%,而在最难的那批任务上,成功率直接掉到40%左右。要知道,这些可都是目前业界最强的闭源和开源模型,包括GPT系列、Claude系列、Gemini、Qwen和Kimi。
这意味着什么？意味着即便用上了最先进的视觉语言模型,配上精心设计的执行框架,AI在面对专业科学软件时,平均每4次操作里,还是会有超过1次彻底失败,拿不出一个可用的答案。
这事儿为什么重要,得先搞清楚这些AI到底是怎么工作的。它们每一步都靠看屏幕截图来理解当前状态,然后决定下一步该点哪里、输入什么。这个过程被研究者形式化成一个叫POMDP的框架。
POMDP*：全称是部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process）,简单说就是智能体看不到系统完整的内部状态,只能靠有限的观察（比如截图）去猜测和决策,这和下棋时能看到整个棋盘完全不同。
这套框架听起来抽象,但它精确描述了AI在操作科学软件时面临的真实困境。软件内部有大量你看不见的状态,比如一个分子的立体构型、一组像素对应的物理坐标、一段仿真计算是否真的收敛了。AI只能通过屏幕上的有限信息去推断这些隐藏状态,一旦推断错了,后面所有操作都建立在错误的地基上。
打分不是简单的对错二元判断
这个基准另一个讲究之处在于评分方式。科学任务的答案往往不是非黑即白的,有的题目要求精确匹配(比如画出正确的分子结构),有的题目允许一定误差范围(比如统计回归参数落在某个区间内就算对)。因此整套评测采用了部分计分机制,0到1之间打分,而不是简单的通过或失败。
这套评分系统背后还配了专门的执行型评估器,会直接检查软件运行后留下的产出文件,比如分子结构、分割掩膜、绘图结果、数值计算结果,逐一核对。
这就好比你让一个学生做一份实验报告,老师不会只看报告最后写的"正确"或"错误"两个字,而是会打开报告逐项核对数据、检查公式、看图表是否画对。这种细粒度的检查方式,比起简单的任务完成率,能挖出更多藏在细节里的问题。
贵的不一定好用,便宜的也不一定省心
研究团队把12个模型的平均得分和单任务API调用成本放在一张图里对比,结果挺有意思。Claude Fable 5.1拿下了最高分73.7%,每个任务花费大约6.5美元。GPT-6 Astra和Claude Opus 5紧随其后,分别是57.4%和57.9%,花费也差不多在6到7美元之间。
但便宜的模型里也有分化。GPT-5.6 luna每个任务只花0.23美元,得分却只有22.6%。Kimi K3花了11.7美元,得分反而只有30.2%,比luna贵了51倍,效果却没好太多。这说明砸钱不一定能砸出效果,模型本身的能力底子和任务适配度才是关键。
分领域来看,差异更夸张。统计学任务上,表现最好的模型能冲到97%,GPT-5.6 luna甚至只花0.06美元就拿到88%的高分,这是整个测试里性价比最炸裂的一组数据。但化学任务简直是地狱模式,表现最好的Fable 5.1和Opus 5也只能拿到44%和39%,其余八个模型的得分几乎都在6%以下。
为什么化学这么难？因为化学任务经常涉及手绘分子结构、识别立体构型、从文献图片里抠取化学式这类高精度视觉理解任务,一旦某个碳原子的手性判断错了,后面整条反应路线就全盘崩溃。
轨迹分析揭开的真相:大部分失败根本交不出答案
研究团队对1500多条运行记录做了逐一分类,结果发现一个让人意外的现象:只有26.3%的运行拿到了满分,但在剩下失败的运行里,60.6%根本没能产出任何可评分的结果,而不是产出了一个错误的结果。
这个区别很关键。错误的答案说明AI至少理解了任务、尝试了方法,只是判断错了。但"什么都没交"说明AI耗尽了操作预算(通常是100步),却连最终文件都没能写出来。这667次失败里,613次是预算耗尽,只有极少数是AI主动放弃。
有一类模型表现出特别明显的模式:GPT系列模型在化学任务里常常写一个空的答案骨架,然后在填充内容之前就把预算用光了。这就像你让一个人填一张复杂的表格,他先把表头和格式工整地打印出来,结果填内容填到一半纸没了,交上去的是一张只有标题的空白表。
模型之间还有个挺有意思的性格差异:GPT系列几乎从不用自然语言解释自己在做什么,不到5%的回复里有叙述性文字；而Qwen-CUA则是91%的回复都在喋喋不休地解释。Gemini 3.1 Pro把87%的输出token都花在了"思考"过程上,而MiniMax M3只花了11%。
但这里有个反直觉的发现:这些交互风格上的差异,跟最终能不能成功几乎没有关系。研究者用固定效应模型做了统计检验,发现叙述多不多、思考占比高不高,跟任务是否成功之间,在统计意义上没有显著关联。换句话说,一个模型话多话少、想得深想得浅,都是它自己的"性格",跟它办不办成事是两件不太相关的事。
工具没装好,再强的AI也白搭
这个基准里有个特别值得细讲的案例,发生在QuPath病理图像分析任务上。任务要求AI把一张模型注意力图对齐到参考切片上,但这需要先安装一个叫"交互式图像对齐"的插件,而这个插件在系统启动时压根没装。
十二个模型里,十个在这个任务上交了白卷。只有GPT-6 Astra和Claude Fable 5.1拿到了满分。
对比一下这两种处理方式就能看出差距在哪。GPT-6 Astra先去侦察环境,确认缺了这个插件,下载对应版本,然后把安装包拖进QuPath运行窗口,让QuPath自己来注册这个扩展。装完之后,它打开分析菜单,确认插件真的出现了,这才开始动手做科学分析。全程31步,花了2568个输出token,干净利落。
Claude Opus 5走了一条完全不同的路。它也正确诊断出缺插件这个问题,但接下来它猜测插件应该放在哪个文件夹,直接从命令行把文件复制进去。QuPath压根不知道这件事发生了,所以什么都没注册成功。更离谱的是,它在第19步就打开过分析菜单,看到里面只有六个原装选项,证明安装没生效,但它没把这个证据当回事,反而继续回去读日志文件、重新解压插件包检查内部结构,把同样的"安装再重启"循环又重复了79步。最终跑满100步上限,耗费26879个输出token,什么都没交出来。
这件事的本质不是谁更聪明,是谁真正问过软件本身"你装好了吗"。注册一个扩展是只有QuPath自己能完成的事务,把文件塞进一个看起来合理的文件夹,只是制造了一个表面正确但内核什么都没变的假象。如果不去验证这个前提条件,后面所有建立在"插件已装好"这个假设上的操作,都是建在流沙上的楼。
这就好比你去一家餐厅吃饭,厨房说菜单还没更新完,你却自己跑去后厨把一张新菜单的打印纸贴在墙上,然后坐下来点菜,点完发现服务员压根不知道这道新菜存在。墙上贴的纸再整齐,厨房系统里没有这道菜,这顿饭就是点不出来的。
化学结构识别里,一步错步步错的连锁反应
还有一组对比案例更能说明问题,发生在化学结构重建任务上。两条轨迹步数差不多,但结局天差地别。
成功的那条轨迹是关于一种叫Lenacapavir的药物结构提取任务。Opus 5先用命令行工具定位到文献里的具体表格,然后逐步放大图像到合适的分辨率,把分子共用的骨架和17个不同的取代基分开处理。这个拆解很关键:骨架只需要编码一次,不用每个变体都重新画一遍。更重要的是,在最终写入答案之前,它交叉核对了实验数据列和表格脚注,用RDKit解析了每一条SMILES化学式,还专门核实了几个关键立体中心的构型判断。最终评估结果是17行全部正确。
失败的轨迹发生在另一种天然产物Archangiumide的结构重建任务上。同样是Opus 5,这次大部分时间都花在放大图片、画坐标网格、手动标注原子和化学键坐标上,直到临近结束才敲定一个分子图。然后它用Open Babel把SMILES转换成另一种格式,重新计算分子式和InChIKey来验证自己的猜想。这个验证动作看起来挺严谨,但问题是,它验证的起点和终点共用了同一个假设,就是最初对楔形键构型的解读。最终评估发现分子图和分子式是对的,但立体化学构型错了,分数直接判0。
SMILES*：一种用文本字符串表示分子结构的通用格式,化学软件之间交换分子信息基本都靠它。
这两个案例放在一起看,揭示出一个特别值得记住的教训:长轨迹和反复检查本身不能保证正确,如果所有的检查共享同一个隐藏假设,那么错误会被这些检查完美地保护起来,而不是被发现。真正有效的验证,是拿一个独立于原始判断之外的证据去反着核实,而不是用自己生成的结果去确认自己。
这就跟你写完一篇稿子自己反复读几遍检查错别字完全不是一回事。如果你最初理解错了一个关键事实,反复读稿子只会让你越来越确信这个错误是对的,因为你每次读的时候脑子里都带着同一个预设。真正能揪出错误的,是找一个完全没看过你原始思路的人来读一遍,或者隔几天用全新的眼光重新审视。
语言切换会改变AI的"行为习惯"
研究团队还做了一组挺特别的实验:把同一个任务用六种语言(英语、中文、日语、西班牙语、法语、泰语)分别喂给模型,看看表现会不会变。
结果显示,对Claude Opus 5来说,提示词语言换了,它的操作风格也会跟着变。用中文和日语提示时,它倾向于用脚本命令行的方式解决问题,轨迹长度保持在29到32步；但换成西班牙语、法语或泰语,它会更多地转向图形界面点击操作,轨迹一下子拉长到36到44步。
这还牵连到模型回复用什么语言。Opus 5在收到中文提示时,89%的自然语言回复会用中文；收到日语提示时,65%用日语；但收到法语和泰语提示,它却几乎全程用英语回复。相比之下,Claude Sonnet 5无论收到哪种语言的提示,基本都坚持用英语回应,几乎不会被带偏。
有意思的是,两个模型的最高分都出现在日语提示下,而中文提示的得分反而比英语低。这提示我们,提示词语言不只是表面的翻译问题,它可能触发模型内部完全不同的策略路径,进而影响最终表现,而这种影响目前还很难被完全预测。
统计学任务里,AI宁愿绕开专业软件也要走捷径
统计学部分的分析特别值得一提,因为它揭示了一个很现实的问题:当AI有多种工具可选时,它会怎么选？
在统计学任务环境里,系统同时提供了本地安装的R语言、RStudio,以及通过网页访问的SAS在线版本。结果是,在240次运行里,有214次压根没打开过SAS Studio、RStudio或者任何图形化编辑器,绝大多数都是直接在终端里敲R命令完成的。
这些模型给出的理由挺一致:SAS云端版本需要上传下载文件,流程繁琐还容易出错,而本地装好的R同样能用,何必冒险。有个模型甚至在完成任务后还专门写了一句话解释自己为什么不用SAS,大意是"用SAS OnDemand会带来显著风险,收益却没有增加"。
这背后其实是一个挺朴素的成本收益权衡。如果任务说明里写着"用哪个工具都不影响打分",那AI自然会倾向选择操作风险最低的那条路,即便任务名义上是想测试AI操作专业统计软件的能力。这也提醒我们,如果真想测出AI操作某个特定软件的能力,任务设计上就必须让这个软件变成唯一可行路径,否则测出来的只是AI的"偷懒偏好"。
不过这里也有个耐人寻味的发现:真正尝试了SAS在线平台的运行里,中位数得分并没有明显下降。反倒是那些被迫使用图形化文本编辑器(比如gedit或VS Code)来写代码的运行,得分显著更差,步数也明显更多。换句话说,真正拖后腿的不是"用专业软件"这件事本身,而是在图形界面里反复打字调试这件事本身就效率低下、容易出错。
坐标系不对齐,是个被忽视的大坑
贯穿多个领域案例的一个共性问题,是坐标系统不匹配导致的操作完全失效。
具体来说,系统提示词里写明了屏幕分辨率是1920x1080像素,但有几个模型(比如Gemini 3.1 Pro、Qwen3.7-plus、Qwen-CUA、MiniMax-M3)在生成点击坐标时,用的是一套归一化的0到1000区间,或者按照它们自己"看到"的缩放后截图尺寸来计算坐标。结果就是,它们点击的位置,和真实屏幕上按钮所在的位置完全对不上。
这个问题在地理信息系统任务里体现得特别明显。研究者分析发现,这几个模型几乎在每一个任务上都因为这个原因失败,说明问题根源在模型本身的坐标系认知,而不是具体任务的难度。
这就好比你拿着一张按1:50000比例绘制的地图,却按1:10000的比例去量算实际距离,每一步的判断都会跟着错一个固定的比例因子。你以为自己走对了方向,但实际落脚点永远偏离目标。而且这种偏差是系统性的,不是随机的,所以表现在数据上就是某个模型在几乎所有任务上都以同样的方式失败。
这个发现对于未来设计AI操作系统的提示词框架也有直接启发:如果不在提示词里明确声明分辨率信息,或者不在执行层做坐标校验和缩放修正,那么再强的语言理解能力也救不了一个点歪了的鼠标点击。
Praat语音学标注:选对声学标志点和控制好时间轴是两件事
语言学部分的案例规模很小,只有两个任务,但揭示的问题特别精细。任务要求AI在Praat软件里标注浊音起始时间(VOT),精度要求是2到5毫秒,这个尺度比一次心跳还短得多。
十二个模型里,有十五次运行(占60个所需标注点中大多数)压根没能保存出一个可评分的文件,主要原因是和前面提到的坐标缩放问题类似。但在真正成功保存了文件的运行里,又分化出两种不同的失败模式。
有个模型Claude Opus 5能把时间轴精确控制到10毫秒的窗口内,却选错了要标注的声学事件,把一个早于真实浊音释放点5.5毫秒的瞬态噪声当成了目标。另一个模型Claude Sonnet 5则是反过来,它用语言描述出了正确的目标特征("一个宽频瞬态"),但它没能把光标稳定在正确位置上,反复缩放了63次,最后把自己选区的边缘误当成了声学事件,结果标注点晚了整整51.7毫秒,落到了元音内部。
只有GPT-6-Astra两方面都做对了:先缩放一次确认波形细节,排除掉干扰的瞬态噪声,准确判断释放点位置,全程只用9步就完成任务,误差只有3.1毫秒。
这个案例说明一件容易被忽视的事:在图形界面里精确定位一个目标,其实是两种独立能力的组合。一是你得知道该找什么(声学判断力),二是你得真的能把鼠标或光标稳稳地放在那个位置上(操作控制力)。这两种能力并不是一回事,一个模型可能很懂科学原理却手不稳,另一个可能手很稳却没判断对目标。这跟一个经验丰富的外科医生和一个手抖的医学生拿着同一把手术刀,面对的是完全不同的失败风险。
更深层的意义:物理仿真和化学分析里反复出现的"验证陷阱"
把整篇基准测试的各个案例放在一起看,会发现一个反复出现的核心矛盾:AI很擅长完成一连串动作,但不擅长判断这些动作的结果是不是真的对。
在物理仿真任务里有个特别典型的例子。任务要求计算一个圆柱体在特定流速下受到的阻力,还要统计一个叫"伴随求解器"收敛所需的迭代次数。有个模型创建了用来计算力的观测器,却忘了勾选要监测的壁面区域,结果系统报告阻力为0牛顿,这个数值本该是显而易见的物理不合理信号。一个模型(Kimi-K3)注意到这个异常,重新打开设置修正了遗漏,重新计算得到了正确的阻力值,仿真最终收敛在第27次迭代，这正是正确答案。另一个模型(GPT-5.6-terra)也看到了同样的0牛顿异常,甚至在自己的推理过程里写下"这不是一个可信的总阻力值",但接下来它却说服自己观测器配置是对的,转而怀疑加载的流场数据有问题,最后用另一种方式算出了正确的阻力数值,却从没去调和这两个相互矛盾的结果,导致伴随求解器在第1次迭代就因为零梯度而被判定为"收敛",最终迭代次数答案错得离谱。
这两条轨迹的分野,不在于谁更细心,而在于谁真的让一个异常的检测结果推翻了自己原有的判断。一个看见0牛顿就立刻怀疑设置出了问题并去修正,另一个即便察觉到不对,也还是选择在心里为原有假设找理由开脱。
这跟你拿体温计量出38度,一种反应是立刻怀疑自己真的发烧了,去吃药休息；另一种反应是觉得体温计可能坏了,继续该干什么干什么。体温计读数本身不会说谎,但人怎么解读这个读数,决定了后面所有行为的走向。
物理仿真里还有个关于数值精度的案例特别值得记住。有个模型正确地跑完了整套计算流体力学仿真,拿到了收敛的正确解,但在导出结果时用了一个只打印6位有效数字的工具,任务明确要求至少8位有效数字。这个模型检查了导出文件的行数、数组长度、文件头格式,一切看起来都对,于是宣布完成,实际上精度已经在导出环节丢失了,最终判分只拿到了十二分之一。而另一个做对了的模型,在导出环节主动怀疑了这个工具的精度是否够格,转而去解析更底层的原生数据格式,保住了完整精度。
这个对比揭示的道理很直白:格式对不代表数值对。检查文件的"形状"(行数、列数、字段名)很容易,检查文件里的"内容"是否满足精度要求却容易被忽略,而恰恰是后者才是任务真正在考验的东西。
写在后面
读完这份基准测试的细节,最让我意外的不是AI失败了多少次,而是失败的具体方式。
我原本以为AI在科学软件里会栽在"不懂化学"或"不懂物理"上,但实际看下来,很多失败根本跟专业知识无关。坐标系算错了导致鼠标点不到正确位置,这是最基础的工程问题；软件插件没装对就硬着头皮往下走,这是没验证前提条件；检查结果时拿自己生成的结论去验证自己,这是逻辑闭环的陷阱。这些失败模式,放到任何一个不熟悉新软件的人类新手身上,大概也会犯一样的错。
另一个让我反复琢磨的细节,是统计学任务里AI"绕开专业软件走捷径"这件事。如果测试规则没有强制要求必须用SAS,那AI会理性地选择风险最低的路径,这其实暴露了一个很现实的评测设计难题:你想测的是"AI能不能用好这个软件",但如果任务允许多种工具通用,你测出来的可能只是"AI会不会选择最省事的工具"。这两件事看似相关,其实是完全不同的能力。
还有个细节我一直在想:整篇论文反复提到的那个"验证陷阱",本质上是说AI倾向于用自己生成的中间结果去验证自己的最终结果,而这种自我循环验证没法发现系统性的偏差。这让我想起人类做研究时经常犯的同一种错,就是用同一套实验设计反复确认一个假设,却从没想过换一个完全独立的验证角度。也许这不是AI独有的毛病,而是任何智能体,包括人,在面对复杂任务时都容易掉进去的思维惯性。
如果这个基准测试再往后发展,我很好奇一件事:当研究者把这些具体的失败模式一条条修补之后,比如给坐标系加上自动校准、给前提条件加上强制验证步骤、给数值精度加上专门的检查环节,AI在科学软件里的表现会提升到什么程度？会不会在解决了这些工程层面的"脚手架"问题之后,AI真正的科学理解能力的天花板才会显露出来？
Q&A
Q1：OSWorld-Science是什么？
A：OSWorld-Science是一个专门测试AI计算机使用智能体操作科学软件能力的基准测试,包含146个覆盖化学、物理、医学、生物、统计、地理信息和语言学七个领域的真实科研任务,涉及QuPath、ChemDraw、ASKCOS、SAS、ANSYS、OpenFOAM等17种专业软件。
Q2：为什么AI在科学软件上表现这么差？
A：主要原因不是缺乏专业知识,而是工程层面的问题,比如坐标系统不匹配导致点击失效、软件前提条件没验证就继续操作、用自己生成的结果去验证自己导致错误被循环放大,测试中表现最好的模型平均成功率也只有73.7%,最难任务上更是掉到40%左右。
Q3：贵的AI模型就一定在科学软件任务上表现更好吗？
A：不一定。测试中有模型每个任务只花0.23美元但得分只有22.6%,也有模型花11.7美元得分反而只有30.2%,说明API调用成本和任务完成质量没有必然的正相关关系,模型本身的能力底子和任务适配度才是关键因素。
热门跟贴