你有没有干过这种事——
手头堆着十几篇论文看不完,顺手扔给AI:
“帮我总结一下核心观点。”
然后AI叭叭叭吐出一段,你复制粘贴,完事。
如果你干过,接下来的内容,可能会让你后背一凉。
康奈尔大学和谷歌联手,搞了一场“AI读论文”的盲测。
结果出来了——
AI可能根本没读懂。
它只是在装懂。
01. 这场测试,狠在哪儿?
研究人员干了一件很损的事。
他们先挑了一个连科学家都经常吵架的领域:
高温铜氧化物超导体。
这玩意儿,人类研究了30多年,论文堆成山,到现在还没扯清楚。
然后,他们往数据库里塞了1726篇相关论文。
接着,他们出了67道题。
注意,这不是那种“本文主要研究了什么”的傻瓜题。
而是需要——
综合多个研究的结论,
判断学术争议的对错,
甚至要做点科学推理。
说白了:这题是给科学家出的,不是给AI玩的。
02. 参赛选手:五大AI + 12个真人
他们把市面上能叫上名字的AI全拉来了:
ChatGPT-4
Claude 3.5
Perplexity AI
Gemini Advanced 1.5 Pro
NotebookLM
然后又找了12个真正的科学家。
玩法更狠:
盲评。
12个专家只看答案,不知道是人写的还是AI写的。
就像《蒙面歌王》,只听声音不看脸。
03. 结果:AI露馅了
先说好消息。
能“读论文”的AI,确实比只会搜网页的AI强。
比如NotebookLM这种,允许你上传论文的,回答问题时明显靠谱。
因为它是在你给的资料里找答案,不是去网上瞎编。
但坏消息更扎心。
AI最大的死穴:看不懂图。
搞科研的人都知道,论文里最值钱的不是文字,是图——
曲线图、相图、实验照片、统计表……
很多结论,都在图里藏着。
但AI到了这儿,直接翻车。
它能复述文字结论,但你要它解释“这张图的纵坐标为什么取对数”——
它就开始胡扯了。
研究人员直接撂了一句狠话:
“理解可视化数据,是科学家最基本的素养。现在的AI,在这一项上,不及格。”
04. 更尴尬的:AI会自己编论文
这才是让学术界最慌的地方。
测试里发现,有些AI回答问题时,会——
引用根本不存在的论文,
拼错参考文献的作者名,
把复杂的学术争论简单化、甚至歪曲化。
说白了:
它编得像真的一样。
康奈尔大学的那位教授(原谅我一时没记住他全名,反正挺长)在接受采访的时候说了一句话,我觉得特别到位:
“AI就像一个特别自信的实习生,你问什么他都能接上话,但你回头一查,他说的有一半是瞎编的。”
在学术界,一个错误引用,能把整篇研究带沟里去。
05. 科学家开始怕了
现在学术界有个趋势:
越来越多研究生在用AI读论文、写综述。
如果AI在引用上出错,
如果AI理解错了图表,
如果AI把A和B两个矛盾的观点强行捏在一起——
这些错误,可能会像病毒一样,在论文里不断复制、传播。
有人已经开始担心一个更极端的未来:
AI写论文 →
AI读论文 →
AI引用AI写的论文 →
最后人类科学家成了旁观者,看着一堆机器在那里自说自话。
到时候,
科学研究会不会变成一场“机器之间的对话”?
而人类,根本不知道真相在哪儿就偏离了。
06. 最扎心的那句话
研究团队在论文最后,写了一段话,我看了好几遍:
“AI在提取信息方面表现不错,但在理解科学推理方面仍然有限。”
翻译成大白话:
它能认字,但不一定懂科学。
07. 写在最后
当然,我不是说AI没用。
它确实能帮我们省时间,快速翻文献、找资料。
但如果你指望它替你“理解”一篇论文——
那你可能要失望了。
有些东西,比如:
怀疑、直觉、争论、灵感……
可能真的,暂时还只属于人类。
(评论区聊聊:你有没有被AI“编”过?我用它写论文,它给我造了一篇假文献……)
热门跟贴