由于其强大的文本、信息处理能力与易用性,从 2022 年 11 月 30 日OpenAI发布 ChatGPT3.5 开始,就有越来越多的人尝试将这类大语言模型运用到学术写作当中。
![](http://dingyue.ws.126.net/2024/0617/097697d7j00sf8a4q005xd000eu00i3m.jpg)
图丨在视频网站搜索相关内容,可以看到 ChatGPT3.5 发布不久后就有许多用它来辅助学术写作的教程、用例等
但除了兴奋,人们也感到担忧。
在现行的学术出版体系中,从原始数据采集到论文发表的整个链条,理论上都存在人工智能介入的可能。
一方面,人们普遍期待它能有效简化日常工作的处理流程;另一方面,又担忧其可能带来的滥用问题。
美国语言学家、著名知识分子诺姆·乔姆斯基就曾表示,ChatGPT “不过是高科技抄袭”,会对学术与高等教育产生破坏。
![](http://dingyue.ws.126.net/2024/0617/43a6d74dj00sf8a4q001md000u0007jm.jpg)
图丨相关文章(来源:My Modern Met)
而许多学术出版商等,在当时更是对这些技术充满疑虑。
一些出版商在当时选择对在学术写作中使用 AI 实施限制措施,而像Science等知名期刊,则采取了更为强硬的态度,直接明令禁止在任何情况下使用此类工具。
Science的主编赫伯特·霍尔登·索普 (Herbert Holden Thorp)评价道:“科学记录最终是人类为解决重要问题而做出的努力之一。机器发挥着重要作用,但它只是人们提出假设、设计实验和理解结果的工具。最终,产品必须来自我们头脑中那台神奇的计算机,并由它来表达。”
![](http://dingyue.ws.126.net/2024/0617/5d538e33j00sf8a4q001zd000u000cdm.jpg)
图丨相关文章(来源:Sceince)
或许是技术的发展速度过快,这些出版商们还来不及评估其利弊,并确立最佳实践,所以在当时,它们只得以采取这种相对严苛的手段来避免可能的弊端。
而十多个月后的今天,学术期刊们似乎已经逐渐转变了对于生成式 AI 的态度,转而开始更为主动的迎接它们,允许研究者们在“方法”部分中明确标注的前提下,使用生成式人工智能和大语言模型辅助论文文本与图像的生成。
同时也积极地刊载利用 AI 辅助学术写作的相关内容,甚至Springer Nature等出版商还推出了属于自己的 AI 写作助手。
而这种转变所反映的,正是 ChatGPT 们对整个学术出版界带来的变革。
AI 的使用势不可挡
尽管一开始期刊们对于生成式 AI 的使用都有所限制,但技术的普及还是难以被阻挡。
毕竟,用AI 辅助写作,确实是太方便了。
斯坦福大学团队的报告就指出,在 ChatGPT发布后的短短五个月内,LLMs 已迅速成为许多学者修改和完善论文的重要工具,尤其是在计算机科学领域,大约 17% 的摘要,15.3% 的引言使用了大模型参与写作。
![](http://dingyue.ws.126.net/2024/0617/11db58e2j00sf8a4q006vd000k20089m.jpg)
图丨不同领域的学术写作中经由 LLMs 修改的句子的估算比例(来源:arXiv)
除了写作外,同行评审、编辑审稿等也是 AI 应用的重点环节。
虽然在评审时使用它们会有隐私泄露的风险、其评审意见也不一定完全可靠,甚至可能改变录用结果等,但由于越来越大的审稿压力和 AI 带来的便利性,在同行评审中使用 AI 也已经越来越普遍。
例如,相关研究就表明,ICLR2024、NeurIPS等 AI 顶会的同行评审就有16.9% 是由 AI 生成的。
![](http://dingyue.ws.126.net/2024/0617/d09e0836j00sf8a4q003nd000ht007sm.jpg)
图丨ICLR 2024 同行评审中大概率由人工智能生成的词汇的出现频率变化(来源:arXiv)
更重要的是,我们其实也很难做到完全禁止 AI 在学术写作中的应用。
虽然有一些出版商们推出了专门的 AI 写作检测工具,但它们其实也并不可靠。
早前的一项研究就探讨了运用人工智能技术撰写高度逼真的伪科学论文的可行性。
研究团队选取神经外科作为主题,借助 ChatGPT 在短短一小时内起草了一篇文章。
然后他们采用了一款名为 Content at Scale 的专业鉴别软件对伪造论文进行检测。这款软件自诩能够以高达 98% 的精确度辨识出由人类撰写与 AI 生成的文本差异。
然而,当它面对这篇伪论文时,给出的判断结果令人咋舌——仅有 48% 的可能性认定文章出自 AI 之手,远远低于有效鉴别的标准,而这篇文章,甚至只是在短短 1 小时内写出来的。
![](http://dingyue.ws.126.net/2024/0617/a90b25a5j00sf8a4r00fld000u000lbm.jpg)
图丨相关论文(来源:National Library of Medicine)
用另一款来自Open AI的 AI Text Classifier 的工具在评估该文是否由 AI 创作时,也得出了“不确定”的结论。
甚至即便是人类专家,也无法完全做到鉴别 AI 写作。另一项西北大学的研究就发现,面对人类和 AI 撰写的文章摘要,人类专家的识别率只能达到 68%,比起检测工具 66% 的识别率,也并没有好多少。
![](http://dingyue.ws.126.net/2024/0617/aae2a6ddj00sf8a4r0096d000u000b6m.jpg)
图丨相关论文(来源:arXiv)
所以,现实情况表明,完全限制 AI 工具的使用几乎是不可能的任务。
出版商们的应对政策
当出版商们意识到,自己没有足够的人力或时间来监管 AI 时,他们很快就改变了立场。
包括Science等期刊都转而允许在学术写作中使用人工智能,但大多数都要求在使用时进行声明,并坚决反对使用人工智能来生成或改变研究图像。
例如The Journal of the American Medical Association就要求,研究者在投稿时必须详细披露所有使用过的人工智能软件平台、程序或工具的具体信息,包括但不限于名称、版本号、制造商以及使用日期等。
![](http://dingyue.ws.126.net/2024/0617/278547aaj00sf8a4r007dd000u000eqm.jpg)
图丨JAMA的相关规定(来源:The Journal of the American Medical Association)
Springer Nature 则为同行评审专家设定了特定的指导原则,特别强调在未确保 AI 工具安全性之前,不得将论文草稿上传至任何 AI 生成工具中进行加工。
同时,一些期刊对于 AI 的使用方式也有所限制,例如 Elsevier 允许作者在撰写过程中利用 AI 技术和辅助工具,但仅限于提升文稿的可读性和语言表达。
但在之后, Elsevier 旗下期刊发表的文章就被发现使用了 AI 生成文章摘要。
![](http://dingyue.ws.126.net/2024/0617/6b270364j00sf8a4s00vvd000u0011fm.jpg)
图丨被曝使用了 AI 生成文章摘要的论文(来源:Surfaces and Interfaces)
这不禁让人们怀疑,这些指导政策是否明确、是否得到执行并且是否有效?
此前发表在 BMJ 的一项研究,就对全球排名前 100 位的学术出版商及科学期刊进行了调查,重点分析了它们对作者使用生成式 AI 的指导原则。
![](http://dingyue.ws.126.net/2024/0617/a68fe79fj00sf8a4r008td000u000dem.jpg)
图丨相关论文(来源:The British Medical Journal)
研究团队发现,仅有 24% 的出版商提供了相关指导,而在这其中,排在前 25 名的顶级出版商比例更是低至 15%。
而且即使是那些提供了一定指导的顶级出版商,其指导内容也存在明显的“不足”之处,亟需进一步完善和细化。
而这种不足,带来的后果就是,虚假论文、论文工厂等学术不端行为随着 AI 技术的发展更加泛滥。
前不久美国著名学术出版公司 Wiley 停刊旗下的 19 种科学期刊,其部分原因就是 AI 所导致的虚假研究泛滥。
所以,学术界迫切需要一套强有力的指导原则,以引导学者们正确理解和应用AI技术于学术写作之中。
有学者就认为,这不仅是对新兴科技的规范,更可能促使学界正视并解决长期以来存在的深层次问题。“在我看来,人工智能所做的,不过是将学术体系中早已存在的裂痕——那种碎片化、过于功利化的现状——暴露无遗。”他如是说。
“现在到了临界点,我们需要解决‘不发表就淘汰’文化的根本问题,这种文化已经侵蚀了学术界的基础。人们很容易将问题归咎于人工智能,但事实上,人工智能只是放大镜,显示了事情已经变得多么糟糕”。
除此之外,科学出版界的商业模式也往往与遏制伪造及学术不端行为的目标存在内在冲突。为了确保盈利并维持对股东的责任,许多学术出版商倾向于优先考虑论文的数量而非质量。
这是因为他们的主要收入来源是所谓的论文处理费(Article Processing Charges, APC),即作者或其资助机构在论文发表时需支付的费用。这种模式下,发表的论文数量越多,出版商所能收取的 APC 也就越多,从而形成了一种可能促使质量控制放宽的经济激励机制。
这种模式显然也需要进行改革,例如探索新的资金支持途径等。
总之,整个学术界都已经在被 AI 改变了,除了那些“规定”和“指导”,我们还需要更加积极的去迎接这些改变。
参考资料:
[1].https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(24)00416-1/fulltext#back-bib8
[2].https://www.technologynetworks.com/drug-discovery/articles/ai-in-science-publication-the-good-the-bad-and-the-questionable-385650
[3]. https://arxiv.org/abs/2406.06009
本文内容不代表平台立场,不构成任何投资意见和建议,以个人官网/官方/公司公告为准。
热门跟贴