预印本论文不可靠？大语言模型追踪显示并非如此，生物医学预印本论文后续正式发表时，核心结论基本不变，撤稿率也更低|医学|大语言模型|撤稿|研究论文|预印本

编辑丨王多鱼

排版丨水成文

自 COVID-19 以来，大量的生物医学研究论文在经过同行评议之前就已在预印本平台发布，并得多广泛传播。由于尚未经过同行评议，一些研究人员认为，预印本论文中的结论未经验证或可能并不可靠。然而，这些研究结论在正式发表前究竟发生了多大程度的改变，迄今为止仅在较小规模的研究群体中进行了量化分析，且结果因领域和主题的不同而有所差异。

如今，发布预印本在科学界已十分普遍，但洛杉矶南加州大学的神经科学家鲁斯兰·鲁斯特表示，他经常听到同行科学家说这些预印本并不可靠。根据他的经验，同行评审通常不会对研究内容带来重大修改。鲁斯特希望验证这一情况是否也适用于不同的生物医学研究领域。

近日，韦仕敦大学及美国南加州大学的研究人员在预印本平台bioRxiv上发表了题为：Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models 的研究论文。

这项研究显示，发表于预印本平台的生物医学研究论文，在经过同行评议在期刊正式发表后，其核心结论基本保持不变。此外，相比直接通过同行评议在期刊正式发表的论文，那些先以预印本形式发表的论文被撤稿的概率仅为前者的一半。研究团队表示，这些发现表明，bioRxiv 预印本平台是生物医学信息可靠的早期来源。

在这项研究中，研究团队汇总了 2018-2025 年间所有能够通过论文 DOI 标识号匹配到后续通过同行评议正式发表的 bioRxiv 预印本论文，共获得 72644 对预印本-发表论文。利用大语言模型（Claude Sonnet 4.6），研究团队将每对预印本-发表论文的摘要解析为一个主要结论和两个次要结论，并对每对预印本-发表论文的内容变化（无变化、轻微修改、重大修改）以及语气倾向变化（更谨慎、更自信、无变化）进行分类。

在验证子样本中，该模型与两位独立领域专家的一致性程度与专家彼此之间的一致性相当（Cohen's kappa 值为 0.63-0.66）。论文摘要中主要结论保持不变的占 39.9%，轻微修订的占 50.0%，而重大修改的仅占 10.2%。语气倾向变化较为少见且不对称，变得更加谨慎的是变得更加自信的两倍（8.4% vs 4.2%）。该研究还显示，经过较长时间同行评议才得以发表的论文，重大修改则更为频繁（同行评议时间最慢的三分之一组别发生重大修改的比例为 14.1%，而最快组别则为 7.0%），且在整个研究期间呈下降趋势（2019 年为 17.0%，2024 年为 5.7%）。在同一时期，从未作为预印本发布的生物医学论文被撤稿的比例大约是曾作为预印本发布的论文的 2 倍。