一种能够评估研究可信度的机器学习工具可以缩短科学研究的审查周期，并有可能帮助确定关于冠状病毒的最有希望的研究。

评估科学论文的价值可能是一项具有挑战性的任务，甚至对专家来说也是如此。同行审查的过程可能很长，而且往往是主观的。

研究人员无法复制的已发表的研究报告的存在也引起了对审查过程的关注。

.

一项调查

发现超过70%的研究人员没有复制另一位科学家的实验，超过一半的人没有复制他们自己的研究成果。有些人甚至把这个问题描述为

危机

由于没有一致的方法来检测哪些是可复制的，哪些是不可复制的，后者中的许多继续在科学文献中传播。

为了帮助科学家确定哪一项研究是最有希望的，位于伊利诺伊州埃文斯顿的西北大学凯洛格管理学院的一个团队开发了一种机器学习工具，该工具能从研究过程中吸取意见，并以指数方式缩短评审周期。

中的模型特性的细节。

重复性试验

领导这项研究的布赖恩·乌齐教授在解释同行评审的局限性时说：“无论是在经济上还是在机会成本方面，标准程序都太昂贵了。第一，进入第二阶段的测试时间太长；第二，当专家花时间审查他人的工作时，意味着他们不在实验室进行自己的研究。“

Uzzi和他的团队开发了一种人工智能(AI)，以帮助科学界更快地决定哪些研究最有可能产生效益。

对一项研究质量的最重要的检验之一是它的可重复性--其他科学家在进行同样的实验时是否复制它所报告的结果。Uzzi和他的团队提出的算法预测了这个因素。

该模型将真实的人类输入和机器智能结合起来，通过分析科学论文使用的词语并识别出表明研究结果具有价值的模式来做出这一预测。

“研究作者如何解释他们的结果有很多有价值的信息，”Uzzi解释说。“他们使用的词语显示了他们对自己的发现的信心，但对于普通人类来说，很难察觉到这一点。”

开发人员说，该模型可以提取可能隐藏给人类评审员的词语选择模式，他们可能会将注意力集中在论文中的统计数据的强度上。还有一种风险是，评审员可能倾向于发表论文的主题或期刊，或者像“非凡”这样有说服力的词可能会影响他们。

几分钟而不是几个月

研究人员首先使用一组已知可复制的研究和一组已知不可复制的研究来训练该模型。然后，他们在一组以前从未见过的研究中测试了这个模型。

他们将这一结果与国防高级研究计划局对开放研究和证据的系统性信心进行了比较。

DARPA评分

)计划，依靠学科专家对科学研究进行评审和评分。然而，平均来说，这一过程需要一年中的大部分时间才能完成。

当团队单独使用该模型时，其准确性与DARPA评分相似，但速度要快得多，只需几分钟而不是几个月。

结合DARPA评分，它预测了哪一项发现将比任何一种方法更准确地被复制。在现实中，科学家们很可能会用这种方法来补充人类的评估。

Uzzi说：“这个工具将帮助我们以更高的准确性和效率经营科学事业。”“现在，比以往任何时候都更重要的是，研究机构必须做到精益，只关注那些真正有希望的研究。”

大流行的适用范围

研究小组说，该模型的推出可能是立即的，因此它可以分析目前正在出现的大量与冠状病毒相关的研究。

“在公共卫生危机中，我们必须把我们的精力集中在最有希望的研究上，”Uzzi教授说。“这不仅对挽救生命很重要，而且对迅速消除由研究工作不当导致的错误信息也很重要。”

研究正在以前所未有的速度进行，世界各地的决策者正计划加快临床试验，以找到一种治疗该疾病的方法或疫苗。西北大学的研究人员说，他们的工具可以帮助决策者在分配资源时优先考虑最有希望的研究。

.

“这一工具在我们不能迅速采取行动的危机情况下尤其有用。它可以给我们一个准确的估计，哪些工作是可行的，而不是很快的。“我们在球后面，这可以帮助我们赶上，”乌齐总结道。