打开网易新闻 查看精彩图片

作者:Kent Anderson Aug 23

长期以来,人们对Altmetric分数的计算方法一直都有争议。按照最初的计算方式,约有86.9%的得分来自Twitter数据,文章的Altmetric分数在很大程度上便会被Twitter数据左右。除了Twitter,LinkedIn等平台数据的及时性和真实性也备受质疑。

今年3月,Altmetric悄悄更新了评分标准。作为曾经最重要的数据来源,Twitter在此次更新后权重被调低了75%。

这次更新悄无声息,连Altmetric的客户经理和学术出版界的消息人士都不知情。

下图分别为2018年以前、2018-2021年期间及目前最新的Altmetric评分标准:

如图所示,在此次更新之前,Twitter数据权重平均占Altmetric分数的86.9%。这个不合理的比重显然是需要调整的。

标准更新,评分改变

评分标准更新后,使用新的评分系统便无法计算出和之前一样的结果。

以2020年6月发表在ResearchSquare上的一篇预印本为例。按照最新的评分标准,该文章Altmetric得分仅1381分。而网页上显示,该文章得分为3504分。但如果按照2018年以前的评分标准,这篇文章能得4843分。2018-2021年期间各项指标权重的变化,尤其是Twitter权重的大调整,使得后两种计算得分相差了28%。(如果Twitter的权重保持不变,该预印本2018年的分数将有95.3%来自Twitter数据。)

受此影响,“过度期”里发表的文章(或由于某种原因重新上线的旧文章)的Altmetric分数会变得错乱。然而,Altmetric并未对此做出任何详细说明。从3月份的这次更新到Altmetric平台上的开放信息,都不是很透明。

2018年,有人曾在评价Altmetric评分系统时表示:Altmetric既没有版本控制,也不说明版本更新的原因。2018年以前,Altmetric就至少在两年里悄悄更新过一次评分系统,但既未发布更新日志,也未就评分标准的变化作出任何说明。

平台变更,活跃数据减少

新的评分标准还针对Altmetric部分可疑数据作出了更新。在新的权重表中,Altmetric注明了以下内容:

  • 不再计入2015年后的新浪微博(现“微博”)数据

  • 不再计入2019年后的Google+数据(因Google+已关停)

  • 不再计入2014年后的LinkedIn数据

  • 不再计入2013年后的Printerest数据

尽管如此,上述不再计入的“无效”数据平台依然出现在网站醒目处,令人误以为这些平台上的数据依然是活跃的:

Altmetric理应把LinkedIn、Pinterest、新浪微博和Google+这几个平台去掉或标记出来,以免大家误会Altmetric仍在从这些平台获取数据。

在新的评分标准中,Altmetric明确了从Twitter和Facebook追踪的数据:前者为推文和转推,后者为“精选的公共主页列表”。但无从得知该列表的创建者,列表长度及创建标准。

其他变化在一定程度上细化了数据,不知是否有战略意义:

  • 将F1000从Publons、Pubpeer组成的“同行评审”指标中分离出来,权重保持不变。

  • 将Reddit和Pinterest指标分开。这或许是因为2013年后的Pinterest数据不再计入,而Reddit数据似乎仍在更新。

  • 明确“Q&A”指标指Stack Overflow。

  • 新增Mendeley读者数量和Dimensions/WoS引用量指标。奇怪的是,这两项指标的权重为0,似乎在暗示Altmetric不愿向公众公开这些追踪数据。

是时候突破“甜甜圈”了吗?

此外,Altmetric重新设计了评分描述图,增加了图片解释。这一举动似乎是在回应读者对其“甜甜圈”形状评分图的批评,并以此告诉读者该图案仅供参考,不可过分解读。

问题是,用这样的图案是否有意义?直接用条形图来表示不是更清晰明了吗?

2018年,Altmetric创始人兼首任CEO Euan Adie离职。此后,Altmetric像是在从魔咒中慢慢苏醒,并在昏昏欲睡中修修补补。然而,到目前为止,它的修复速度和透明度似乎并不能令人满意。

Altmetric公司拥有强大的技术,全面的数据覆盖,却一直在图形和数字上做文章。或许是名字里的“metric”限制了它的步伐。然而,Altmetric是时候该重塑品牌,为自己创造一些发展空间了。

这样一个人为干预下被受质疑又令人烦恼的评分系统并不能很好地服务Altmetric及其用户。放弃“metric”或许能带来更具实质性和合理性的东西。

最后,切记更新评分系统时要公开公布,这样才能增加信任度。

编译:Yanni

版权声明

本文由ScienceOpen苏州办公室原创编译。中文内容仅供参考,一切内容以英文原版为准。欢迎转发本文至朋友圈,公众号转载请联系

haibao.xue@scienceopen.com

1、

2、

3、

5、

7、

8、Chinese Journal of Radiological Health加入ScienceOpen

9、