科研评价的下一代模型是什么？【Metascience2025】|学术|科学|科研评价

在Metascience2025年会上，科研评价作为核心议题，贯穿了三天会议议程，报告数量在全场报告中占比最多，凸显了科研评价问题在国际范围内的关注程度。从报告类型看，涵盖了主旨报告、圆桌讨论以及分论坛报告等多种形式；从报告代表看，汇聚了来自政府部门、资助机构、科研机构以及学术期刊等相关群体；从报告主题看，既涵盖宏观层面的国家科研评价模式的现状剖析与改革探索，又有聚焦微观层面的科研评价方法与技术的创新实践与应用拓展，以及对科研评价未来改革方向以及人工智能（AI）应用前景的深度思考。以下重点介绍科研评价三个专题的报告内容。

第一个专题名为“国家科研评价的下一代模型”，聚焦不同国家科研评价改革的实践分享。

来自英国、意大利、新西兰等的学者分享了各国整体层面的科研评价情况，引发了与会者从系统性和发展性视角剖析科研评价的现状、问题及挑战。莱顿大学的Alex Rushforth代表伦敦大学学院（UCL）科学学研究所（RoRI）报告了首个全球范围内科研评价改革进展的大型国别比较项目（AGORRA）的研究进展，发现虽然多数国家的科研评估体系与资助机构仍高度依赖传统且长期确立的学术质量评价方式，但是负责任科研评估（RRA）的理念正日益获得重视。意大利国家大学与研究机构评估署（ANVUR）的技术评估官员Scipione Sarlo回顾了迄今为止意大利实施的四轮VQR中所采用的评估方法的演变过程，并强调评估方法正逐步从半自动化依赖引文指标，过渡到一种将计量指标与人工智能工具作为辅助手段，服务于专家同行评议的综合性模式。新西兰奥克兰大学未来研究中心Peter Gluckman主任（现任国际科学理事会主席）报告了新西兰当前实行的基于绩效的科研基金（PBRF）的情况及评估中的主要考虑因素，并提出了PBRF未来的改革方向。

第二个专题名为“重新思考科研评估的多重维度”，从理论上讨论科研评价未来改革发展方向。

来自法国国家研究署（ANR）的Zoé Ancion、加拿大渥太华大学心脏研究所/国际科研评价联盟(DORA)副主席Kelly Cobey、施普林格·自然出版集团科研开放获取副总裁Ed Gerstner、英国拉夫堡大学/国际科研管理联盟科技评价组(Inorms-RWG)负责人Elizabeth Gadd、欧洲科学组织资深政策官员Bregt Saenen等学者，聚焦当前全球科研评价改革所面临的挑战，讨论如何从“认识改革必要性”迈向“真正落实与监测评估新机制”的阶段。在报告与讨论中，与会者还关注了科研评估与其他科研政策领域（如开放科学）的交汇点，探讨其如何与科研评估改革协同推动高质量、可获取且具影响力的研究产出。同时，与会者结合自身实践及经历，讨论新型科研评估模式的“成功”应当如何界定，以及整个评估改革应朝什么方向发展。

第三个专题名为“同行评议：压力与可能性”，聚集科研评价的方法问题。

来自比利时鲁汶大学的Lakshya Katariya研究团队，聚焦同行评议的“负面效应”，证实了集体决策过程具有减弱个体评审偏差的功能。伦敦国王学院的Alexandra Pollitt研究团队通过问卷调查的方式，对资助机制的成本及其交易成本（即成本与资助额度的比值）进行了估算。结果显示，申请科研资助和研究员奖学金的整体成本约占资助金额的13%，其中89%的成本由申请人承担，这一研究结果为科研资助效率的提升提出了改进方向。瑞士国家科学基金会的数据科学家Gabriel Okasa研究团队通过监督机器学习方法，对2016–2023年间提交给瑞士国家科学基金会的39,458份评审意见进行了分析，发现不同学科之间的评审意见存在显著差异，表明学科惯例对评审实践具有重要影响。来自中国科学院科技战略咨询研究院的徐芳研究员团队，作为本次科研评价主题会议中唯一来自中国的团队，报告了关于不同类型评审专家（包括分别来自高校、科研机构和用户三类专家）在评估过程中的作用与贡献的研究。该研究发现，不同类型评审专家的评审行为存在显著差异。因此，建议评估机构在设计评审方案时需要考虑不同类型专家的比例构成，以保证评审结果的公正性和有效性。