英国科研评价政策、实践和典型案例研究|牛顿|科学|英国

摘要：

英国科研创新能力居世界前列，其科技创新实力的提高与其科研管理、监督以及评价机制的建立和不断完善密切相关。本文从政府、产业、高校以及科研机构等不同利益相关者角度对英国科研评价政策、实践以及典型案例进行了阐述，介绍了英国在科研评价信息系统建设和数据共享方面的做法，以及对我国科研评价体系建设的借鉴意义。

英国在科研创新领域具有世界领先优势。根据世界知识产权组织近年发布的全球创新指数排名，英国列居世界第四。稳健、定期和高质量的科研评价对于科研政策的制定、实施和效果具有深远影响。本文从不同层面和角度对英国公共资金所支持科研的评价机制和政策进行介绍，力求呈现英国多层面、整体性的科研评价体系。

英国科研评价主要政策及架构

1.1 英国财政部

作为负责开展和执行英国政府公共财政政策和经济政策的政府部门，财政部制定了一系列指南作为公共部门政策、计划以及项目评估的指导性文件。

《绿皮书：中央政府预估与评估指南》指出，英国政府部门在政策制订和项目实施中需遵循合理性认定—设定目标—预测—监管（实施）—评估—反馈的循环周期。

《管理公共资金》为负责任地使用公共资源提供指导。

《政府开展高质量》分析指南规定了分析建模和保证标准。

《中央政府评估指南》针对评估方法提供了详细指导。

1.2 商业、能源和产业战略部

作为英国科研创新工作的主管部门，商业、能源和产业战略部（BEIS）发布了系列文件并采取相应措施，对科技政策、计划以及项目的实施过程、影响以及效益进行评价。

《评估战略：2015—2016》概述了明确的工作计划，以确保全面覆盖2015—2016年重大政策和计划的评估，提高分析能力，并通过独立透明的外部同行评审系统对评价质量进行审查。

《监测和评估框架》概述了商业、能源和产业战略部对本部门及合作伙伴机构的政策和项目进行全面、相称、高质量监测和评估的愿景，从而为改进实施、政策选择和决策提供指导。该框架总结了商业、能源和产业战略部主管机构如何开展监测、所使用的评估类型、部门所期望的标准、监测评估治理程序以及分析过程，主要包括5个要素：商业、能源和产业战略部及其合作伙伴组织所有政策和计划全覆盖监测和评估；将监测评估牢固地嵌入治理流程中，确保即使在具有挑战性的情况下也能提供相称的监测和评估；政策、项目交付和分析监督评估能力建设；在整个商业、能源和产业战略部范围内促进积极的学习文化，从而监测评估得出的经验教训，可以为政策决策、实施以及未来的监测评估设计提供指导；确保评估结果独立透明，维护利益相关者对商业、能源和产业战略部政策监测评估结果的信心。

商业、能源和产业战略部于2021年3月新启动了一项对英国研究机构官僚作风的独立评估审查。该项审查旨在兑现英国研发路线图中提出的承诺，最大限度地减少官僚作风，以巩固英国作为科学超级大国的地位。全系统审查将于2022年初结束，涉及整个英国研究界，并特别关注高等教育机构开展的研究。

1.3 英国研究与创新署

作为英国竞争性科研计划和项目的管理部门，英国研究与创新署（UKRI）是与政府部门保持“一臂之距”的非政府公立机构。商业、能源和产业战略部负责监督英国研究与创新署的战略、计划以及运营，包括对其下属七大研究理事会、英国创新署（Innovate UK）和英格兰研究署（Research England）活动和影响力的评估。

英国研究与创新署的成立本身就是对公共科研机构评估的结果。2013—2014年商业、能源和产业战略部对英国研究理事会（Research Councils United Kingdom，RCUK）的机制性评估，以及2014和2015年由时任皇家学会会长保罗·纳斯爵士牵头对其开展的第三方评估，均提出应将科学置于政府核心地位，需要进一步加强和统筹科研机构管理，最终推动了对英国研究理事会的改革，并在其基础上于2018年成立运行英国研究与创新署。

英国研究与创新署汇总发布了《良好研究行为治理政策和指南》，阐述了对英国研究与创新署下属各研究理事会建立和维护良好研究行为的方法和期望，制定了良好研究实践标准以及相关指南，规定和描述了不可接受的研究行为，以及报告和调查研究不端行为的指南，并阐明了研究理事会和研究机构在促进和保障最高标准研究行为方面的各自职责。在此基础上，英国研究与创新署下属研究理事会、英国创新署和英格兰研究署作为独立机构均建立了自己的逻辑模型开展自我评估。

1.4 高等教育机构研究资助部门

高等教育机构（HEIs）是科研创新和人才培养的重要阵地，其开展科研评价于英国科技创新起着举足轻重的作用。从1986年开始，英国高等教育机构科研评价体系经历多次完善，共开展了7次科研评估，形成了目前采用的研究卓越框架（Research Excellence Framework，REF）评估机制。最近一次评估研究卓越框架2021由英格兰研究署、威尔士高等教育拨款委员会、苏格兰资助委员会和北爱尔兰经济部四大高等教育经费资助部门共同在全英范围内开展，于2019年发布研究卓越框架评估指南，并将于2022年4月发布评估结果。

研究卓越框架作为全国性评估制度，其有效性和影响力也面临评估。目前，四大英国高等教育资助机构正在启动未来研究评估计划，旨在探索评估英国高等教育研究绩效的可能方法，包括对当前采用的研究卓越框架2021进行评估。资助机构将与高等教育部门进行广泛的磋商，了解未来的评价机制如何最好地支持英国蓬勃发展、包容和有影响力的研究系统。

科研评价目的及内容

根据商业、能源和产业战略部发布的《监测和评估框架》，开展评估有两个主要驱动因素：学习和问责。学习有助于管理政策实施的风险和不确定性，了解什么政策/项目、对谁、如何、为什么以及在什么情况下有效，并为政策制定和最终决策提供信息。问责则与商业、能源和产业战略部及其利益相关者的透明度有关，例如怎样使用公共资金，干预措施的效果如何精准化，以及法规是否在增加负担和提供保护之间取得了适当平衡。商业、能源和产业战略部主要通过以下评估组合来实现上述目的。

过程评估：评估政策正在或已经如何实施以及是否可改进；影响评估：评估发生了哪些变化、产生了哪些差异以及原因；效益评估（物有所值评价）：通过比较政策的收益与其成本或比较不同行动方案的相对成本和结果来评估政策。为了充分了解干预措施的实施、效果和效益，通常会结合使用上述所有种类的评估。

科研评价模式及指标

3.1 外部评估和内部评估

科研机构、政策以及项目的评估主要有内部评估和外部评估两种形式。内部评估包括自身评估和主管部门的机制性监督评估，而外部评估多以委托第三方专家独立评估为主，并因其相对独立客观和专业权威的特性而备受关注。

根据《监测和评估框架》，英国政府部门外部委托评估的必要步骤包括：

确定职权范围并建立指导小组；获得采购服务审批和研究委员会的批准（这是所有委托评估所必需的）；编写评估规范；通过竞争性招标活动进行评估；启动和持续性管理。

内部评估遵循定义职责范围和项目规范采取类似步骤。

3.2 定量和定性评价有机结合

近年来，英国科研评估投入在公共开支中所占比例不断增加，所面对压力也不断升高，评价方式的客观性和有效性也日益引起大家的关注。目前评估科研质量和影响力最主要的两种方法是侧重定性评估的同行评审和侧重定量分析的计量指标评估。影响因子、被引次数等相关指标、排名数据在一定程度上被用来了解当前科研发展趋势、研究影响力以及研究人员水平，并为相关政策的制定提供指导作用。

然而，对于计量指标的过度依赖导致很多研究人员和期刊为了保持领先地位而承受巨大压力，甚至会采取捏造数据等违背科研伦理的做法。为了进一步了解计量指标在决定研究质量和影响力中的作用，英国高等教育基金委员会在2014年针对计量指标在研究评价和管理中的作用开展独立评估并于2015年发布评估报告。此次评估得到来自科学计量、研究经费、研究政策、出版业以及高校行政管理等多个部门专家的支持,详细了解了英国影响力相关指标使用的现状，包括潜在的应用及局限性，为资助者以及政策制定人员改善计量指标使用提出了建议。

定性评估的同行评议或专家评审尽管存在一定的缺陷和局限，但相比定量评估方式，其问题较少，在对论文、项目申请书、科研人员个人评价以及英国目前所采用的研究卓越框架评估系统中起着基础性作用。在选择使用定量指标时应审慎，使其作为定性评估等其他决策评价形式的补充性支撑性因素，而非替代性因素。同时，学科背景的差异性、科研成果的原创性以及科研质量的多样化均应成为科研评价过程中的关注点。定性同行专家评审、计量指标和其他定性评价的有机结合将减少成本、提高科研评价客观性，并推动成熟科研体系的建立。

3.3 “负责任计量”概念

近年来，“负责任的研究与创新”（Responsible Research and Innovation，RRI）概念已成为研究治理框架的主流并出现了“负责任计量”的概念，作为研究治理、管理和评价中合理使用定量指标的框架。根据2015年关于计量指标作用的评估报告，负责任计量具有以下几个特性。

稳健性：应基于最佳数据准确性和范围来制定指标；
谦虚性：认识到定量评估支持（但不取代）定性专家评估；
透明度：保持数据收集和分析过程公开透明，被评估者可以测试和验证结果；
多样性：说明各领域的差异，并使用多种指标来支持整个研究系统的多样性；
自反性：认识到指标的系统性和潜在影响，并根据需要更新。

科研评估典型案例

4.1 政府部门科研投入绩效评估

科学是未来经济的基石，是有效政府的核心内容。然而，英国政府不同部门对科学活动及支出的领导力各不相同，需要有明确的机制来确保科学在各部门得到很好的利用。为了评估政府在科技创新事务上的作用和影响，英国政府在1993年、2007年和2019年先后开展了三次政府科研能力评估。2019年11月英国政府科学办公室与英国财政部发布联合评估报告《以科学实现雄心：政府科研能力评估》，提出了一系列建议。该评估由政府首席科学顾问主持完成，将科学和工程置于政府政策的核心位置，评估了英国各政府部门当前的科学和工程能力，以及通过科学实现英国政府发展雄心的方法，并就如何最好地利用这些能力来应对未来挑战提出建议。

报告提出，科学质量控制的基准是独立同行评审。无论在学术领域还是政府资助的项目中，同行评审都是确保研究质量最重要的机制。同时，研究诚信对于确保研究质量和稳健实践至关重要。该报告建议，政府科学办公室应与英国研究与创新署合作，为政府部门制定最佳实践指南，以提升同行评审和研究诚信，同时作为评测质量和结果的基准。由各部门首席科学顾问和分析主管发挥主导作用，严格监督政府部门科学、工程和技术支出相关统计数据。采用系统性同行评审政策，并考虑采用给本部门研究带来更大竞争压力的做法，例如，设立可供本部门和部门外实验室竞争的“挑战基金”。政府部门需要制定更清晰、更一致的研发实践质量标准，包括公开承诺维护相关规范和支持研究诚信协议。

4.2 以弹射中心网络为例的公立科研机构评估

作为推动英国科技创新的重大举措，英国弹射中心网络建设运营情况及其影响力的衡量受到政府和公众的极大关注。弹射中心网络资金来源中，英国创新署核心资金、公私合作资助科研项目资金、企业资助研究合同各占三分之一。弹射中心网络建设的评估主要包括内部评估和第三方独立评估两种形式。

2014年英国政府委托赫尔曼·豪泽团队对弹射中心网络建设情况进行第三方独立评估，主要围绕弹射中心网络建设可行性、未来发展范围和规模、国际发展战略、未来融资模式、如何与政府干预措施相结合等内容开展。

2017年委托安永会计师事务所再次进行第三方独立评估，围绕弹射中心网络绩效表现、成功领域及待完善领域、过去5年的主要教训以及如何在将来更加有效发展、弹射中心最优运营模式及相应的治理和财务管理形式、政府支持的创新组织与弹射中心的结合程度等问题。

2017年11月，作为弹射中心网络建设的主管部门，商业、能源和产业战略部和英国创新署为评估弹射中心的影响力专门制定了相关评估框架，为每个弹射中心自我评估提供了详细、科学的框架依据。2020年1月，商业、能源和产业战略部启动了针对弹射中心网络绩效及影响的审查评估，并于2021年4月发布了《弹射中心网络2021评估报告：英国弹射中心如何加强研发能力》，回顾英国弹射中心如何加强研发能力、提高生产力并促进英国整体繁荣，为确保弹射中心网络继续为英国的创新和产业发展提供重要支持提出建议。

该报告专注于4个领域：弹射中心在创新生态系统中的作用、弹射中心的治理和评估、弹射中心协作与竞争、弹射中心网络的未来发展。报告建议由英国研究与创新署和英国创新署建立独立审查小组，在2021—2023年期间对现有弹射中心进行5年期审查，为其长期发展和资助的规划决策提供证据。商业、能源和产业战略部与英国创新署将与各弹射中心合作，收集适当的数据和成果影响证据，建立适用于每个弹射中心具体情况的评估指标体系（KPI），同时建立核心通用的KPI。

4.3 高等教育机构研究卓越框架科研评价

由英国四大资助机构实施的高等教育机构研究卓越框架评估，是在1986年至2008年间实施的6次大规模科研评估基础上完善形成的评估机制，迄今已开展两次。第一次研究卓越框架2014于2014年发布结果。按照每7年一次评价的周期，研究卓越框架2021于2019年上半年发布了材料提交指南、实施指南和评审指南，并将于2022年发布评估结果，为资助机构2022—2023年之后的研究资金分配提供指导。

四大资助机构一致认为研究卓越框架评估目标是确保英国高等教育在各个学术领域保持其作为世界一流、充满活力且反应迅速的研究基地的地位。这一目标将通过研究卓越框架评估的三重作用来实现：

一是为公共研究投资问责提供投资收益证据；

二是提供基准信息并建立声誉标准，以供高等教育部门内部使用并公开信息；

三是为有选择地分配研究经费提供信息依据。

研究卓越框架实行“同行评价为主，计量指标为辅”的方式。基于学科的专家组对高等教育机构提交的针对众多评价单元（Unit of Assessment，UoA）的资料进行评价。评估内容主要包括5方面材料：科研人员详细信息、研究产出、影响力案例研究、环境数据和研究环境陈述。2016年，斯特恩勋爵领导开展了针对研究卓越框架2014的独立评估，提出了减少学科评价单元、调整评估指标权重、由评估个人转为评估机构、扩展“科研影响力”定义等重大建议。在此基础上，研究卓越框架2021将评价单元数量减为34个，每个评价单元都有一个子专家组对提交的材料展开详细的评价，主要侧重科研产出（权重占比60%）、科研影响力（25%）和科研环境（15%）3个要素标准。在34个子专家组之上设有4个主专家组，每个主专家组负责若干子专家组以确保对交叉学科和前沿学科的评估。同时，4个主专家组负责制定专家标准和工作方法，确保整体评价标准的一致性。专家组成员由四大资助机构通过公开提名的方式任命。

4.4 科研基金项目评估——以牛顿基金过程评估为例

作为英国政府官方发展援助基金（ODA）的一部分，牛顿基金是2014年启动的5年期基金项目，该基金于2015年延长至2021年并扩大基金投入规模，旨在支持前沿研究来解决发展中国家所面临的挑战。商业、能源和产业战略部作为主管部门，向17个英国实施机构（英国研究与创新署、英国航天局、气象局、英国文化协会等）拨款，并通过这些实施机构向合作国家研究机构提供研究资助，同时要求合作伙伴国家提供匹配资源。7年间英国共投入7.35亿英镑。

2017年下半年，商业、能源和产业战略部委托Coffey国际发展咨询公司对牛顿基金开展了一次过程评估，旨在使商业、能源和产业战略部与提供该基金的利益相关者有足够的时间在该基金的剩余生命周期（直到2021年）吸取教训并进行改进，为未来开发类似计划、项目以及干预措施提供指导。

过程评估采用社会科学中使用的多种定性和定量方法，目的在于解释干预措施如何产生结果或效果，了解干预措施起作用的因果途径，解释干预措施失败的原因并指出如何改进。评估方法包括审查项目文件（例如商业案例、会议纪要、进度报告、国家战略、合同和采购），并在此基础上与主要利益相关者进行访谈（包括商业、能源和产业战略部人员，国内团队，英国实施机构，海外合作伙伴）。所收集数据被系统地编码、审查和验证。

结果发现，自评估启动以来，牛顿基金在其运作方式及目标完善方面取得了重要进展，但缺少整体规划和事项优先级，仍需完善报告机制，加强着眼于长期管理的战略思维；“配套”资源政策是牛顿基金的独特优势和卖点，也是最大的实际挑战。商业、能源和产业战略部过程评估阐明了干预措施产生变化的机制过程，对将来推出类似干预措施非常重要。

4.5 上述科研政策、机构及项目评估的共同点

第一，内部和外部评估相结合。独立第三方评估模式以其中立、客观及专业权威性有效保证了评估结果的客观公正性，也是对传统政府自我评估模式的有力补充和监督制衡。

第二，定量和定性分析相结合。评估采取多种数据收集方式，建立科学数据模型，结合量化指标和定性影响力证据，保证了数据充分性和分析结果的科学性和完整性。

第三，突出实效性和时效性。周期性评估是保障科研创新效益和影响力的必要举措。及时有效的评估结果为科研政策和项目实施提出了切实可行的建设性意见。

第四，总结性和前瞻性相结合。评估不仅回顾过去的成果和经验，更面向未来发展方向、规模、模式等问题，为英国科研创新长期发展提供有力支撑。

科研评价信息系统建设

只有拥有一致、准确和完整的数据才能进行高质量的评估。除了监测和行政数据外，这通常还包括专门为评估收集的新数据。从研究卓越框架评估实施的时间表可以看出，评估数据收集是一项纷繁复杂的工程，因此，有效统一的研究信息系统建设对于高质量评估尤为重要。

5.1 英国政府部门研究数据库

英国政府许多部门都有关于自己研究活动的数据库：例如，英国国际发展部（Department for International Development，DfID）将其已发表的研究集中在一个网站（https://www.gov.uk/dfid-research-outputs），环境、食品和农村事务部（Department for Environment，Food&Rurual Affairs，Defra）也有一个可搜索的网站详细说明当前项目（http://sciencesearch.defra.gov.uk/）。这些做法有一定作用，但英国国家审计署（National Audit Office，NAO）发布的跨政府研发报告提出，需要建立跨部门一致的共享治理模式，“英国研究与创新署应与其他部门合作，确定开发跨政府部门研究项目数据库”。建立跨政府部门数据库将为政府及其利益相关者提供更大的清晰度。为了支持这一点，政府数字服务应该在一个平台上工作，将重要的研发项目记录在一个数据库中。

5.2 Researchfish数据系统

英国研究与创新署下属七大研究理事会统一使用的Researchfish系统是一个很好的科研成果系统建设案例。2008年，Researchfish系统仅作为医学研究理事会（MRC）的一个项目推出，协助医学研究理事会进行数据收集、研究跟踪和资助影响的衡量。

2012年，Researchfish平台启动，18家研究资助机构加入，证明其结果适合所有研究领域的公共资助者和非政府组织。

2014年，英国7家研究理事会全部加入Researchfish系统，使其成果类型多学科化。

2019年8月，Researchfish并入了Interfolio公司。这是一家提供软件以帮助大学简化学术招聘、评估、晋升和学术活动跟踪流程的公司。全球的资助者、大学和研究中心使用Interfolio 的Researchfish来跟踪、研究和交流其研究结果的整体影响。目前，通过该系统可追踪500亿英镑资金经费，16万项资助以及超过350万项成果产出。

5.3 研究卓越框架2021数据来源

研究卓越框架数据收集指导小组（DCSG）为研究卓越框架数据提交系统的开发提供监督指导，确保各高等教育机构提交相关数据材料并得到有效处理。同时，确保从指定第三方数据公司得到的引文数据与REF数据收集系统充分整合，从英国高等教育统计局（Higher Education Statistics Agency，HESA）、各研究理事会得到的数据与其数据收集系统相一致，从而降低成本、减少专家时间精力投入，并提高同行评议的客观性。

5.4 推动公共数据使用与共享

英国政府近期对数据共享的重要性日趋重视。2020年9月9日，英国政府发布《国家数据战略》，阐明了英国政府针对数据使用将采取的支持行动，着眼于如何利用英国的现有优势来促进企业、政府、公民社会和个人之间更好地使用数据。英国政府将对自身模式进行一次根本性转变，推动对信息的有效管理、使用以及跨政府共享方式的重大改进。宣布任命政府首席数据官，通过整体性政府模式来领导和转变政府对数据的使用和共享，提高效率和改善公共服务。

英国科研评价对我国的

借鉴意义及启示

6.1 充分重视和发挥政府部门的科研能力和绩效评估

科学被视为提高政府效率和决策能力的核心因素之一，因此对政府部门的科研能力和绩效开展定期评估尤其重要。需要有明确的机制来确保科学在政府部门得到有效应用且结果得到评估，并将其作为政府、社会和经济发展议程的核心，从而发挥政府在科研中的积极作用，提高利用科学促进国家繁荣和社会利益的能力。

6.2 进一步推动跨部门跨领域协作型科研评估

人类面对的很多共同挑战都涉及多领域，其应对需要跨学科研究团队的集体协作。在鼓励跨学科合作的基础上，科研评价体系中也要确保公平合理对待跨学科研究成果，培养、汇集有跨学科研究经验的专家，推动科研成果的协同创新。

6.3 保持定量定性评估互补性平衡

当前科研评价不仅要考虑可以量化的学术成果，更要涵盖其对研究、创新和整个社会的影响。在统一的核心绩效指标基础上，应坚持科研评价本身的科学性，根据评估对象、专业以及领域的不同，及其对定量和定性评估的适用性，形成定量定性评估在一定频谱内的互补性平衡。充分利用第三方专家独立评估模式，增强评估的客观公平和专业权威性。

6.4 完善统一共享、互操作性强的信息基础设施

定量评估数据收集处理和定性专家评议信息分析，都需要建立开放且具有互操作性的数据基础架构。数据的可获得性、标准化、可靠性和便捷性需要得到保障，并应增强不同部门和不同利益相关者之间的数据共享。应充分利用公共数据资源来构建国家层面的开放型科研统计数据库，为专业机构针对科研单位或项目开展第三方独立评估提供充分的数据支持，增强科研工作的透明度。

作者：谢会萍，中国科学技术部

本文转载自微信公众号科情智库，原载于《全球科技经济瞭望》2022年1月第36卷第1期

产业 | 工业化 | 数字化 | 人才 | 创新创业 | 颠覆性技术 | 科技指标 | 科技政策 | 前沿技术 | 知识产权 | 智库 |

获取方法如下：

其他系列将陆续呈现，多多关注哦！

投稿邮箱：nais-research@cnais.org.cn