科技评估|科技馆免费开放评估指标体系研究

摘要：本文根据免费开放科技馆的功能属性，确定了科技馆免费开放评估指标体系的构建原则，考虑不同角度评估工作的重点，设计了适应不同主体和要求的科技馆免费开放评估指标体系，包括免费开放科技馆自评估指标体系、各级科协主管部门自评估指标体系和科技馆免费开放第三方评估指标体系，最后对主要指标和考察要点进行了总结说明。本文的研究成果，可以为免费开放科技馆和科协主管部门开展自评估以及第三方评估提供标准和依据，规范免费开放科技馆的评估和运行管理，为中国特色现代科技馆体系建设提供支持，为科技馆事业的可持续发展提供参考。

关键词：科技馆，免费开放评估，评估指标，指标体系

全国科技馆免费开放政策自2015年开始实施以来[1]，至2019年底已有219家科技馆向社会免费开放，带动了更多的公众走进科技馆，了解科技馆的功能和作用，享受更多更好的科普公共服务，同时树立了科技馆的良好社会形象，为提升我国公民科学素质提供了重要支撑。

为全面掌握新时期我国科技馆免费开放相关政策落实情况和成效，了解各地科技馆运营、提供公共服务、社会效益等各方面的情况，评估免费开放科技馆使命的达成情况以及主管部门的管理情况，中国科协科普部组织对全国科技馆免费开放实施情况和综合成效进行评估。科技馆免费开放评估是一个复杂的体系，需要构建一套科学规范的评估指标体系进行系统地表达和评价。

科技馆免费开放评估指标体系是评估的技术框架，也是理论框架，设计评估指标体系是一项系统的工作，也是促进我国科技馆事业发展的重要基础工作，需要在理论指导下，设计出由若干层级、若干数量、彼此有内在联系的指标组成的指标体系。本文在对相关研究成果进行综述的基础上，首先确定了科技馆免费开放评估指标体系的设计原则；然后根据评估的目的和评估的整体需要，从免费开放科技馆自评估、各级科协主管部门自评估和科技馆免费开放第三方评估三个维度设计了指标体系，并指出了各指标的考察要点；最后对指标体系进行了总结说明。

1.相关研究回顾

总的来说，从查阅到的文献来看，学者们对科技馆、流动科技馆以及科普基地评估指标体系的研究有所涉及，但研究文献不多。与科技馆活动相关的科普活动评估及其指标体系的相关研究较为丰富，与博物馆相关的评估指标体系相对规范，但免费开放科技馆评估指标体系的系统研究目前还基本没有涉及。

关于科技馆、流动科技馆评估指标体系的研究方面。李霞等指出我国科技馆绩效评价可以围绕财务绩效、场馆绩效、展品绩效和社会效益四个方面构建指标体系[2]。张楠楠等探讨了通过科技馆展品及展陈效果绩效考核和科技馆员工绩效考核两个层面构建科技馆绩效考核体系的问题[3]。徐扬等对国内外科技馆评估指标体系等相关研究进行了综述，特别是分析了流动科技馆评估的研究进展和指标体系的构建[4]。蔡文东等在分析国内外博物馆、科技馆评估理论研究与实践的基础上，归纳出科技馆评估的类型。基于各级科技馆在中国特色现代科技馆体系中的定位和职责，提出了应直接根据科技馆的行政级别开展运行评估的方式。并分析了现有国内外博物馆、科技馆运行评估指标的特点，提出了科技馆运行评估指标的选取原则和指标体系[5]。

关于科普基地评估指标体系的研究方面。Zang T等以科普基地为例，提出了一种利用诱导有序加权平均算子和粒子群优化算法进行科普自主评估的方法。选择科普人才、空间、资金、媒体、活动和影响六个因素构建评估指标体系，将评价指标的绝对优势和相对优势作为诱导成分，确定评价指标的先后顺序，建立指标加权向量的优化模型，通过粒子群优化算法计算指标加权向量，得到指标加权向量和评价值向量，根据Perron-Frobenius决策特征值定理给出最优评估向量和评估结果[6]。王利等介绍了天津市科普基地绩效评估体系建设的核心目标，基于科普场馆、科普活动站、主题公园和专题科普基地等四类基地，明确了绩效考核的内容重点和各项评估指标的打分标准。设计了两级评估指标体系，其中一级指标包括传播成效、保障机制、创新成效和现场得分，适用于各类基地，二级指标根据基地不同情况而各有不同[7]。汤乐明等以科普互动厅为研究对象，选择了2017年某城市70家社区科普互动厅为主要评估对象，采取问卷调查、实地访谈和案例分析等方法，从目标、组织管理、产出情况、社会效益等4个方面设计了评估指标，对科普互动厅进行了评估[8]。朱星谕等在现行广州市科普基地认定、评估指标体系的基础上，对其进行设计、修改和完善，通过专家访谈，采用层次分析法对该指标体系进行权重赋值，构建广州市科普基地认定和评估指标体系[9]。

与科技馆活动相关的科普活动等评估指标体系的研究方面。Sardo A M等评估了夏季文化节科学活动对受众的影响：包括受众的参与度、参与原因以及他们对活动的看法和反应。面对各种文化活动，以科学为基础的活动参与的观众人数很多，公众与科学家和其他演讲者共有很高的享受和参与度[10]。Tajmel T等对2013年“舞台科学节”这一大型教师培训活动进行了评估，作者评估了该项目在实现明确目标、明确定义目标群体以及国际传播教学项目方面的有效性[11]。Sánchez-Mora M C认为由于公共科学传播活动所使用的媒体数量众多，所追求的目标也各不相同，评估变成了一项艰巨的任务。论文提出了一种通用格式，用于快速简便地评估公共科学传播工作，并与所有科学传播者分享共同语言，比较这种不断增长的活动的结果[12]。张志敏等探讨了大型科普活动的特点，构建了大型科普活动效果评估指标体系及理论框架，阐述了指标体系的构建方法。指标体系分为三个层级，包括4个一级指标，12个二级指标和36个三级指标。4个一级指标分别是“策划与设计、宣传与知晓、组织与实施、影响与效果”，它们涵盖了一次大型科普活动初期的策划、中期的宣传、后期的组织实施和影响效果，并通过大型科普活动评估实践对评估框架进行了功能检验[13]。刘广斌等采用专家法和问卷调查法，从科普产业总体状况、业务活动状况、财务状况和创新能力四个方面构建了科普产业统计指标体系框架[14]。严波等针对专题科普活动的属性，采取理论研究与实践相结合的方式，构建了专题科普活动成效监测评估指标体系，包含策划与设计、宣传与知晓、组织与实施、影响与效果4个一级指标，12个二级指标和35个三级指标[15]。

关于博物馆评估指标体系的研究方面。国家文物局组织修订了《国家一级博物馆运行评估指标》并于2017年10月发布施行。国家一级博物馆运行评估指标体系框架包括3个一级指标、8个二级指标和17个三级指标。一级指标分别是内部管理、服务产出、社会反馈[16]。一些学者从不同的角度也做了一些相关研究，林咏能对比分析了英国、美国、澳洲、新西兰等国的博物馆和我国台湾的公立博物馆绩效评估指标的发展，并分析了其差异程度，提出了构建博物馆绩效评估指标的思考[17]。Chittenden D探讨了美国科学博物馆和科学中心在创建和提供公众参与科学规划方面可以发挥的作用，讨论了科学博物馆增加公众参与科学的一些支持因素，为了维持当前公众参与科学需要克服的一些难题，以及通过科学博物馆参与实现更广泛公众参与科学影响的若干建议[18]。李李季根据博物馆分级分类评估的思想，提出了不同层级、不同类型博物馆的代表性评估指标和量化标准[19]。

这些相关研究，为设计我国科技馆免费开放评估指标体系提供了有价值的参考和借鉴。

2.科技馆免费开放评估指标体系设计原则

设计科技馆免费开放评估指标体系，首先要考虑免费开放科技馆的教育性、公益性等属性；要体现对社会公众的惠及能力与效果，体现公众的认可程度，体现专业性和合理性。因此，科技馆免费开放评估指标体系设计，应考虑以下一些基本原则。

（1）目的性原则。指标体系的确定要立足科技馆免费开放的既定目标，把握免费开放科技馆的基本功能和属性，体现“以评促建、以评促改”的评估目的和要求，确保评估结果能作为改进的依据。同时，指标体系也要具有较强的导向性，要体现国家和社会对免费开放科技馆的发展要求，引导和规范科技馆的发展方向。

（2）科学性原则。评估指标的名称及含义要准确、清楚，应准确地反映评估对象的特征、反映评估的目的。指标体系各层级间逐层分解，逻辑关系清晰，指标体系中各层级指标要相互独立、协调统一，避免出现具有较强关联性或重叠交叉的指标。指标体系及考察要点应能客观、准确地评价科技馆的运行状态。

（3）可操作性原则。评估指标要具有可操作性与可实现性，要考虑信息基础情况，考虑数据的可获得性和获得数据的经济性。指标体系应适应评估的方式，适应指标使用者对评估指标的理解和判断能力。在确保评估质量的前提下，尽可能简化评估指标和流程。

（4）可比性原则。评估指标的确定，既要考虑科技馆自身情况的纵向对比，也要考虑科技馆间的横向对比，还要考虑自评估、外部评估以及综合评估、专题评估等指标间的可比性。

（5）系统性原则。应确保指标体系内部各指标之间具有严密的逻辑关系，使指标体系能够全面地评判科技馆的实际运行状况。同时也要考虑设立少数能够集中反映评估对象特征的关键评估指标。

（6）动态性原则。免费开放科技馆在不断的建设和发展，中国特色现代科技馆体系建设也在不断发展。因此，评估指标体系既应考虑免费开放科技馆的实际发展阶段，也要考虑其未来发展变化动态调整的需要。

3.免费开放科技馆自评估指标体系

依据免费开放科技馆的属性和指标体系的设计原则，考虑自评估的重点内容，设计了免费开放科技馆自评估指标体系框架，包括4个一级指标、11个二级指标以及指标的考察要点，如表1所示。

表1 免费开放科技馆自评估指标体系框架及考察要点

4.各级科协主管部门自评估指标体系

依据科协主管部门的管理职能和指标体系的设计原则，设计了科技馆免费开放各级科协主管部门自评估指标体系框架，包括3个一级指标、7个二级指标以及指标的考察要点，如表2所示。

表2 科技馆免费开放主管部门评估指标体系框架及考察要点

5.科技馆免费开放第三方评估指标体系

依据指标体系的设计原则，参照前述相关研究成果，设计了科技馆免费开放第三方评估指标体系框架，包括4个一级指标、10个二级指标、28个三级指标以及指标的考察要点，如表3所示。该指标体系主要适用于评估免费开放科技馆的使命达成情况，也可以间接评估主管部门的管理情况。

表3 免费开放科技馆第三方评估指标体系框架及考察要点

6.总结

本文在梳理相关文献的基础上，根据免费开放科技馆的属性和科技馆免费开放评估的目的，按照指标体系的设计原则和评估的整体需要[20]，设计了三个方面的指标体系，即免费开放科技馆自评估、各级科协主管部门自评估和科技馆免费开放第三方评估指标体系。上述指标体系重点基于框架和内容方面的考虑，因篇幅所限，关于指标体系赋权等相关内容将在另一篇文章中详细探讨。

免费开放科技馆自评估，主要从科技馆免费开放制度建设情况、科技馆运营服务情况、免费开放补助经费管理情况以及取得的经验和成效等方面开展，指标体系设计了制度建设、运营服务、经费管理、经验及特色4个一级指标。其中：制度建设主要从组织机构、队伍建设、制度体系3个方面进行评估；运营服务主要从基本运营情况、展厅运行情况、活动开展情况、运营与管理模式4个方面进行评估；经费管理主要从经费预算、经费使用、经费控制3个方面进行评估；经验及特色主要考察可以推广的经验、特色及特色项目等。

各级科协主管部门自评估，主要从科协职能管理部门的角度，评估科技馆免费开放相关政策制定和落实情况、科技馆免费开放组织开展情况以及取得的成效和可以推广的典型案例等，指标体系设计了体制机制建设、组织开展情况、经验总结3个一级指标。其中：体制机制建设主要从组织保障、制度建设、配套政策和措施3个方面进行评估；组织开展情况主要从资格审查及程序、经费拨付及使用、业务管理3个方面进行评估；经验总结主要是对科技馆免费开放以来取得的经验和代表性举措进行全面总结，提炼可以在全国推广的典型案例，例如，如何通过配套政策优化资金使用，如何通过免费开放资金支持提升科技馆展教质量等。

科技馆免费开放第三方评估，是借助专业的评估力量从第三方的角度对科技馆免费开放相关政策落实情况和实施成效进行全面、系统、客观的综合评估。指标体系设计了制度建设及组织保障、任务完成情况、运营管理及科普公共服务能力、实施成效4个一级指标。其中：制度建设及组织保障主要从组织建设、制度建设、安全保障3个方面进行评估；任务完成情况主要从产出情况、活动开展情况、服务质量3个方面进行评估；运营管理及科普公共服务能力主要从制度实施与总结、科普公共服务能力2个方面进行评估；实施成效主要从公众满意度、社会影响2个方面进行评估。

上述指标体系的构建思想及内容框架已经在“2015-2019年全国科技馆免费开放实施情况综合评估”中被采用，并在此基础上进行了改进和完善。

本文的研究成果，为科技馆等公共服务领域自评估和第三方评估指标体系的设计提供了有价值的参考，也可以作为调查问卷的基础，取得免费开放科技馆的样本数据，分析我国免费开放科技馆的发展现状和未来趋势，同时可以为国家制定和完善中国特色科技馆体系和科技馆免费开放的相关政策提供决策参考。

在本文撰写中参考了中国科协创新战略研究院完成的《免费开放科技馆科普公共服务评估报告》，得到了李响副研究员的大力帮助，得到了刘萱副研究员、马健铨博士、王宏伟研究员、罗晖研究员、夏婷副研究员、刘向东副研究员的帮助，得到了中国科协科普部和中国自然科学博物馆学会的支持，在此一并表示衷心感谢。

参考文献

[1] 中国科协、中宣部、财政部.关于全国科技馆免费开放的通知（科协发普字〔2015〕20号）[S].北京：中国科学技术协会，2015.

[2] 李霞，段钊.浅析我国科技馆绩效评价指标体系的构建[J].科学教育与博物馆，2015(1):181-185.

[3] 张楠楠，高杨帆.基于免费开放的科技馆绩效评价体系初探[J].科技传播，2016,3（下）:65-67.

[4] 徐扬，刘姝雯，王冰璐，等.流动科技馆评估体系研究进展[J].科技管理研究，2017(11):78-84.

[5] 蔡文东，王美力，齐欣，等.科技馆评估指标体系研究[J].自然科学博物馆研究，2020(3):61-70.

[6] Zang T, Wang Y, He Z, et al.A Self-determined Evaluation Method for Science Popularization Based on IOWA Operator and Particle Swarm Optimization[C]//International Conference of Pioneering Computer Scientists,Engineers and Educators.Singapore:Springer,2016: 96-108.

[7] 王利，李娜，赵梓辰.天津市科普基地绩效评估体系——评估标准与指标体系设计[J].中国科技信息，2016(7):90-91.

[8] 汤乐明，王海芸，梁廷政.社区科普互动厅评估指标构建及评价研究[J].科普研究，2018, 13(5): 68-74.

[9] 朱星谕，赵宏，周国基,等.构建广州市科普基地认定和评估指标体系研究[J].科技管理研究，2020(7):76 -81.

[10] Sardo A M，Grand A. Science in culture：Audiences’perspective on engaging with science at a summer festival[J].Science Communication，2016，38(2): 251-260.

[11] Tajmel T, Salzmann I. From Stage to Classroom-the Transfer of Knowledge through the Festival“Science on Stage”[J].MRS Advances, 2017, 2(31-32): 1643-1649.

[12] Sánchez-Mora M C.Towards a taxonomy for public communication of science activities[J].Journal of Science Communication,2016,15(2): Y01.

[13] 张志敏，郑念.大型科普活动效果评估框架研究[J].科技管理研究，2013(24):48-52.

[14] 刘广斌，李会卓，尹霖.我国科普产业统计指标体系构建研究[J].科普研究，2015,10(6):51-57.

[15] 严波，区明思，乔锦杨，等.专题科普活动成效监测评估指标设计探讨[J].广东科技，2017(5):80-84.

[16] 国家文物局.国家文物局关于发布《国家一级博物馆运行评估指标》的通知[EB/OL].（2019-08-23）[2020-03-17].http://www.ncha.gov.cn/art/2017/10/23/art_2237_23560.html．

[17] 林咏能.国际博物馆评估比较研究[J].中国博物馆，2013(2):61-70．

[18] Chittenden D.Commentary: Roles, opportunities, and challenges-science museums engaging the public in emerging science and technology[J].Journal of Nanoparticle Research, 2011,13(4): 1549-1556.

[19] 李李季. 我国博物馆分级分类评估体系的分析及改进研究[D].北京：北京化工大学，2019.

[20] 任福君. 科技馆免费开放评估的总体思考[J].今日科苑，2020(9):15-24.

责任编辑：贺茂斌

封面图片：来源网络

作者简介：

任福君，男，博士，教授、研究员，中国科协创新战略研究院院长，研究方向为科学文化、创新文化、科技政策等。