文 / 证券期货业测试服务响应能力评估体系研究课题组
近年来，随着证券期货业务复杂度增加，软件产品和服务创新加速，对信息系统的交付周期要求逐步增强，软件测试作为信息系统的关键质量关卡，既要保证交付质量，又要保证交付效率，行业对其重视程度不断上升。同时，信息系统复杂程度的增加使得用户对软件测试标准化需求更加迫切，测试过程逐渐向体系化、规范化、精细化管理的方向发展。交易所、券商等行业机构纷纷以国家标准化战略为引领，以《证券期货业科技发展“十四五”规划》为指导，结合业务实践，对软件测试过程改进、质量评估方法等开展研究，基于质量保证、快速交付等目标，积极探索以成熟度为标杆的测试管理策略与指标评价体系。
研究目标
当前行业内的测试标准和评价体系较多侧重于传统测试过程管理的分析，对于不同测试种类细分下的测试服务需求，以及测试能力资源投入的度量上还存在不足。因此，本课题致力于探索一套测试服务响应能力评估体系，通过工程化（公式化、模型化和数据标准化）方法，分析评估测试服务与测试能力，把行业信息系统的测试服务需求、测试过程管理和测试资源响应进行梳理和融合，实现测试过程规则化、规则指标化、指标可计算，实现行业软件测试可规划、可度量、可管理、可评价发展，促进测试服务提质增效，助力行业数字化转型向更深层次迈进。
研究成果
1.测试服务响应能力评估体系整体框架结构
测试服务响应能力评估体系（以下简称本体系）主要包含三项主体内容。第一，测试服务需求分类分级方法作为响应能力评估体系的入口，面向测试需求，通过识别具备行业一致性的关键属性要素，评估测试需求等级。第二，测试服务五层响应分级模型作为框架内核，上承需求分类分级方法，针对不同需求等级，按需求分值梯度匹配不同测试服务响应等级；下启能力域评估模型，针对不同测试服务响应模式，指导测试机构在测试策略选取、测试资源分配等层面的实际操作落地。第三，测试能力域评估模型为本体系的地基，既能独立用于系统性评估测试机构能力域现状，指导测试机构持续开展测试能力的补充建设，又可服务于五层响应模型，为五层响应等级匹配不同测试能力要求。整体框架结构如图1所示。
2.测试服务需求分类分级方法
（1）方法概述。测试服务需求分级分类方法是本体系的核心主体之一，其适用场景为：指导测试机构在面对具体测试需求时，通过分析需求属性，以分类分级方式，匹配适合的测试响应等级。
需求分级分类操作源自需求的两类属性。首先，基准属性指从系统分类、业务价值、研发模式三个维度出发，识别系统层级特性，明确系统级的需求类型。其中，系统分类属性包括核心系统类、业务系统类、办公内管类、基础服务类；业务价值属性包括全网业务类、市场业务类、内部需求类；研发模式属性包括自主研发类、定制开发类、外购产品类、应用系统托管类。其次，浮动属性指从紧急程度、影响范围两个外部客观条件出发，每个属性划定高、中、低三个级别，结合主观分析判定，识别需求浮动情况。框架详如图2所示。
（2）测试服务需求等级算法。通过对上述属性赋予不同权重和分值，经计算公式得出需求分值，从而确定测试该需求建议采取的测试等级（见表1）。
表1测试服务需求属性权重及分值表（参考值）
表2测试服务需求等级表
测试服务需求等级总体算法：
3.测试能力域评估模型
（1）模型概述。测试能力域是指测试组织在软件测试过程中所需的整体能力覆盖范围，具体能力可能因组织需求而有所不同。本体系将测试能力域按测试全生命周期的行为特性划分为7大评估域，每个评估域含评估子域，评估子域下细化为具体的能力项。共含7大评估域、25个评估子域、102个测试能力项。7大能力域及其子域如下。
测试过程能力域。测试过程贯穿于整个软件生存周期，本部分列举了用于治理、管理和实施任何组织、项目或较小规模测试活动的软件测试过程中所需要的能力。子域包括测试过程、工程过程、支持过程。
技术能力域。本部分介绍软件测试过程中涉及的技术保障方法，对主要的测试技术进行了分类和说明，对测试技术的实施应用提供规范和指导。子域包括分析技术、功能测试技术、自动化技术、质量工程技术、人工智能技术、总结评价技术。
组织管理能力域。组织管理使得整个组织具有一致的过程执行，并且为组织提供一个累积的、长期收益的基础。通过建立规范的测试流程、测试团队组织架构，明确测试小组任务、目标和各小组成员的具体职责，对部门测试工作的正常开展起到规范的指导作用。子域包括体系建设、组织架构、商用工具、组织资源管理、战略与治理。
核心资产能力域。核心资产主要包含了测试过程生产的过程资产，含支持测试过程中沉淀的一切文档、数据、程序积累，含过程资产的生产者，也就是测试团队的建设。子域主要包括数据资产、人才队伍。
科研能力域。科研能力主要包括测试过程中发现问题、分析问题、解决问题整个过程中所涉及的能力。具体来说，涉及阅读分析文献、总结经验并准确表达。子域主要包括论文专利著作权、行业赋能。
度量能力域。软件测试度量主要是提取软件测试过程中可计量的属性，在测试过程中以一定频率采集这些属性值，并进行数据分析，量化评定测试过程，提高测试过程可视性，帮助软件组织管理及改进测试过程。以软件测试度量过程中的关键动作为基点进行划分，相关的能力子域主要包括识别、收集、分析、预测。
过程改进能力域。过程改进是指采取一定措施来完善组织的实施过程，以便更有效地满足组织的业务目标。对测试过程的改进，可在项目范围内进行，也可在组织范围内进行。子域包括人力改进、工具改进和方法改进。
（2）能力域评估模型算法。模型从102个测试能力项出发，基于证据对其评估要点进行评估，明确每个能力项的得分，再通过7大能力域的得分加权，计算出组织当前整体能力域得分，评估当前组织可提供的最高响应等级。评估要点采用基于行业测试专家经验、测试数据枚举与测试度量指标的方法，每一个评估要点根据主观能力及指标能力进行打分（见表3）。
表3能力要点评估选项表
能力域权重设计（见表4）。
表4能力域权重表
测试能力域总体算法：
测试能力域评价等级分为5级（见表5）。
表5能力域等级表
4.测试服务响应分级模型
测试服务响应分级模型通过将不同级别的需求及能力域的平衡适配，寻求不同级别测试需求的最佳响应方式，以提升证券期货行业的测试服务响应能力。本模型基于行业通用测试场景做出归纳总结，以期为行业实践提供指导和参考。
其基本逻辑为：随需求逐级增强，测试机构服务响应级别应逐步提升。同时，随响应级别递增，测试机构所需的测试能力要求也越高（测试机构当前具备的能力决定了其可提供的最高测试服务响应等级）。
五层测试服务响应模式（向下兼容）。
一级：流程规范支撑级。在工程过程中，提供如流程标准规范、质量评价标准等基础指导。
二级：基础能力提供级。在流程规范支撑级基础上，提供配置管理、测试平台、工具、资产库、测试交付物评审等基础平台能力。
三级：解决方案支持级。在基础能力提供级基础上，提供验收测试、通用测试技术选型、产品度量、测试项目管理等定制化测试解决方案。
四级：标准测试接入级。在解决方案支持级基础上，提供系统功能、自动化、性能测试、测试组织及人员管理、度量与过程改进等常规的全流程测试服务。
五级：卓越测试接入级。在标准测试接入级基础上，提供新一代质量工程及智能化测试技术，并具备一定的测试领域科研创新能力。
各个响应层级关联不同的基础能力要求，详见表6。
表6响应层级能力要求表
5.测试服务响应能力评估体系应用场景
测试能力域评估模型单一应用。测试能力域评估模型可用来评估测试机构及测试团队当前能力域现状，组织可以根据得分识别差距，定位本组织在测试资源配置、人员能力、测试技术、管理制度等方面存在的问题，参考本模型选择能力域、能力子域、能力项进行持续改进。
测试服务响应分级模型综合应用。综合需求分类分级方法、测试能力域评估模型、测试服务响应分级模型，可用于指导测试机构面向不同测试需求开展最佳响应模式评估，指导其测试策略选型，以提升证券期货业测试服务响应能力。一般步骤如图3所示。
后续展望
关于五层测试服务响应层级，需继续深入讨论其具体定义，持续优化五层服务响应类型与测试能力域的实际映射关系，使之具备能够真正指导测试团队面向不同的测试服务需求，按该等级能力要求，合理进行测试策略的选取及测试资源的分配能力。同时，后续需结合行业机构经验实践，进一步完善行业机构测试能力域评价体系的权重及指标项设置，使评价体系更具科学性、合理性、实操性。
课题组核心成员：上交所技术课题组（马肃威、刘泽赞、吴鑫、屠栽镝、张俊、徐子祺、张聪），东方证券课题组（杨忠琪、赵静波），兴业证券课题组（李旭、甄坡）
（此文刊发于《金融电子化》2024年4月下半月刊）
热门跟贴