各有关单位：
为贯彻落实党的十九大会议关于推动人工智能和实体经济深度融合精神，以及《新一代人工智能发展规划》（国发〔2017〕35号）、《促进新一代人工智能产业发展三年行动计划（2018-2020）》（工信部科〔2017〕315号）标准化部署，中国电子工业标准化技术协会组织相关产学研单位编写并发布《信息技术 人工智能 面向机器学习的系统框架和功能要求》、《人工智能 深度学习算法评估规范》等标准。为推进标准的应用实施，中国电子技术标准化研究院拟针对机器学习系统、智能助理、机器翻译、人工智能芯片、人工智能服务能力以及人工智能产品深度学习算法等开展标准符合性测试评估工作，相关事项通知如下：
一、测试评估范围
机器学习系统、智能助理、机器翻译、人工智能芯片、人工智能服务能力以及人工智能产品深度学习算法等（详见附件）。
二、测试评估依据
l 《信息技术 人工智能 面向机器学习的系统框架和功能要求》T/CESA 1037-2019
l 《信息技术 人工智能 智能助理能力等级评估》T/CESA 1038-2019
l 《信息技术 人工智能 机器翻译能力等级评估》T/CESA 1039-2019
l 《信息技术 人工智能 人工智能芯片测评方法》
l 《信息技术 人工智能 服务能力成熟度评价参考模型》T/CESA 1041-2019
l 《人工智能 深度学习算法评估规范》T/CESA 1026-2018
三、时间安排
l 4月下旬：测试启动会；
l 5月：样品接收及入库；
l 6月上旬：样品进场及环境确认；
l 6月至11月底：开展测试工作；
四、联系人及联系方式
马珊珊，mass1@cesi.cn，010-64102858（标准咨询）
张琦，zhangqi1@cesi.cn，010-64102859（符合性测试）
宋博伟，songbw@cesi.cn, 15210848422 (芯片测评)
张伟娜，zhangwn@cesi.cn，010-64102848 (算法评估)
中国电子技术标准化研究院
2019年4月15日
附件
第一批人工智能标准符合性测试送测要求
一、 测试依据
l 《信息技术 人工智能 面向机器学习的系统框架和功能要求》
l 《信息技术 人工智能 智能助理能力等级评估》
l 《信息技术 人工智能 机器翻译能力等级评估》
l 《信息技术 人工智能 服务能力成熟度评价参考模型》
l 《人工智能 深度学习算法评估规范》
二、 送测单元
参加人工智能标准符合性测试的各有关单位，可依据表1中的送测单元划分，选择自主研发的人工智能产品和系统提交测试。送测样品如果需要特定场景支持测试的参测产品,一并提交产品相关手册、硬件配套设备样品和文档资料。
三、 送测流程
测试工作分为测试启动会、样品接收入库、样品进场及环境确认、测试实施四个阶段，总体时间安排见表2。
四、 样品接受与管理 （一）样品接收
1．入库流程：
1) 送测单位联络人携带《法人代表授权书》到测试单位提交测试申请，同时提交送测样品相关资料。
2) 电子标准院相关专家对申请材料进行初审，并与通过初审的申请机构沟通测试安排。对于无法送测的样品，电子标准院根据测试计划委派测试专家到申请机构进行现场测试。
3) 样品及所有部件、配件由送测单位标识并密封后提交给测试单位。
4) 送测单位按照测试单位要求将样品送至指定库房进行入库，样品管理员负责填写《样品入库、出库、退库登记表》(附件1)。
5) 测试单位检查包装、清点包装数量、样品标识、整体拍照后，送测单位负责配合入库并签字确认。
6) 深度学习算法等不涉及样机、配件的软件类测试样品，应填写《深度学习算法测试申请表》完成样品入库（附件2）。
2．递交材料：
1) 在递交被测样品时，送测单位提交联系人信息，要求送测单位联系人具备相应的技术能力。
2) 送测单位按照要求提供配套文档、语料库、测试数据、软件配置要求、自测报告及文档清单等。
3) 测试单位配置管理员负责收集及登记送测单位提交的材料。
4) 测试单位对送测单位提供的所有软、硬件材料完全保密，双方签订保密协议。
（二）样品取回
整体测试工作结束后，测试单位将通知送测单位取回送测样机。送测单位按照测试单位通知的时间，到指定场地取回样品。
五、 测试实施 （一）测试组织
测试实施过程中，测试单位组织开展测试，为保证测试工作顺利实施，未经测试单位技术人员许可，任何人不得随意进入测试现场，不得以任何形式干扰测试过程的正常进行。
（二）测试执行
测试单位依据人工智能相关团体标准制定测试方案和测试用例，对送测产品进行各人工智能技术指标项测试，并记录测试过程和测试结果。
（三）测试记录
测试单位负责收集已完成的产品测试记录，审核后于当日的17时30分之前交由配置管理员统一归档保管。
所有测试报告按统一格式出具。
热门跟贴