2021年12月13日，美国国家标准与技术研究所（NIST）发布《人工智能风险管理框架概念文章》（AI Risk Management Framework Concept Paper），旨在帮助指导人工智能风险管理框架的开发，并在2023年初正式发布人工智能风险管理框架1.0版本。

NIST AI风险管理框架

编译：学术plus观察员 张涛

本文主要内容及关键词

1.人工智能引发安全风险：国际竞争，冲击就业格局，威胁政治安全，影响个人隐私安全， 技术风险（不可预测性，大规模破坏，不可解释性），目前性能最好的人工智能算法都无法解释其工作过程

2.风险定义：“风险”表示事件发生的概率和对相应事件后果的综合衡量，而不是仅关注负面的影响；人工智能风险管理是：提供一种方式来最小化人工智能系统带来的负面影响和识别最大化积极影响的机会

3. “NIST人工智能风险管理框架”制定：原则与进程；主要关注议题（管理方法、受众、效果）；受众定位包含所有利益相关者

4.“NIST人工智能风险管理框架”：框架9大属性（制定灵活的方法集，按需选取使用，而非一个适用于所有需求的方法集）；三个层级（核心层，概况层，实施层）

内容主要整理自外文网站相关资料

仅供学习参考，欢迎交流指正！

文章观点不代表本机构立场

阅读英文原文/完整报告

1.安全风险

人工智能引发安全风险

人工智能技术和应用在发展过程中会给国家安全、社会就业格局、个人隐私安全等带来各种风险和挑战。

1.1 国际竞争风险

美国国家情报总监早在2017年的听证会上就明确表示，我们的对手使用人工智能的能力对我们有潜在的深刻和广泛的启示，人工智能对国家安全起到至关重要的影响。2017年7月，新美国安全中心发布的《人工智能与国家安全》报告认为，未来随着技术的持续进步，AI将像核武器、飞机、计算机和生物技术一样，日益成为可影响国家安全的变革性技术。

1.2 冲击就业格局

2016年12月，美国白宫发布报告《人工智能、自动化及经济》（Artificial Intelligence, Automation and the Economy），指出人工智能技术可能会给现阶段的靠劳动力生存的人们带来威胁，并预测未来10年至20年间，时薪低的工种将受到人工智能技术的冲击最大。

1.3 政治安全

人工智能已被用于分析国民政治立场，研判政治舆情，影响政治进程。

  • 例如，剑桥分析公司利用人工智能分析了海量美国公民的用户信息，包括肤色、性取向、智力水平、性格特征、宗教信仰和政治观点等，辅助进行竞选战略，影响美国大选结果。

  • 此外，人工智能还被用于伪造虚假政治信息或传播特定政治观点，有网民利用人工智能技术，伪造了一段美国前总统奥巴马批评现任总统特朗普的视频，造成了恶劣影响。

1.4 个人隐私安全

一是算法偏见现象，影响公平正义。人工智能算法并非绝对客观世界的产物，算法偏见不仅是技术问题，更涉及到对算法处理的数据集质量的完整性、算法设计者的主观情感偏向、人类社会所固有的偏见、甚至不同地区文化差异等各方面问题。例如，美国一些法院适用的风险评估算法COMPAS被发现对黑人造成了系统性歧视。人脸识别软件Rekognition，曾将美国国会议员中的28人误判为罪犯。

二是信息收集多样，侵犯个人隐私。随着人脸识别、虹膜识别等应用的普及，人工智能正在大规模、不间断地收集、使用敏感个人信息，个人隐私泄露风险加大。

1.5 技术风险

  • 不可预测性。人工智能算法可能会产生一些意外的结果。目前人工智能系统已经出现了很多失败的案例。

  • 大规模破坏。如果人工智能系统发规模部署，那么系统失败可能会引发明显的风险。分析师称人工智能系统识别的方式可能是相同的，可能会引发大规模的破坏效应。

  • 不可解释性。目前，性能最好的人工智能算法都无法解释其工作过程。

目前，性能最好的人工智能算法都无法解释其工作过程。

2.风险定义

在人工智能风险管理框架中，“风险”表示事件发生的概率和对相应事件后果的综合衡量，而不是仅关注负面的影响。

因此，NIST使用了更加广泛的定义来包含人工智能带来的潜在影响，包括正面和负面的。如果运用得当，人工智能技术可以对人们的生活和我们的社会带来积极的影响，提供新的服务、支持和提高效率。识别和最小化与人工智能技术相关的潜在成本可以增加这些积极正面的可能性。

人工智能风险管理就是提供一种方式来最小化人工智能系统带来的负面影响和识别最大化积极影响的机会，并为理解人工智能全生命周期的角色和责任打好基础。

3.框架制定

信息调查： 背景、范围和受众

3.1 “NIST人工智能风险管理框架”制定原则与进程

美国国家标准与技术研究所提出的“NIST人工智能风险管理框架”旨在解决人工智能产品、服务和系统的设计、开发、使用和评估过程中的风险，并本着自愿原则进行使用。

  • 2021年 7月29日， 美国国家标准与技术研究所（NIST） 就向公众发出了信息调查

  • 2021年10月19日-21日举行研讨会，对该概 念文章草稿进 行讨论

3.2 主要关注议题：管理方法、受众、效果

本次征求意见主要关注以下问题：

  • 概念文章中描述的方法是否与最终的人工智能风险管理框架一致？

  • 人工智能风险管理框架的范围和受众是否适当？

  • 列出的人工智能风险管理是否适当？

  • 当前风险管理架构是否可以让用户合理管理人工智能风险？

  • 提出的功能是否可以让用户合理管理人工智能风险？

  • 文章中是否有遗漏的问题？

3.3 该框架受众定位：包含所有利益相关者

NIST 人工智能风险管理框架是作为映射、评估和管理与人工智能系统相关的风险的蓝图。文章的受众应该尽可能多，而无论其对特定类型技术的熟悉程度。主要的受众包括：

  • 负责设计或开发人工智能系统的人群

  • 负责使用或部署人工智能系统的人群

  • 负责人工智能系统评估或治理的人群

  • 受到人工智能系统产生或放大的风险影响（伤害）的人们，这也是本指南制定的主要驱动因素

所有的利益相关者都应该包含在风险管理过程中。根据具体的应用，利益相关者包括领导层、程序管理、系统工程师、人工智能研发人员、需求方代表、测试和评估人员、终端用户、受影响的人们等。

4.风险管理框架

4.1 框架8大属性

NIST根据信息调查和研讨会的反馈建立了该框架的属性集，包括：

（1）开发过程与定期更新是由共识驱动、且开放透明的。所有利益相关者都应有机会对人工智能风险管理框架开发过程进行贡献和提出建议；

（2）清晰易懂。使用简单易懂的语言，目的是能够被大众所理解，包括企业高管、政府官员、NGO领导人等不是人工智能专家的人，此外还要有足够的技术深度来帮助实践人员。人工智能风险管理框架应该允许在组织内、与客户、公众就人工智能风险进行沟通；

（3）制定相关通用术语。管理人工智能风险应提供通用语言和理解，如：专业通用术语、定义、度量、特征等。

（4）易于管理。组织要能够通过期望行为和结果来管理人工智能风险，并将其作为组织风险管理战略和过程的一部分。

（5）适用对象广泛。适用于广泛的部门和技术领域，包括技术不可知（水平）和上下文特定（垂直）用例。

（6）制定灵活的方法集，按需选取使用。应该提供一个自愿使用的方法和结果目录，如可以制定基于风险、结果导向、性价比高、自愿、非规定性的各种方法列表， 而非一个适用于所有需求的方法集。

（7）与人工智能风险的其他管理方法保持一致。应借鉴现有的管理人工智能风险的标准、指南、最佳实践、方法、工具，并说明额外的需求和改善的资源。

（8）持续的变化与更新。人工智能风险框架应随着对人工智能可信的技术、理解和方法的变化，人工智能使用的变化， 以及从实现人工智能风险管理过程中的经验而随时更新。

4.2人工智能风险管理框架三个层级

人工智能风险管理框架包含3个组件：核心层（Core）、概况层（Profiles）以及实施层（Implementation）

（1）核心层

“核心层”负责提供一个活动和结果的集合来管理人工智能风险的组织级对话。该部分定义了解决人工智能风险的关键结果，而不是蓄意完成的执行活动列表。

核心层由功能、类和子类三部分构成。

  • 功能从较高层面组织人工智能风险管理活动

  • 类将功能按照结果分成不同的类别

  • 子类进一步将类根据技术或管理活动的特定结果来进行进一步细分

“功能”具体包括：

映射：确定应用场景，列出与该场景相关的风险。映射的目的是找出、识别和描述人工智能系统的风险。

度量：分析、量化和追踪枚举的风险。该功能的目的是理解风险或影响的性质及特征，促进之后的风险管理。该功能为确定如何管理列举的风险奠定了基础。

管理：根据度量的严重性，风险会被优先处理、避免、缓解、共享、转移或接受。该功能的目的是支持决策、选择和实现解决风险的可选性。决策应该考虑应用场景、对外部和内部利益相关者带来的后果。

治理：采取适当的组织级措施、策略、过程和操作流程、角色和责任说明。该功能的目的是培养和实施风险管理的氛围，帮助确保风险响应是有效和持续实施的。

（2）概况层

概况层 可以是管理特定应用场景用例人工智能风险的技术或非技术指南，可能会说明如何在人工智能全生命周期、不同行业、技术或应用上管理风险。可以帮助 用户 优先处理人工智能相关的活动，产出最满足组织价值、使命、商业需求和风险的结果。

（3）实施层

实施层负责支持 组织过程和资源的决策制定、高效交流以管理人工智能风险，具体包括工程工具和基础设施、具有人工智能专业特长的工程师等。

（全文完）