美国防部作战试验与鉴定局《2021财年报告》(全文)|2021财年报告|国防部|美军|鉴定局

编译：潜行、谭惠文，学术plus高级观察员

2022年1月27日，美国防部作战试验鉴定局新任局长尼可拉•H•格廷对外发布了长达328页的《国防部作战试验鉴定局 2021财年报告》（Pentagon’s Director, Operational Test & Evaluation 2021 Annual Report,下简称《2021年度报告》）。

本文主要内容及关键词：

1.美国作战试验鉴定局2021主要工作内容：237个项目中批准84，提交报告26，评估作战试验充分性+武器系统作战效能
2.充分试验（在作战场景条件下）的途径与建议：成立“试验与鉴定资源和基础设施工作组”（重点加大对以下领域技术试验鉴定的基础设施建设：主要高超声速技术、定向能武器、网络安全、核现代化、电磁战、太空、自主和人工智能（AI）系统、多域作战、通用基础设施、）
3.试验鉴定结果-支撑采办决策
4.理念转型：①支持多域作战环境中作战能力，②需要创新的系统级方法，以实现实时和虚拟的真实试验；③五个方面加大投资
5.机构转型：成立新机构——战略倡议、政策和新兴技术代理机构（SIPET）：
①加强软件和网络战试验与鉴定
②为AI和自主系统制定试验/鉴定路线图
③“一体化试验”+采办决策=标准化（使得决策/技术评估/信息事件保持一致性）
④数字化转型（改进试验鉴定数据的数字化管理）
⑤技术人员评估
6.试验与鉴定的价值体现：①促进攻击性网络能力的作战评估，可发现重要漏洞，提高国防部抵御网络攻击的能力，②系统大量采购或改造前提前纠错，避免损失
7.作战试验鉴定2021发展趋势：信新冠疫情与网络安全成突出问题
①作战试验充分率62%与往年水平基本一致，新冠疫情对项目参与度/数据收集/资产应用影响较大；网络安全导致93%生存能力限制；
②性能趋势：总体运行有效，网络安全成为最常见的生存问题
8.建议：制定强有力的网络安全试验与鉴定战略；制定充分的建模和仿真；早期开发中进行系统集成评估；尽早进行实际操作的试验活动
9.简评：作战试验鉴定旨在服务大国竞争（多次“关照”全域作战试验鉴定工作）；由性能试验向作战试验拓展；新兴技术领域作战试验鉴定极具挑战；该报告对制定作战试验工作条例标准具有现实借鉴意义

【附：主要项目一览】国防部+各军种

内容主要整理自外文网站相关资料

仅供学习参考，欢迎交流指正！

文章观点不代表本机构立场

一、工作回顾

概览：美国作战试验鉴定局2021主要工作内容回顾

1.1 作战试验鉴定局2021财年工作量概览

完成237个项目的试验与鉴定：作战试验鉴定局为237个采办项目在采办周期的不同阶段提供了作战和实弹试验与鉴定监督。
共批准84个项目：作战试验鉴定局审查并批准了26份试验与鉴定总体计划，其中9份包括实弹试验与鉴定策略；2个独立的实弹试验与鉴定策略；以及56个单独的试验计划。
提交发布26份报告：其中23份提交国会和国防部长的报告，以及一份关于弹道导弹防御系统的机密年度报告。

1.2 《2021年度报告》主要内容

《2021年度报告》评估了：

①作战试验本身的充分性，包括试验鉴定的流程、规定、标准等。

②对预期作战条件下，国防部武器系统的作战效能、杀伤力、适用性和生存能力的独立评估与总结。

③临时评估，揭示武器系统可能存在的风险。在尚未完成作战和实弹试验与鉴定的情况下，作战试验鉴定局在部署或下一次采办决策审查之前，提供临时评估，并在即将进行的作战和实弹试验中确定实现所需作战性能的各种风险。旨在修复已识别缺陷并改善武器系统在预期作战场景和条件下的作战性能的实用建议，以最大限度地降低作战人员的风险，并最大限度地提高冲突中任务成功的概率。

1.3 支撑采办执行，提供重要证据支撑

该局2021年度为采购执行情况提供重要证据支撑，具体包括：

2021年4月，作战试验与鉴定局在参议院军事委员会预备小组委员会就国防部采购的执行情况提供证据。
2021年7月，作战试验与鉴定局就国防部固定翼战术和训练飞机项目的22财年预算请求的战术空军和陆军小组委员会问题向众议院军事委员会提供证据。
2021年5月，作为参议院拨款委员会的回应，国防部拨款条例草案2021、作战试验与鉴定局的解释性声明发布了服务的适当性的认证，以获得批准的中间层采购和加速采购计划报告。

二、充分试验

充分试验以满足战场需求

在2021财年，作战试验鉴定局继续强调并纠正拟议试验计划不充分的情况。为了解决这些试验缺陷，作战试验鉴定局采取以下措施：

2.1 加大研究力度

与项目利益相关者合作，提高计划的作战试验充分性。此外，由于靶场基础设施的问题导致了一些试验不足，作战试验鉴定局招募了美国国家科学院、工程院和医学院，对试验靶场和相关基础设施情况进行研究，以备未来作战和实弹试验。

2.2 成立工作组

作战试验鉴定局还成立了一个试验/鉴定资源和基础设施工作组，负责研究和工程的国防部副部长USD（R&E）和其他国防部利益相关者协调，编目解决作战和实弹试验与鉴定资源及基础设施不足的问题。

作战试验/鉴定的基础设施建设

为了跟上现代战场上的对技术进步的预期，并在预期的多域作战环境中充分试验和训练美国和盟军伙伴部队，国防部需要在试验与鉴定基础设施方面进行大量持续投资，必须对大部分露天试验和训练场地及实验室进行现代化改造，通过可靠的数字环境和建模与仿真工具来增强物理试验基础设施。报告提出建设“未来靶场”，充足靶场能力需求流程等建议。

2021年度报告介绍了以下几个重点领域的基础设施在年度建议、知识管理和大数据分析、可持续性、员工队伍等方面的工作。重点领域包括：主要高超声速技术、定向能武器、网络安全、核现代化、电磁战、太空、自主和人工智能（AI）系统、多域作战、通用基础设施、威胁目标替代物等。

2.3 “作战场景条件下充分试验”的五项建议

美国国家科学院、工程和医学院发布的报告提出五项主要建议：

（1）开发“未来靶场”来试验联合全域作战环境中的完整杀伤链；

（2）重组靶场能力需求流程，以实现持续现代化和持续性保障；

（3）在整个武器系统开发和试验生命周期内为建模与仿真引导新的靶场操作系统；

（4）为未来的作战试验和无缝靶场企业互操作性创建“TestDevOps”数字基础设施；

（5）为响应性、有效性和灵活性重塑靶场企业融资模式。

作战试验鉴定局正在评估美国国家科学院的建议，并将与国防部利益相关者合作，在资源允许的情况下，酌情解决每一项建议。

与此同时，通过新成立的工作组与负责研究和工程的国防部副部长办公室的试验资源管理中心协调，作战试验鉴定局启动了在海军海上和陆地靶场进行更具代表性的电子战试验的开发，模拟一系列声学特征的威胁鱼雷，获取用于数据收集的小型仪器的威胁，并继续开发下一代空中目标。

三、支持采办

确保各类采办项目均完成充分试验

3.1 采购政策已作出重大修改

国防部对其采购政策进行了重大修改，支持国防战略中以“相应速度”提供性能的目标。（各种采购对交付速度要求不同）

作战试验鉴定局与多个部门合作，支持发布了国防部指令5000.89，该指令为新的采办途径提供作战试验与鉴定程序，包括紧急能力采办、中间层采办、主要能力采办、软件采办和国防业务系统。

目前正在为试验与鉴定界提供所需的工具、架构和方法，以优化集成试验、数字工程工具的优点，并在不损害作战性能评估可信度的情况下实现敏捷试验与鉴定。此类改进将记录正在开发的军种试验与鉴定指南中，向国防部采办和试验与鉴定团体提供他们所需的针对性指导，确保每个采办途径的充分开发、作战和实弹试验与鉴定。

3.2 美军目前项目试验策略存在的三个问题

在2021财年，作战试验鉴定局评估了86个项目的试验策略的适当性，这些项目由军种采购主管批准，以寻求加速采购授权。作战试验鉴定局审查了47项试验策略（其余35项未提供审查），并酌情认证了其中33项，同时发现以下问题：

（1）试验策略缺乏明确的规划和作战试验，或培训操作员、维护人员和网络防御人员；

（2）试验策略缺乏证明作战有效性、适用性、生存能力和杀伤力所需的严格性；

（3）采用具有快速试验/修复/试验周期的集成试验方法实现敏捷性已给军种作战试验机构和开发试验组织带来压力，这些机构目前没有资源、人员或培训来满足这些方法之所需。

四、理念转型

理念转型：转变作战试验与鉴定理念

4.1 作战试验与鉴定的转型需求

美国武器系统的日益复杂及潜在对手的能力，再加上作战环境的并行性和日益复杂，继续强调转变试验和作战鉴定概念的重要性和必要性。随着作战能力不断发展，支持国防部在多域作战环境中作战和称霸的能力，试验和鉴定界将需要创新的系统级方法，以实现实时和虚拟的真实试验。

4.2 转型所需在5个方面的投资

为了支持新的试验和鉴定概念，作战试验和鉴定局强调需要在以下方面进行投资：

（1）自动化试验、可视化试验空间和任务效果的工具；

（2）数据收集、存储和分析改进；

（3）改进虚拟环境和建模和仿真工具，这些工具可靠且经实时数据验证；

（4）优化综合试验与鉴定的顺序试验和不确定性量化等工具和方法；

（5）试验自主和人工智能系统、高超声速武器、定向能武器、太空系统和其他新兴试验与鉴定挑战的工具和方法。

五、机构转型

成立新机构——战略倡议、政策和新兴技术代理机构（SIPET）

为了实现这些目标，作战试验与鉴定局成立了一个新的战略倡议、政策和新兴技术代理机构（SIPET）。在2021财年，该机构/SIPET的工作可分为五大方面：

5.1 加强软件和网络作战试验与鉴定

在2021财年，作战试验与鉴定局成立了一个由来自整个组织的软件和网络空间专家组成的团队，协调内部和外部努力，以改进网络试验与鉴定和国防部网络战略计划。具体目标包括：

改进网络威胁表示
优化以任务为中心的网络评估
提高网络专业知识的可用性和集成度
提高对网络空间防御对策的网络试验与鉴定的理解和纳入
增强国防部网络空间攻击的试验与鉴定和使能能力
强调项目生命周期所有阶段的漏洞管理。

改善网络试验与鉴定数据标准化和评估供应链影响的举措也在进行中。

5.2 开发下一代试验与鉴定能力

随着人工智能和自主系统逐渐成为国防部任务空间的重要组成部分，作战试验与鉴定局正与联合人工智能中心和USD（R&E）合作，为此类系统制定试验与鉴定路线图。该路线图旨在确保随着基于人工智能系统和技术的成熟，更大的作战试验与鉴定界开发试验策略、实践、方法、基础设施、数据工具、劳动力和其他作战试验与鉴定需求。

5.3 加快实施：综合决策支持关键框架

国防部指令5000.89强调了一体化试验的重要性，通过规划为多个目标提供数据试验活动，提高整个试验与鉴定项目的效率。一体化试验为采办项目提供了在开发试验中尽早发现问题、提高生产准备度以及通过在整个采办周期中利用更具操作相关性的数据缩短采办时间的机会。

作战试验与鉴定局与国防部负责研究与工程的副部长/USD（R&E）合作，加快实施综合决策支持关键框架，以确保基于数据的采办决策，提供一种更结构化和标准化的方法，使决策与作战和技术评估以及为决策提供信息所需的事件保持一致。使用该框架，可以通过采用试验设计方法（如顺序方法）在任务中与作战终端用户更早地规划试验。使用这些方法进行试验规划、执行和评估，各个试验事件彼此建立，并根据以前的试验结果进行细化，避免重复，同时又不影响评估的可信度。

5.4 实现数字化转型，提高试验与鉴定效率

作战试验与鉴定局领导了五项演示的选择和执行，展示了2020财年NDAA第231节研究“自动化试验与鉴定的数字工程能力”中所要求的数字工程范例的应用。演示结果仍处于初步阶段，提出跨越质量、周期、可预测性和成本等属性的改进建议。这项工作催生了一系列相关的数字转型举措，包括：2022财年 NDAA第217节“生存能力和杀伤力试验数字技术的开发和实施”，以及敏捷验证、确认和认可举措，以及对数字孪生的评估。

另外，在2021年9月，作战试验与鉴定局启动了改进试验与鉴定数据管理的内部倡议。初步的概念验证将展示接收各种非结构化文档并自动将其处理为可读的机器学习格式的能力，使试验与鉴定界能够快速、轻松地识别所需信息，以通知需求、用户、装备开发者和采办决策。

5.5 为未来的试验与鉴定工作人员做好准备

在2021年8月，作战试验与鉴定局发起了一项技术人员评估，确保工作过程中执行任务所需的知识、技能和能力。在后续的几个月里，作战试验与鉴定局将制定一份技术技能、人力报告计划，详细说明作战试验与鉴定局面对的挑战、机遇和可采取的措施，使试验与鉴定人员满足今天和未来的任务，保持领先于试验与鉴定的发展和革命。

六、价值体现

价值体现：展示试验与鉴定的价值

作战试验与鉴定局对于展示武器系统性能至关重要，并为国防部任务规划者、指挥官、操作员和维修人员提供对真实武器系统能力和数据的理解，以充分规划和执行其作战任务。

具体而言，作战试验鉴定局网络相关活动有助于国防部确定网络对任务绩效的影响，识别网络和系统漏洞，评估作战概念和程序，增强网络团队能力，更新指导和方法，促进攻击性网络能力的作战评估，并向国防部通报有关计划和技术的网络考虑因素，例如转向基于云计算的商业应用。作战试验鉴定局网络安全评估发现了重要的漏洞，如果得到纠正，将提高国防部抵御网络攻击的能力。

总体而言，试验与鉴定确定了在武器系统部署或下一次采办决策之前解决的作战性能缺陷。这种识别允许在采购大量系统之前采取纠正措施，并避免对系统进行昂贵的改造。例如：CVN 78的全船冲击试验，该试验确定了几个CVN 78设计缺陷，如果解决这些缺陷，可以提高CVN 78在水下鱼雷或水雷攻击下的生存能力。

七、发展趋势

作战试验鉴定发展趋势

7.1 作战试验充分性趋势

（1）充分率达62%，与往年水平基本一致

（2）不充分原因分析

覆盖范围有限导致网络试验不足
数据收集不足，以及防止、减轻攻击和从攻击中恢复的能力不足
缺乏资金
建模和仿真保真度或模型验证方面的缺陷
最具挑战性的威胁没有得到考虑，或者使用的威胁没有得到正确描述
其他作战试验充分性问题包括非作战代表的承包商支持、未能收集或交付所有要求的数据，以及导致试验不完整的系统开发延迟

（3）其他试验执行限制

常见的试验限制包括数据收集不足、试验范围环境限制（妨碍了稳健的运行评估）、由于过度依赖现场支持代表而导致的不现实维护、理论培训资源有限（妨碍了新系统能力的充分利用）以及操作试验仅限于一个环境，或不涵盖所有必需的威胁，如电子攻击。此外，新冠疫情影响了8个项目的参与度，影响了数据收集和支持资产和其他资源的可用性。

（4）限制类型分析。作战试验鉴定局批准的试验计划还提供了对已知试验限制的考察。

生存能力是最常见的试验计划限制类型，其次是影响作战试验鉴定局有效性和适用性评估的限制。大多数（93%）的生存能力限制是由于网络安全造成的。在2021财年的56项试验计划中，有24项仅侧重于网络安全，除两项外，其他所有试验计划都确定了网络安全限制。常见的网络试验限制包括网络红队缺乏先进的网络攻击能力，由于担心安全或实时运行网络的危害，对所有攻击媒介的覆盖不足，需要更强大的供应链评估，缺少试验资源，如数据连接电缆，红队没有足够的时间探测所有可能的威胁媒介，以及缺乏可用的完整系统。

7.2 性能趋势

（1）有效性

在2021财年，作战试验鉴定局评估的67%项目，没有出现错误报警，运行有效。作战试验鉴定局作战有效性趋势包括：

系统、软件或集成缺陷；
影响操作员绩效或机组效率的培训限制；
以及在特定环境、任务区域或针对特定威胁时的缺陷。

进行早期用户试验的项目，能够及早发现运行问题，提供更多影响设计的机会，并在部署前纠正。例如，IVAS项目进行了几次士兵接触点活动，以便在基于任务的作战环境中试验系统样机，并从军事用户那里获得早期反馈，以支持设计改进。相比之下，作战试验鉴定局观察到了不进行早期运营评估的后果。F-35项目在完成作战试验（OT）和分析之前，生产并部署了飞机、航空电子设备变更和软件发布。因此，OT和用户社区通过试验和现场实际使用，继续发现F-35的重大问题。

（2）适应性

在2021财年，作战试验鉴定局鉴定了大约一半的项目在作战上是适应的，没有出现报警，这一趋势自2016财年以来一直相对稳定。

适应性缺陷分布在人机系统集成（HSI）、可靠性、可用性和安全性方面。最值得注意的是，80%的评估人为因素的项目报告了HSI缺陷。

HSI退化的最常见原因是由于文件不完整或不准确、可用性差和工作量大而导致的培训不足。
操作员和维护人员经常报告说，他们将受益于额外的实践培训。50%的报告，包括可靠性的确定，发现该系统足够可靠，以支持任务，没有警告。
可靠性不足是由硬件和软件缺陷造成的。更大比例的报告发现系统是可维护的(71%)和可用的(77%)，没有出现警告。

（3）生存能力

在2021财年，作战试验鉴定局评估了9%的项目在没有任何报警的情况下可以生存，这一比例明显低于2016财年。

考虑到多域作战环境的复杂性、网络威胁和有争议的电磁频谱环境，生存能力评估正变得越来越多元化，显示生存能力差的项目比例随着时间的推移而增加。

网络安全是最常见的生存问题。网络安全问题包括供应链漏洞、未加密的软件，以及针对各种网络威胁的系统特有漏洞。其他生存能力不足包括在有争议的电子战环境中作战的挑战，以及系统设计特有的对特定动态威胁的脆弱性。

八、建议

报告中提出的建议

以下建议将更好地为作战试验期间的成功制定计划：

8.1 应制定强有力的网络安全试验与鉴定战略

对供应链脆弱性的评估；
在设计阶段考虑网络安全，以减少潜在的攻击载体；
收集数据，以评估任务效果以及预防、缓解和恢复攻击的能力；
充分覆盖系统的攻击面；
早期纠正缺陷，以提高在运行试验期间被评估为可生存的可能性。

8.2 应制定充分的建模和仿真

制定充分的建模和仿真，作为现场试验的补充，并由使用可靠和相关数据的独立验证、确认和认可流程提供支持，为国防部系统的复杂性、研发、集成和任务级评估的建模与仿真提供依据。

8.3 早期开发中进行系统集成评估

通过在设计阶段早期和整个开发过程中评估人机系统集成(HIS，前文出现过，有的翻译为人类系统集成)，确保人机系统集成评估足够严格，以便在运行试验之前发现并解决缺陷。根据系统的复杂程度，计划操作员和维护人员培训。对于许多系统，应扩大动手和单元集体培训的程度，并应更多地关注提高可靠性，以及在运行试验之前开发、完善和验证操作员和维护手册。

8.4 应尽早进行实际操作的试验活动

包括操作评估、有限用户试验和集成试验（如有可能）。当在项目开发的早期进行，并且在整个采办周期内有足够的资源时，可操作的现实作战试验与鉴定为在项目成熟之前识别和纠正问题提供了独特的机会。早期问题发现使项目经理能够在过程的后期管理成本和进度，并尽早修复问题，以便在最终作战试验、战场或更糟糕的战斗中首次发现问题。为了实现这一点，项目经理必须构建他们的合同，要求在早期试验期间演示与操作相关的任务级目标，而不是只关注规范遵从性。

九、简评

对报告的几点认识与分析

9.1 美军作战试验鉴定领域的工作服务于大国竞争战略

（1）服务大国竞争，聚焦关键技术领域。2018年版美国《国防战略》将其战略定位在与中俄等大国长期战略竞争，该报告认为在先进计算、大数据、人工智能、自动化、机器人、定向能、高超声速和大规模杀伤性武器（核、化学和生物）等具有重大军事应用价值和潜力的技术领域上，美国的优势正日益受到挑战。

（2）重点关照“全域作战试验鉴定工作”。在2021年度报告中介绍了这些技术领域作战试验鉴定的内容及存在问题，认为国防部需对这些领域作战试验鉴定基础设施要在试验与评估（试验与鉴定）基础设施方进行大量持续投资。《2021年度报告》中还多次“关照”全域作战试验鉴定工作，将突破传统军兵种管理壁垒，建立符合联合全域作战环境的新型试验鉴定管理体系。全域作战被认为是美国有效应对大国竞争推出的一种新型立体作战模式。

9.2 内部重组推动试验鉴定由性能试验向作战试验拓展

（1）“一体化”试验鉴定策略，强调作战能力。美军在作战试验鉴定领域的工作将为美军作战提供强力支撑。美军大力在作战试验鉴定领域提倡研制试验与作战试验的一体化试验鉴定策略，并将原本属于研制试验类的实弹试验与作战试验并列在一起加以强调。

（2）新部门将全面聚焦新兴技术的作战试验鉴定。2021年7月开始，国防部作战试验鉴定局进行内部重组，将原实弹试验鉴定部门并入其余4个作战试验鉴定部门，并组建一个负责战略倡议、政策和新兴技术的新部门——战略倡议、政策与新兴技术（SIPET）副局长办公室。为军队装备试验鉴定由性能试验向作战试验、在役考核全领域拓展提供了强有力的组织保证。

9.3 新兴技术领域的作战试验鉴定工作，极具创新与挑战

为了应对“大国竞争”以及新兴技术的飞速发展，美军加大了对新兴技术领域作战装备的研制力度，而新兴技术不同于传统技术领域，其作战试验鉴定工作没有先例可遵循，极具创新性。如先进计算、大数据、人工智能、自动化、机器人、定向能、高超声速等领域如何进行试验鉴定是一项极具挑战性的工作。

结语

《2021年度报告》强调跟上新兴技术发展及未来作战需求，转变作战试验鉴定理念，投资自动试验和试验空间与任务效果可视化的工具，改进数据收集、存储与分析，改进模拟环境和建模与仿真工具，优化试验鉴定的工具和方法，以及试验自主系统、人工智能系统、高超声速武器、定向能武器、太空系统的工具与方法等。美国在作战试验鉴定领域核心关键技术的技术水平和应用程度均处于世界领先水平。紧密跟踪、充分挖掘美军有关新兴技术领域的作战试验鉴定工作，提出适合自己情况的作战试验鉴定工作条例或标准具有非常重要的现实意义。

附：主要项目一览

（一）国防部项目