基于知识的国防采办风险评估方法

范 强，商志刚，严晓芳，郝英好

(中国电子科学研究院, 北京 100041)



综 述

基于知识的国防采办风险评估方法

范 强，商志刚，严晓芳，郝英好

(中国电子科学研究院, 北京 100041)

美国审计总署(GAO)每年都会对美军的国防采办项目进行评估，以防控在国防采办中出现的风险。GAO在获得项目的关键技术、成本、进度等信息，以及在研发、生产过程中产生的统计数据后，采用基于知识的国防采办风险评估方法，对国防采办项目进行评估，提示项目全寿命周期中存在的风险。该方法在国防采办过程中设置三个关键知识点，分别对资源与需求匹配性、产品设计稳定性、生产过程成熟度进行分析。本文详细介绍了美军基于知识的国防采办风险评估方法，并以美军先进反辐射导弹AGM-88E项目为例进行介绍，最后提出了对我军国防采办启示。

基于知识；风险评估；国防采办；技术成熟度；先进反辐射导弹

0 引 言

美国审计总署(Government Accountability Office，GAO)为美国国会提供审计服务，是美国联邦政府最高审计机构，对美国国防部(DOD)国防装备系统的采办进行年度评估是其重要职责之一。GAO基于项目的技术、设计、成本、生产等数据，利用基于知识的项目采办风险评估方法，对国防武器系统进行评估，规避项目全寿命周期中出现的风险。

GAO采用基于知识的国防采办风险评估方法，该方法要求在国防采办过程中按照时间的先后顺序，设置三个关键知识点，分别对资源与需求匹配性、产品设计稳定性、生产过程成熟度进行分析。这三类分析内容又可细分为八项，其中，对于资源与需求匹配性的分析包含三项：是否在相关环境中演示了所有关键技术，是否在真实环境中演示了所有关键技术，是否完成了初步设计审查；对于设计稳定性的分析包含两项：是否已发布90%或90%以上的设计图纸，是否对集成后的系统级原型进行了测试；对于生产过程成熟度的分析包含三项：是否展示了关键(生产)过程是可控的，是否在初期小规模生产线上展示了关键(生产)过程，是否测试过一个可代表产品的原型系统[1]。

对于申报的国防采办项目，在决策立项之前需要进行风险评估，一般先识别出关键技术，并对关键技术的技术成熟度等级进行评估分析，GAO在三个关键知识点上，主要针对项目的关键技术进行风险分析。技术成熟度等级(Technology Readiness Level，简称TRL)评估方法是国际通用的风险评估方法，特别是美国、欧洲等国家或地区在国防采办过程中尤其注重技术成熟度等级评估方法，本文中也会对技术成熟度等级进行介绍[2]。

最后以美国海军的先进反辐射导弹(Advanced Anti-Radiation Guided Missile，AARGM)为例，说明基于知识的国防采办风险评估方法，并提出对我国装备采办的相关意见建议。

1 基于知识的国防采办风险评估方法

在项目采办过程中，GAO利用研发开始、关键设计审查、生产开始三个时间点对应的关键知识信息，对项目进行风险评估。三个关键时间点对应的知识信息，分别对资源与需求匹配性、产品设计稳定性、生产过程成熟度进行分析，从而评估项目的技术、经费和进度风险。图1描绘了这些关键知识点与国防部采办过程的各里程碑时间点之间的时序关系，其中，将国防部的系统集成与演示阶段统称为系统开发，生产开始时刻通常是指项目进入低速率初始生产的时刻[1]。

图1 DoD采办全寿命周期及GAO知识点

知识点1：分析评估资源与需求的匹配性

装备系统在开始进行系统开发时(即DoD 5000采办模型中的里程碑B节点)，是否达到较高的技术成熟度，是评估资源与需求匹配性的重要指标之一，技术程度高意味着研制产品所需的技术在其预期的环境中工作性好。此外，开发人员在产品的初步设计阶段应完成一系列系统工程审查，证明其设计的可行性。美国国防部为提高经费开支的可预测性，建议将系统开发阶段的时长限制在5年至6年之内，与DoD预算规划过程保持一致。对于造船类项目，关键技术的技术成熟度应达到第七级①技术成熟度第七级指已经做出实际系统的原型并在实际使用环境中成功演示。，才能授予新船详细设计的合同。

知识点2：分析评估产品设计的稳定性

在决策项目的产品设计是否满足客户需求，并评估项目是否能达到成本、进度和可靠性目标时(即详细设计审查时)，需进行产品设计稳定性的分析评估。在系统级详细设计审查(CDR)时，系统设计最好达到稳定状态，通常在系统研发开发的中期进行系统级详细设计审查。此时，至少应完成90%的工程图纸内容，证明产品设计的稳定性，原型演示表明设计满足性能要求。造船类项目为了证明设计的稳定性，国防采办部门要求其必须完成全部基本图纸、功能性图纸以及产品的三维模型，才可以启动新船的建造。项目开始生产前，还可以通过可靠性增长试验、故障建模和对故障修复的效果分析来改进产品设计的稳定性。此时，项目还应该启动生产的准备工作，包括识别生产过程中的风险、关键的产品特征和关键的生产流程。

知识点3：生产过程的成熟度。

开发者能在规定的成本、时间和质量要求条件下，演示产品生产过程，方可进行生产过程成熟度评估。只有从统计学角度上，在确保所有关键生产流程，都处于可控状态(即所有关键生产流程都是可重复、可持续的，生产的零件都能保证在产品的质量和标准要求范围内)时，才是最好的启动生产过程的时刻。在初期小规模生产线上展示关键生产流程是进行生产过程成熟度评估的重要初始步骤。当经系统集成后的完整产品原型可以演示系统按预期要求可靠工作时，将会使生产成本及其后续成本最小化。

基于知识的国防采办风险评估方法是一个逐步积累的过程，每个关键决策点必须获取相应的知识和信息，以决策是否开展下一步工作。 展示技术成熟度是进行系统开发的先决条件，在系统开发期间的重点则必须放在设计和集成上。同样，稳定和成熟的设计也是进入生产过程的先决条件，生产期间的重点则应放在如何才能高效生产产品的问题上[4]。

2 技术成熟度

技术成熟度(TRL)是一种先进的技术管理方法，源自美国国家航空航天局(NASA)，后来又被DOD大力推广使用，广泛应用于评估航空、航天和国防装备领域的技术成熟程度。技术成熟度划分为9个级别，可准确地评价技术发展状态，提高管理决策的科学性，降低新技术在工程中的应用风险，各级具体定义如表1所示，该评估方法主要适用于研发周期长、耗费大、研发过程复杂的新技术领域[2]。

3 评估实例——AGM-88E先进反辐射导弹项目

先进反辐射导弹是一种空对地导弹，装备于海军和海军陆战队的飞机，旨在摧毁敌人利用无线电频率的舰空或地空防御系统。AARGM是AGM-88高速反辐射导弹(High Speed Anti-Radiation Missile，

HARM)的升级版。 它利用现有的HARM火箭发动机和弹头，改进了控制系统，同时具有全球定位系统和改进瞄准能力的新制导系统。项目遵循分阶段研发的方法，图2给出了该项目关键采办节点[4]。

表1 技术成熟度(TRL)各级别定义

图2 项目采办时间节点

表3为GAO办公室截止到2012年01月对三个知识点的8项内容进行的确认情况，该确认单的各项情况均根据实际情况进行确认。鉴于AARGM项目的关键技术已经成熟、设计处于稳定状态(即没有设计风险)，该项目于2008年9月开始生产，但该项目未向GAO提供演示其生产过程处于受控状态的材料。在因软件和零件质量问题导致的一系列导弹故障之后，海军于2010年9月停止了作战测试。该项目的海军测试人员在2011年8月得出结论认为，该项目在首次作战测试期间发现的异常情况已得到充分解决，重新开始作战测试。通过验收飞行试验筛选掉质量较差的导弹，并证实了导弹可靠性的近期改进。然而，仍需关注正在交付的导弹的可靠性和质量问题，这些问题仍在解决过程中。

⟡ 技术与设计成熟度

AARGM(先进反辐射导弹)项目的关键技术是成熟的，设计是稳定的。据项目办公室介绍，当项目于2008年9月进行生产时，先进反辐射导弹的两项关键技术(毫米波传感器软件和天线罩)是成熟的。然而，根据美国国防部的独立测试组织——作战测试与评估主任(DOT&E)，在2009和2010年的报告，毫米波传感器对导弹的可靠性仍构成风险。生产阶段开始后，设计图纸的数量却仍然在持续增加，不过，导弹设计还能保持稳定。

表3 产品获得GAO确认的情况表

⟡ 产品成熟度

在2008年9月AARGM项目进入生产过程时，是不成熟的，并且项目出现了质量问题，该问题导致测试失败和可靠性问题。根据该项目办公室，在承包商已经确定的18个关键生产过程中，当前只有8个过程在统计学上处于可控状态。该项目计划在第二次初始生产轮次时，演示所有这18个过程都处于可控状态，该项目定于2012财年第四季度末完成。自进入生产阶段后，该项目已经历了多次生产延迟和多个作战测试故障。根据国防合同管理局(DCMA)和DOT&E部门官员的意见，测试失败是由硬件和软件两方面问题造成的。硬件故障涉及多个分包商，主要是由于存在质量差的零件。根据DCMA官员意见，主承包商的一些管理问题导致了项目的测试失败。例如，并非所有的项目需求都告知了下级的分包商，分包商没有收到设计变更后的更新图纸。

根据DCMA官员介绍，项目办公室和主承包商已经采取措施解决质量问题；然而， 2011年7月，在海军测试官员评价项目准备重新进入作战测试的报告中，认为导弹的可靠性并没有提高。海军已经实施了额外的控制方法识别质量差的导弹，特别指出的是，每一个导弹需经过3小时飞行测试，才会被军方接收。这种测试可以检测出早期的不可靠导弹，并保证了后续质量改进的有效性。然而，为充分验证这些测试活动，额外的飞行测试是必要的。

⟡ 项目办公室意见

海军在评论本评估草案时指出，AARGM项目继续采用成本控制措施，在授予低利率生产合同时，必须按照原定计划数量进行生产，以实现成本目标。在2011年1月，AARGM与DOT&E和海军测试人员合作，重新进行了集成测试，重新筛选了生产资产和新软件，所有以前的异常都得到了解决。 2011年7月进行了作战试验准备审查，8月开始作战飞行。自2011年1月起，AARGM在五架F-18型号的战斗机上累计飞行超过300小时，成功进行了七次射击，并将在2012财年第三季度获得初始作战能力。海军表示，AARGM可靠性持续改善，现在已经超过阈值要求的两倍。 该项目为便于在2012年6月作出全速率生产的决定，已经改善了生产过程，提高了必要的重复性和质量。

4 结语及启示

美国GAO利用基于知识的国防采办风险评估方法，国防采办过程中设置三个关键知识点，借助技术成熟度等知识，对其中八项内容进行确认评估，对在研的国防项目进行全面评估，有效管控了研发风险，规避项目研发中出现的质量、成本等风险， AARGM的例子验证了该方法在实际操作中的有效性；合理设计装备采办的各个过程，重视试验鉴定的重要性，对于提升美军战斗力具有重要意义[5]。

目前，我军装备体系采办，受制于对战争规律的认识和技术手段等的限制，研究成果较少，装备体系作战效能差，采用有效的风险管控项目采办方法，对于提高我军装备体系作战效能具有重要意义。

结合我军当前贯彻执行“牢固树立战斗力这个唯一的根本的标准”指导思想，建议成立独立于军方的专业评估团队，对在研的装备项目的各阶段精准评估，制定具有中国特色的装备风险评估方法，合理规避质量、成本、战斗力等风险点；提早规划安排试验鉴定，集中力量解决战斗力生成难点，打破传统的评估就是对设备打分、评定其通过与否的思想，在试验鉴定中寻找问题，规避风险，获取装备更多实用信息，将装备服务部队、提升战斗力作为根本目标和出发点。

[1] Assessments of Selected Weapon Programs [R]. March 2012: 19-21,41-42.

[2] Office of the Director, Defense Research and Engineering (DDR&E). Technology Readiness Assessment(TRA)Desk book S/OL]. 2009-9-9.

[3] Department of Defense.DoDI Directive 5000.02: Operation of the defense acquisition system.[R/OL]. 2008-12-8.

[4] McNicol D L, Tate D M, Burns S K, et al. Further Evidence on the Effect of Acquisition Policy and Process on Cost Growth of Major Defense Acquisition Programs[J]. 2016.

[5] Schwartz M, Francis K A, O'Connor C V. The Department of Defense Acquisition Workforce: Background, Analysis, and Questions for Congress[J]. 2016.

Knowledge-Based Approach to Manage Acquisition Risk

FAN Qiang, SHANG Zhi-gang, YAN Xiao-fang, HAO Ying-hao

(Chinese Academy of Electronics and Information Technology, Beijing 100041)

U.S. Government Accountability Office (GAO) evaluates the US defense acquisition programs to manage risk every year. After obtaining information on key technologies, costs and schedules, as well as the statistical data in the R & D and production processes, GAO adopts the knowledge-based defense acquisition risk assessment method to evaluate the risk of the defense acquisition project. This method sets up three key knowledge points in the acquisition’s process and analyzes the matching of resources and demand, product design stability and production process maturity respectively. This paper introduces the knowledge-based defense risk assessment method, and the project about the advanced anti-missile missile AGM-88E is selected as the example to be introduced. Some suggestions on our military defense acquisition are proposed.

Knowledge-based, Risk assessment, Defense acquisition, Technology readiness level, Advanced anti-missile guided Missile

10.3969/j.issn.1673-5692.2017.03.016

2017-03-01

2017-06-01

海军装备部预研课题(网络化、智能化空基预警任务系统技术)

E145.2

A

1673-5692(2017)03-307-05

范 强 (1976—)，男，山东人，博士，高级工程师，主要研究方向为机载电子信息系统总体技术； E-mail：shangzhigang513@163.com

商志刚( 1986—)，男，山东人，博士，工程师，主要研究方向为水下航行器组合导航系统，科技情报；

严晓芳(1975—)，女，安徽人，研究员，主要研究方向为雷达数字信号处理、数据压缩、数据总线、科技情报等；

郝英好(1982—)，男，山东人，工程师，主要研究方向为电子信息与系统工程。