航空发动机技术评审综合评估方法研究

■ 王艳丽 谈梦妮 郑宁/中国航发动力所

航空发动机技术评审是对航空发动机研发工作的适宜性、充分性和有效性进行的系统、全面的评议审查活动。其目的是对已完成工作的效果进行确认，以便及时发现潜在的技术风险、成本和进度增长隐患，保证研发在需求明确、技术成熟、成本可接受的前提下顺利进行。

在航空发动机的研制过程中，往往通过技术评审对已完成工作的效果进行确认，以便及时发现潜在的技术风险和成本增长隐患，保证项目在需求明确、技术成熟、成本可接受的前提下继续进行。为了保证技术评审的客观性和有效性，需要通过一种方法来保证技术评审可以兼顾评审的各个方面，使评审结论更科学，真正起到提前发现风险的作用。为此，本文在研究技术评审过程中所采用的各种方法的基础上，形成了包括定量审查、定性分析和会议研讨的航空发动机技术评审综合评估方法，为技术评审的有效实施提供可用的方法工具。

技术评审现状

美国是最早在军工行业进行技术评审的国家之一。为了保证技术评审的有效性，美国针对武器装备研究过程采用了相应的评估方法。《美国武器装备采办里程碑节点审查》介绍了定性审查、定量审查和集成研讨等技术评审方法。其中，在定性审查方法中比较有代表性的是项目支持评审方法（program support review，PSR），在定量审查方法中比较有代表性的是项目成功可能性方法[1]（probability of program success，POPS），在集成研讨类方法中应用最多的是一体化会议评审方法[1]。在评审的方法工具建设方面，定量审查和定性分析的过程中均使用了检查单，综合分析项目的风险和制定改进措施,最后通过会议研讨来统一思想。

PSR方法采用结构化的检查单，根据既定的评审框架（多层次的评审指标）查找并分析项目存在的问题，通过综合多个项目的评审结果分析出问题存在的根本原因，调整采办政策，从根本上纠正该问题。该方法由美国国防部于2004年主导建立并普遍推广，后续不断更新和完善，根据该方法提出的改进建议采纳的比例高达95%以上。

POPS方法是一种可定量评价武器装备研制项目的审查方法,采用结构化的检查单，将检查内容分为4个层级的问题，每个层级都在上个层级的基础上进行细化。目前POPS方法已完全实现信息化，其标准工具为可供评分的电子表格，审查团队可以在电子表格中评分（即标注红、黄、绿），并自动计算分数，分配颜色，最终结构化显示项目总体的健康程度、标注各层级的得分和健康程度。该方法2002年由美国国防采办大学提出，在陆海空三军武器采办过程中均得到应用，并在不断使用的过程中持续完善和更新。

一体化会议评审方法通过召集相关专家和职能部门对前两种评审方法的结果进行讨论，依靠多领域专家的经验，在集中的时间和地点，研讨审查中发现的问题，做出评审决策和给出建议。美国国防部和各军种将会议审查分为决策性质的会议和问题讨论性质的会议。相比之下，决策性质的会议形式更为正式，各职能部门可以在了解其他部门意见的基础上提出意见和建议，共同商定需要在正式评审会上重点讨论的问题，提高了后续评审会议做出的决策的科学性和权衡性。总的来讲，不同评审方法各有侧重，可以互相补充，帮助专家在不同的方向进行检查，有利于发现不同类型的风险，从而保证评审的有效性。

我国的航空发动机技术评审主要是由军方通过国军标对设计评审、工艺评审、产品质量评审、项目技术评审、设计图样和技术文件审查等进行明确的规定。各武器装备的承研承制单位根据国军标和质量管理的要求制定评审程序，规定相关产品技术评审的要求、类型（别）、内容、方法和流程。通常情况下，技术评审以会议研讨的方式进行，评审过程主要依赖于专家的经验。评审过程中专家的关注点既与评审专家的经验有关，也与资料准备和现场研讨情况有关，因此在评审的一致性和客观性方面有一定的不确定性。尽管会议研讨也能够发现项目风险，但是在评审的全面性和充分性方面往往无法保证，使评审的有效性产生折扣。同时，由于受到现场情况的影响，评审的一致性也会受到影响。因此，应对评审过程控制和评审方法工具建设方面开展研究工作，以保证技术评审的有效性，才能真正发挥评审的作用。

图1 检查单问题项权重示例

技术评审综合评估方法

为了更好地发挥技术评审的作用，本文参照美国技术评审过程中的采用的方法，结合国内航空发动机研发及技术评审组织模式的特点，明确了定量审查、定性分析和会议研讨等航空发动机技术评审综合评估方法。

定量审查

定量审查给出检查单中每个问题项的权重，评审专家依据标准的问题判据对每个评审问题赋色，明确颜色显示与各问题得分的关系，依据规定的分值计算方法给出项目的得分，最后通过项目得分确定项目的风险等级。

第一步，开展定量审查的前提条件是已形成了专用评审检查单。

第二步，被评审单位对检查单的问题项进行权重赋值。赋值的具体要求包括：按层级对检查单的问题项进行权重分配，首先对第一层问题类别进行权重分配，再对第二层问题类别进行权重分配，最后对所有的问题项进行权重分配，下一层权重相加之和应等于上一层的权重（示例如图1所示）。

第三步，对问题项打分。专家对照评审检查单对项目资料进行审查，并对每一个问题项给出定量的判断，定量判断的方式是对每个问题项给出标准颜色，绿色、黄色或红色。绿色代表该问题项完全满足，不需要继续开展工作，得分为该问题项权重的100%；黄色代表该问题项对应的重要工作已经满足，有些不重要工作的仍在开展，得分为该问题项权重的66%；红色代表该问题项对应的重要工作仍在开展，得分为该问题项权重的33%。

第四步，项目得分计算。专家将标识过颜色的检查单提交给评审组织部门，评审组织部门对检查单的得分情况进行统计，得到检查单、问题类别的得分和满意度。根据各问题项的颜色判断该问题项的得分，计算对应问题类别的得分（问题类别得分=问题1得分+问题2得分+…+问题N得分）和该问题类别的满意度（问题类别满意度=问题类别得分/问题类别的权重），依此类推并最终得到各层级问题类别及项目的得分及满意度。

第五步，按颜色显示风险点（示例如图2所示）。根据检查单和各层级问题类别的得分情况，为检查单和各问题类别标注颜色，分别为绿色、黄色和红色。其中实际得分是权重的80%～100%的标注绿色，说明风险较低；实际得分是权重的60%～80%的标注黄色，说明有一定风险；实际得分是权重的60%以下的标注红色，说明风险较高。

图2 检查单得分情况示例（括号内的两个数字分别为实际得分和权重）

定性分析

定性分析可以在定量审查的基础上进行，也可以单独进行。在定量检查基础上对检查单中风险偏高的问题进行原因分析，给出改进措施的建议。单独进行时仍利用检查单检查被评审项目，找出风险项，进行原因分析，并给出改进措施的建议，这也是与以往在技术评审过程中只是提出问题不同的地方。

对于开展定量审查的，定性分析的条件是已完成定量审查，并形成了检查单得分图。对于不开展定量审查，定性分析的条件是该项目已建立专用评审检查单；对于开展定量审查的，专家根据相关问题项的得分情况进行分析，对于其中标识红色和黄色的问题项分析项目进展中仍存在的问题，并给出改进措施的建议；对于未进行定量审查的，专家利用专用检查单进行检查，发现检查单中不满足的问题项，进行原因分析，并给出改进措施的建议；对于专用检查单中未包括，但专家仍认为是风险点的，专家也需要对原因进行分析，并提出改进措施的建议，并将相关问题反馈给被评审部门，为后续的检查单完善提供依据。

会议研讨

会议研讨是一种比较常用的方式，技术评审综合评估方法中的会议研讨需要在定量审查或定性分析的基础上进行。将所有的专家集中起来，研讨定量审查或定性分析的结果，尤其是风险较高的问题，对被评审单位进行质询后达成一致意见，形成评审结论。

会议研讨的条件是该项目已经过定性分析，所有专家已就改进措施建议与被评审方沟通；评审组织者将所有专家集中到一起，被评审方介绍项目进展、前期定量审查和定性分析的具体情况，已经达成一致的改进措施建议，未达成一致的改进措施建议等；专家组研讨定量审查的得分情况，定性分析形成的改进措施建议单，裁决专家与被评审单位尚未达成一致的改进措施建议，形成最终的改进措施建议单；专家组根据项目的风险情况，确定评审结论，形成评审结论表。

综合评估方法的应用分析

不同评估方法的特点和组合

定量审查、定性分析和会议研讨各有优点和局限（见表1），综合使用可以充分发挥三者的优点，实现互补，帮助项目发现潜在的风险，并给出改进措施的建议。同时，由于各型号的特点不同、对时间节点要求的差别，为了兼顾评审的有效性，因此在进行技术评审策划时，可以根据具体情况，对评估方法的4种组合方式（见表2）有选择地开展。另外，由于会议研讨时需要讨论定量审查与定性分析的情况，因此会议研讨前必须进行定量审查或定性分析，即会议研讨需要安排在定量审查和定性分析的后面；同时定量审查的结果需要通过定性分析进一步判断风险程度，明确改进措施，因此定量审查需要在定性分析前完成（即无论选择哪种组合，3种评估方法的顺序需遵守定量审查先于定性分析、定性分析先于会议研讨的原则）。

表1 三种评估方法的对比分析

表2 三种评估方法组合列表

采用技术评审综合评估方法的基础

根据定量审查和定性分析的要求，在采用技术评审综合评估方法时，需要有结构化的评审检查单作为基础，即评审检查单是定量审查和定性分析不可缺少的工具。

为了保证技术评审的完整性，评审内容应包含所有与质量相关的参数以及其他参数[2]。为了保证评审的一致性，评审尽可能地以定义好的标准为基础。这些标准可能包括顾客需求、内部目标和先前产品的经验[2]。因此检查单的内容要尽量完整全面，并根据需要进行分类和分级，以便于对单个问题及问题分类的满足情况进行评价。但总的要求是检查单的问题力求覆盖研制过程涉及的各个方面，并基于研制经验的累积逐步更新完善。

结束语

在航空发动机技术评审综合评估方法中，定量分析可以量化评估项目风险，定性分析可以对风险进行深入分析、查找原因，并给出改进措施，会议研讨可以统一思想，得出结论。3种方法各有优点和局限，可根据情况组合应用。而技术评审综合评估方法使用的前提则是具备结构化的评审检查单，建议后续开展检查单中各问题的判断标准的研究，以进一步提高评审的一致性。采用上述评估方法可以更好地利用专家的智慧与丰富的经验，提高技术评审的科学性和有效性，为航空发动机的研发保驾护航。