基于POPS和PSR的美军里程碑节点审查方法

李 维，吕 彬

(中国国防科技信息中心，北京100142)

美军武器装备采办的里程碑节点审查是指在武器装备采办程序的重要决策点，检验上一阶段工作完成情况和下一阶段工作准备情况，决定项目是否启动、继续、调整或中止的管理活动。多年来，美军在里程碑节点审查方面不断创新，开发出兼具系统性和实用性的方法工具，以保证审查结果的客观性和里程碑决策的科学性。项目成功可能性评审方法(Probability of Program Success，POPS)和项目支持评审方法(Program Support Review，PSR)作为定量和定性评审方法的代表，是系统分析项目问题和全面预判项目风险的有力工具，体现了美军在审查方法上具有前沿性和经验积累。目前，我军虽然在里程碑节点的成本和技术审查等方面实现了方法上的突破，但是能够系统评估项目健康状况以及深入分析问题原因的方法还比较少，因此研究美军先进的审查方法，对于优化我军节点审查制度和提升过程控制能力，具有重要现实意义。

1 POPS和PSR方法的主要思路

美军在里程碑审查中，首先使用定量的POPS方法评估总体健康状况，如果发现严重问题，再启用定性的PSR方法进行系统分析。由于承担任务的不同，2种方法的主要思路各有侧重。

1.1 POPS方法——以简洁明了的评审标准迅速定位问题

1)评审标准简洁明了。POPS方法通过“项目需求”、“项目资源”、“项目规划和执行”以及“外部影响”等4个主要因素审查项目的健康状况并发现影响项目进展的问题所在。在4个主要因素之下设置更为细化的指标，解释每个主要因素。每个指标下设置若干标准，提供具体可操作的审查标杆，从而形成主要因素、指标和标准的3层金字塔形的体系结构［1］。

2)评审结果分值化、色彩化。审查过程中审查主体将根据项目信息，按照标准、指标和主要因素的顺序进行打分，最后按照实际得分与最高分的比值标注各项指标、主要因素以及项目总体健康程度(项目成功可能性的标志)的颜色，从而直观显示项目健康状况和主要风险所在［2］。

1.2 PSR方法——利用普适性标准综合分析多个项目的共性问题

1)评审标准力求具有普适性。该评审方法以系统工程相关工作的审查为核心［3］，并综合考虑采办管理中的资源规划、项目管理方法和工具、挣值管理、后勤保障等内容，为里程碑决策当局，项目主任提供多方面、多层级的审查框架，以保证该方法可适用于各种类别的项目，为综合分析多个项目的共性问题提供前提。

2)评审团队力求专业化。PSR的实施由专业化的“项目支持团队”(Program Support Team，PST)负责。PST由评估与支持局的官员、成本评估与计划鉴定局的专家、作战试验鉴定局的现任官员，以及来自各军种、工业界、学术机构的资深专家构成［4］。定性方法的运用较易受主观性的影响，与专家的经验、专业技能和知识储备有很大关联，建立专业化的团队有利于保证问题分析的质量。

3)问题分析力求系统化。对问题的系统分析是PSR方法的最大特色，PST通过文件审查、实地采访以及讨论等工作形式，综合归纳多个项目的共性问题，系统分析产生问题的直接原因和深层原因，并从采办总体政策上进行调整，以“大系统观”发现和解决采办问题［5］。

2 POPS和PSR方法的特点

2.1 POPS方法的特点

POPS方法为里程碑审查提供了一种客观可定量的评审方法，用于快速识别风险。目前美陆海空三军均应用该方法进行审查，并不断对其进行完善与更新。

2.1.1 在程序步骤方面，实现了逐层打分标色、重在风险预警的任务目标

POPS方法的应用过程实质上就是对标准、指标以及主要因素进行逐层打分定色的评估过程［6］。POPS的评分定色目前已完全实现信息化，其标准工具是一份供评分用的电子表格，审查团队可以在这份表格中对各个标准进行评分(即标注红、黄、绿)，并且因为这份表格可以自动计算分数并分配合适颜色，从而可以立刻观察到这些评分对指标层、主要因素层以及项目总体健康程度的影响，也可以迅速发现阻碍项目进展的问题所在。标准评分定色程序的内部流程如图1所示。

图1 POPS方法的标准评分定色程序

在整个评分标色过程中，POPS方法还提供了“以高风险标准为主”和“一票否决”机制。“以高风险标准为主”，是指若项目实际情况同时满足该标准的2种以上颜色的说明，则该标准的颜色将被标为风险等级较高的颜色。设定该机制，一方面是由于每种颜色的描述通常有多条，造成项目实际情况可能同时满足多种颜色描述的不同条目;另一方面，选择风险等级较高的颜色标志，不易漏掉一些隐藏问题，有利于风险预判。“一票否决”机制则采用如下思路:列出每个里程碑节点审查中影响项目健康的3～4个最为重要的指标。对于某个里程碑节点审查，在正常执行以上评分标色程序中，若发现1个以上的最为重要的指标显示红色，则该指标对应的主要因素以及整个项目的健康状况也要相继标为红色，该项目在作出必要调整和修改之前不能进入下一采办阶段。

2.1.2 在内容框架方面，满足了标准定义明确、权重分配合理的设计要求

POPS的审查内容框架如图2所示。POPS的审查内容框架在纵向上分为项目总体健康状况、主要因素、指标和标准4个层次，横向上主要按照4个因素分为4大指标体系:项目需求指标、项目资源指标、项目计划/执行指标以及外部影响指标［1］。每个指标都有若干衡量标准，用来为审查团队提供具有可操作性的审查参考。相对于项目支持评审方法来说，这样的内容分类稍显粗线条，但这也是定量评审方法快速评估、抓主要矛盾等内在要求的体现。

为说明POPS对于每项标准的各种颜色状态的明确定义，以里程碑A的项目需求方面的审查为例说明标准层的内容安排［7］，如图3所示。

除了指标状态定义明确外，指标的权重分配与项目不同寿命阶段的客观实际情况也十分符合。图4即为各主要因素权重随项目寿命周期延续而变化的情况。

图4 评审指标权重随项目寿命周期延续而变化的情况

图4按照海军的门审查(GATE REVIEW)描述项目寿命周期的特定阶段，“GATE 3”对应于国防部采办程序中的里程碑A，“GATE 4”对应于里程碑B，“GATE 6”对应于里程碑 C［8］，类比国防部指令5000.02中的采办程序，便可理解图中的项目寿命阶段。由图4可见:随着项目的进展，需求类因素的权重不断降低，而包括采办管理、合同执行和试验鉴定等在内的项目计划和执行类因素的权重却逐渐上升。随着项目在技术上的不断成熟，需求日趋明确，接口管理步入正轨，外部影响类因素的权重也会日益降低。4类因素中唯有项目资源的权重在项目全寿命周期中保持稳定，预算投资和人力资源对于项目的每个阶段都具有相似的重要性。以上因素权重的设计，符合从实践中摸索出的采办审查理念:项目前期严把需求关并注意外部影响，项目后期严把管理执行关，项目全寿命阶段都要一如既往地重视资源要素［9］。

2.2 PSR方法的特点

PSR方法重在对项目问题及其原因的系统分析，并以此为基础提出改进建议。据统计，根据该方法提出的改进建议的采纳比例达到95%以上［10］。

2.2.1 在程序步骤方面，实现了定性方法从战术效能到战略作用的跨越

项目支持评审过程一般在里程碑正式评审会之前的9～12个月开始，完整评审程序共有9个步骤，可分为直接分析(1-7)和系统分析(8-9)2个阶段，如图5所示。

图5 项目支持评审方法的总体程序

在直接分析阶段，国防部分析人员归纳整理前3步之后得到的分析结果，提出改善项目执行效果的建议，分析结果及相关建议都将汇总于第5步中的审查报告中，继而提交项目主任、系统与软件工程署和里程碑决策当局，完成第6-7步。该阶段旨在利用专家的以往经验快速解决本项目问题。在系统分析阶段，将多个项目的评审结果逐步整理为系统问题集、根本原因集与核心根本原因集，层层深入，分析影响项目进展的共性因素，有的放矢地调整政策、指南以及教育培训工作。系统分析工作标志着PSR方法已经从战术性的评审方法上升到了战略的高度。图6更明确地显示了此种跨越。

图6中的战术性效能，是指该方法在单个项目审查过程中发挥的发现并解决问题、监控并规避风险的效用。图6中的2条纽带表现了战术层和战略层之间的相互联系:在系统分析根本原因的过程中要以单个项目所出现问题的根本原因分析为基础，反过来，已经得出的系统性的根本原因又会在单个项目分析中起到参考作用，这是第1条纽带;系统分析后提出的战略调整措施会综合改进采办管理实务，从而也会对单个项目问题的解决产生有利影响或起到参考作用，这便是第2条纽带。定性评审方法的这一突破为系统分析“拖、降、涨”问题的深层次原因以及最终解决该问题提供了新的方向。

图6 项目支持评审方法的战术效能和战略作用

2.2.2 在内容框架方面，体现了从共性出发、注重可操作性的设计原则

为了尽量减少定性评审的主观性和笼统性，PSR方法的审查框架力求内容详尽、结构完善、层次分明，该审查框架分为主要领域、子领域、因素、标准和验证问题等5个主要层次，如图7所示。

图7 PSR的内容框架

该框架从武器装备采办项目的共性出发，将审查内容分为任务能力需求生成、资源(经济和时间成本)、管理(采办计划，里程碑设置，项目管理方法)、技术过程(技术基线，设计验证，软件，工程工具，技术成熟度)、性能(效能，适用性，生存能力，生产能力)等5大领域，可以适用于武器、舰船、飞机、地面车辆、电子设备等多种武器装备。

由于指标体系的评审是一个自下而上的过程，因此，对于最底层指标的评审直接关系到整体的评审效果，有利于提高评审方法的可操作性。体系的最底层为标准层(criteria)，方法为每个标准提供了若干评审提问，通过这些问题，审查人员便可以对该标准的合格情况有所把握。对最底层指标评审过程的细化和规范，使得上述方法具备了较高的可操作性，也能够防止盲目的乐观估计。

3 对优化我军里程碑节点审查方法的启示性建议

我军装备采购程序中，已设置了立项论证评审、研制总要求评审、定型评审等里程碑决策点，并在审查方法上进行了有益的尝试。但是，在审查方法方面，还存在指标体系不够健全、方法的作用范围有限、方法的宣传实践不够到位等问题，在一定程度上影响了节点审查的效率和效果。针对我军现存问题，借鉴美军经验，笔者提出以下建议。

3.1 开发科学客观的评价指标体系，推广应用定量审查方法

美军的POPS方法和PSR方法对于里程碑决策的最大贡献都是提供一套系统的评估项目健康状态的指标体系，这套指标体系既能够兼容需求、技术、成本、管理等项目管理多种要素的要求，又能根据采办寿命期的不同阶段调整指标内容和权重，可以说具有较高的科学性和客观性，这也是多年来美军总结采办管理监审经验之后浓缩得到的精华。

建议我军可以借鉴美军做法建立自己的综合性评审指标体系，从而扩大定量方法的应用。首先，定量方法能够直观快速地反映出项目总体的健康状况，帮助管理人员迅速定位问题;其次，采用统一指标体系的定量审查方法有利于不同种类项目进展情况和问题的横向比较，以及不同历史时期类似项目间的纵向比较，有利于根据历史经验判断项目进入下一阶段的风险大小，从而做出更加科学的决策。

在具体实施过程中，建议可以先以POPS方法为模板，结合我军实际建立指标体系和评分规则。该方法的评分规则较为通用，可以直接引用，因此主要的工作量集中在指标体系的构建上。指标体系构建工作可分为指标内容确定和权重确定两部分。指标内容方面，可采用该方法的4层结构，即总体健康状况、主要因素、指标和标准，构建过程中需要结合我军采购原有体制机制对原方法中指标的名称和内涵进行调整，并在标准层之下考虑增加问题层，即为每个标准的评定提供若干较能反映实际情况的问题，以供审查人员工作时参考引用。指标权重方面，可以根据各决策点的具体任务对原方法的权重进行调整，形成初步方案后利用层次分析法和专家调查法逐级确定权重。

3.2 在评审方法中融入战略思维，系统解决采办问题

“拖、降、涨”问题是困扰世界各大军事强国的顽疾。PSR方法被认为是美军为解决此问题打出的一记重拳，该方法最大特点是站在战略的高度上审视决策点审查问题，综合国防部和军种多个项目的评审结果，分析影响项目进展的问题根源所在，并通过政策调整综合改善采办环境。

我军也应借鉴美军做法，将每个项目审查中发现的问题和初步分析得到的原因汇入总装备部和各军种的数据库，总装备部和各军种组织分析人员对这些数据进行分类整理，形成系统问题集和系统根本原因集，并在此基础上精炼出核心原因集，以便于总装备部抓住主要矛盾，并据此作出政策和指南上的调整，从根源上系统解决采办过程中的“拖、降、涨”问题。

3.3 加大评审方法的宣传普及力度，营造科学自审氛围

美军一直强调:审查的最终目的不是为了挑毛病，而是为了协助项目办共同解决问题。在这种先进审查文化的指导下，美军向来重视将新开发的审查方法迅速普及到各个项目办，促进项目办成员有的放矢地进行前期自审，既等效地扩充了审查时间，减少了审查组织的工作量，又避免了项目办在审查过程中出现应付、敷衍、隐瞒、对抗等现象，项目办的工作方向也更加明确。

目前我军用于综合评估项目整体健康状况的审查方法还比较少，学术界现有的一些风险评估方法在决策点评审中的应用也不够广泛。建议我军首先应鼓励军队各级部门使用科学定量的评审方法，对于试用者进行高额奖励，其次应加紧开发新方法，并通过军队院校的集中培训迅速宣贯到型号办公室和军代表室一级。具体实施过程中可采用“从试点到普及”两步走的模式。

4 结论

POPS和PSR是美军在里程碑节点审查中广泛应用的先进方法。研究其程序步骤，有利于优化我军节点审查流程，完善项目问题的分析机制。研究其评审内容框架，有利于构建综合性评审指标体系，权衡成本、技术和管理等多方面的审查要求。笔者从以上角度对2种方法进行了分析，为丰富我军节点审查的方法和手段提供了有益启示。

［1］ Assistant Secretary of the Navy(ASN)Research Development and Acquisition(RDA).Naval POPS Guidebook［EB/OL］.(2008-05-07)［2012-02-25］.https://acc.dau.mil/

［2］ DAU.Probability of Program Success Operations Guide［EB/OL］.(2007-03-01)［2012-02-11］.http:∥www.acq.osd.mil/

［3］ Dave Castellano.DoD Program Support Reviews Findings:Perspectives on Technical Planning and Execution［EB/OL］.(2005-11-12)［2011-10-25］.https:∥acc.dau.mil/

［4］ The Department of Defense Systems and Software Engineering Directorate.Defense Acquisition Program Support Methodology［EB/OL］.(2009-08-07)［2012-02-25］.http:∥www.acq.osd.mil/

［5］ National Defense Industrial Association Systems Engineering Division.Report on Systemic Root Cause Analysis of Program Failures［EB/OL］.(2008-06-11)［2011-11-02］.http:∥ www.ndia.org/Divisions/Divisions/Systems Engineering/Documents/Studies/NDIASRCAReportFINA18Dec2008.pdf

［6］ Assistant Secretary of the Navy(ASN)Research Development and Acquisition(RDA).Naval POPS Visuals Handbook［EB/OL］.(2008-06-21)［2012-03-10］.https:∥acc.dau.mil/

［7］ Assistant Secretary of the Navy(ASN)Research Development and Acquisition(RDA).Naval POPS Criteria Handbook［EB/OL］.(2008-03-20)［2011-11-02］.https:∥acc.dau.mil/

［8］ Secretary of the Navy.Implementation and Operation of the Defense Acquisition System and the Joint Capabilities Integration and Development System［EB/OL］.(2008-01-11)［2012-02-05］.http:∥www.acquisition.navy.mil/

［9］ Defense Acquisition University.Defense Acquisition Guidebook［EB/OL］.(2010-04-13)［2011-07-12］.https:∥dag.dau.mil

［10］ Pete Nolte.Program Support Review Deep Dive［EB/OL］ .(2007-08-30)［2012-03-10］.http:∥www.dtic.mil/ndia/