基于BSC-AHP的国防研发项目绩效审计评价指标体系研究

孙勇阁 伍学进 朱殿骅

[摘要]随着科研经费投入规模的不断扩大，科研单位、院校承担的国防科研项目日益增多，要提高国防科研经费的使用效益，扩大科研成果，开展国防研发项目绩效审计势在必行。以平衡记分卡理论为基础，建立包含财务管理、利益相关者、内部流程、学习与成长四个维度的国防研发项目绩效审计评价指标框架，通过问卷调查和层次分析法确定相关指标权重，构建具有可操作性的国防研发项目绩效审计评价指标体系，对开展国防研发项目绩效审计实践具有一定的参考意义。

[关键词]国防研发项目    绩效审计    指标体系

本文系江苏省公共工程审计重点实验室（南京审计大学）2016年度重点项目课题（GGSS201605）

一、引言

军队审计是独立的军事经济监督活动，开展军队审计监督对于揭示和查处军队财经违纪违法行为、提升军费使用效益具有重要意义。探索开展国防研发项目绩效审计，是提升国防研发项目经费使用效益、推动军队审计事业创新发展的有效途径，而开展国防研发项目绩效审计，需要一套科学合理的国防研发项目绩效审计评价指标体系。为此，本文将平衡记分卡理论（BSC）和层次分析法（AHP）相结合，在问卷调查的基础上，探索制定一套具有可操作性的国防研发项目绩效审计评价指标体系。

二、理论基础

（一）平衡記分卡

平衡记分卡是由哈佛大学商学院教授罗伯特·卡普兰和美国复兴方案公司总裁戴维·诺顿于1992年在《哈佛商业评论》上提出的一种绩效测评模式。最初主要应用于企业绩效管理，后逐渐延伸至绩效审计领域。平衡记分卡理论的核心是从特定组织的战略或使命出发，对其战略目标进行分解，从财务管理、顾客（相关利益主体）、内部业务流程、学习与成长四个主要维度设置衡量指标，不同维度下再增设不同独立指标，并为其赋予一定权重，从而构建一套完整的绩效评价体系。

在国防研发项目绩效审计中，以平衡记分卡作为理论基础，可行性主要基于以下三点：一是平衡记分卡与国防研发项目绩效审计理念具有共通性。国防研发项目绩效审计体现了政府对其研发项目承担主体受托责任的监督检查，即依靠审计部门对承担主体履行受托责任的优劣进行审查。其目标不仅是要查出问题，还要针对存在的问题提出相应的建议、改进措施，从而促使研发部门更好地履行责任。而平衡计分卡作为持续评价、改进特定组织绩效的工具，本质上就是对研发主体的受托责任进行分解，通过评价指标目标值的完成情况来评价受托责任的完成情况，并通过评价结果提出改进建议。二是平衡计分卡有助于国防研发项目绩效审计标准的制定和指标的选取。平衡计分卡将财务指标与非财务指标、内部指标与外部指标、事后指标和事前指标、短期指标和长期指标综合考虑，提供的多维度综合分析评价指标体系能有效满足国防研发项目绩效审计的要求。三是二者在不同程度上都体现了平衡思想。平衡记分卡作为建立在平衡理念基础上的战略管理工具，既体现了绩效审计“3E”（经济性、效率性、效果性）之间相互协调、平衡的理念，同时也实现了外部衡量与内部衡量、短期目标与长期目标、成果与成果动因、定量衡量与定性衡量之间的平衡。

（二）层次分析法

层次分析法是由美国运筹学家萨蒂在20世纪70年代提出的一种以定性与定量相结合为最主要特征的决策分析方法。将决策问题分为若干个层次，通过对不同层次各影响因素间两两权衡比较的主观判断信息，确定不同指标之间的相对重要性，递归计算出各评价指标的总体权重，从而有效解决综合评价中主观性评价指标的权重确定问题。

运用层次分析法确定国防研发项目绩效审计评价指标体系中各项评价指标权重的基本步骤如下：

第一步，建立国防研发项目绩效审计评价的层次分析结构图，确定目标和评价因素集u。

第二步，构造具体的评价矩阵。用A表示目标，ui表示评价因素（）。uij表示ui相对于uj，j=1，2…，n的相对重要性水平，uij的取值通常采用萨蒂教授提出的标度法，根据各个uij值得到判断矩阵P，该矩阵称为A–U判断矩阵。

第三步，计算相对重要性的排序。根据A–U判断矩阵，求出最大特征根所对应的特征向量，所求特征向量即为各评价因素的重要性排序，也就是各因素的权重分配。

第四步，检验。对判断矩阵进行一致性检验，当一致性系数CR<0.10时，即可以判定该判断矩阵的随机一致性符合标准，说明评价者对评价指标的主观赋权具有较强的合理性，否则需要调整判断矩阵，直到判断矩阵的随机一致性达到标准。

三、国防研发项目绩效审计评价指标体系构建

指标体系的设置是开展国防研发项目绩效审计评价的前提和基础，也是影响绩效审计评价的关键因素之一。指标选取与计算是否科学、指标体系是否合理直接关系到研发项目绩效评价的成败。因此，研究构建科学合理的绩效审计评价指标体系至关重要。

（一）国防研发项目绩效审计评价指标的设置原则

国防研发项目绩效审计评价指标的设置，要能够反映评价对象的主要情况，能够说明评价对象的因果关系，要符合国防研发项目管理的要求。同时，对国防研发项目开展绩效审计评价是一项政策性、专业性、技术性较强的专业活动。为确保审计评价工作达到预期目标，确保指标体系系统完备、逻辑严密，评价指标的设置和选取应当遵循以下基本原则。

1.目的性原则。构建国防研发项目绩效审计评价指标体系的主要目的是推动研发项目绩效审计评价的科学化、规范化，从而扩大审计监督成果，发挥审计服务建设职能。设计指标和构建绩效审计评价指标体系要始终围绕这一核心目标。

2.相关性原则。相关性原则是指国防研发项目绩效审计评价指标应当与国防研发活动具有高度的相关性，能够充分反映国防研发项目绩效审计与其他绩效审计项目（如军事设施建设项目绩效审计项目）的区别，突出国防研发项目绩效审计的特色。

3.系统性原则。国防研发项目绩效审计评价指标是衡量、监测和评价国防研发项目经费支出经济性、效率性和效果性的系统量化载体，因而，评价指标的选取设计应当注重评价指标间的内在逻辑关系，通过不同层级的评价指标，综合、全面地反映国防研发项目的绩效情况，避免出现对评价指标的简单堆叠。

4.重要性原则。国防研发项目绩效审计评价指标的设计，应当突出反映国防研发项目的重要方面和关键内容，力求简洁明了、有所侧重，既要避免遗漏影响国防研发项目绩效的关键环节或重要节点，又要适当控制评价指标体系的规模，避免评价点之间的交叉重复，同时节约评价成本。

5.可操作性原则。国防研发项目绩效审计评价指标体系的设计是为有效开展绩效审计服务的，因而指标体系设计应力求简洁明了，便于审计人员的理解和运用。同时，相关指标数据应当采集方便，评价过程应当易于操作。

6.定量与定性相结合原则。定性指标和定量指标都是开展绩效审计评价需要用到的，将定量指标与定性指标相结合，能够使评价结果更加公允、合理、客观、准确。

（二）国防研发项目绩效审计具体评价指标的选取

1.财务管理维度。财务管理维度反映的是国防研发项目的财务管理是否规范有序，所投入研发经费是否达到了良好的使用效果，由以下5个评价指标构成：

（1）预算经费保障情况。经费预算保障情况（A1）反映的是国防研发项目是否获得了充足的预算保障，该指标属于定量指标，用预算经费到位率来衡量，其计算公式为：

经费预算到位率=已拨付预算资金/国防研发项目预算×100%

（2）预算变更调整情况。预算变更调整情况（A2）反映的是国防研发项目是否严格依照军队预算管理规定进行调整，由于预算变更调整并非越少越好，而是根据国防研发项目开展的具体情况分析，因而该项指标宜设计为定性指标，由审计人员根据预算调整幅度、预算调整及时性、预算调整审批程序等内容作出综合判断，在1至5的范围内确定分值，其中1表示差，3表示一般，5表示好。

（3）资金使用管理情况。资金使用管理情况（A3）反映的是国防研发项目经费使用管理是否规范，有无违法军队财经法规制度的情况。由于财经违纪违法行为不仅要根据问题金额判断，还要结合问题的性质来考量，因而该指标宜设计为定性指标，由审计人员根据被审计单位的国防研发项目经费使用管理情况作出综合判断，赋值方法同指标A2。

（4）全成本核算情况。全成本核算情况（A4）反映的是与国防研发项目相关的经费支出是否全部纳入国防研发项目的成本核算中，有无挤占挪用其他项目经费或预算经费的情况，该指标属于定量指标，用项目外支出比率来衡量，其计算公式为：

项目外支出比率=应纳入未纳入国防研发项目的经费支出额/国防研发项目预算×100%

（5）项目成本控制情况。项目成本控制情况（A5）反映的是国防研发项目是否进行了良好的成本管控，有无超指标、超预算情况，该指标属于定量指标，用预算偏离率来衡量，其计算公式为：

预算偏离率=100%-|（国防研发项目实际支出额-国防研发项目预算）/国防研发项目预算|×100%

2.利益相关者维度。利益相关者维度衡量的是与国防研发项目相关的行业主管部门、科研主管部门、成果预期使用单位对国防研发项目成果的满意程度，由以下3项指标构成：

（1）行业主管部门满意度。行业主管部门满意度（B1）反映的是国防研发项目行业主管部门对研发活动过程和研发成果与其期望值的符合程度，该指标属于定性指标，由行业主管部门的受访者根据实际情况打分，在1至5的范围内确定分值，其中1表示不满意，3表示一般，5表示满意。

（2）科研主管部门满意度。科研主管部门满意度（B2）反映的是国防研发项目的科研主管部門对研发活动和研发结果的满意程度，该指标同样属于定性指标，由科研主管部门的受访者根据实际情况打分，具体评分办法与B1指标相同。

（3）成果预期使用单位满意度。成果预期使用单位满意度（B3）反映的是国防研发项目的成果预期使用单位对研发过程和研发结果的满意程度，该指标同样属于定性指标，由成果预期使用单位的相关人员打分，具体评分办法与B1指标相同。

3.内部流程维度。内部流程维度是从全过程管理角度来评价国防研发项目的规范化程度，是构成国防研发项目绩效的最重要方面。国防研发项目的生命周期通常可以划分为立项、方案、实施和验收评估四个阶段，按照这四个阶段的重要管理控制活动来设立评价指标：

（1）立项阶段。主要任务是通过论证和进行必要的实验，初步确定重要技术指标、总体技术方案，以及初步研发经费、研发周期和保障条件，编制研发项目总要求和可行性研究报告。立项阶段由以下6个评价指标构成，这些指标均为定性评价指标。一是项目需求明晰性（C11），衡量项目研发需求是否清晰，项目的军事意义是否明确。二是研究内容创新性（C12），衡量研发项目所研究的内容是否处于前沿水平，具有较强的创新价值。三是技术指标合理性（C13），衡量研发项目所确立的重要技术指标是否科学合理。四是立项条件成熟性（C14），衡量研发项目立项的条件是否全面成熟。五是经费概算准确性（C15），衡量研发项目经费需求概算是否合理，是否与研发项目所需要的资源投入相匹配。六是可行性研究充分性（C16），衡量研发项目的可行性研究是否全面充分，所形成的可行性研究报告，是否能够全面反映项目研究开发过程中可能遇到的困难及解决措施。

（2）方案阶段。主要任务是根据批准的研发项目总要求，在可行性研究报告的基础上，开展研发项目具体方案的验证和论证，形成研制任务书。立项阶段由以下6个评价指标构成，这些指标均为定性评价指标：一是技术储备充分性（C21），衡量与研发项目相关的技术是否成熟、完备。二是关键技术把握度（C22），衡量对研发项目所涉及的关键技术把握的正确程度。三是技术路线可行性（C23），衡量研发项目技术路线设计是否合理、可行，总体方案是否为可替代方案中的最优者。四是任务分解合理性（C24），衡量研发任务的分解是否科学合理，任务分工是否明确，任务边界是否清晰。五是经费预算科学性（C25），衡量研发预算编制是否依据充分、测算准确、项目完备、内容细化。六是研制任务书规范性（C26），衡量所编制的研制任务书是否内容全面、规范严谨，能够为指导实施阶段的工作提供坚实基础。

（3）实施阶段。主要任务是根据批准的研制任务书进行具体的设计、试制和试验工作，在相关研制工作完成之后，对产品的性能和使用要求进行全面考核，以确认其是否达到研制任务书和合同的要求，对产品批量生产条件和质量稳定情况进行全面考核，以确认其是否达到批量生产标准。实施阶段由以下5个评价指标构成，这些指标均为定性评价指标：一是项目进展吻合度（C31），衡量国防研发项目的进展与项目阶段目标、时间计划的吻合程度。二是技术路线遵循度（C32），衡量国防研发项目是否严格遵循了预定技术路线。三是研发资源保障度（C33），衡量研发人员、装备、资金等资源能否充分保障研发任务需要。四是档案记录完整度（C34），衡量研发过程中的相关档案资料记录是否规范完整，研发全生命周期是否实行了有效的痕迹管理。五是研发风险管控度（C35），衡量对研发过程中可能出现的风险是否作出充分预估，是否及时采取了行之有效的风险管控措施，确保项目风险可控。

（4）验收评估阶段。主要任务是在项目研制满足合同规定的实验室检测验收条件时开展实验室检测，当检测结果全部满足研制任务书要求时，进行使用方验收。同时，根据实验室验收和使用方验收结果，对国防研发项目的目标达成情况、成果价值、创新程度等进行评估。验收评估阶段由以下4个评价指标构成，其中既有定性指标也有定量指标：

一是研发目标完成度（C41），反映既定研发目标的完成情况，该指标属于定量指标，用研发合同任务完成率来衡量，其计算公式为：

研发合同任务完成率=实际完成研发任务量/合同约定任务量×100%

二是研发成果价值（C42），反映研发项目的成果转化情况，用所取得的专利技术预期价值总额来衡量，其计算公式为：

研发成果价值=ΣXi（其中Xi表示专利技术i的预期价值）

三是研发项目创新度（C43），反映研发项目是否取得了重要技术创新，在一定程度上填补了技术空白，更新或完善了技术方法，该指标属于定性指标，由审计人员在1至5的范围内确定分值，其中1表示差，3表示一般，5表示好。

四是研发项目影响力（C44），反映研发项目能够产生的军事影响、技术影响、经济影响和社会影响等，该指标属于定性指标，由审计人员在综合评估基础上，在1至5的范围内确定分值，其中1表示差，3表示一般，5表示好。

4.学习与成长维度。在平衡记分卡理论模型中，学习与成长目标为其他3个维度目标的实现提供了基础架构，在企业绩效评价中，学习与成长维度通常涉及员工能力、信息系统能力等指标。将平衡记分卡运用到国防研发项目绩效审计评价时，学习与成长维度应当反映影响研发项目绩效的内在软件因素，包括研发人员投入使用情况和研发项目组织管理水平两个指标。

（1）研发人员投入使用情况（D1）。反映研发项目单位对研发人力资源的配置使用情况，研发团队的稳定情况以及研发人员的学习成长情况，该指标属于定性指标，由审计人员在1至5的范围内确定分值，其中1表示差，3表示一般，5表示好。

（2）研发项目组織管理水平（D2）。反映研发项目单位对整个研发项目全过程的组织管理水平，包括相关机构设置的规范性、任务分工的科学性、节点审查的及时性、有效性等，该指标属于定性指标，由审计人员在1至5的范围内确定分值，其中1表示差，3表示一般，5表示好。

（三）国防研发项目绩效审计评价指标的赋权

根据层次分析法原理，通过问卷调查向具有国防研发项目审计实务经验的军队审计人员及从事研究国防研发项目绩效研究的专家、学者进行咨询，了解其对各项评价指标之间相对重要性的意见，从而确定各评价指标的权重。本次问卷调查共发放问卷12份，收回问卷12份，均为有效问卷。经计算，各绩效评价指标的权重如表1所示。

四、结语

构建国防研发项目绩效审计评价体系，对于扩大国防研发项目成果，保障科研任务高效完成，提升科研经费使用效益，推动科技创新发展战略的实现等具有重要现实意义。但由于作者掌握的研究素材有限，评价指标体系还有待与实际工作需求相结合，需要在实践过程中对操作上难以获得信息数据的指标进行适当调整，对实际需要、考核意义突出但未设置的相应指标要进行增补。同时，由于国防研发项目数据资料的保密性，绩效审计评价指标体系的实证研究也受到一定限制，需要在以后的研究中结合其他非保密性质的科研项目对绩效审计评价指标体系进一步完善。

主要参考文献

陈献东.住房公积金运营绩效审计评价指标体系研究[J].南京审计学院学报， 2015（2）：81-91

李梅，刘玲燕.基于模糊综合评判的政府绩效审计评价[J].财会通讯， 2016（19）：80-83

李燕，张翔，张围红.中国政府绩效审计改革研究[J].云南财经大学学报， 2018（4）：104-112

彭敏.政府投资建设项目绩效审计标准研究[J].企业技术开发， 2016（19）：128-130

徐绪宝，周君，洪璐.公共投资项目绩效评价体系的研究[J].铁路工程造价管理， 2015（3）：9-12