APP下载

检验检测技术装备项目绩效评价体系的构建与实践

2023-04-02厉小燕赵奇马燕飞陈宁谢俊仇嘉叶翔宇郑翠翠李红艳江涌缪小平

中国标准化 2023年18期
关键词:德尔菲法检验检测层次分析法

厉小燕 赵奇 马燕飞 陈宁 谢俊 仇嘉 叶翔宇 郑翠翠 李红艳 江涌 缪小平

摘 要:本文基于浙江省市场监督管理系统检验检测技术装备项目管理的工作实践经验,设计了绩效评价模型。利用德尔菲法对指标进行筛选,运用层次分析法对指标进行权重赋值,首次构建了“3+6+20”架构的检验检测技术装备项目绩效考核评价体系,包括3个一级指标,6个二级指标,20个三级指标。进一步组织32名专家,运用该指标体系对装备项目进行案例实证研究,发现可有效区分装备项目绩效水平高低,并发现项目管理过程中存在的短板。该评级体系可用于装备项目绩效自评和主管部门评价,从而促进相关机构不断提升装备项目管理水平,提高财政资金使用绩效。

关键词:检验检测,装备项目,绩效评价,德尔菲法,层次分析法

DOI编码:10.3969/j.issn.1002-5944.2023.18.007

0 引 言

科技强局是浙江市场监管系统顺应时代发展有效履职的战略目标,也是全省市场监管系统展现“重要窗口”奋力当担作为的建局之基、立局之先、兴局之要[1]。全面实施科技强局战略要求全省市场监管科技创新水平迈上一个台阶,科技装备、基础设施、技术水平等综合实力全国领先,因此检验检测技术装备是实施科技强局的基础保障。省市场监督管理系统加大对检验检测技术装备的投入,仪器设备的数量和价值快速增长,但普遍缺乏科学合理的装备项目绩效评价体系。2020年2月财政部发布《项目支出绩效评价管理办法》一般公共预算、政府性基金预算、国有资本经营预算项目支出均应进行绩效评价,同年10月浙江省财政厅发布《浙江省项目支出绩效评价管理办法》,要求全面实施预算绩效管理,建立科学合理的项目支出绩效评价体系,优化财政资源配置,提高财政资金使用绩效。结合财政部和省财政厅对项目支出绩效评价的要求,有必要对检验检测技术装备项目绩效评价体系进行构建与实践。

1 评价体系构建

1.1 层次分析法概念

层次分析法( T h e a n a l y t i c h i e r a r c h yprocess,AHP)是本研究应用的主要方法,AHP由美国运筹学家Thome Saaty最早提出,它把复杂无序的问题分解为多个组成元素,并根据隶属关系构造出一个简明有序的层次结构,再通过两两比较的方式获得每个层次中每个元素之间的相对重要性,最后通过层级串联,计算出最低层次中每一个元素的相对重要性排序[2]。

1.2 评价指标的确定

本研究在分析机构承接检验检测技术装备项目管理现状和存在的问题的基础上,明确装备服务于科研人员、检测人员和共享人员的理念,设计了检验检测技术装备项目绩效评价体系初模型,包括以下内容:从立项的角度出发,选取立项指标;从采购管理角度出发,选取相应的业务管理制度的健全性和执行的有效性等组织实施指标;从用户角度出发,选取相应产出指标;从项目收益角度出发,选取经济效益和社会效益指标;从财务角度出发,选取相应的财务指标;从服务对象角度出发,选取相应的满意度指标。为保证该评价指标体系科学性,特邀浙江省科技厅、浙江大学、浙江工业大学、中国计量大学、浙江省产品质量安全科学研究院、浙江省计量科学研究院、浙江省轻工业质量检验研究院、浙江省方圆检测集团等12位从事装备管理、科研项目管理、财务管理的專家,运用德尔菲法对指标进行筛选,最终整理形成“3+6+20”结构的检验检测装备项目绩效指标体系框架,包括3个一级指标,6个二级指标,20个三级指标(见表1)。

1.3 指标权重的分配

该绩效指标体系权重确定采用和积法计算下的AHP法,有效整合上述12位专家的量化判断意见,充分纳入主客观相关信息。具体操作步骤:

第一步:标度确定和构造判断矩阵

此步骤即为原始数据(判断矩阵)的来源,某一层指标以上一层指标作为评判基准,使用1-5分标度法进行两两指标间相对重要性比较(最低为1分,最高为5分),其中1表示同等重要、2表示较重要、3表示重要、4表示很重要、5表示非常重要(倒数取值为相对不重要性评判);成对比较矩阵之上三角形部分形成n 个指标比较结果(具体采用专家组的均值取整分);主对角线为指标本身之比较,下三角形部分为上三角形部分相对位置的倒数。最终得到判断矩阵表格(见表2-表8):

第二步:归一化处理,计算权重

此步骤目的在于计算出权重值:首先,进行判断矩阵的归一化处理(即按列加和后进行归一处理);然后将矩阵按行进行计算均值,即得出各指标的单权重(此值即为判断举证的正规化特征向量):

通过最终权重结果来看,业务指标在3个一级指标中所占权重最大,其次是财务指标,满意度所占的比例最小。说明目前专家对于检验检测技术装备项目绩效评价侧重于产出完成、项目效益等指标,这些指标相对完善且可量化。服务对象的满意度具有一定的主观因素,虽然也可以在一定程度上反映装备项目的绩效水平,但重要性相较于其他维度偏小,因而在本评价体系中所占权重较小。

对于项目立项维度,目标设立合理性所占权重最大,说明专家重视装备项目目标依据是否充分、符合客观实际,项目实施内容与绩效目标具有相关性,项目预期产出和效益目标符合正常的业绩水平,与预算资金量要相匹配。

对于组织实施维度,执行性有效性所占权重最大,说明专家对装备项目的执行非常重视,装备项目申报、任务下达、采购计划、进口设备论证、装备购置方式选择、装备购置、合同签订、装备安装调试、装备验收、绩效评价、装备项目验收,重点关注执行过程的每个节点是否遵守相关法律法规和相关管理制度的规定;项目调整是否合规;项目实施的人员条件、场地设备、信息支撑等是否落实到位;采购流程是否规范;固定资产账实是否符合;项目资料是否齐全并及时归档。

对于产出完成维度,科研项目所占权重最大,说明相关专家比较重视依托新购检验检测装备所产生的科研成果,科研项目的层级和数量是衡量机构科研水平的重要指标,只有获得更多的重大项目,才能获取更多的财政资金支持,从而更好地利用装备,才能充分发挥装备的使用效益,该指标客观且易统计。检测技术能力方面、完成及时性、年平均运行机时、标准(含立项)、专利(含申请/授权)、论文(含录用)所占权重次之:检测技术能力方面指标是指依托新购装备提升检测能力,反应完成产出的直接指标;完成及时性指标倒逼项目实施单位在任务书期限内完成项目建设,加快财政资金的收益;标准、专利、论文指标可以精确地统计,其数量和质量可以衡量机构科技水平。

对于财务管理维度,财务制度健全性、财务管理有效性、资金分配合理性、资金到位及时性、资金使用率5个指标,平均分配权重,说明专家认为财务维度的5个指标同等重要。

对于满意度维度,反映服务对象或收益人的认可程度的指标,专家一致建议在满意度维度设立满意度评价1个指标,满意度调查表(见表12)。

检验检测技术装备项目支出绩效评价结果采取评分和评级相结合的方式,具体分值和等级根据不同评价内容设定。总分一般设置为100分,等级一般划分为五档:90(含)~100分为优、80(含)~90分为良、70(含)~80分为中、60(含)~70分为及格、60分以下为差。

2 案例实证

选取浙江方圆检测集团承担的装备项目《国家电子商务消费品质量监督检验中心(浙江)(筹)检测能力建设》(以下简称案例1)和浙江省产品质量安全科学研究院承担的装备项目《重点消费品有害元素、可迁移微量颗粒物、机械与物理安全检测评估技术研究与应用》(以下简称案例2)。参与案例绩效评价共32名专家,分别来自绍兴、宁波、金华、台州等地质检院、计量院、食药院、特检院,均从事装备管理、科研管理、财务管理、科研检测等相关工作。经对32名专家的评价表统计分析,最后得到两个案例的绩效评分(表13)。

实证案例1和案例2最终绩效评价总分分别为95.99分和91.05分,均处于第一档优秀档。现对评价结果分析如下:

一级指标维度分析:两个案例一级指标评价分析(表14),案例1的业务指标要比案例2高出8.54%,案例1的财务指标比案例2略微高一点,满意度指标两个案例得分一致。原因分析案例1实施主体是浙江方圆检测集团,该机构是第三方检验机构,自收自支注重业务发展。

二级指标维度分析:组织实施指标案例2略高于案例1,产出完成指标案例1比案例2高出4.54%,项目效益指标案例1比案例2高出18.39%,财务指标案例1略高于案例2(表15)。原因分析案例1实施主体是浙江方圆检测集团,其技术人才队伍较案例1的实施主体省质科院体量要大,前者对外开展第三方有偿服务,提高了项目的经济效益。

三级指标维度分析:三级指标物联网传感器安装,案例2远高于案例1,案例1此项评分为0分,年平均运行机时案例1是案例2的5.78倍,经济效益案例1比案例2高出12.44%,社会效益案例1比案例2高出25%(表16)。案例1实施主体是方圓检测集团,使用和管理有一定脱节导致未能及时安装传感器;方圆检测集团为第三方实验室对社会提供有偿服务,设备年平均运行机时要远高于作为公益一类事业单位的省质科院,同理经济效益前者也远高于后者。

3 讨 论

运用“3+6+20”构架的检验检测技术装备绩效评价体系对两个案例实证研究,发现承接单位在装备项目管理中存在一些问题。主要问题如下:

(1)装备开放共享程度有待提高

通过绩效评价结果发现,目前大型仪器入网率偏低,物联网传感器安装偏低,案例1原值大于3 0万的设备有9台套,其中电位滴定仪(11816DA18)、气相色谱仪(11818DA18)、气相色谱仪(11819DA18)、离子色谱仪(11888DA18)这4台大型仪器纳入浙江省大型科研仪器开放共享平台,入网率44.44%,传感器安装率44.44%。浙江省科技厅对大型仪器的入网率和物联网传感器安装率有考核要求,市场监督管理系统对这两个指标需引起重视,加强对设备开放共享的考核。

(2)装备运行使用有待加强

通过专家评分发现,案例1和案例2年平均运行机时这个指标评分偏低,案例2装备项目通过折算年平均使用机时仅为260小时/年,案例1也仅为800工时/年。设备使用率不高,可以通过开发装备的新功能、开拓新需求、拓展服务对象来提高设备的使用率。

(3)装备项目效益有待提升

通过专家评分发现,案例1和案例2项目效益指标评分不高。对于二类事业单位可拓宽服务范围、提高服务质量来提供经济效益,对于一类事业单位可加大提升产业服务水平助力企业改革创新、对政府部门提高专业服务水平重点提升社会效益。

4 总 结

本研究首次构建了“3+6+20”架构的检验检测技术装备项目绩效考核评价体系,并利用该考评体系进行案例实证研究,该体系能有效区分装备项目绩效水平的高低。本指标体系可用于装备项目承接机构绩效自评和主管部门评价,承接机构可在自评的基础上识别装备项目在管理上存在的短板,进行查漏补缺,为装备项目的验收做好铺垫同时也为装备日常管理提供保障。部门评价要体现组织与项目实施主体相分离的原则,一般由主管科技的管理部门组织,确保部门评价的独立、客观、公正。主管部门评价时可优先选择贯彻落实党中央、国务院重大方针政策和地方各级党委政府重大决策部署的项目,以及覆盖面广、影响力大、社会关注度高、实施期长的项目进行评价。可将抽评结果进行通报,作为今后装备项目、科研项目立项的重要依据。通过装备项目绩效评价结果,发现装备项目管理存在的问题、提出相应的对策,能有效促进设备的良性循环使用、显著提升机构仪器设备管理水平,优化财政资源配置、提高财政资金使用绩效,切实保障机构的健康持续发展。

参考文献

厉小燕,陈元杰,陈小珍,等.市场监管检验检测技术装备项目管理存在问题与对策探析[ J ] . 中国标准化,2022(8):193-199.

张炳江.层次分析法及其应用案例[M].北京:电子工业出版社,2014.

THOMAS L S. Relative Measurement and Its Generalizationin Mathematics for the Measurement of Intangible Factors TheAnaIytic Hierarchy/Network Process[J].Rev.R.Acad.Cien.Serie A.Mat, 2008,102(2)251-318.

作者简介

厉小燕,硕士研究生,工程师,研究方向为科研项目和装备管理。

赵奇,硕士研究生,高级工程师,研究方向为实验室管理。

马燕飞,学士,工程师,研究方向为装备管理。

陈宁,博士研究生,助理研究员,研究方向为大型仪器开放共享管理。

谢俊,学士,工程师,研究方向为通信工程和信息化。

仇嘉,博士研究生,高级工程师,研究方向为设备管理。

叶翔宇,博士研究生,高级工程师,研究方向为质量技术机构检验检测项目建设、实验室管理、科研项目评价。

郑翠翠,硕士研究生,工程师,研究方向为信息安全。

李红艳,硕士研究生,高级工程师,研究方向为重点实验室建设、实验室管理、科研项目和装备管理。

江涌,本科,工程师,研究方向为设备管理。

缪小平,通信作者,硕士研究生,高级工程师,研究方向为实验室质量管理、科研和装备管理。

(责任编辑:张佩玉)

猜你喜欢

德尔菲法检验检测层次分析法
沈阳市农业补贴改革现状评价及对策研究
“互联网+检验检测”云服务平台可行性研究
武汉建设检验检测高技术服务业集聚区的发展研究
试析县域检验检测机构资源优化整合
试析县域检验检测机构资源优化整合
厂内机动车辆检验检测质量研究
基层社会管理关键绩效指标体系构建研究
基于层次分析法的乳制品品牌顾客满意度实证研究
基于模糊综合评价模型对道路拥堵的研究
普通本科高等院校辅导员绩效考核体系构建研究