基于层次分析法的质检机构科研绩效评价研究
2016-05-14罗春英
罗春英
[摘 要] 本文在运用专家调查法、层次分析法、量表评价法等绩效评价方法的基础上,通过借鉴国内外先进经验和征询质检专家意见后,选取由3个一级指标和13个二级指标组成的绩效评价指标体系,并通过问卷调查法征求6省、5市质检专家的意见,运用层次分析法(AHP)确定各个评价指标的重要程度。设计各个评价指标尺度评定值后结合各个评价指标的权重系数,得出质检机构科研绩效的评价结果。
[关键词] 质检机构;科研;绩效;评价;绩效管理
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2016. 05. 049
[中图分类号] F270.7 [文献标识码] A [文章编号] 1673 - 0194(2016)05- 0090- 04
1 质检机构科研绩效评价的目的和意义
质检机构的科研项目有自己的显著特点,它以检测方法研发和检测仪器设备的研制为主体,很大一部分质检机构在经费来源形式上是财政核拨或自收自支,那就意味着要用自身的科研投入来提升检验能力,自身才能获得发展。质检机构在面临生存和发展双重压力的情况下,相比各类高校和专职科研院所更为关注科研工作绩效,因此在当前的情况下开展质检机构科研绩效的评价很有意义。
当前对质检机构科研绩效评价的研究鲜有报道,首先,本文的研究工作可以在一定程度上弥补质检机构科研绩效评价研究理论不足的问题。其次,可以通过对质检机构进行科研绩效评价,使各级质检机构了解自身科研的优势和不足,扬长避短并持续调整科研战略和工作方向,让有限的资金得到最大限度的合理利用,进而提升自身的科研竞争力。最后,通过质检机构科研绩效评价体系的应用和评价可以实现不同质检机构间科研实力的比较。
2 质检机构科研绩效评价体系构建
2.1 评价对象、评价周期、评价主体的确定和选择
2.1.1 选择评价对象
因为在质检机构科研绩效的评价体系中,对科研评价对象不能含糊不清,需要明确的界定,然后相对固定下来,保持一定的历史延续性。当然评价对象也不是一成不变的,在后续的评价实施过程中可以根据需要进行不断的完善和改进,以期达到最佳的评价效果。根据指标体系要素的选择和指标的定义本文将评价对象确定为“某质检机构××××年度科研绩效”。
2.1.2 评价周期的确定
科学研究工作是一项系统性的工作,评价周期不能过长,也不宜太短。评价周期过长,新的科研项目对科研综合实力的影响还未充分显现,评价结果可能会相对滞后,最终可能导致对科研工作者起不到考核和鞭策作用。如果评价的周期过短,在增加科研附加工作量的同时增加了科研团队的工作压力,会使科研团队因忙于接受考核而降低工作效率,造成科研资源的浪费。本文结合指标体系要素的选择和指标的定义将评价周期确定为一个完整的日历年度。
2.1.3 选择评价主体
选择评价主体就是明确由谁来对质检机构科研绩效进行评价。对质检机构科研绩效进行评价需要多主体、全方位地进行,本文主张采用多主体的评价。因此,我们确定质检机构科研绩效的评价主体包括机构领导、单位学术委员会委员、科研管理人员和科研团队的负责人代表。
2.2 科研绩效评价指标的构成
本文中,在借鉴国内高校开展科研绩效评价的成熟经验和方法的基础上,结合质检机构科研工作的实际情况,确定了成果效益、经济效益和社会效益这3个基本维度为一级指标,设计了科研论文产出率、增加检验创收率、对检验能力的提升力等13个二级指标,构建了质检机构科研绩效的评价指标体系,见表1。
2.3 运用层次分析法确定指标权重
2.3.1 权重计算过程
本文通过问卷调查法,收集31位省级质检机构和10位市级质检机构科研专家的意见,请41位专家对评价指标体系中的各指标重要性进行两两比较。计算41位专家所填数值的算术平均数,得出3个一级指标两两相比的重要程度情况如下:
成果效益∶经济效益=1.769
成果效益∶社会效益=1.833
经济效益∶社会效益=1.495
根据判断矩阵的正互反阵的构建规则,得出A-B层(绩效评价目标—一级指标)判断矩阵如下:
1 1.769 1.8330.565 1 1.4950.546 0.669 1
判断矩阵根据公式
014 6<0.1,具有满意的一致性,因此矩阵通过一致性检验。(注:RI通过查表得出,阶数为3)
同理得出B1-C层、B2-C层、B3-C层的判断矩阵及权重结果,并进行一致性检验,结果见表3。
2.3.2 权重比例结果的分析
(1)质检机构特色指标标准转化率一马当先。标准转化率作为质检机构科研绩效评价体系中的特色指标以18.8%的权重比例,占据了权重榜的首位。标准意味着共同使用和重复使用,一旦科研成果转换成标准,即被同行反复使用,对于提升质检机构影响力的作用来说不容置疑。因此标准转化率作为权重最重的指标也实至名归。
(2)质检科研工作服务于检验工作。在质检机构中检验工作和研究工作并行,检验工作占主导地位,质检机构的科学研究也是为了更好地服务于质量检验。在问卷调查中,权重排第二位的是增加检验创收率,权重排第三位的是对检验能力的提升力,权重排第四位的是节约检验成本率,这三个指标都是跟产品质量检验密切相关的指标。这三个跟检验相关的指标占据了权重榜二、三、四位,也正好验证了质检机构以检验工作为主,科研工作服务于检验工作的指导思想。
(3)传统科技产出指标仍被重视。科研成果是质检机构科研实力的重要标志,质检机构的学术地位终究是要通过科研产出来体现的,科研论文产出率、成果获奖率、专利产出率、科研成果转化率以第三梯队的身份出现在权重排行榜上也在情理之中。
2.4 指标尺度评价量表的设计和评定
本文将人力资源中的量表评价法引用到科研绩效评价中来,研究确定了质检机构科研绩效评价尺度评价量表。我们在设计评价尺度量表时,给出的是一个分数区间,并且部分指标得分区间跨度不小,这样就使得同样一个尺度可能会得出差异较大的分数值,这是为了在科研绩效评价时在考虑科研产出“量”的同时也兼顾考虑科研工作产出的“质”,同样的产出量,因为质量的不同也将导致得分不同。
2.5 绩效评价结果计算
评价主体根据科研实际情况对照指标评价尺度量表进行打分,根据打分结果和评价主体人数,得出每个指标的最后综合得分,我们设它为xj。
根据每个指标最后综合得分结合各个指标的权重系数,得出质检机构科研绩效评价的结果z。公式如下:
公式中xj表示第j个二级指标的最后综合得分,yi表示第j个二级指标的权重值,n为最低级指标的个数,本研究中n为二级指标的个数13。
2.6 绩效评价结果分级
根据当前质检机构的科研工作实际,并结合征询科研管理和科学研究专家。将科研绩效评价结果分为卓越成效、 较大成效、较小成效、基本无效四个等级。综合得分75~100分称其科研工作拥有卓越成效,综合得分41~74分称其科研工作拥有较大成效,综合得分11~40分称其科研工作拥有较小成效,综合得分10分以下称其科研工作基本无效。
3 研究总结分析
本研究的主要内容及成果如下。
(1)运用专家调查,征询了6个省级质检机构、5个地市级质检机构的41位科研管理专家或科学研究专家的意见,确定了以标准转化率、增加检验创收率、节约检验成本率、对检验能力的提升力、对国家质检中心建设能力的提升力为代表的、与质检机构紧密相关的科研绩效评价指标。
(2)在选定了评价指标后,根据质检科研工作实际,对评价指标含义进行重新界定。然后利用层次分析法确定各个绩效指标的权重,明确质检机构各个科研绩效评价指标的重要次序。
(3)结合量表评价法,构建了质检机构科研绩效评价体系。后续又运用福建省某质检机构科研绩效数据对质检机构科研绩效评价体系进行验证,证明评价体系的有效性,同时通过评价结果分析,对福建省某质检机构今后科研工作发展方向提出了参考建议。
4 结 语
本研究为我们今后的质检机构科研绩效评价研究指明了工作方向,我们在吸取他人先进经验的同时,致力于全方位、多角度地对质检机构科研绩效评价的研究,深入挖掘和研究科研活动中的众多影响因素,并抓住主要影响因素,采取行之有效的措施进行引导,从而达到提高质检机构科研绩效的同时促进质检机构科研工作可持续发展的目的。因为作者的能力和时间上的限制,加上质检机构绩效评价是一个复杂的系统工作,本研究的不足之处是客观存在的,比如说我们在设计尺度评价量表时,用分数区间来体现科研工作的质量,这种方式是否能充分反映出科研工作的质量对科研绩效的影响还有待进一步研究确认。因此,如何使质检机构科研绩效评价更加客观、更加科学、更加有效,还有待于本人今后在工作实践中继续深入分析和研究,使日后研究结论更加完善。
主要参考文献
[1]国家质量监督检验检疫总局.标准化工作指南 第1部分: 标准化和相关活动的通用词汇(GB/T 20000.1-2002)[S].2002.
[2]牛奉高,邱均平. 基于效率指标体系的高校绩效评价研究[J]. 高教发展与评估,2013(6):49 -56.
[3]李晓岚. 政府绿色采购绩效评价的国外借鉴[J]. 经济师,2014(5):96-97.
[4]陈军华. 基于AHP和模糊评价法的旅游人力资源绩效评价[J]. 科技信息,2009(22):392-393.
[5]林依. 高校科研绩效评价新方法之综述[J]. 学理论,2011(10):261-262.
[6]吕小柏,吴友军.绩效评价与管理[M]. 北京:北京大学出版社,2013.