医院创新能力评价指标体系构建研究
2017-04-22陈利娜张丽华
——陈利娜 张丽华
医院创新能力评价指标体系构建研究
——陈利娜 张丽华
目的 构建科学可行的三甲医院创新能力评价指标体系。方法 查阅文献,通过德尔菲专家咨询法,确定三甲医院的创新能力评价指标体系,通过层次分析法确定各指标权重。结果 构建了三甲医院的创新能力评价指标体系,包括3个一级指标,9个二级指标,28个三级指标。结论 此指标体系可以评价医院的创新能力,后续还需结合实践不断调整指标及权重。
德尔菲法;层次分析法;创新能力;指标体系
First-author's address Zhongnan Hospital of Wuhan University, Wuhan, Hubei,430071, China
近年来,如何提升核心竞争力,已成为各医疗机构关注的焦点问题。在既有的组织框架下,医院可以通过投入财力物力,并依靠一系列政策措施,实现医教研管的创新。体现医院竞争力的一个重要内容就是创新活动[1]。目前,关于公立医院创新能力评价指标体系,尚未建立国家层面上的制度与考核标准。本研究从医院现状出发,运用德尔菲(Dephi)等多种研究方法,筛选出医院创新能力指标,以建立兼具科学性与可行性的公立医院创新能力评价指标体系。
1 对象与方法
1.1 研究对象
参与咨询调查的专家人数影响结果的准确性,参与人数越多,结果越准确[2]。但如果专家人数太多,不仅耗费资源,而且后期的数据处理也比较复杂。研究表明,专家数量在15人~50人较合适[3]。因此综合本研究的实际情况,选出了28名经验丰富、参与意向高的专家组成咨询组。
1.2.1 文献分析法 根据研究目的,咨询组在中国知网、万方数据、维普期刊等数据库以及政府网站检索医院创新能力评价指标的相关文献、资料,搜集关于医院创新的政策文件,了解医院创新能力的内涵。同时,根据三级医院自身发展的战略目标和功能定位,分析和总结三甲医院创新能力评价指标研究的进展与不足,初步拟定创新能力评价指标体系框架。
1.2.2 德尔菲(Delphi)法 于2015年9月-12月以问卷形式由28名相关专家进行三轮专家咨询。第一轮咨询专家对指标体系的重要性和可行性进行评分并提出修改意见;专家自评表可反映专家对指标的熟悉程度和判断依据。第一轮咨询问卷回收后,分析各项指标的得分以及专家的修改意见,制成第二轮问卷;通报第一轮咨询结果,开展第二轮咨询;第三轮咨询主要是对各指标的权重进行打分。1.2.3 层次分析法(AHP) 层次分析法是一种定性和定量分析有机结合的综合分析方法,主要用于分析难以定量描述的多因素复杂系统,可对解决方案的优劣进行排序[4]。其基本原理是对各指标进行权重赋值,构造数学矩阵,确定各级指标的权重,依权重的大小来评价指标的优劣。层次分析法能将专家的主观定性定量化,并将每个层次中的每个因素对结果的影响程度量化,适用于无结构特性的系统评价。
表1 专家基本资料
项目基本情况人数(人)构成比(%)性别男1657.14女1242.86文化程度博士1035.71硕士1346.43本科517.86工作年限(年)10~19725.0020~291553.57≥30621.43工作领域行政管理1139.29临床技术服务1035.71科研教学517.86其他27.14职称高级1242.86副高1139.29中级414.29初级及以下13.57
表2 医院创新能力评价指标体系
一级指标二级指标三级指标创新资源投入能力人力投入卫技人员占全院人数比重卫技人员中博士及以上人数比重管理人员中硕士及以上人数比重卫技人员中副高及以上职称所占比重出国研修人数引进国内外高级人才数财力投入科研经费占总支出比重获得科研经费额度高级职称人均在研经费数物力投入科研设备投入金额国际先进设备比重国内先进设备比重省部级及以上实验室(研究中心)创新管理能力战略管理创新管理战略创新战略效率创新成功率创新奖励金额学科管理省部级及以上重点学科数年省部级及以上科研课题数教育管理年开展人才培训次数年参与和开展学术交流人次数承担研究生教学学生数创新产出能力科研项目省部级及以上科研项目数市级和相当级别科研项目数科研成果年科研成果数年科研成果获奖数SCI收录论文数国内核心期刊论文发表数专利数科技成果转化应用率新增技术项年新增新技术新项目数新增新技术新项目数比重
1.2.4 统计学方法 利用Excel 处理回收的原始数据,将所有专家的主观评判在Excel中有序展现,使用SPSS 19.0软件进行统计分析。专家的问卷回收率指标可反映专家参与咨询的热情度;专家的权威程度由专家对问题的熟悉度和判断依据来评判;肯德尔协调系数和变异系数是衡量专家协调程度的两个指标[5];调查问卷的信度常利用克朗巴赫系数来表示,克朗巴赫系数大于0.7时,表明问卷具有相当的可信度。
2 指标效能分析
2.1 专家基本情况
本研究选取的28名专家均工作10年以上,工作领域涉及医疗、行政、科研教学等方面。具体资料如表1所示。
2.2 指标体系筛选
混凝土浇筑主要质量控制点之三“浇筑后”。对拆模后的混凝土及时覆盖毛毡,并采取浇水养护,养护时间不少于28 d,养护期间保持混凝土表面湿润。
通过查阅文献学习,在总结借鉴相关的经验和成果的基础上,按照投入—生产—产出的路线,删除掉使用频率较低、叫法不一但实质相同的指标,以科学性、适用性、可比性、多目标性、定量指标为主的原则,形成初始指标体系框架见表2。
在拟定的评价指标体系的基础上,确定打分标准。设立“非常重要”、“重要”、“一般”、“不重要”、“非常不重要”5个等级,分别赋值为1分、0.8分、0.6分、0.4分、0.2分。问卷回收后,将指标得分输入Excel,计算出平均值和标准差,然后利用公式得到变异系数。当全体专家认为“重要”时,对应的评分值为0.8,所以确定指标可信度为0.8。因此第一轮、第二轮咨询指标筛选的原则是得分大于0.8分且变异系数小于0.25。同时剔除或修改存在异议的指标。
表3 一、二级指标与部分三级指标及其权重值
一级指标二级指标三级指标A1创新资源投入能力(0.5132)B1人力投入(0.5742)C1卫技人员占全院人数比重(0.0685)C2卫技人员中博士及以上人数比重(0.0626)C3卫技人员中副高及以上职称所占比重(0.0517)C4出国研修人数(0.0779)C5引进国内外高级人才数(0.0339)B2财力投入(0.2421)C6科研经费占总支出比重(0.0392)C7获得科研经费额度(0.0587)B3物力投入(0.1837)C9科研设备投入金额(0.0203)C11国内先进设备的比重(0.0309)A2创新管理能力(0.1689)B4战略管理(0.4412)C13创新成功率(0.0359)C14创新奖励金额(0.0387)B5学科管理(0.3325)C15省部级及以上重点学科数(0.0311)C16年省部级及以上科研课题数(0.0250)B6教育管理(0.2263)C17年开展人才培训次数(0.0135)C18承担研究生教学学生数(0.0170)A3创新产出能力(0.3179)B7科研项目(0.2328)C19省部级及以上科研项目数(0.0729)C20市级和相当级别科研项目数(0.0520)B8科研成果(0.4713)C21年科研成果数(0.0305)C23SCI收录论文数(0.0328)B9新增技术项(0.1359)C27年新增新技术新项目数(0.0227)
第一轮咨询对3个一级指标,9个二级指标,32个三级指标进行打分筛选。问卷回收后,计算各项指标的平均值、标准差,得到变异系数。剔除掉得分低于0.8,变异系数高于0.25的2个指标是“创新管理战略”和“创新战略效率”。专家意见指出,两个指标都是定性指标,后期统计具有较大的主观性,因此予以剔除。经过第一轮专家咨询,拟定了三甲医院创新能力评价指标体系,包含3个一级指标,9个二级指标,30个三级指标。
第二轮专家咨询的结果显示,专家对一、二级指标的意见较为一致,指标的得分均高于0.8分,变异系数低于0.2,因此一、二级指标不予调整。三级指标中仅有“管理人员中硕士及以上人数比重”和“年参与和开展学术交流人次数”因得分低于0.8剔除。专家给出的意见是:硕士以上管理人员人数在工作人员中的比重较小,且管理人员实现创新的比率更低;医务人员参与学术交流是工作的必须项,统计人次数意义不大。因此经过第二轮专家咨询,确定了3个一级指标,9个二级指标和28个三级指标。
第三轮专家咨询主要是对各指标的权重进行打分。计算得出指标得分均高于0.8,变异系数低于0.2,表明专家的意见一致性程度较高。
2.3 指标权重确定
本研究采用层次分析法(AHP)作为确定权重的主要方法。按照层次分析法的相关步骤,根据Satty等建议引用1~9标度法定量各指标权重。根据专家对每个指标的评价结果,对任意两个指标之间进行比较,利用9级标度法评定指标的优劣,然后根据排序结果构造判断矩阵。根据判断矩阵,利用排序原理,计算各级指标单排序权重系数,然后对单排序和总排序进行一致性检验。最后,将三级指标对应的二级一级指标权重相乘,即可得到一个组合权重值。三甲医院创新能力评价指标体系即完成,包含3个一级指标、9个二级指标、28个三级指标。部分指标及其权重如表3所示。
2.4 专家的积极系数和权威系数
专家积极性反映的是专家参与调查的热情度,常用专家积极系数来表示。如果专家积极系数小于0.5,说明专家的积极性不高。如果专家积极系数大于0.7,说明专家对研究较重视,积极性较高[6]。三轮咨询均发放问卷28份,其中第一轮收回28份,第二轮和第三轮收回27份,回收率分别为100%、96.42%、96.42%。三轮咨询调查的专家积极系数都大于0.7,体现了专家对此次研究较重视,参与热情较高。
专家权威程度体现了专家对评价内容的把握程度,关系到研究的准确度。一般用权威系数来表示,由专家在咨询问卷中打分的熟悉程度和判断依据来综合判断。一般认为当权威系数大于0.7时,专家比较权威,结果较可靠[7]。本研究专家对指标的权威系数在0.785~0.834,说明专家对各个指标比较熟悉,能依据专业知识做出合理判断。
2.5 专家意见的协调程度
第一轮咨询中,根据专家的评分结果,计算得出的肯德尔协调系数为0.376,变异系数为0.125;第二轮肯德尔协调系数为0.450,变异系数为0.119;第三轮肯德尔协调系数为0.632,变异系数为0.103,说明专家的意见比较集中,结果可取。
2.6 调查问卷的信度分析
目前,在进行信度测量时,最常使用的是克朗巴赫系数。当系数达到0.7~0.8时,说明量表具有相当的信度;高于0.8时,表明量表的信度非常好,结果可信[8]。第一轮咨询的克朗巴赫系数为0.802,第二轮咨询的克朗巴赫系数为0.815,第三轮咨询的克朗巴赫系数为0.847,说明本研究制定的问卷信度非常好,问卷科学可靠。
3 讨论
3.1 评价指标筛选结果可靠
本研究通过文献分析法,分析和总结了三甲医院创新能力评价指标研究现状,按照科学性、适用性、可比性、多目标性、定量指标为主的原则,依据投入-生产-产出的路线,确定了3个一级指标,然后分解成二级指标、三级指标。实施三轮德尔菲专家咨询法后,在充分考虑专家的意见基础上,筛选出三甲医院的创新能力评价指标。在德尔菲咨询法筛选中,专家选择对咨询结果的可靠性至关重要[9]。一般选择在某一领域工作较长时间的专业人员[10]。为保证专家的广泛性、代表性和专业性,使评价结果更能被公立医院接受,本研究选取的28名专家涉及医疗技术、医院管理、科研教学等多领域,工作年限均在10年以上,均对医院管理工作和创新工作有较深的理解,具有较好的代表性。本研究中,三轮专家咨询的问卷回收率均大于90%,专家权威系数均在0.7以上,变异系数在0.25以下,表明专家积极参与,权威程度高,专家意见协调程度强,可见医院创新能力评价指标体系可信度较高,结果可靠。
3.2 创新能力评价指标体系构建分析
三甲医院创新的内涵较为丰富,兼具医教研功能,一般负责某区域医学后备力量的培养、大病危病的救治以及先进医学技术的研究,因此其创新能力不能局限于管理创新,也要注重在医疗技术和教育观念方法上的创新。因此本研究从医院科研的角度出发,从人财物的投入、学科和教育的管理以及科研成果的产出与转化等方面构建评价指标。
按照数据来源准确、操作性强的原则,以选取定量指标为主,定性指标为辅,同时剔除不敏感、非创新能力提升关键环节和操作性不强的指标,强调创新资源投入、科研项目产出与转化以及学科教育管理对医院创新的重要性,设计指标体系。
指标权重的大小反映了各指标因素对医院创新能力的影响程度。由表3可知,一级指标中,“创新资源投入能力”的权重是0.513 2,“创新产出能力”的权重是0.317 9,所占权重比“创新管理能力”大,说明医院创新能力的核心是资源的投入程度和科研的产出。三级指标中,“卫技人员占全院人数比重”“卫技人员中博士及以上人数比重”“出国研修人数”“省部级及以上科研项目数”权重值较大,提示医院应注意人才培养,优化人才结构,多引进国内外优秀人才,加强国际学术交流以及多参与大型科研项目。“创新成功率”和“创新奖励金额”比重也较大,提示医院对创新的战略管理要重视,要运用合适的方式方法来激励医务人员开展创新活动。
3.3 不足与改进
目前,国家尚无权威统一的医院创新能力定义,不同专家学者的关注重点也千差万别,选择的指标也不尽相同。而且医院在不同时期,不同发展阶段,所选择的评价内容也是有差别的。指标体系数量有限,指标设计和研究方法的选择可能不能完全适用所有医院。因此,后期将开展实证研究,根据本指标体系实际运行情况,并结合实证研究结果不断调整和修正指标体系。
伴随着公立医院改革的不断发展和医院管理的不断精细化,一套科学可行的创新能力评价指标体系将是医院管理的重要手段,不仅可以促进医院管理模式的良性发展,帮助管理者发现医院运行的缺陷和不足,而且可以找出影响医院创新的深层次原因,并有针对性的提出改进意见。创新能力的评价和管理是一个长期的过程,评价内容也需要根据医院的发展而不断调整优化。
[1] 马玉琴,孙金海,李 婷,等.城乡一体化模式下乡镇卫生院的功能定位[J].中国初级卫生保健,2008,22(1):7-9.
[2] 许 苹,连 斌,朱 敏,等.技术创新与医院核心竞争力[J].中国卫生事业管理,2004,20(3): 155-156.
[3] 任真年.论现代医院技术创新[J].中国医院, 2003,8(7): 43-45.
[4] 熊比特.经济发展理论[M].北京:华夏出版社,2015.60-61.
[5] 汪 耕,何雅静,李瑞波,等.三甲医院绩效评价指标体系构建研究[J].中国卫生统计,2013,30(4):543-548.
[6] Sanjeev Kulkarni, Gilbert Harman. An Elementary Introduction to Statistical Learning Theory[M].Hoboken: Wiley,2011.
[7] 李玉亮,樊立华.黑龙江省市县级疾病预防控制机构应急能力评价指标体系研究[J].医学与社会,2011,24(7):33-35.
[8] 赵 辉.三甲医院战略行人力资源管理评价指标体系研究[J].医学与社会,2016,29(1):89-91.
[9] Custer R L,Scarcella J A, Stewart B R. The modified Delphi technique:a rotational modification [J].Journal of Vocational and Technical Education,1999,15(2):1-10.
[10] Arnold L. A model for health projections using knowledgeable information [J].World Health Statistics Quart,1984,37:310.
Investigation on Construction of Hospital Innovation Capacity Evaluation Index System
CHEN Lina,ZHANG Lihua.//Chinese Health Quality Management,2017,24(2):117-120
Objective To establish a scientific and operational innovation capacity evaluation index system in 3A Grade hospitals.Methods Based on literature review and through Delphi expert consultation method, the innovation capacity evaluation index system was established, and analytic hierarchy process was used to determine the weight of the indicators. Results The innovation capacity evaluation index system consists of three first-level indicators, nine second-level indicators and 28 third-level indicators. Conclusion The index system can be used to evaluate the innovation capacity of hospital. The index and their weights need to be further adjusted according to practice.
Delphi Method; Analytic Hierarchy Process; Innovation Capacity; Index System
10.13912/j.cnki.chqm.2017.24.2.36
陈利娜:武汉大学中南医院运营管理部会计师
E-mail:453434886@qq.com
2016-07-02
修回日期:2016-10-08
责任编辑:姚 涛
陈利娜 张丽华 武汉大学中南医院 湖北 武汉 430071