基于整合视角的省级新农合信息系统建设效果评价模型研究*

中国医学科学院医学信息研究所（100020） 郭珉江 刘鸿燕 王冰倩 陈庆锟 胡红濮

基于整合视角的省级新农合信息系统建设效果评价模型研究*

中国医学科学院医学信息研究所（100020） 郭珉江 刘鸿燕 王冰倩 陈庆锟 胡红濮△

目的构建省级新农合信息系统建设效果评价模型，为管理者深入了解新农合信息系统的建设效果，持续完善信息系统建设提供参考工具。方法从技术－服务－业务支撑的整合视角出发，采用德尔菲法对17名专家进行两轮专家咨询建立省级新农合信息系统建设效果评价指标体系，并运用层次分析法确定指标权重。结果两轮专家咨询的问卷回收率分别为94%和88%，17名专家中50%以上为在相关工作领域工作10年以上的省级新农合业务管理人员，是信息系统的直接用户，其权威程度为0．83。最终构建的指标体系包括6个一级指标和24个二级指标。结论指标体系体现了对新农合信息系统建设不同层面效果的测量，为全面分析新农合信息化建设存在问题和改进方向奠定基础。

省级新农合信息系统 建设效果 整合视角

随着新农合业务信息的海量增长，管理信息系统在辅助新农合业务管理中的作用日益凸出，全国三分之二的省份已建立了省级新农合信息平台［1］，为提高新农合业务管理水平和服务效率提供了重要支撑，90%的新农合统筹地区实现了省内异地就医即时结算［2］。然而，受系统架构、数据标准、信息管理等多方面因素影响，我国许多地区在新农合信息化建设方面难以达到理想效果［3］。如何科学、客观地判断和测量新农合信息系统建设的实际效果，及时发现系统存在的问题，明确改进方向，对于确保其制度支撑能力以及公共投入绩效具有重要意义。本研究在系统分析卫生领域信息系统建设效果内涵的基础上，从技术－服务－业务支撑的整合视角出发构建省级新农合信息系统建设效果评价模型，以期为各省新农合管理人员科学管理信息系统提供参考。

建设效果内涵

在卫生领域，效果是指规划执行后解决某一卫生问题或改善不良卫生状况取得的实际成果，通常用于衡量与实施活动直接相关的结果［4］。在信息领域，信息系统效果常常以效用、绩效等概念的形式出现，如马费成［5］等认为信息系统效用是指信息系统所具有的、可以通过用户的使用改变用户绩效的能力。肖希明［6］等认为信息资源共享系统的绩效涉及系统运行的效果和效率、系统建设和维护的投入产出、系统提供的服务所产生的经济效益和社会效益、用户获取和利用信息资源的满意度等诸多方面。DeLone和M cLean［7］借用了Shannon和Weaver对信息交流系统的研究，认为成功的信息系统能够在三个不同等级下进行测度或评价：技术性等级，即生产信息系统的准确性和高效性；语义性等级，即信息传达它本意的成功性；有效性等级，即信息对于接收者的影响，由此提出了经典的“信息系统成功模型”，包括系统质量、信息质量、服务质量、使用意愿、系统使用、用户满意度和净收益七个指标。由此可见，卫生领域所探讨的“效果”更多关注于结果，而信息领域所探讨的“效果”则同时关注于过程和结果两个方面。这主要是因为信息系统是一个复杂的社会技术系统，其实施不仅带来了信息产品的诞生，也意味着一种新的业务环境和运行模式，因此它的效果存在演变和时滞等问题，需要通过过程研究来分析收益的传递和评估［8］。综上所述，卫生领域信息系统建设效果评价既应包含对作为信息产品的系统性能的评价，也应包含其建成后在用户和业务层面产生的效益的评价，是一个整合技术有效性、服务有效性和业务支撑有效性三方面的综合评价，需要摒弃传统的“唯技术论”的评价视角，从整合视角出发构建评价模型。

新农合信息系统建设效果评价框架

本文以省级新农合信息系统为研究对象，根据省级新农合业务需求，以“信息系统成功模型”为基础，从技术有效性、服务有效性和业务支撑有效性的整合视角构建建设效果评价框架。

1．技术有效性

技术有效性主要从信息系统开发者的角度进行评价，它关注的是信息系统作为信息产品的属性，随着城乡居民基本医疗保险制度的逐步整合，业务并轨对信息系统的基础支撑作用要求更高，其核心即为保证技术层面的有效性。因此技术有效性是评价新农合信息系统建设效果的最为核心的内容。根据信息论的“信源、信道、信宿”三阶段理论，技术有效性重点从信息产品的生产即系统层和信息产品结果（即信息层）两个层面对技术有效性进行分析，包括“系统质量”和“信息质量”两个维度。

2．服务有效性

服务有效性主要从新农合业务人员的角度进行评价，它关注的是信息系统作为操作工具的属性，可以从服务提供与使用两个层面对服务有效性进行分析，包括“服务质量”、“使用意愿”、“系统使用”和“用户满意度”四个维度。这里的分层与“信息系统成功模型”略有不同，这是因为“信息系统成功模型”重在分析信息系统成功的因果关系，因此将“服务质量”、“系统质量”和“信息质量”作为基础，探讨其对系统使用的影响；而本研究重在分解信息系统建设效果的构成要素，从评价对象角度划分有效性的内涵，因此将“服务质量”与系统使用相关维度归为一类。

3．业务支撑有效性

业务支撑有效性主要从新农合管理人员的角度进行评价，它关注的是信息系统作为管理工具的属性。许多研究表明，新农合信息系统在提高管理效率、服务管理质量和辅助决策方面具有重要作用，因此本研究也主要从“结报管理”、“基金管理”和“报表管理”三个关键业务节点的效率、质量和决策支持程度进行有效性评价。

德尔菲法筛选指标

1．专家遴选

本研究旨在分析省级新农合信息系统有效性，咨询专家需要同时具有省级新农合管理经验和系统建设经验，因此我们选择专家主要来自于信息化建设较好省份的新农合业务管理人员及信息化管理人员，同时选择了具有相关项目建设经验的专家学者，共遴选专家17人。其中省级新农合业务管理人员7人，省级新农合信息系统管理人员4人，卫生信息管理专家6人。17名专家均为本科以上学历，其中具有高级职称者8人（47%），中级职称者4人（23．6%），其他职称者（行政人员）5人（29．4%）。

2．问卷内容

第一轮专家咨询问卷包括一级指标8个，二级指标28个。第二轮专家咨询时，向专家提供初步拟订的指标体系和上一轮专家咨询的统计结果。两轮咨询均要求专家就指标进行删减、调整和修改。本研究要求专家对每个指标进行重要性评价，评价标准采用9分制，9分为很重要，7分为较重要，5分为一般，3分为较不重要，1分为很不重要，8分、6分、4分、2分为两相邻程度的中间值。通过计算指标的得分、均数、标准差及变异系数作为进一步筛选指标的判断依据。

3．专家咨询可靠性分析

专家咨询的可靠程度一般用专家积极系数、专家权威程度和专家意见的协调程度这三个指标来衡量。专家积极系数一般用问卷回收率来表示。专家的权威程度用权威系数表示。权威系数一般由两个因素决定，即专家对指标的熟悉程度和判断依据。其中专家熟悉程度和判断依据的赋值如表1～2所示。结果显示，专家对评价指标熟悉程度的平均系数为0．75，专家的判断依据的平均系数为0．91，专家的权威程度平均为0．83，表明所选专家在行业内具有较高的权威性。专家意见的协调程度用协调系数W（Kendall和谐系数）表示，其值为0～1，越接近于1，意味着专家协调程度越高，通过计算协调系数并进行显著性检验（卡方检验），判断专家对各项指标的评价是否存在较大分歧［9］。本研究结果显示，全部检验结果P值均小于0．05，有统计学意义（表3）。检验结果表明专家意见的协调性较好。

表1 指标熟悉程度量化表

表2 指标判断依据及影响程度量化表

表3 Kendall和谐系数W检验结果

4．指标筛选结果

遴选出的指标需要较高的得分均值且变异系数小，本研究以均值得分大于满分的70%（6．3分），变异系数小于0．3为筛选标准进行指标删减。根据第一轮各项指标的得分均数和变异系数两项指标，结合专家提出的意见，第一轮咨询后，删除1个一级指标、2个二级指标，并修改4个指标，增加1个指标。第二轮专家咨询后，专家的意见稳定，协调性好，结果良好，对第二轮指标未调整，经研究组成员反复讨论筛选后，最终确立了省级新农合信息系统建设效果评价模型，其中一级指标6个，二级指标24个（表4、5）。

表4 一级指标遴选结果

表5 二级指标遴选结果

层次分析法确定指标权重

本文通过层次分析法进行指标权重计算。邀请德尔菲咨询中第二轮专家对矩阵中的指标进行两两对比，构建两两比较判断矩阵，利用层次结构反映因素间的关系，并根据衡量目标的重要程度给出标度［10］。按照Satty的1～9比例标度赋值，通过层次单排序及一致性检验、层次单总排序及一致性检验、综合群组判断矩阵得到各级指标的权重系数，见表6。

表6 使用层次分析法确定的新农合信息系统建设效果评价指标权重系数

实证检验

通过问卷调查和现场调研，我们收集了四个省级新农合信息系统的相关数据，其中两个省份为东部省份，两个省份为中部省份。采用综合指数法构建综合评价模型，对评价对象采取正向累积的方式计分，最后通过SPSS21．0软件进行信度分析。

1．数据无量纲化处理

对于无量纲化处理，目前经常使用的有极差正规化法、标准化法和均值化法。有研究表明，对于没有统一标准的指标，可采用平均值作为标准，其中高优指标为X/M（M为各指标的标准，X为各指标的实测值），低优指标为M/X［11］。本研究均为高优指标，因此数据无量纲化计算方式如下：

xij为j指标的原始数值为j指标的均值，yij为标化处理后数值。

2．计算综合指数值

将各个指标无量纲化处理后的数值乘以该项指标的组合权重可以得到综合指数值，计算方式如下：

其中y为综合指数值，wi是指标i的权重，xi是指标i的标化值，n为指标个数。为更清楚地区分各地差异，可将y值乘以100，得到综合评价参考得分。

3．结果

调研省份的综合指数如表7所示。

表7 四省新农合信息系统综合评价得分

4．模型验证

本研究通过计算克朗巴赫α系数对评价指标体系的信度进行检验。结果显示，省级新农合信息系统指标体系总体信度克朗巴赫α系数标准值为0．924，F＝46．219，P＜0．001，可以认为指标体系内部的一致性较好。由于本研究所选指标并未涉及效标关联效度，同时本研究的样本量较小，结构效度测量受限，因此本研究只考虑内容效度。内容效度一般靠经验、推理和判断来进行评估，本研究中依据文献回顾制定评价框架和指标内容选择标准，之后进行两轮德尔菲专家咨询进行指标的遴选和修改，可以认为评价指标基本包含了所要评价的内容，具有较好的内容效度。

讨 论

从综合评价结果来看，中部地区新农合信息系统建设效果普遍优于东部，系统使用情况和用户满意程度也普遍高于东部。由于样本量较小，难以从统计学上分析这一结果的可靠性，从实际经验来看，这一结果主要有两方面的可能原因：一是由于自2006年起，中央财政持续对中西部省份的新农合信息化建设投入，中西部省份在新农合信息系统建设、组织建设、政策制定等方面起步较早，系统建设与应用相对成熟。二是由于本研究所选取的中部省份均为农业大省，参合农民占当地人口数量非常高，因此新农合管理服务对信息化的需求更为迫切，对信息系统建设起到了很大的促进作用。

本研究从技术－服务－业务支撑的整合视角出发建立了省级新农合信息系统建设效果评价模型，不仅确保了有形和无形的建设效果都得以测量，引导管理者在注重技术效果的同时，也要注重系统服务、业务支撑等效果；同时体现了建设效果作为技术水平和业务绩效的中间过程的特点，避免简单地将投入作为衡量卫生信息系统建设效果的倾向，将建设效果的原因和结果区别开来，从而为管理者明确系统的薄弱环节和潜在需求提供了参考依据。在指标筛选和权重确定过程中，综合运用了德尔菲法和层次分析法。一方面考虑了操作的可行性，另一方面考虑了结果的客观性，为开展具体的评价工作提供了有效的实施方法。限于研究对象的数量，缺乏大样本实证检验，后续研究将以县级系统为对象进行更大范围的实证研究以验证模型的实用性。

［1］郭珉江，钱庆，胡红濮．我国省级新农合信息平台建设状况研究．中国卫生信息管理杂志，2014（1）：57-60，64．

［2］国务院：深化医改2015年重点工作任务．http：//www．cn-healthcare．com/article/20150510/content-473661．htm l．［3］谢莉琴，李亚子，那旭．基于各级新农合信息系统实现异地就医管理实践与问题研究．中国数字医学，2014（12）：6-8．

［4］程晓明，罗五金，刘国祥．卫生经济学．北京：人民卫生出版社，2012．

［5］马费成，宋恩梅．信息管理学基础．武汉：武汉大学出版社，2011．

［6］肖希明，李卓卓．信息资源共享系统绩效评估研究．北京：学习出版社，2013．

［7］Delone WH，M clean ER．The DeLone and M cLean model of information systems success：a ten-year update．Journal of Management Information Systems，2003，19（4）：9-30．

［8］肖静华．企业信息化水平评价理论与方法．北京：电子工业出版社，2010．

［9］刘欢，吴晶，刘军安，等．村卫生室基本药物制度绩效评价指标体系构建研究．中国卫生统计，2015，32（6）：935-938．

［10］朱凤梅．基于模糊综合评价方法的医疗卫生体制改革评价研究．中国卫生统计，2016，33（2）：267-270．

［11］李玉革，陈访贤，岳一姬，等．TOPSIS法在新疆艾滋病综合防治工作评价中的应用．中国卫生统计，2014，31（4）：658-660．

（责任编辑：郭海强）

中央级公益性科研院所基本科研业务费课题项目（2016RC330017）

△通信作者：胡红濮，E-mail：hu．hongpu＠imicams．ac．cn