人口健康信息化评价指标体系构建研究

胡红濮 刘 硕 陈 荃 代 涛

中国医学科学院医学信息研究所 卫生政策与管理研究中心 北京 100020

·卫生决策支持与信息化建设·

人口健康信息化评价指标体系构建研究

胡红濮 刘 硕 陈 荃 代 涛

中国医学科学院医学信息研究所 卫生政策与管理研究中心 北京 100020

目的：构建以人口健康信息化主管部门为评价主体，对人口健康信息化发展水平进行测度的综合评价指标体系。方法：分别应用德尔菲法、层次分析法、综合指数法、数理统计等方法确定评价指标内容、各项指标的权重及组合权重、构建综合评价模型以及检验评价指标体系的信度、效度和区分度。结果：建立人口健康信息化发展水平综合评价指标体系，包含信息资源建设，信息化基础设施建设，信息技术应用，信息化筹资，信息化人才和信息化政策、规划与标准等6个一级指标、16个二级指标和33个三级指标的三阶层次结构模型及指标权重；构建了综合评价模型，并对指标体系进行了信度、效度及区分度检验。结论：指标体系可以用于人口健康信息化发展水平的综合评价，对人口健康信息化建设具有一定的指导意义。

人口健康信息化； 信息化评价； 指标体系

人口健康信息化是指卫生计生系统中的各类组织，利用现代网络和计算机技术对人口健康信息进行搜集、整理、存储、使用、提供服务，并对卫生计生领域的信息活动和各种要素(包括信息、人、技术与设备等)进行合理组织与控制，以实现信息及相关资源的合理配置，从而满足卫生计生行业信息服务与管理需求过程的统称。[1-3]我国人口健康信息化经过多年发展，已经成为卫生事业发展和医药卫生体制改革的重要支撑手段。开展人口健康信息化评价工作有助于明确人口健康信息化定位，为优化信息资源配置、减少投资浪费提供支持。2013年，国家卫生计生委和国家中医药管理局联合发布《关于加快推进人口健康信息化建设的指导意见》(以下简称《指导意见》)文件，强调要加强信息化建设业务指导和监督评估，将信息化建设成效纳入年度目标考核内容。目前，国内信息化评估的理论研究尚不丰富，实践活动也主要在医院信息化等业务领域内，能够服务于人口健康信息化主管部门的综合性评价基本处于空白。[4-7]本研究结合当前人口健康信息化发展实际和未来趋势，综合运用多科学研究方法，探索建立一套能够对区域人口健康信息化综合发展水平进行测度的评价指标体系。

1 资料与方法

1.1 研究对象

本研究以省及以下区域人口健康信息化发展水平为主要研究对象，涵盖了人口健康信息化基础设施，信息资源，技术应用，人才，筹资和政策、规划、标准等，即区域人口健康信息化建设的核心要素和实施过程中所涉及的关键环节及其应用效果等。

1.2 资料来源

通过查询CNKI、万方、pubmed等数据库获取相关文献，初步确定指标体系内容；利用国家卫生计生委规划信息司“2015年人口健康信息化建设情况网络调查”数据进行指标体系的检验。

1.3 研究方法与过程

综合运用文献调研、德尔菲法、层次分析法、综合指数法、数理统计方法构建评价指标体系。

1.3.1 评价指标的选择

综合借鉴国内外人口健康信息化评价以及教育、电信等领域信息化评价的理论与实践[5,7-14]，以国家统计局信息中心设计的“信息化六要素”模型为参照构建评价框架[6]，与人口健康信息化建设总体要求相结合，构建人口健康信息化评价的总体框架[15]。

在评价指标的选择上，主要思路如下：(1)以国家政策要求为导向，体现人口健康信息化建设总体要求；(2)以信息化评价理论为依据，多层次、多角度反映评价对象的特征和状况，体现评价对象的变化趋势和发展动态，反映信息化的投入、过程及其产品；(3)兼顾指标的典型性和可操作性，用尽量少的指标来反映人口健康信息化的主要状况；(4)注意评价结果的可比性，指标既能够在空间上比较不同区域人口健康信息化水平的差异，又能在时间上测算区域人口健康信息化水平的历史进程。

基于以上原则和思路，将人口健康信息化评价对象划分为“信息资源，信息化基础设施，信息技术应用，信息化建设筹资，信息化人才及信息政策、法规与标准”6个维度，下设16个二级指标、35个三级指标(专家咨询后调整为33个)。

1.3.2 德尔菲专家咨询确定指标内容

本研究选择人口健康信息化领域的专家学者、政府官员以及相关从业人员作为咨询专家，通过两轮德尔菲专家咨询，对初步确定的指标体系进一步筛选或补充，对初选指标的重要性进行评分，分值范围为1～5分(分值从高到低分别对应“极为重要”、“比较重要”、“一般”、“不重要”、“完全不重要”)，并补充未列出的指标。在正式函询前，请专家填写基本信息表和权威程度自评表。经专家咨询后，完成指标内容的确定，最终建立一个递阶层次结构模型。为保持咨询的连贯性，第二轮咨询专家为第一轮中回复有效咨询表的专家。

1.3.3 层次分析法确定指标权重

采用层次分析法对各项指标权重及组合权重进行测定，主要步骤：构造指标两两判断矩阵，专家对同一矩阵中各个指标重要性进行两两比较，并按照Satty 1—9比例标度赋值；对专家反馈矩阵评分表进行层次单排序及一致性检验；最后使用群决策方式对各位专家的打分进行综合，得到各指标权重及组合权重。层次分析法所选专家为第二轮德尔菲咨询中回复有效问卷的专家。

1.3.4 构建综合评价模型

通过研究讨论和专家咨询，结合信息化调查数据，确定指标体系中各三级指标的计算公式；使用均值法对三级指标数值进行标化处理；将三级指标标化处理后的数值乘以该项指标的组合权重可以得到综合指数值。

1.3.5 检验评价指标体系

利用信息化调查数据进行验证，通过计算克朗巴赫α系数、因子分析法、聚类分析和方差分析等数理统计方法检验指标体系信度、结构效度和区分度。

2 结果

2.1 德尔菲专家咨询结果

2.1.1 专家积极程度

专家遴选标准：(1)国家和部分省级人口健康信息化管理部门领导和业务骨干，人口健康信息化研究领域的专家学者，以及其他相关领域的研究人员和业务人员；(2)具有中级或中级以上职称或者是中层以上领导；(3)从事人口健康信息化相关工作5年以上。

首轮发出咨询表16份，收回14份，其中有效咨询表14份，有效回收率为87.5%；第二轮发出咨询表14份，收回有效咨询表13份，有效回收率为92.9%。

2.1.2 专家基本情况

参与咨询的专家中以参加工作20年以上的副高级职称及以上为主，主要从事行政管理工作和教学科研工作，学历以硕士及以上学历的为主，专业分布主要集中在计算机类、卫生管理类和临床医学类(表1)。

2.1.3 专家权威程度

专家的权威程度用权威系数Cr表示，由两个因素决定，即专家对指标的熟悉程度Cs和判断依据Ca。Cs和Ca采用通用量表，Cr计算公式：Cr=(Ca+Cs) /2。专家权威程度自评结果显示，专家对评价指标熟悉程度的平均系数为0.74，专家判断依据的平均系数为0.96，专家权威程度平均为0.85，表明所选专家在行业内具有较高的权威性。

2.1.4 专家意见协调程度

专家评分结果的变异系数基本保持在0.2以下，对全部指标进行Kendall和谐系数W检验，结果显示全部检验结果P值小于0.05，有统计学意义。检验结果表明专家意见的协调性较好。

表1 专家基本情况

*注：有两名行政工作人员没有职称评定

2.1.5 指标遴选及权重确定结果

经过两轮咨询，根据德尔菲专家咨询结果，将最后的评价指标体系建立递阶层次结构模型。其中，第一准则层6个指标，第二准则层16个指标；指标层33个指标。在接受第二轮咨询的14位专家中，有11位继续为层次分析法的判断矩阵打分；经过调整后，最后取7位专家的结构进行群决策计算，所有判断矩阵一致性良好，并通过行Kendall和谐系数W检验。采用算术平均的方法将各位专家打分计算得出的指标权重进行处理。最终结果详见表2。

表2 评价指标体系递阶层次模型及其指标权重

2.2 综合评价模型的构建

在取得评价指标体系结构及其权重后，采用综合指数法构建综合评价模型。首先确定所有三级指标评分细则，然后使用均值化法对指标得分进行无量纲化处理[16]，再对评价对象采取正向累积的方式计分，将三级指标标化处理后的数值乘以该项指标和组合权重可以得到综合指数值。计算公式为

其中y为综合指数值，wi是指标i的权重，xi是指标i的标化值，n为指标个数。

2.3 指标体系的检验

信度与效度的检验是量表或测量工具在应用于实践之前必要的过程。本研究采用克郎巴赫α系数、因子分析、聚类分析和方差分析进行信度、结构效度和区分度的检验。利用国家卫生计生委规划信息司“2015年人口健康信息化建设情况网络调查”数据进行实证，共使用了 28个省份的有效数据，其中少量指标的调查数据暂时缺失，在本次实证中以缺失值处理或不参与数理统计计算。根据三级指标评分细则计算各级指标的得分，然后进行标化处理，再利用综合指数法结合指标权重计算加权分值，最后使用SPSS19.0软件进行统计分析。

2.3.1 信度

通过计算得到一级指标及下属指标的克朗巴赫α系数标准值在0.674～0.847之间；全体二级指标的克朗巴赫α系数为0.899，P值均小于0.05。

2.3.2 效度

运用主成分分析法，“按照公共因子尽量少，贡献率大于70%，特征值大于1”的原则[17]，共提取了6个公因子，二级指标所提取的公因子对各自变量的方差贡献，大部分指标共同度在0.7以上，说明变量空间转化为因子空间时保留了比较多的信息，可以认为因子分析效果显著。经方差最大正交旋转后，6个公因子的累计贡献率为76.384%。

2.3.3 区分度

本研究根据不同地区的综合评价得分，应用快速聚类法将28个样本分为5类组，各类别包含的样本数分别为11、3、8、4和2；方差齐性检验P值等于0.608，差异无统计学意义。釆用方差分析比较不同组别之间的差异，五组样本之间以及每两组样本之间有显著差异(P<0.05)。

3 讨论

3.1 评价视角的全面性与内容的针对性

我国人口健康信息化建设，受到信息技术水平差异、政策环境支持力度、保障水平高低等因素的影响，各地存在差异。以往研究多集中在单一业务领域的信息系统研究，缺乏技术视角之外的政策考量。本研究在指标选取时，加入了较为宏观的政策指标。

在评价操作层面，区域人口健康信息化评价主要有“发展水平测度”，“绩效评价”以及“考核评估”等类型。水平测度侧重了解整体情况，并进行空间和时间上的对比；绩效评价重视结果，对信息化效率、效果和效益进行衡量；考核评估帮助评价对象查找不足和改进完善。目前人口健康信息化建设并无统一的模式，且政府主导的信息化建设有较高的公共产品属性，短期内难以看到实际效益。本研究将此次评价界定为开展基础性的区域人口健康信息化水平测度，适当突出现阶段发展战略，有针对性地反映信息化过程中主要属性的发展情况。为兼顾评价视角的全面性与评价内容的针对性，本研究选取了理论和实践成熟度较高的国家信息化水平“六要素”模型为基础，结合国家人口健康信息化建设的总体要求，建立了信息资源建设、信息化基础设施建设、信息技术应用、信息化筹资、信息化人才和信息化政策、规划与标准六方面的评价框架。

3.2 咨询专家的代表性与意见一致性

使用德尔菲法必须满足两个条件，一是有一定数量和代表性的专家群体，二是专家意见存在一致性。[18]本研究中，有14位专家参加两轮的问卷反馈，未超出20人的一般上限，基本符合人数限定要求。代表性取决于专家的背景和专业素养，人口健康信息化评价作为一个较快的领域，专家的专业和学历对权威程度的影响有限，因此除科研人员外，从业经验较为丰富的一线工作者和行业管理者同样具有较好的知识水准和判断能力。在专家筛选标准上，行政管理人员和信息化一线工作者的选取得到重视。由于严格执行筛选标准，且专家的权威系数较高，对指标的判断有较高的一致性，只用两轮咨询反馈基本达到了指标内容的稳定和一致。

3.3 指标权重赋值的方法选择

在指标体系的权重赋值方面，有德尔菲法、层次分析法、模糊分析法、数据包络分析法、灰色评价法等，不同方法在主客观赋值、定性与定量表达、数据完整性等方面要求不一，各有优劣。[19]在人口健康信息化发展水平测度中，专家的主观意见不可或缺，同时定性数据也不可避免，使用层次分析法赋值较为恰当。层次分析法把复杂系统的问题描述成条理清楚的层级结构因素集合，对每一层级的元素定性判断，用数学方法得出定量的权重结果，从而实现定量和定性的结合，克服了主观赋值方法的随意性，同时也避免了客观赋值法需要长期完整统计数据的困境以及经验判断的武断。[20-21]但在实际使用中也存在一定局限性，两两对比的指标一般不超过7个，因为对比的次数越多，越容易出现逻辑混乱，打分的一致性就越差；即便本研究中每一级中同根的指标数不超过4个，依然有专家出现逻辑不一致的情况。

3.4 综合评价模型的实用性

完成指标体系的层级结构和指标权重的确定只是评价工作的一部分，还需进行综合评价模型的构建，即将实际数据与指标权重结合的过程，包括将实际数据转化成指标值，以及将指标值与指标体系结合。本研究对各项三级指标制定了详尽的评分细则，包括指标解释和计算公式，主要分三种情况：一是定性指标，如“机房安全等级”，该项指标的调查数据为“A/B/C/无”4类，必须先转换成数值，根据等级高低赋予有递阶的数值；二是从调查数据中无法直接得到的指标，如“村卫生室计算机普及率”。该项指标的调查数据只有以县为单位的普及率情况，而计算一个省的整体情况还需要全省各个县的村卫生室数，计算极为繁琐。为方便起见，对村卫生室的普及率进行分段赋值，将连续性的“率”值转化成等级分数，然后进行全省的平均计算；三是涉及到多个行政级别的指标，如“区域内电子病历数据库建设率”，该指标涉及到省、市、县三级的电子病历库建设情况，而各个级别的建设数量、难度和重要性并不一致，不能将每个电子病历库都同等对待，必须分级处理，各级别的建设率对应各自的权重系数。

3.5 指标体系的合理性与可靠性

本研究利用全国人口健康信息化网络调查的数据对评价指标体系进行验证，得到综合评价结果。对评价工具的信度检验通常使用克郎巴赫α系数，该系数取值在0～1之间，α系数越高，指标体系的内部一致性越好，信度越高。[22]本研究构建的指标体系中一级指标的克朗巴赫α系数标准值在0.674～0.847之间，信度较好。评价工具的效度一般分为内容效度、结构效度、关联效标效度，由于目前人口健康信息化没有公认的“金标准”，关联校标效度无法测量；而内容效度一般无法定量测量，本研究认为内容效度较好；结构效度的测量可以使用因子分析，本研究共提取了6个公因子，在二级指标中载荷较高，累积贡献率达到76.384%，可以认为指标体系总体上具有结构效度。区分度的检验可以通过对不同组别样本的差异性检验来实现，本研究使用快速聚类将样本分组，并用方差分析证明了各组有显著性差异，表明指标体系的区分度较好。

[1] 国家卫生计生委 国家中医药管理局.关于加快推进人口健康信息化建设的指导意见[Z].2013.

[2] 李新伟, 胡红濮, 郭珉江， 等.我国卫生信息化发展策略研究[J].中国数字医学, 2011, 6(6): 50-52.

[3] 刘硕.区域人口健康信息化发展水平综合评价指标体系构建研究[D].北京： 北京协和医学院, 2015.

[4] 胡晓鹏.中国区域信息化差异的实证研究[J].财经问题研究, 2003(5): 73-78.

[5] 张大朋, 周均清, 王乘， 等.国内外信息化水平评估体系简析[J].中国信息导报, 2004(7): 17-19.

[6] 《中国信息化水平评价研究》课题组.中国信息化水平评价研究报告[J].统计研究, 2006(2): 3-9.

[7] 李彬, 王叶婷, 向璨, 等. 我国卫生信息化评估体系研究[J]. 医学信息学杂志, 2013, 34(2): 10-15.

[8] Yu P, Yu H, Soar J. Methods to evaluate health informationsystems[J]. Faculty of Informatics-Papers, 2011， 32(2)： 15-21.

[9] Mettler T, Vimarlund V. Evaluation of E-Health Strategies: A Portfolio Approach[C]//Proceedings of the 15th International Symposium on Health Information Management Research-ISHIMR 2011. 2011: 301-305.

[10] Ancker J S, Kern L M, Abramson E, et al. The Triangle Model for evaluating the effect of health information technology on healthcare quality and safety[J]. J Am Med Inform Assoc， 2012， 19(1)： 61-65.

[11] 夏志远, 陈洁, 范启勇， 等.上海市社区卫生服务机构信息化水平综合评价指标体系构建研究[J].中国卫生资源, 2011, 14(2): 114-115.

[12] 马玉成, 星吉, 周杰. 区域卫生信息化建设绩效评价指标体系研究[J]. 中国卫生信息管理杂志, 2012, 9(3): 57-61.

[13] 马克卢普(美).美国的知识生产与分配[M].孙耀君,译.北京: 人民大学出版社, 2007.

[14] 郑建明, 王育红.信息测度方法模型分析[J].情报学报, 2000， 19(6): 546-552.

[15] 刘硕, 代涛, 胡红濮, 等.人口健康信息化评价视角的变迁与评价要素分析 [J].中国数字医学,2015,10(4): 35-38.

[16] 叶宗裕. 关于多指标综合评价中指标正向化和无量纲化方法的选择[J]. 统计科学与实践, 2003(4): 24-25.

[17] 何有世, 徐文芹.因子分析法在工业企业经济效益综合评价中的应用[J].数理统计与管理, 2003, 22(1): 19-22.

[18] 田军, 张朋柱, 王刊良， 等.基于德尔菲法的专家意见集成模型研究[J].系统工程理论与实践, 2004, 24(1): 57-62.

[19] 杜栋， 庞庆华， 吴炎.现代综合评价方法与案例精选[M].北京: 清华大学出版社, 2008.

[20] 李宝山. 管理系统工程[M]. 北京: 中国人民大学出版社, 2004.

[21] 李道苹. 医学信息分析[M]. 北京: 人民卫生出版社, 2009.

[22] 刘朝杰.问卷的信度与效度评价[J]. 中国慢性病预防与控制, 1997, 5(4): 174-177.

(编辑 谢宇)

Study on the establishment of evaluation system for population & health informatization

HUHong-pu,LIUShuo,CHENQuan,DAITao

CenterforHealthPolicyandManagement,InstituteofMedicalInformation,ChineseAcademyofMedicalSciences,Beijing100020,China

Objective: The present study aims at setting up an evaluation index system aiming at providing a set of measurement tools for population & health informatization developing level for administrative departments. Methods: Delphi method, analytic hierarchy process, Synthetic Index Method and some mathematical or statistical methods were used respectively to select the primary indexes, calculate the weight and combined weight of each index, build up the synthetic evaluation mode，and test the evaluation system. Results: According to the results of this work, the evaluation index system has been established which is composed of 6 level 1 indexes, 16 level 2 indexes, and 33 level 3 indexes, and it covers 6 aspects, such as information resources construction, information infrastructure construction, information technology application, informatization talents and the information policy, planning, and standards. The weights of these indexes were also calculated. The synthetic evaluation model has been built. Finally, the reliability, the validity and the discrimination of the evaluation system were tested. Conclusions: The evaluation index system has been established, which is able to be used in the evaluation, and to some extent guide the work of population & health informatization construction.

Population & health informatization; Informatization evaluation; Index system

国家自然科学基金(71273280)；国家卫生计生委规划信息司委托课题

胡红濮，女(1968年—)，博士，副研究员，主要研究方向为卫生信息管理。E-mail: hu.hongpu@imicams.ac.cn

代涛。E-mail:dai.tao@imicams.ac.cn

R197

A

10.3969/j.issn.1674-2982.2016.12.002

2016-10-19

2016-12-10