区域卫生信息化项目绩效评估应用研究

焦通，王晓丽

上海市浦东卫生发展研究院 信息中心，上海 200129

引言

近年来，医院信息化建设投入力度逐渐增强，医院信息化建设得到了迅猛发展。但同时，很多项目实际并没有达到预期效果和目标，造成了金钱与人力的浪费[1]。为了规避风险，提高信息化项目投资效益，管理部门迫切需要从已开展的项目中总结经验教训，推广成功经验和做法，为规划设计、项目审定、投资决策、项目管理提供参考和依据。

2016年，上海市浦东新区卫健委开创性、探索性地研究构建了一套“区域卫生信息化项目绩效评估指标体系”，并连续四年本着持续改进、不断优化的宗旨，积极推动与开展信息化项目绩效评估，希望寻找规律与方法，构建科学、系统、规范的信息化项目绩效评估体系以及相应的管理规范化流程，从而进一步加强医疗机构信息化建设的规范化、标准化、科学化水平，引导医疗机构进行合理的信息化建设投资。通过四年的绩效评估实践，已初步形成一套符合区域医疗机构信息化建设水平的评价体系。通过该评价体系，进行横向、纵向和自身评价，强化医疗机构信息化管理能力，提升工作效率，做好系统化管理[2]，从而发现自身问题，合理利用资金，降低医院建设成本，增强管理效率，提升医院的竞争能力和服务水平。

1 绩效评估方法

1.1 指标体系的构成与完善

根据文献调研、问卷调查、实地调研、专家咨询等方法，浦东卫健委于2016年研究构建了一套区域卫生信息化项目绩效评估指标方法，对卫生医疗机构卫生信息化项目绩效进行评估[3-4]。该指标包含4项一级指标，17项二级指标，二级指标又包含若干要素，并为每项要素赋以权重。

2019年，在前三年信息化项目绩效评估基础上，从项目绩效指标、权重、项目绩效内容和所占比重等方面进行了修订，特别是在项目效果评价的维度下，结合前三年的评价总结，通过对相关分值的优化调整，新增了“响应配合评价”，作为对区所属医疗机构是否积极参与建设项目评估的考核指标，以起到对于积极参与评审、准备完善的机构的鼓励作用，并同时督促部分响应有所缺失的机构主动参与、配合。修订后的指标简表如表1所示。

表1 卫生信息化项目绩效评估主要指标

1.2 评估过程与评估结果分级标准

1.2.1 评估过程

整个项目绩效评估过程主要分为四个阶段：

（1）评估前基础准备。包括对本年度绩效评估打分表修订、形成绩效评估指标要素点检查表、召开医疗机构绩效评估培训会等，参评单位开始做好准备工作。

（2）第三方测评。聘请第三方专业测评机构，对本次参评项目进行测评，包括软件类项目功能、性能及安全测评，机房类项目物理安全测评等[5]，为后续绩效评估提供评分依据。

（3）专家现场评审。聘请行业专家对参评项目进行现场评审，给出相应分值及扣分理由等。

（4）结果发布。所有参评单位绩效评估最终得分在区内公开发布，并将得分与下一年度信息化项目申报形成联动机制，对项目建设成效不佳的单位限制申报或不得申报项目。

1.2.2 评估结果分级标准

表1中，四项一级指标权重百分比分别为：项目目标10%，项目管理40%，项目效果40%，项目可持续性10%。由于在项目立项过程中，制定了严格的审批流程，项目目标整体定义较为清晰可控，权重百分比过高会导致整体得分偏高；项目管理和项目效果为当前绩效评估的核心，故权重百分比较高；项目可持续性为今后发展的方向，可根据项目逐年改进情况做适当的调整。根据专家现场评估得分，将项目建设成效以A、B、C、D四个等级予以展示。具体解释如下：

（1）A为优，80～100分。在项目管理和应用效果方面完成了预期设定的目标，项目获得了较大的经济效益，对社会发展有良好的影响。

（2）B为良，60～79分。在项目产出、成本和事件进度上实现了项目原定的一部分目标，项目获得了部分经济效益，项目对社会发展的作用和影响是有积极作用的。

（3）C为中，40～59分。在项目管理和应用效果方面对项目预期设定的目标完成度为一般，项目效益一般，且在社会效益方面有或有少部分的积极作用和影响。

（4）D为差，0～39分。项目原定的各项目标基本没有实现，在项目管理和项目应用方面没有达到预期的目标，项目效益很小或难以确定，项目对社会发展有或只有极小的积极作用和影响。

1.3 评估方法的科学性概述

该评估方法在建立过程中，系统查阅了与卫生信息化建设项目评价研究相关的资料信息[6-7]，总结归纳、明确国内外既往研究中用于卫生信息化建设项目评价框架或维度确定的指导性理论与方法，明确既往研究中可以借鉴的框架或维度，借鉴层次结构分析理论[8-9]的思路。首先，将卫生信息化项目评价维度分解为不同的组成类别，即建立四项一级指标；随后，将一级评价指标体系进一步转化成可量化的二级指标体系，以此类推，从而实现评价框架的层次化和条理化[10-11]。最终，各不同层次组成要素按照相互关联度及隶属关系聚集组合，形成“评价维度—评价类别—评价指标”层次分明的分析系统[12-13]。

在指标内容确定上，依据易于理解、精练准确、有代表性、便于监管，并符合科学性、均衡性、导向性、可比性、可操作性等原则[14]，通过3轮德尔菲专家咨询[15]与论证完成指标体系的筛选：由浦东新区卫生信息中心及卫健委不同层级、不同专业、具有丰富实践经验的20位专家，按照指标筛选原则，经过3轮的咨询与论证，逐步精选与完善，最终确定指标内容。

2 绩效评估结果

2.1 绩效评估总体情况

2016年制定该绩效评估指标后，首次将其应用于2015年度浦东卫健委直属机构、医院和社区卫生服务中心三类卫生机构的信息化项目的绩效评估。经过四年的持续改进与不断优化，医疗机构卫生信息化建设取得一定成效。四年绩效评估总体概况如图1所示。

图1 2015年度至2018年度绩效评估总体概况

由图1可以看出，2015年度项目中，评估等级为D级的项目达23.64%，但2016年度至2018年度，均未出现D级项目。2015年度至2017年度，A级项目数逐年增长，至2017年度，达到62.22%。2018年度A级项目数有所减少，主要原因是评估指标体系在以往基础上做了修订，评分项目和相应权重均有调整，在测评时，加强了对性能、安全方面指标的把控。以上修订，发现了很多信息化建设项目中存在的新问题，从而影响了得分。通过不断修订与完善，有助于参评医疗机构更好地发现问题，完善信息化建设机制，防范系统性的安全风险，使信息化建设项目可以长久、持续地产出。

2.2 一级指标评估情况

绩效评估的四项一级指标，分别从项目目标、项目管理、项目效果和项目可持续性四个维度对项目绩效进行评估，探索项目全生命周期实施成效，发现问题和解决问题。四个年度一级指标评估情况如图2所示。

图2 一级指标评估总体情况

2.2.1 项目目标

该项主要考察项目立项的合规性和项目目标落实的符合度情况。从图2可以看出，2015年度至2017年度，项目目标得分逐年上升。2018年度项目评估时，增加了项目建设验收指标的达标率评价，在项目建成后，对项目建设目标与项目实际实施情况的一致性进行评估，2018年度项目目标得分略有降低。

2.2.2 项目管理

该项主要评估项目全过程中的进度、成本、质量、沟通、培训、记录等要素的控制情况，并由此评价项目的建设成效和管理能力。结合以往经验，2018年度评估体系中将“自评与专家评分吻合度”进行了评分规则优化调整，以更好地体现机构对于信息化项目绩效评估体系和要素点的理解水平与专家评判的差异。因此，2018年度该项评分也有所降低。

2.2.3 项目效果

该项为整个绩效评价指标中较为重要的部分，对项目的实际使用情况进行了量化或按质评价，引入第三方测评报告的评价，彰显应用效果评价的公平、公正、公开，同时对项目的应用影响力等作前瞻性的评价。2018年度新增了“响应配合度评价”的二级指标，在参评的项目中有三分之一的项目响应配合得到满分，该部分还有较大提升空间。

2.2.4 项目可持续性

该项主要从项目自身的技术基础以及外部资源保障和管理基础进行评价，衡量项目运营保障方面的长期可持续性。同时，对人员培训和信息化建设的持续投入进行量化并考核，从而达到项目在未来持续保持不断提升的能力。该项得分逐年略有下降，且总体得分仍有较大空间，这也是今后项目管理的重点。

3 讨论

信息化建设是一个不断发展、持续改进的过程，同样，信息化绩效评估也并非一成不变，而是需结合实际不断完善，国内外已有各种类型的卫生信息化项目绩效评估的研究[16-17]，可供参考。本文进行了2015年度至2018年度的评估结果比对，在2015年度至2017年度信息化项目绩效评估中，先后提出了建立立项项目跟踪机制、信息化人员规范化培训、使用者满意调查、完善评估体系等建议，并在后续项目建设中，得到了持续改进。在此期间，绩效评估各项指标呈逐年提升，说明对提高项目建设成效起到了一定的促进作用。同时，四项指标也是相辅相成的，项目目标完成度在四个一级指标中得分最高，说明各医疗机构对于项目目标具有比较清晰的认识，从而能更好地促进项目管理成效。在医改力度不断加强、智慧医院建设持续深化的背景下[18-19]，本文对这套绩效评估体系进行了改进，调整了部分二级指标的指标名称和要素项，修订了部分指标权重和评分规则。同时，由于2018年医院信息化安全态势严峻，医疗机构安全问题频发，在此环境下，加强了对性能、安全方面的指标把控。因此，改进后的评估体系在用于2018年度项目评估时，也发现了信息化建设项目新的缺陷与安全漏洞。

可见，不断完善和持续改进绩效评估体系，有助于促使区内各级机构对信息化项目管理形成较为完善的管理概念[20]，切实督促各级医疗机构将项目管理制度落实到项目建设中去，使信息化建设投入得到更加有效、可靠、稳定、安全、持续的产出。

4 结论

历经四年的信息化项目绩效评估，信息化项目建设取得了一定进步，同时也进一步推动了绩效评估体系的健全和发展。今后将继续完善和持续改进该绩效评估体系与评估方法，加强信息化项目绩效评估的指标内容与评价体系的规范化培训工作，促使各医疗机构由具有管理意识到形成管理制度，最终落实到项目建设管理中去的过程的转变和深化，确保相关规范的管理制度可以在项目建设的过程中得到贯彻执行，最终实现信息化项目的有效建设，提高区域卫生信息化整体建设水平。