济南市老年健康与医养结合服务项目绩效评价指标体系完善研究

潘齐川,刘丹丹,吴 敏,甄天民,李 胜,刘智鸿,宋奎勐

(1.济南市康养事业发展中心,山东 济南 250013; 2.山东第一医科大学/山东省医学科学院,山东 济南 250117)

2019年国家卫健委发布《关于做好2019年基本公共卫生服务项目工作的通知》[1],将老年健康与医养结合服务纳入基本公共卫生服务范围,由政府免费向65岁及以上老年人提供医养结合和健康服务,充分体现了党和政府对推动和完善老年健康服务的重视。在随后发布的《新划入基本公共卫生服务相关工作规范(2019年版)》(以下简称“2019版工作规范”)中,进一步明确了老年健康与医养结合服务项目的目标、对象和范围、内容、组织实施、考核与评估等要求,为各级卫生健康行政部门开展相关工作提供了依据。

济南市在学习借鉴其它基本公共卫生项目绩效评价指标体系的基础上,于2021年初步构建了《济南市老年健康与医养结合服务项目绩效评价指标体系(2021年度)》(以下简称“2021年度指标体系”),并于2022年应用该指标体系对辖区老年健康与医养结合服务项目开展了绩效评价。本研究对济南市2021年度老年健康与医养结合服务项目绩效评价指标体系进行了完善,旨在提高指标体系的科学性和可操作性,促进济南市老年健康与医养结合服务项目开展,同时为其他地区开展老年健康与医养结合服务项目绩效评价提供参考。

1 资料与方法

1.1 资料来源

本研究以济南市2021年度指标体系为基础,采用德尔菲专家咨询法对指标体系进行完善。2021年度指标体系包含“组织管理”“资金管理”“项目执行”“项目效果”“附加指标”5个一级指标以及17个二级指标。

1.2 文献分析法

收集整理国家和山东省关于老年健康与医养结合服务项目的政策文件,梳理我国基本公卫服务项目领域绩效评价相关的前期研究成果和文献。在此基础上,结合投入(筹资)、服务提供、健康结果的概念框架[2]和结构、过程、结果3个维度的评价模型[3]。

1.3 德尔菲专家咨询法

本研究选取了20位从事老年健康与医养结合相关领域工作的专家,要求其具有5年以上工作经验、中级以上职称或硕士以上学历、熟悉老年健康与医养结合服务项目评价。先将拟定的初选指标编制成专家咨询表,以电子邮件的方式进行函询,基于专家权威程度、专家意见协调程度等指标衡量专家咨询结果的可信度,基于专家对各指标重要性的打分情况采用界值法判断各指标是否需要调整或删减,将调整后的指标体系反馈给专家进行第二轮咨询,并基于第二轮咨询结果计算各指标权重系数。

专家的指标重要程度的打分按照Likert5级分值设置,分别为非常重要、比较重要、一般、较不重要、很不重要,分别赋值5分、4分、3分、2分、1分。专家对老年健康与医养结合相关指标的熟悉程度也按照Likert 5级分值设为5个等级,分别为非常熟悉、熟悉、一般、不熟悉、非常不熟悉,分别赋值1.0分、0.8分、0.6分、0.4分、0.2分。专家对指标的判断依据分为工作经验、理论分析、同行了解、直觉判断4类,每一类中又根据影响程度分为大、中、小3级,分别赋予不同的分值,见表1。

表1 专家判断依据赋值表

1.4 统计学方法

采用SPSS统计软件对回收的专家咨询函数据进行描述性统计分析,包括专家积极系数、专家权威程度、专家意见协调程度、各指标重要性得分、标准差、满分频率等,检验水准α=0.05。

2 结果

2.1 专家基本情况

本研究遵循代表性和权威性相结合的原则,20位专家来自高校及科研机构、卫生健康管理部门、基层医疗卫生机构,其中7位(35%)来自高校或科研机构,8位(40%)来自卫生健康管理部门,5位(25%)来自基层医疗卫生机构;7位(36.8%)具有博士学历;11位(55%)具有高级职称;平均年龄为46.7岁,平均工作年限14.8年;10位(50%)从事卫生管理专业,5位(25%)从事老年健康专业,5位(25%)从事医疗卫生专业。

2.2 专家积极性及权威程度

在两轮咨询中,20位专家均反馈咨询结果,专家积极性为100%。专家意见的权威程度采用权威系数(Cr)表示,Cr由2个因素决定,判断系数(Ca)和熟悉程度(Cs),Cr=(Ca+Cs)/2,专家权威系数大于0.700即认为专家咨询结果可靠,且专家权威系数越大,权威程度越高[4]。本研究的专家判断系数平均值为0.925,说明判断依据对专家的影响程度较高;专家熟悉程度系数平均值为0.840,表明专家对所咨询的问题较熟悉。专家权威程度系数平均值为0.883,显示专家的权威程度较高,咨询结果可信。

2.3 专家意见协调程度

专家意见的协调程度主要通过肯德尔协调系数(Kendall’s W)和变异系数(CV)来反映。肯德尔协调系数表示全部专家对全部指标的协调程度,数值为0～1,在P≤0.05的前提下肯德尔协调系数值越大协调性越好;变异系数反映专家组对各条目权重赋值的波动程度,变异系数越小,说明专家预测或评估意见协调性越好,一般要求变异系数小于0.300[5]。本研究中,专家对指标重要性评价的肯德尔协调系数为0.239,P<0.001,表明专家对各项指标评价的协调程度较高。从变异系数来看,专家对指标重要性评价的变异系数为0.181,反映专家对各项指标评价的协调程度较高。

2.4 指标筛选与调整

根据第一轮咨询中20位专家对各个指标重要性评分的均值,得到初步指标体系中各个指标的重要性得分。3个一级指标中,得分最高的为“项目执行”,得分4.80分,其他2个指标“组织保障”和“项目效果”得分均为4.55分。7个二级指标中,得分最高的为“完成率指标”,得分为4.85分,得分最低的为“附加指标”,得分为3.65分。25个三级指标中,得分最高的为“制度建设”和“资金拨付及时性”,得分为4.95分,得分最低的为“新闻报道”和“安宁疗护”,得分为3.80分。

本研究根据第一轮咨询中每项指标的重要性得分分别计算满分频率、算术均数和变异系数,采用界值法筛选评价指标。满分频率和算术均数的界值计算方法：“界值 = 均数-2倍标准差”,得分高于界值的入选;变异系数界值计算方法：“界值 = 均数+2倍标准差”,得分低于界值的入选。为防止重要的指标被剔除,以上3个尺度均达不到界值要求的指标才剔除。对于有1个或2个尺度不合要求的指标,根据全面性、科学性、可行性等原则经讨论后取舍。经计算,三级指标中的“服务间隔”“荣誉表彰”“老年友善医疗机构建设”和“老年医学科建设”4个指标的均数低于界值,而“新闻报道”的均数低于界值且变异系数高于界值,“安宁疗护试点”的均数和满分频率均低于界值。经课题组讨论并结合专家意见,决定剔除“安宁疗护试点”指标,保留“新闻报道”指标。最终形成的指标体系由3个一级指标、7个二级指标和24个三级指标构成,见表2。此外,根据20位专家在第一轮专家咨询函中反馈的指标修改意见,本研究对第一轮指标体系中的部分指标名称及内容做出调整,如将一级指标“项目执行”修改为“服务提供”,将二级指标“项目宣传”修改为“社会影响”等。

表2 最终指标体系及指标权重

2.5 指标权重

本研究基于专家在第二轮咨询中对各指标的重要性打分分值,采用百分权重法[6],对各级指标的级别内权重进行赋权,将每个指标重要性得分均值占所在级别指标重要性总得分均值的百分比,作为该指标的级别内权重系数。如三级指标“A111组织体系”的重要性得分均值为4.77,而所在二级指标“A11组织管理”下其他5个三级指标的重要性得分均值分别为4.89、4.53、4.85、4.76、4.80,则“A111组织体系”的级别内权重系数为4.77/(4.77+4.89+4.53+4.85+4.76+4.80),即0.167。最后,采用乘积法计算三级评价指标的组合权重,见表2。如三级指标“A111组织体系”的组合权重即为其对应的一级指标“A1组织保障”的级别内权重0.334、其对应的二级指标“A11组织管理”的级别内权重0.483及其本身的级别内权重0.167的乘积,为0.0269。

3 讨论与建议

对基本公共卫生服务项目的绩效评价一直是国内学术界关注的一个焦点。一部分研究关注项目的实施情况,多用描述性方法、Lorenz曲线、Gini系数、集中指数法、数据包络分析等衡量卫生服务的公平和效率[7-9],另一部分研究则关注绩效评价指标本身的设置,运用德尔菲专家咨询法、层次分析法等建立绩效评价指标体系[10,11]。但目前尚未查见有关老年健康与医养结合服务项目绩效评价指标体系的相关研究。本研究采用德尔菲专家咨询法完善了济南市老年健康与医养结合服务项目绩效评价指标体系,对科学评价项目整体绩效、规范项目实施及促进项目的可持续发展具有重要意义。

3.1 指标体系完善方法和过程

德尔菲专家咨询法是一种利用专家的专长和经验进行直观预测的研究方法,是评价指标体系研究领域公认的较为可靠的研究方法[12]。本研究邀请的20位专家具有较好的代表性,在实践经验和学术造诣方面具有较高水平,专家权威系数为0.883,专家对指标重要性评价的肯德尔协调系数和变异系数分别为0.239和0.181,提示专家权威程度和意见协调程度都较高,咨询结果可信。再经过两轮专家咨询调整和完善了评价指标体系后,本研究还采用百分权重法和乘积法计算了各个指标的权重,能够为济南市未来年度开展老年健康与医养结合服务项目绩效评价工作提供直接依据。

3.2 关于完善后的指标体系结构及内涵

本研究借鉴“结构-过程-结果”三维评价模型对济南市2021年度指标体系进行了重构,该模型与其他评价模型相比,能够将评价内容更有机地联系起来,维度之间具有线性相关性[13]。完善后的指标体系中,“组织保障”对应着结构维度,主要反映老年健康和医养结合服务的组织管理情况和资金保障情况;“服务提供”对应着过程维度,主要反映老年健康和医养结合服务的具体开展情况;“项目效果”对应着结果维度,主要反映开展老年健康和医养结合服务取得的效果。

国家2019版工作规范中对考核内容做了大致说明,包括项目组织管理情况、项目资金管理情况和各项工作任务完成情况。本研究将项目组织管理情况和项目资金管理情况分别作为“组织保障”一级指标下的2个二级指标,包括是否成立了工作领导小组、有健全的组织体系,是否制定了相应的实施方案,是否开展了相应的宣传、培训,财政是否按规定配套补助资金并及时拨付,是否有开展工作必须的经费支持等具体指标。国家2019版工作规范中还明确了工作任务完成情况的2个考核指标,一是65岁及以上老年人医养结合服务率,即年内辖区内接受两次医养结合服务的65岁及以上老年人人数占辖区内老年人总数的比例;二是65岁以上失能老年人健康服务率,为年内辖区内接受健康服务的失能老年人人数占辖区内接受健康评估的65岁以上失能老年人总数的比例。本研究一方面将以上2个指标纳入“服务提供”一级指标下,从数量维度反映服务开展情况;另一方面也补充了质量维度的部分指标,如平台中服务信息是否规范完整、服务数据是否真实、2次医养结合服务时间间隔是否符合要求等。在“项目效果”一级指标下,本研究一方面纳入了反映服务对象认知与评价的相关指标,包括知晓率、满意度、获得感等;另一方面纳入了反映项目开展取得的社会影响的指标,包括是否受到上级荣誉表彰或官方媒体的宣传报道等;此外,本研究还纳入了与老年健康与医养结合服务工作相关的2个附加指标,更为全面地反映项目开展效果。

3.3 指标体系应用的注意事项

按照国家2019版工作规范中的要求,省级、地市级考核的对象为辖区各级卫生健康行政部门,因而本研究所形成的评价指标体系主要用于对济南市各区县卫健部门的考核评价,并不包括对相关卫生服务机构的考核内容。基层医疗卫生机构是提供老年健康与医养结合服务的主体,未来若需将其纳入考核范围,需要综合考虑其设施设备配置、人员配置、机构管理等具体指标[14]。此外,在应用指标体系开展评价考核时,应结合不同指标的具体内容及考核目标,采取不同的评价形式,如听取汇报、查阅资料、现场核查、问卷调查、电话调查、入户访谈等,保证评价结果的可靠性和真实性。如对服务对象知晓率开展评价时,要考虑老年人特点,尽量采取科学抽样和当面调查的形式,避免因老年人听力或认知能力下降,导致电话调查结果失真的现象。本研究将应用完善后的指标体系对济南市老年健康与医养结合服务开展绩效考核,并将同步开展实证研究,从供需2个方面开展老年健康与医养结合服务项目及其评价的调查,以进一步验证评价指标体系的实际效果。

综上,完善后的指标体系由组织保障、服务提供、项目效果等3个一级指标及7个二级指标、24个三级指标,能够从结构、过程、结果等角度较为系统全面地评价辖区内老年健康与医养结合服务项目开展情况,可以为济南市更好地开展该项工作提供支持,同时也为其他地区构建老年健康与医养结合服务项目绩效评级指标体系提供借鉴。