ROC曲线对ICU患者非计划性拔管高危临界值的预测分析*

遵义医学院附属医院(563000) 刘其兰 江智霞 黎张双子 权明桃 陈 芳 袁晓丽

【提 要】 目的 评价和确定ICU非计划性拔管患者的最佳临界值。方法 使用ICU患者非计划性拔管风险评估量表评估2017年8月—9月入住我院ICU的100例患者,采用受试者工作特征曲线(receiver operating characteristic,ROC)确定ICU患者非计划性拔管高危患者的最佳临界值,并进行分析。结果 当以22分为ICU患者非计划性拔管高危患者临界值时,其灵敏度为0.875,特异度为0.978,阳性预测值为0.778,阴性预测值为0.989,Youden指数为0.853较其他临界值更大,ROC 曲线下面积(area under curve,AUC)为0.971,95%CI:0.920～1.000。结论 以22分作为ICU患者非计划性拔管高危患者的最佳临界值较为合适,能够预测ICU患者发生非计划性拔管的风险,具有较高的诊断价值。

非计划性拔管(unplanned extubation,UEX)是指未经医护人员同意,患者将管道自行拔出,也包括医务人员操作不当所致的意外拔管[1],一旦发生将会给患者、家属和医院带来沉重负担,甚至危及患者生命,引发医疗纠纷[2]。在2016年《护理质量敏感指标》中把UEX作为评价护理质量的一项敏感指标[3],护理管理者更加重视对UEX的管理。各个医院则是根据医院院情制定或借鉴其他医院导管风险评估量表来评估UEX高危患者[4-5],且诊断是否为UEX高危患者的取值也不尽相同,临界值取值分别有5分、6分、9分、12分、13分[6-10]等,其确定大多是基于专家的临床经验,主观性较强,缺乏一定客观科学性。ROC是综合全面的评价方法,它能有效找出最佳临界值,是临床确定最佳阈值的经典方法[11],本研究采用自行设计的《ICU患者非计划性拔管风险评估量表》来评估ICU患者,通过构建ROC曲线分析图来确定及评价ICU患者UEX最佳高危临界值和诊断价值。

对象与方法

1.研究对象

(1)样本量

本研究样本量计算根据单一诊断试验评价的公式[12],计算如下:

为保证充足样本量,扩大样本量的20%,最终纳入样本为100人。其中上式中m、n分别为患者与非患者数量,通常各为总量的一半;α为可信度,Z为标准正态分布的分位数,则α=0.05,Zα/2=1.96;θ为多个检测者所得AUC的均值,实际应用时用其估计值(θ代替,通过预实验得出本研究的θ=0.96;L为θ的可信区间宽度,即θ的可信区间上下限之差,通过预实验得出本研究的L=0.08;R为观测者个数,本研究选取2人来共同评估;Pdr,sm为不同观测者对同一组受试者所作评分结果间的相关系数;本研究预调查后两人的评估相关系数为0.8。

(2)调查对象

本研究选取2017年8月至9月入住我院ICU一、二病区的患者作为研究对象。纳入标准:ICU治疗时间≥24h带管入科或入科插管的病人。排除标准:深度昏迷,患有重症肌无力的病人。

2.研究工具

(1)调查工具

调查工具包括一般资料问卷和ICU患者非计划性拔管风险评估量表。一般资料问卷主要用于病人的流行病学资料的收集,包括姓名、性别、年龄、文化程度、疾病诊断、住院天数。本研究在基于ICU患者UEX危险因素的meta分析[13]上,运用Delphi法来筛选及形成ICU患者非计划性拔管风险评估量表的维度和条目,其各个条目的内容效度在0.85～1.00,总的内容效度为0.952,评定者间信度的组内相关系数ICC为0.973,分值分布在1～4分,分数越高,风险性越强。

(2)资料收集

用ICU患者非计划性拔管风险评估量表评估病人前,先进行临床护士的统一培训,保证资料收集的一致性和准确性,其中患者UEX的得分为持续动态评估,即每班评估一次,病情变化时随时评估,直至患者离开ICU或观察期超过1个月,均选取评估患者得分的最高分作为该患者最终的分数。

3.统计学方法

结果

1.一般资料

共评估100例ICU患者,其中男性58人(58%),女性42人(42%);年龄在8～85(54.35±12.71)岁;受教育程度:文盲3人(3%),小学文化18人(18%),高中文化22人(22%),中专或大专25人(25%),大学及以上32人(32%);住院天数为2～21(9.81±2.24)天。

2.ICU患者UEX高危临界值

经评估得出100例患者UEX风险的预测分数,各临界值所对应的灵敏度、特异度、Youden指数见表1,选择Youden指数(灵敏度+特异度-1)最大时的界点为最佳临界值。由表1可见,当界点为21.5时,Youden指数为0.853较其他临界值更大,其对应的灵敏度为0.875,特异度为0.978,故把21.5分数取整数后,以22分作为判断UEX高危人群的最佳临界值。

表1 ICU患者UEX风险评估量表各临界值所对应的灵敏度、特异度和Youden指数

3.ICU患者UEX风险评估结果的ROC曲线

根据表1绘制了ICU患者UEX风险评估结果的ROC曲线图,如图1,曲线上的每点代表了UEX风险评估得分阈值或置信阈变化的灵敏度和特异度的折衷,AUC的值为0.971,95%CI:0.920～1.000。

图1 ICU患者UEX风险评估结果的ROC曲线

4.ICU患者UEX高危最佳临界值的预测效果评价

在1个月的观察期结束后,收集的100个病人中有8个已发生UEX,92个病人未发生UEX,以ICU患者非计划性拔管风险评估量表评估总分≥22分作为临界值时,被评估为有拔管风险的患者9人,无拔管风险的患者91人,见表2,以此计算出本次拔管风险评估结果的阳性预测值为0.778,阴性预测值为0.989,评估结果与实际结果的吻合系数Kappa值为0.807,P<0.001。

表2 ICU患者UEX风险评估量表评估结果与实际情况

讨论

1.UEX高危临界值的研究现状

目前国内外对UEX的风险因素研究结果不尽相同[13],大多UEX风险因素的确定是基于学者回顾性研究或经验总结,且尚无统一使用ICU患者UEX风险评估工具[4],其临界值的确定也不一致。有学者自行设计了UEX的风险评估工具,如Moons等通过开展病例对照研究,筛选ICU患者UEX的危险因素,从而构建了自行拔管风险评估量表,临界值尚不确定[14],Merkel等是把插管风险等级警示牌应用UEX高危患者的评估,也取得了一定成效。相比国外,国内学者多是利用自行构建的评估工具来预测UEX的风险程度,且多是针对住院患者的评估,较缺乏ICU专有的UEX分析评估工具,如徐丽采用德尔菲法设计了住院患者高危导管滑脱护理评估表,推荐的高危临界值为5分[6];张晓静等运用德尔菲法建立了住院患者非计划性拔管风险评估体系,推荐的高危临界值为6分[7];欧阳蓓蕾构建了住院患者高危导管滑脱评估表,推荐的高危临界值为9分[8]。通过文献可见,目前国内外ICU患者UEX评估工具不统一,其选取的维度不同,因此临界值也不尽相同,导致其对不同的患者敏感性各异,实际运用效率较低,临床执行力较弱,并未起到良好的指导防范作用,故本研究前期在循证基础上广泛罗列导致ICU患者UEX发生的危险因素,并通过Delphi法及层次分析法划分各级指标条目的权重系数,最终形成ICU患者非计划性拔管风险评估量表,再采用ROC曲线分析法来确定ICU患者UEX高危患者的最佳临界值,以期为高效开展ICU患者UEX风险管理提供依据。

2.ROC曲线对临界值诊断价值的评价

适宜的临界值是提高筛检效能、增强其对所评估内容敏感度的基本前提[15],ROC曲线分析目前被认为是临床确定阈值的经典方法,能为临床实践提供最佳阈值[16],一般位于机会线(chance line)的上方,离机会线越远,AUC越大,量表诊断价值就越高[17]。本研究以“1-特异度”为横坐标,以“灵敏度”为纵坐标绘制ROC曲线图,结果显示(如图1)ROC曲线在靠近左上方,离机会线最远,此时AUC为0.971,95%CI:0.920～1.000,一般认为AUC取值在 0.5～0.7 时诊断准确性低、在0.7～0.9 时诊断准确性为中等、>0.9时诊断准确性较高[18],本研究的AUC>0.9,说明其有较高的诊断价值。Youden指数是作为将灵敏度和特异度结合来评价指标将达到的最大值[19],故本研究选择Youden指数最大时的界点作为最佳临界值,即评分是21.5分为诊断UEX高危患者的最佳临界值,此时的灵敏度为0.875,特异度为0.978,其取值范围均在0～1之间,越接近1,诊断价值越大。阳性预测值指风险评估得分小于等于诊断临界值的患者中实际发生UEX的患者所占的百分比;阴性预测值指风险评估得分大于诊断临界值的患者中实际未发生UEX的患者所占的百分比[20],在本次研究中,当选择22分为诊断UEX高危患者临界值时,用ICU患者非计划性拔管风险评估量表评估结果与实际UEX发生的数据资料计算其阳性预测值为0.778,阴性预测值为0.989,并以22分划分有拔管风险组和无拔管风险,形成四格表资料,计算其Kappa值为0.807,理论上如Kappa值在0.21～0.40具有一般一致性、在0.41～0.60具有中等一致性、在0.61～0.80具有高度一致性[21],可见本研究预测结果与实际结果的一致性好,吻合度高,一定程度上说明选取22分为最佳临界值,具有较高预测和诊断UEX高危患者的价值。

小结

本研究的ICU患者非计划性拔管风险评估量表是在循证研究法结合Delphi法基础上所形成,其信效度的评价只在本院范围内进行,由于目前还未有关于ICU患者UEX风险评估方面公认权威的量表,故尚未进行效标效度的测定,建议在临床实践中不断验证其有效性,且22分的高危临界值的确定及预测价值的判断,还待在多个医院进行大样本多中心的临床研究,为之后续开展的ICU患者UEX风险预警系统提供强有力的理论依据。