实施性研究中保真度测评的研究进展
2020-12-20翁瑛丽赵博伦周璇陈雪梅周兰姝
翁瑛丽,赵博伦,周璇,陈雪梅,周兰姝
(1.海军军医大学 护理学院,上海200433;2.大连大学 护理学院,辽宁 大连116622;3.复旦大学附属中山医院 护理部,上海200032)
实施性研究(implementation research,IR)是致力于运用一系列特定策略, 将基于循证和促进公众健康的干预措施整合到实践环境的研究[1]。 实施性研究近十年在国外发展迅速,在我国尚为新兴领域。我国实施性研究的发展于2017 年开始起步[2]。 保真度的概念核心在于“按计划进行的程度”,可被沿用于不同的术语中, 如实施性保真度(implementation fidelity)、试验整合保真度(treatment integrity fidelity)、试验保真度(treatment fidelity)和干预保真度(intervention fidelity)。在实施性研究中,保真度(fidelity)是评价结局的重要指标之一, 是对研究按计划或预期进行程度的评估[3]。 相比于其他结局指标接受度、采用率、可行性等,保真度测评在实施性研究中的应用更广泛[4]。 2004 年,美国国立卫生院行为改变研究(behavior change consortium, BCC)工作组对保真度作出定义,包括研究设计(design of study)、培训提供者(training providers)、试验实施(delivery of treatment)、试验接受度(treatment receipt)及试验技能展示(enactment of treatment skills)在内的5 大要素[5]。 这一定义在实施性研究中被广泛使用[6]。 随着卫生领域研究的发展, 护理工作者开始关注如何依照实施性研究的方法,在真实的实践环境下应用循证证据、实施干预。 保真度对干预涉及的内在效度、外部效度、结构效度和统计学效力有重大影响, 对验证和分析复杂干预中的因果关系十分有益[6],因此保真度测评可作为护理循证与研究的可靠评价方法。然而,目前国内循证护理研究者更多地以审查指标、 依从性等衡量研究实施程度,对保真度关注较少。 因此,本研究对保真度的测评方法及应用现状进行综述, 以期为国内循证护理及实施性研究提供参考, 促进护理研究质量的提高。
1 实施性研究中保真度的测评
1.1 保真度的测评者 保真度的测评者通常根据不同测评目的、实施者、干预条件和场所进行选择。测评者可分为3 类, 第1 类为与接受干预相关的人员如患者、照顾者,第2 类为干预实施者,第3 类为与干预无关的第三方(包括运用工具测评的研究者及专门负责测评的人员)。 对于实施性研究来说,多采用第1 类及第3 类的测评者避免测评结果的偏倚。在对干预接受依从性进行测评时,由于是对自身接受的干预情况的测评, 患者及照顾者的测评结果偏倚的可能性较小, 因此多采用患者及照顾者为测评者,如Rahn 等[7]的研究通过患者填写标准化问卷,反馈依从性情况;Kogan 等[8]在测评患者用药依从性的过程中, 采用患者在社区网络平台自我报告的方式。而第三方利用问卷等工具进行保真度测评,在不同研究中也有所体现[6]。 另外,有时由于患者、照顾者缺乏对干预的充分认识而忽略干预的内容,以至于无法衡量干预质量; 因此为了实现测评对干预调整、干预质量提高起到更大作用,保真度则需要实施者或第三方测评。 例如,1 项在社区实施康复训练的研究中, 研究者利用200 多个录像记录测评患者及实施者的依从性后,将信息反馈给康复师、促进其修改了训练方案[9]。 此外,联合使用不同类别的测评者也见于研究中, 如某项目采用了实施者上门观察及患者计数后反馈2 种方式, 搜集患者依从性信息[10]。 值得注意的是,采用不同的测评者也会导致测评的偏重差异或者需要经过特殊培训, 比如研究采用患者及照顾者进行测评时, 研究往往侧重于干预实施过程的保真度, 而采用实施者或专门负责的人员时,常常需要对测评者进行培训以保证测评质量、发挥其监测实施的价值[11]。
1.2 保真度测评的形式
1.2.1 保真度的直接测评形式 直接测评的形式包括直接观察、录音或录像、收集实施记录单或病历系统记录、结构访谈等;利用录音或录像、根据预定的标准评估实施过程, 被公认为是保真度测评的标准形式[5,12]。 首先,研究者多利用直接观察评估干预实施过程、 以达到不同目的(包括确保项目按计划实施、监测对照组人员未接受干预、调整干预内容、改进实施质量等)。例如1 项研究为了测评髋部骨折女性坚持运动的保真度, 研究者利用直接观察确保运动实施、调整训练内容[13]。Perepletchikova等[14]的研究中,心理工作者运用观察法,通过单向的镜子观察治疗过程。 其次,可采取录音或录像、收集实施记录单或病历系统记录等方式来测评实施干预的一致性。录音或录像等形式利于查询、 收集评估干预一致性的重要信息,即实施干预的次数和时长等[5]。此类测评形式可在实施干预时用于监测, 录音或录像需干预场所在室内且较为固定, 常见于涉及健康教育的研究,如在1 项关于自我疼痛管理的研究中,音频被用于记录每一课程并在随机抽取后作为评估保真度的依据[15]。 再次,结构访谈作为高质量的测评形式,通常用于深入了解实施者及被试者对干预的理解,以确保干预的高效实施、 防止沾染的行为。 如Dean等[9]在访谈被试者后了解到其行为与实施计划不符的原因后,修正实施计划,确保了干预实施。
1.2.2 保真度的间接测评形式 间接测评包括自评报告、清单评估、问卷调查等形式。 自评报告是研究者通过实施者反馈对于干预措施的想法后, 反思并改进实施过程, 确保实施者持续地掌握技能并依照计划干预的测评形式[5-6]。 然而,由于涉及实施者自身利益, 实施者自评报告的形式对于评估实施依从性并不十分准确, 因此提倡通过被试者自我报告来测评保真度[14]。 清单评估被认为是最简单的、测评保真度的形式,作用如下:(1)判断实施过程中是否按计划执行干预;(2)了解实施者是否掌握技能;(3)评估干预内容的实施程度。然而,利用清单评估依从情况的弊端是可靠性较差,不能反映真正的实施情况[5]。现有的清单分2 种, 一是专门用于测评保真度的清单[5],二是仅部分条目用于测评保真度的清单,如包含2 个保真度测评条目的TIDieR (template for intervention description and replication)清单,涵盖干预实施偏倚等报告内容的CONSORT 清单[5,14]。 问卷调查更多的是对实施者关于干预内容的认知、 掌握技能的程度以及对干预措施的理解和期望的评估。如Cheing 等[16]利用疼痛康复预期量表评估实施者对治疗师能力和联动合作的信心;Torrey 等[17]根据护士产前简短干预的内容, 制定问卷并测评实施者的依从性与能力。
1.3 保真度测评的内容 保真度测评内容可归类为研究设计保真度、培训保真度、实施干预保真度、干预接受保真度。 研究者报道最多的是对实施干预保真度的测评,对干预接受保真度的讨论。研究设计保真度及培训保真度作为保真度干预的必要前提被较少提及[18]。
1.3.1 研究设计保真度的测评 研究设计是针对研究假设检验的变量选择合适的干预及其实施方式。此方面保真度测评体现在建立过程监控,减少试验组与对照组的沾染, 制定反映保真度的过程测评指标(如实施干预的时长、数目和频率)。比如,依从性评估作为保真度测评的主要指标, 为开展研究的时间安排、研究过程监测以及分析结果提供依据。O’Halloran等[10]报道,护士在72 周的干预时间内,于第2、第4、第8、第12、第18、第24 周及之后每8 周的时间点进行家庭随访,查看患者戴保护器的依从性。研究结果表明, 在护理院免费提供保护器的政策并不能有效地降低髋部骨折的发病率, 而低保真度成为政策失败的原因。Ersek 等[19]对使用疼痛管理策略和接受疼痛教育的患者进行对照试验,护士在基线、完成干预或教育、 干预6 个月后的3 个时间点分别对2 组患者进行依从性评估。 结果显示,2 组的依从性差异并没有统计学意义, 排除了真实的实践环境下疼痛管理策略无效的可能原因。可见,研究设计保真度的测评可对研究过程的可靠性提供有效保障。
1.3.2 培训保真度的测评 实施性研究通常需要在选择和培训人员后开展干预。 培训保真度的测评如评估人员对干预的理解、人员掌握技能的程度等,不仅为管理者作决策提供信息, 对保证实施者干预时的一致性也发挥重要作用。 Rahn 等[7]报道,研究中干预组的护士接受统一培训, 其保真度测评内容包括:(1)确认分发教材、布置任务、共计长约16 h 的课程等培训环节的实施;(2)收集护士对施训者的看法;(3)测验培训前后护士知识水平;(4)专人评价课程质量。 研究提示, 培训保真度测评需基于培训措施,可依据培训实施手册进行,能促进干预标准化实施。另外,由于受训的人员可能遗忘干预内容及实施要点,培训保真度测评可间隔一段时间进行一次[11,18]。为确保干预实施, 培训保真度的测评有时还包括态度方面的内容,如Gearing 等[18]提到测评实施者的热情。由此可知,培训保真度的测评可为保证实施者执行干预的一致性及质量奠定坚实基础。
1.3.3 实施干预保真度的测评 实施干预保真度的测评具体体现在标准化流程的执行及对行为依从的核查等方面。 实施干预保真度的测评结果是实施性研究验证干预有效性的前提。 如Kogan 等[8]利用培训及支持策略克服循证干预的困难, 提升干预保真度,最终实现了80%的干预效力。 另外,干预保真度的测评在实施性研究中对解释干预有效性具有积极意义。1 项护士主导的关于跌倒预防的研究报道,护士实施依从性较好但患者干预结果无显著效果[20],该研究根据保真度测评结果良好, 基本排除了低实施率造成无显著效果的可能性, 实现了对干预效果的准确判断。
实施性研究往往将干预保真度测评的指标作为研究的结果。 实施干预保真度指标可以具体描述为“次数”、“时长”、“比例”、“剂量”、“个案描述”。 “次数”即指一个特定行为或干预发生的次数,有的研究以一个计划中的行为是否发生为计数。 “时长”通常指一个干预花费的平均时间,例如1 例患者每30 d接受干预的时间。 “比例”通常指一个特定的干预活动花费的时间与所有活动花费时间的占比[12]。 而“剂量” 是较为综合的指标, 即患者接受的干预内容的量,可通过干预日志、清单或出席登记记录衡量干预剂量。“个案描述”可以是对诊断及治疗的选择、患者测评的报告[18]。
1.3.4 干预接受保真度的测评 干预接受保真度聚焦于患者是否理解及采纳干预, 避免由于患者无法接受并影响干预的执行、而错误地认为干预无效。1项研究报道: 护士主导的关于多发性硬化护理干预决策制定与实施的项目, 在干预前邀请2 名患者分别参与制定及反馈意见;干预期间,对患者进行问卷调查及访谈,评估患者是否能接受干预[21]。 此研究中,干预接受保真度的测评结果充分说明患者可接受干预, 因此测评结果对干预结果的有效性起到了支持作用。 相对地,这也有利于排除无效干预、选择有效的措施。另外,干预接受保真度测评可体现在一些妨碍患者接受干预的因素上,包括态度和情感倾向等。如患者出现抵抗、愤怒、敌意等反应可能与较低的干预接受保真度相关[7]。 此内容的测评为避免患者身上发生的、 与干预本身无关的因素影响干预效果提供合理依据。
1.4 保真度测评的分析及评价 保真度测评结果收集后进行分析、 评价可为干预实施提供参考。 目前,多数研究虽然对保真度进行测评和报道,但并未将保真度与结果指标相联系、 阐述其在研究中发挥的作用[12]。 研究结合保真度分析并作评价通常从以下几方面进行考虑。 (1)分析保真度评估实施成本、预测可能的障碍因素[15]。 保真度测评的干预时间点、实施者、时长等结果,分析后可评估研究在人力、物力、时间的投入。 同时,基于分析结果从经济学角度提供解决的方案,可以克服研究中的障碍因素。 (2)利用保真度评价实施质量及其对结果的影响。 有研究者认为,对保真度中的剂量和依从性进行报道,是在“数”的层面而非“质”的层面、保证干预实施质量;很难衡量保真度对结果影响的大小, 但可以依据保真度情况确定是不是造成了误差[12]。 研究只统计干预后结局指标而不评价保真度, 则不能提供可能影响结果的完整信息。 Carnes 等[15]提到,小样本及短时间的干预效果可能不明显,因此,可以通过对比评价几个试验分组的保真度测评、 挖掘实施剂量对结果的影响。 学者Mccormick 等[6]提到,在5 个地点同样对患者进行躯体活动干预和测评保真度, 仅其中1个保真度评价高的地点进行的干预显著有效。 这说明,保真度测评在一定程度上反映了研究实施质量,测评结果有助于验证研究有效性。并且,保真度测评还可提供干预内容的相关信息, 多位研究者提到进行保真度监控后研究者可推进和完善干预措施,提高干预实施质量[6,11]。 (3)通过保真度测评结果可判断是否发生试验沾染。 如实施者根据既定的干预时间点、频率、时长等记录进行干预的情况,研究者依据记录测评保真度后, 可以了解一个照护团队中合作照护及个人提供照护的情况, 进而判断是否发生个人层面的沾染[12]。 (4)通过统计方法分析将保真度测评结果纳入到研究结果分析中, 如对干预组及对照组的结果进行比较、分析干预效果时,Santacroce[16]建议将患者接受的干预剂量作为一个独立变量纳入回归方程分析, 可得到保真度矫正后的真实的干预效果。
2 保真度测评应用现状
2.1 保真度测评在神经康复中的应用 神经康复干预较为复杂,需对关键干预措施进行识别,需明确干预对象的特异性,需确保干预实施人员的资质,保真度测评的应用为满足这些需要、 提供了切实可行的方法。保真度测评对干预过程进行控制和记录(包括人员、干预剂量等),为甄别神经康复治疗中不同干预的有效性提供依据。 1 项对阿尔兹海默症患者及照顾者进行干预的研究结果表明, 实施干预保真度达82%~94%, 而每周30 min 或60 min 的干预对促进患者肢体活动均有显著效果[22]。 同时,该研究干预接受保真度测评结果甄别了不同干预内容的作用: 平衡训练和力量训练被认为是最实用的训练内容; 照顾者支持和关于现实期望的教育被认为帮助最大。基于这样的测评结果,研究可进一步完善和调整干预策略,以达到提高干预效果的目标。 此外,神经康复干预效果不佳, 可能不在于干预措施有效性差, 而是由于实施保真性较低造成了不良结局。Walker 等[23]提到,康复干预对实施者(治疗师、护士等),干预形式(面对面、电话联系),时间和程度等的记录是保真度测评的内容, 应用保真度测评对提高干预效力和指导临床实施干预具有重要意义。 1 项关于亨廷顿舞蹈症康复的研究中, 对康复干预过程进行保真度测评:(1)干预——肢体活动训练,结合研究者采用量表评估(满分16 分)和训练者自我评估2 种测评方式; (2)干预——提供手册进行教育,结合训练者自我报告清单和患者依从性评估2 种方式;(3)干预——提供患者录像指导训练,采用患者依从性评估[24]。 结果表明,17 例患者完成了训练,7 例训练者自评报告中实施的干预与计划相一致、 其中1 名保真度测评达100%,研究者测评达(11.0±2.4)分。 该研究对神经康复过程的保真度测评方法及过程的报道为临床重复康复干预提供指导。
2.2 保真度测评在艾滋病预防中的应用 保真度测评的作用在提高艾滋病筛查率和疾病意识方面得到充分体现。 干预接受保真度反映患者接受干预的程度,在艾滋病预防研究中颇具意义。患者通过筛查知晓自己的感染状态对预防艾滋病至关重要, 不同研究者对干预接受保真度进行测评, 找到了患者在自我筛查过程中遇到的困难和筛查率低的原因,并针对性的进行干预, 从而进一步提高了筛查正确性并扩大了筛查人群。 Marley[25]报道,在HIV 口腔自我测试中,42%参与者进行操作时错误地解读说明书,10%参与者取样方式不正确。 该研究通过测评保真度发现,参与者操作错误是导致HIV 口腔自我测试法灵敏度比理论值低的原因。 实施干预保真度测评有助于促进HIV 高发人群接受健康教育,增强群体疾病意识、提高筛查参与度。 1 篇综述指出,测评实施干预保真度确保了性教育项目在肯尼亚的实施,提高了学生的疾病意识[26],为验证相关干预减少HIV的感染率提供了依据。
2.3 保真度测评精神健康服务中的应用 保真度在精神健康领域的应用主要在于确保精神卫生服务的质量。 这具体体现在来自欧洲、美国和澳洲的不同研究者应用保真度测评推进干预实施,同时研制并应用保真度测评量表对精神卫生服务质量进行监控[27]。 如学者Ruggeri 等[28]在研究中,除了对实施者进行能力评估确保培训保真度外, 运用CTRS(the cognitive therapy scale-revised,CTRS)量表等对干预内容进行了测评。 如Sanches[29]应用保真度量表测评后发现,干预实施达到量表标准时,可有效减少患者从第1 次发现精神病症状到开始治疗的时间。 保真度测评在研究中的应用为提高实施者能力、 确保和提升干预质量提供有力支持。
3 启示与展望
目前, 国外的实施性研究已经充分重视保真度的测评,并且在多个医学领域得到实际应用,取得了显著的效果。然而,在国内,尤其是在护理领域,保真度测评仍未得到研究者关注,相关研究开展极少,仅有的少数研究也局限于测评实施干预及接受干预的行为依从性, 远未将保真度测评对实施性研究质量的保障作用充分挖掘和发挥, 因此具有非常广阔的探索和拓展的空间。基于对不同领域、不同国家学者关于保真度测评方法及应用的研究分析与总结,现提出在我国护理相关研究中融入保真性测评的启示。(1)研究者可运用保真度的测评方法促进循证实践。随着国内对护理质量要求的不断提高,循证护理实践及相关研究开展得如火如荼。 循证护理致力于减少证据与实践之间的差距。 但是实际证据转化与实施条件的不充分使得循证证据与临床实施之间产生了巨大的差距, 从根本上阻碍了护理循证证据发挥有效作用。 为了在真实的临床实践环境中能够按照计划标准推进护理证据应用及干预实施, 保真度测评可为研究设计以及实施过程质量提供可靠的决策和评价依据。(2)研究者可利用保真度的测评方法提高护理实施性研究结果的效力。 保真度测评为全面评价护理干预实施效果提供了有效方法。 研究设计和实施干预保真度测评有利于保证研究过程的质量和干预有效性; 培训保真度测评提供评定实施者资质的依据; 干预接受保真度测评为选择有效的干预、保证患者依从性提供支持。 (3)护理管理者可依据保真度测评减少护理工作成本。 根据保真度的测评, 护理管理者可避免在临床实施被证明有效但不适用于实践环境的干预, 从而避免不必要的护理供应和耗材。 同时,护理管理者可通过制定政策、改造环境和工作流程等, 提高干预实施的临床适宜性和护士的实施率,从而减少人力成本。
无论护理实践还是护理研究均是一个持续的过程,应该同时重视过程质量以及结局效果。而保真度测评对各个环节进行评估的特征非常适用于提高护理干预质量,明确实施安排(研究设计)以及识别实施障碍因素, 是一个很有应用前景的测评护理实践与研究质量的方法。因此,护理研究者应借鉴其他领域的应用经验, 积极拓展保真度测评在护理实践以及研究中的应用, 建立更加具备护理专业特异性的保真测评工具与体系,聚焦护理干预的实施问题,改进护理质量、优化实施过程。