慢性阻塞性肺疾病患者疗效满意度问卷修订版研制与评价
2022-07-03李建生谢洋王佳佳冯贞贞
李建生 ,谢洋 ,王佳佳 ,冯贞贞
慢性阻塞性肺疾病(chronic obstructive pulmonary disease,COPD)是一种常见的、以持续呼吸症状和气流受限为特征的、可以预防和治疗的疾病,严重危害公众健康[1]。美国成人COPD患病率为12%[2],我国40岁以上人群 COPD患病率达 13.7%[3],COPD位居我国主要死因第3位[4]。近年来,国内外COPD临床试验取得较大进展,而疗效指标的选择、测量和比较是评价各种干预措施临床疗效的关键。根据来源不同,疗效指标可分为生物标记物和临床结局评估[5]。患者报告结局作为临床结局评估方法之一,是从患者自身的角度报告患者的健康状态和治疗结果,其中疗效满意度是其独特组成部分[6]。课题组曾基于经典测量理论研制了由18个条目组成的病证结合COPD患者疗效满意度问卷(Effectiveness Satisfaction Questionnaire for COPD,ESQ-COPD),包括工作生活能力、临床症状、治疗效果、治疗方便和总体疗效5个领域,为COPD临床疗效评价提供了有效工具[7-10]。经典测量理论具有数学模型简单等优点,是应用最广泛的测量理论,主要用于条目筛选和测评工具评价。随着测量实践不断深入,经典测量理论局限性日益显现,表现在信度估计精度不高,误差指标笼统、单一,各种参数的估计对样本的依赖性太大,各参数指标之间的配套性较差等[11]。项目反应理论则是针对经典测量理论局限性提出来的一种现代测量理论,具有项目参数的跨群体不变性、潜在特质量表的可选择性、参数设计的科学性、信息函数概念的引进与信息函数的可加性等特点,已被广泛用于测评工具条目的筛选[11]。联合应用两种测量理论可实现优势互补,为研制/修订测评工具提供理论基础与方法学支撑。因此,本研究遵循国际量表研制规范,结合以往研究经验,联合应用经典测量理论和项目反应理论对ESQ-COPD进行修订,形成病证结合ESQ-COPD修订版(mESQCOPD),并评价其测量学特性,以期为COPD临床疗效评价提供新的有效工具。
1 对象与方法
1.1 成立ESQ-COPD修订小组 参照国际量表研制规范,成立ESQ-COPD修订小组,负责概念框架、条目管理和数据管理等工作。此外,成立由量表学、呼吸病学(中医、西医和中西医结合)和卫生统计学等多个领域专家组成的专家委员会,负责为本研究提供技术指导。
1.2 预设问卷特征,规范概念和术语 预设问卷类型及目的、适用对象、条目形式、反应尺度、回忆周期、条目数量及顺序、计分规则和管理方式等,见表1。规范患者报告结局、疗效满意度、经典测量理论、项目反应理论、条目、问卷和认知采访等概念和术语,保证研究的一致性。
表1 预设的mESQ-COPD基本特征Table 1 Predefined basic characteristics of the mESQ-COPD
1.3 修订概念框架,建立条目池 基于病证结合模式,通过文献研究、研究小组讨论、专家咨询和患者访谈等方法对ESQ-COPD概念框架进行修订,修订后的概念框架包括4个领域、25个方面,其中临床症状领域6个方面,工作生活能力领域2个方面,环境适应能力领域7个方面,治疗效果领域10个方面。通过文献研究、理论推导、研究小组讨论和患者访谈等方法全面收集相关条目,建立的条目池包括87个条目,其中临床症状领域36个条目,工作生活能力领域20个条目,环境适应能力领域14个条目,治疗效果领域17个条目。
1.4 评阅条目,形成mESQ-COPD草表 通过专家咨询和患者访谈方式逐条评阅条目池中的条目,内容包括语言表达、条目形式、领域及选项设置等。2017年4—6月进行首轮专家咨询和患者访谈,2017年6—8月进行第2轮专家咨询和患者访谈。采用问卷形式进行专家咨询,采用“面对面”形式对COPD患者进行半结构化访谈。每轮结束召开研究小组讨论会,对条目评阅结果进行综合评估。在条目评阅基础上,通过增减、合并和修改条目等,形成mESQ-COPD草表。
1.5 预调查,分析与筛选条目,形成mESQ-COPD
1.5.1 预调查 2017年10月至2018年2月,采用方便抽样法选取全国10家三级甲等医院呼吸科门诊收治的COPD稳定期患者为调查对象进行问卷调查,工具为COPD患者生存质量调查表1(包括填写说明、患者一般情况和mESQ-COPD草表)。诊断标准为2017版“慢性阻塞性肺疾病全球防治创议(GOLD)”[12]和中华医学会呼吸病学分会慢性阻塞性肺疾病学组发布的《慢性阻塞性肺疾病诊治指南(2013年修订版)》[13]。纳入标准:(1)符合COPD诊断标准;(2)年龄≥18周岁;(3)自我报告时能够用汉语口头交流,具备汉语阅读能力;(4)连续采用中医、西医或中西医结合治疗方案达3个月;(5)自愿参加调查,并签署知情同意书。排除标准:(1)参与者目前的健康情况或心理状态不适合参加研究,如合并重度焦虑/抑郁;(2)存在认知障碍或其他损害(如视力、听力、言语、肢体等)而不能完成自我报告或讨论。借鉴多变量分析的样本量估计经验和方法[14-15],预调查样本量根据mESQCOPD草表条目数的5~10倍进行估算。当一份问卷有20%的数据缺失时,测评结果视为无效;个别条目数据缺失时,则以该条目得分的均值替代。
1.5.2 分析与筛选条目 经典测量理论分析方法包括离散趋势法、相关系数法、因子分析法和Cronbach'sα系数法。离散趋势法:采用各条目得分的标准差衡量其离散程度,以标准差≥0.80为入选标准。相关系数法:采用条目-领域、条目-问卷的相关系数筛选条目,以条目与所在领域的相关系数大于其他领域,且条目与所在领域及问卷的相关系数均≥0.50为入选标准。因子分析法:以因子载荷≥0.40为入选标准[16]。Cronbach'sα系数法通过分析删除当前条目后该领域和问卷的Cronbach'sα系数是否变大来筛选条目。项目反应理论分析指标包括条目区分度、难度、条目信息量、条目特征曲线及条目信息曲线。入选标准为区分度为0.30~3.00,难度为-4.00~4.00,且单调递增,平均信息量不小于16/条目数[17-18]。原则上,条目符合以下1种情况即建议删除:(1)超过1种经典测量理论分析方法的结果未达标;(2)不满足区分度、难度入选标准。个别条目尚需结合疾病特点与前期专家意见进行取舍。
1.6 现场调查,评价mESQ-COPD
1.6.1 现场调查 2018年11月至2019年2月,采用方便抽样法选取全国6家三级甲等医院呼吸科门诊收治的COPD稳定期患者为调查对象,工具为COPD患者生存质量调查表2(包括填写说明、患者一般情况和mESQ-COPD)。纳入标准、排除标准、样本量估算及缺失数据处理方法同预调查。
1.6.2 mESQ-COPD测量学特性评价 主要包括信度、效度和可行性,其中效度包括内容效度、结构效度、标准效度和区分效度。信度评价采用Cronbach'sα系数,一般认为0.700以上为好[14-15]。内容效度评价采用定性与定量分析相结合,其中定量分析采用各条目与所在领域的相关系数进行评价,以≥0.400为标准[14]。结构效度评价采用验证性因子分析,评价指标与标准为:比较拟合指数、非规范拟合指数接近0.90,增量拟合指数接近0.95,标准化残差均方根接近0.08,近似误差均方根接近0.08[19-20]。标准效度评价采用GOLD推荐的COPD评估测试、改良版医学研究委员会呼吸困难量表(mMRC)为标准量表,通过问卷与COPD评估测试、mMRC的相关系数进行评价,以≥0.400为标准[1,14]。区分效度评价采用肺功能1、2级与肺功能3、4级患者问卷及各领域得分差异是否具有统计学意义。可行性评价采用问卷的接受率、完成率及完成时间,接受率、完成率通常要求达到85%以上,完成时间一般<20 min[14-15]。
1.7 统计学方法 采用MULTILOG 7.03软件进行项目反应理论分析,采用LISREL 8.70软件进行结构效度评价,采用SPSS 20.0软件进行其余统计分析。计量资料符合正态分布以(±s)表示,不符合正态分布以中位数(四分位数间距)〔M(QR)〕表示;计数资料采用频数和百分比表示。专家积极系数、专家意见集中程度(均值、满分比、等级和)、专家意见协调程度(变异系数、专家意见协调系数及χ2检验)和专家权威程度(判断系数、熟悉程度系数)计算方法参考相关文献[21-22]。
2 结果
2.1 基于专家咨询和患者访谈的条目筛选 首轮共向专家发放问卷28份,收回27份,专家积极系数为96.4%。各条目重要性评分为5.26~9.59,满分比为3.57%~75.00%,等级和为288.5~1 849.5;各条目重要性评分的变异系数为0.079~0.462,协调系数为0.403(χ2=900.800,P<0.05);判断系数为0.965,熟悉程度为0.951,权威程度为0.958。个别专家提出建议,如条目“您对身体困重的改善感到满意吗?”与“您对疲劳乏力的改善感到满意吗?”表达含义相似,建议合并;条目“您对耳鸣的改善感到满意吗?”与COPD相关程度不大,建议删除;条目“您对自己随意改变体位(弯腰、屈膝、下蹲、上下床等)的能力满意吗?”与“您对自己随意改变体位的能力的恢复满意吗?”表达含义重复,建议合并。此外,共调查30例患者,部分患者指出个别条目不易理解,如条目“您对喉中痰鸣的改善感到满意吗?”中的“喉中痰鸣”与条目“您对呕吐痰涎的改善感到满意吗?”中的“痰涎”过于专业化,不易理解。研究小组综合专家咨询与患者访谈结果,拟删除29个条目、合并30个条目、修改3个条目、增加1个条目。
第2轮共向专家发放问卷28份,收回25份,专家积极系数为89.3%。各条目重要性评分为7.28~9.68,满分比为8.00%~76.00%,等级和为275.0~839.0;各条目重要性评分的变异系数为0.065~0.295,协调系数为0.264(χ2=263.880,P<0.05);判断系数为0.959,熟悉程度为0.951,权威程度为0.955。个别专家提出建议,如条目“您对焦虑不安的改善感到满意吗?”与“您对心情烦躁的改善感到满意吗?”表达含义相似,建议合并;条目“您对目前所采用的治疗方法的了解感到满意吗?”表达不通顺,建议改为“您了解目前采用的治疗方法吗?”此外,共调查30位患者,一致认为条目及其选项易于理解,不需增加条目,且问卷结构较为合理。研究小组综合专家咨询与患者访谈结果,拟删除1个条目、合并5个条目、修改2个条目。
经过2轮条目评阅,mESQ-COPD草表形成,由4个领域、19个方面、36个条目组成,其中临床症状领域5个方面、15个条目,工作生活能力领域2个方面、7个条目,环境适应能力领域3个方面、3个条目,治疗效果领域9个方面、11个条目。
2.2 预调查结果
2.2.1 一般情况 共发放问卷271份,收回267份,其中2份数据缺失超过20%,视为无效问卷,最终共回收有效问卷265份,有效回收率为97.8%。患者平均年龄(68.0±10.7)岁;男198例(74.7%),女67例(25.3%);肺功能1级22例(8.3%),2级97例(36.6%),3级80例(30.2%),4级61例(23.0%),缺失5例(1.9%)。
2.2.2 经典测量理论结果 (1)离散趋势法:8个条目得分标准差<0.80。(2)相关系数法:条目与所在领域的相关系数均≥0.50,且大于其他领域,2个条目与问卷相关系数<0.50。(3)Cronbach's α系数法:1个条目删除后所在领域的Cronbach's α系数变大,其余条目删除后所在领域和问卷Cronbach's α系数均未变大。(4)因子分析法:采用探索性因子分析,根据概念框架设定因子个数为4,KMO统计量为0.948,Bartlett's球形检验P<0.001,提示适合因子分析;结果显示,所有条目在至少一个因子上的因子载荷≥0.40。
2.2.3 项目反应理论结果 采用探索性因子分析,上述KMO统计量、Bartlett's球形检验结果提示适合因子分析;结果显示,第一因子的特征值(12.176)与第二因子的特征值(1.826)之比为6.668>3.000,满足单维性假设。进一步采用项目反应理论分析,条目区分度、难度和平均信息量,见表2。1个条目区分度<0.30,2个条目区分度>3.00,其余均为0.30~3.00;10个条目难度>4.00,其余均为-4.00~4.00,且单调递增;5个条目平均信息量<0.444(16/36),其余均>0.444。
表2 条目区分度、难度和平均信息量Table 2 Item discrimination,difficulty,and mean information
上述条目筛选方法结合COPD疾病特点与前期专家意见,建议删除10个条目,保留26个条目。考虑临床可行性等因素,拟进一步优化、精简条目,提高部分方法及指标筛选标准。(1)离散趋势法:条目得分标准差≥0.85。(2)相关系数法:条目与所在领域的相关系数大于其他领域,且条目与所在领域及问卷的相关系数均≥0.60。(3)因子分析法:因子载荷≥0.50。(4)条目难度:为-3.00~3.00,且单调递增。结果显示,14个条目得分标准差为0.80~0.85;6个条目与总问卷相关系数为0.50~0.60;14个条目的最大因子载荷至少在一个因子上为0.40~0.50;4个条目难度为-4.00~-3.00,7个条目难度为3.00~4.00。研究小组据此进行深入讨论,进一步删除7个条目,最终形成mESQ-COPD(可扫描本文二维码获取),包括4个领域、9个方面、19个条目,其中临床症状领域2个方面、11个条目,工作生活能力领域2个方面、3个条目,环境适应能力领域3个方面、3个条目和治疗效果领域2个方面、2个条目。修订前后概念框架比较,见表3。
表3 ESQ-COPD与mESQ-COPD概念框架比较Table 3 Comparison of the conceptual framework between the ESQ-COPD and mESQ-COPD
2.3 现场调查结果
2.3.1 一般情况 共发放问卷370份,收回368份,其中3份数据缺失超过20%,视为无效问卷,最终共回收有效问卷365份,有效回收率为98.6%。患者平均年龄(66.1±8.7)岁;男278例(76.2%),女87例(23.8%);肺功能1级29例(7.9%),2级145例(39.7%),3级125例(34.3%),4级58例(15.9%),缺失8例(2.2%)。
2.3.2 信度 问卷的Cronbach'sα系数为0.949,临床症状、工作生活能力、环境适应能力和治疗效果4个领域的Cronbach'sα系数分别为0.943、0.869、0.829和0.767。
2.3.3 内容效度 临床症状领域条目(A1~A11)与所在领域相关系数为0.667~0.798,工作生活能力领域条目(B1~B3)与所在领域相关系数为0.855~0.882,环境适应能力领域条目(C1~C3)与所在领域相关系数为0.795~0.907,治疗效果领域条目(D1、D2)与所在领域相关系数为0.857~0.934,见表4。
表4 mESQ-COPD各条目与所在领域的相关性分析(rs值)Table 4 Item-domain correlation coefficients of the mESQ-COPD
2.3.4 结构效度 验证性因子分析结果显示,比较拟合指数、增量拟合指数均为0.94,非规范拟合指数为0.93,标准化残差均方根为0.07,近似误差均方根为0.16。各条目在所属领域的因子载荷为0.67~0.94。
2.3.5 标准效度 mESQ-COPD及其各领域与COPD评估测试的相关系数为0.371~0.538,与mMRC的相关系数为0.329~0.564,见表5。
表5 mESQ-COPD及各领域与COPD评估测试、mMRC的相关性分析(rs值)Table 5 Correlation coefficients of the total score and domain scores of the mESQ-COPD with CAT score and mMRC score
2.3.6 区分效度 肺功能1、2级与肺功能3、4级患者mESQ-COPD及各领域得分比较,差异均有统计学意义(P<0.01),见表 6。
表6 肺功能1、2级与肺功能3、4级患者mESQ-COPD及各领域得分比较(±s,分)Table 6 Comparison of the total score and domain scores of the mESQCOPD between mild/moderate and severe/extremely severe COPD patients
表6 肺功能1、2级与肺功能3、4级患者mESQ-COPD及各领域得分比较(±s,分)Table 6 Comparison of the total score and domain scores of the mESQCOPD between mild/moderate and severe/extremely severe COPD patients
领域 肺功能1、2级 肺功能3、4级 t值 P值总问卷 1.48±0.57 1.84±0.69 5.306 <0.001临床症状领域 1.40±0.59 1.67±0.74 3.875 <0.001工作生活能力领域 1.26±0.66 1.78±0.91 6.219 <0.001环境适应能力领域 2.08±0.88 2.57±0.85 5.434 <0.001治疗效果领域 1.36±0.78 1.72±0.88 4.010 <0.001
2.3.7 可行性 问卷接受率为99.5%,完成率为99.2%,平均完成时间为(6.13±4.59)min。
3 讨论
近年来,随着不同报告主体(患者、医生和观察者)的临床结局测评工具逐渐增多,暴露出一些问题,如从国外翻译的测评工具欠缺跨文化调试和适用性评价、国内自行研制的测评工具方法学和报告质量有待提高等,限制了临床结局测评工具的推广和应用。因此,有针对性地开展修订工作显得尤为必要。测评工具修订的途径主要包括引进国外测评工具和优化现有测评工具,理论与方法学基础则包括经典测量理论和现代测量理论(概化理论、项目反应理论)。概念框架修订、条目分析与筛选及测评工具测量学特性评价是测评工具修订过程中的重要环节。
概念框架是指在某一领域的条目之间或某一概念的领域之间所预期的关系,构建概念框架过程的实质就是将抽象的概念转化为可测量的具体指标的过程,是测评工具研制与修订的关键步骤[14]。概念框架一般为“概念-领域-方面-条目”结构,即概念由若干领域组成,领域由若干方面组成,方面由若干条目组成[23]。
ESQ-COPD包括工作生活能力、临床症状、治疗效果、治疗方便和总体疗效5个领域,涉及18个方面。mESQ-COPD包括临床症状、工作生活能力、环境适应能力和治疗效果4个领域,涉及9个方面、19个条目。与ESQ-COPD相比,mESQ-COPD变化主要表现在:(1)增加“环境适应能力领域”。“人与天地相参也,与日月相应也”,人体生理病理与自然界变化相适应,昼夜晨昏的变化、季节的交替及地域的差异等必然对人体产生影响。鉴于COPD生理病理特点,增加环境适应能力相关的内容尤为必要。(2)“治疗方便领域”和“总体疗效领域”合并为“治疗效果领域”。ESQCOPD“治疗方便领域”涉及“疗法方便”“继续治疗”“增加不适”3个方面,可理解为治疗效果的延伸之意;“总体疗效领域”涉及“整体健康状况”1个方面,是对接受治疗后整体状态的评价,可归属于治疗效果领域。
基于经典测量理论的条目筛选方法,包括主观评价法、离散趋势法、相关系数法、因子分析法、聚类分析法、逐步回归分析法、逐步判别分析法和Cronbach'sα系数法等,各种方法从不同角度筛选条目,各有优缺点[14-15]。条目评阅主要采用主观评价法,包括专家咨询法和患者访谈法。专家咨询法主要是相关领域的专家从重要性与确定性角度筛选条目。本研究采用德尔菲法进行了两轮专家咨询,结果表明,两轮专家咨询的专家积极系数、权威程度均较高,第二轮专家意见集中程度、协调程度总体上较第一轮提高,条目更加优质。此外,两轮专家咨询过程均有专家就语言表达等提出意见或建议。患者访谈法则主要是患者从重要性和适宜性角度筛选条目。本研究进行了两轮患者访谈,结果显示,第二轮条目的适宜性较第一轮提高。离散趋势法是从敏感性角度筛选条目,一般采用标准差反映离散趋势。本研究中8个条目评分标准差<0.80,14个条目评分标准差为0.80~0.85,提示部分条目敏感性稍差。相关系数法是从代表性和独立性角度筛选条目,本研究中条目与所在领域的相关系数均≥0.50,且大于其他领域,2个条目与问卷相关系数<0.50,6个条目与问卷相关系数为0.50~0.60,提示个别条目代表性和独立性稍差。因子分析法是从代表性角度筛选条目,本研究中所有条目在至少一个因子上的因子载荷≥0.40,14个条目的最大因子载荷至少在一个因子上为0.40~0.50,提示部分条目代表性有待提高。Cronbach's α系数法是从内部一致性角度筛选条目,本研究中仅1个条目删除后所在领域的Cronbach's α系数变大,提示绝大多数条目不影响问卷的内部一致性。
项目反应理论广泛用于条目筛选,与经典测量理论联合应用可实现优势互补。本研究中1个条目区分度<0.30,2个条目区分度>3.00,其余均为0.30~3.00;4个条目难度为-4.00~-3.00,7个条目难度为3.00~4.00,10个条目难度>4.00,其余均为-3.00~3.00,且单调递增;5个条目平均信息量<0.444。说明个别条目区分度过大或过小,部分条目信息量偏小或难度较大,有必要进行适当删减。为了克服单纯依赖统计学指标取舍条目的局限性,研究小组在综合统计学分析结果基础上进行了深入讨论,保留个别有价值的条目。如条目“您对喘息的改善感到满意吗?”区分度为3.15>3.00,研究小组一致认为该条目应予以保留,理由是该数值接近界值3.00,且“喘息”是COPD常见症状,两轮专家咨询条目重要性评分均为9分以上。
测评工具评价内容包括信度(重测信度、复本信度、分半信度、内部一致性信度和评分者信度等)、效度(内容效度、结构效度和标准效度等)、反应度、可行性及天花板与地板效应等[24-25]。信度指测量结果的稳定性或一致性程度,其中内部一致性信度最常用[14-15]。本研究中问卷的Cronbach's α系数为0.949,各领域Cronbach's α系数为0.767~0.943,均>0.700,说明mESQ-COPD及各领域信度好。内容效度是指一个测验实际测到的内容与所要测量的内容之间的吻合程度[14-15]。本研究内容效度评价采用定性与定量分析相结合。定性分析方面,从概念框架修订、条目池建立与条目筛选到mESQ-COPD形成等环节,均有患者和/或专家参与,确保问卷具有良好的内容效度。定量分析显示,mESQ-COPD各条目与所在领域相关系数均>0.600,进一步表明内容效度良好。结构效度是指一个测验实际测到所要测量的理论结构和特质的程度[14-15]。本研究采用验证性因子分析评价问卷结构效度,结果显示,除近似误差均方根稍偏大外,其余拟合指数均接近参考值,且各条目在所属领域的因子载荷均>0.60,说明mESQ-COPD结构效度良好。标准效度指测量与标准测量接近的程度[14-15]。目前尚缺乏疗效满意度测评的“金标准”。本研究采用 GOLD[1]推 荐 的 COPD评 估 测 试 与 mMRC为 标 准量表,结果显示,问卷及各领域与COPD评估测试、mMRC的相关系数均接近或大于0.400,说明mESQCOPD标准效度可接受。区分效度指测量能够区分已知的两类人群生存质量的能力[14]。本研究根据肺功能分级,比较肺功能1、2级与肺功能3、4级患者的问卷及各领域得分差异是否具有统计学意义。结果显示,mESQ-COPD能够较好区分两类人群的健康状态和治疗效果。可行性采用问卷的接受率、完成率及完成时间进行评价[14-15]。问卷的接受率以量表的回收率表示,完成率以问卷的完成比例表示。本研究接受率、完成率均>85%,平均完成时间<20 min,三个指标均说明mESQ-COPD容易被调查对象接受,可行性好。与ESQ-COPD相比,mESQ-COPD的信度和结构效度总体提高,二者均具有良好的内容效度和临床可行性[8]。由于条目筛选过程中联合应用了两种测量理论,mESQ-COPD的条目可能更加优质。
综上所述,mESQ-COPD由19个条目组成,包括临床症状、工作生活能力、环境适应能力和治疗效果4个领域,具有良好的信度、效度和临床可行性,反应度有待后续进一步评价,为COPD临床疗效评价提供了有效工具。
作者贡献:李建生、谢洋进行文章的构思与设计,数据解释,论文的修订;王佳佳、冯贞贞进行研究的实施与可行性分析,数据收集、分析与解释,论文撰写;李建生负责文章的质量控制及审校,对文章整体负责,监督管理。
本文无利益冲突。