APP下载

基于患者报告的运动神经元病结局评价量表的研制及第一轮科学性考评

2020-04-29韩奕张斌龙李建军高颖

山东医药 2020年11期
关键词:区分度效度信度

韩奕,张斌龙,李建军,高颖

1北京中医药大学第一临床医学院,北京100700;2北京中医药大学;3中国中医科学院广安门医院;4河北以岭医院

运动神经元病(MND)是一种神经退行性疾病,只有在多个区域出现上、下运动神经元受损体征,且通过神经影像学、神经系统检查及血液检查排除其他相关疾病后[1],才可作出MND诊断,其临床表现存在着极大异质性,诊断十分困难。迄今为止尚未有确诊MND的方法,且近半个世纪以来约有50项MND相关随机对照研究,其中仅有利鲁唑及依达拉奉两种药物是被认可及广泛使用的,提示我们对MND疾病进展的准确评价仍然是促进其研究和设计发展的重要步骤之一[2]。基于患者报告的结局评价量表[3]重视患者自我评价,评价内容包括患者满意度在内的生理及心理方面多个领域,多应用于评价慢性疾病患者的结局。传统中医在MND治疗中具有独特的系统诊疗思路,本研究将中医整体观与现代医学对MND的认识与评价相结合[4],研制了基于患者报告的MND结局评价量表,并进行第一轮科学性考评。现报告如下。

1 资料与方法

1.1 临床资料 选择2017年2~5月北京中医药大学第一临床医学院脑病科专家门诊、病房、运动神经元病专科及河北以岭医院肌萎缩科收治的MND患者20例,其中男15例、女5例,年龄(53.8±9.9)岁,受教育情况:文盲1例、初中8例、高中或中专4例、大学及以上6例、不详1例。本研究通过医院伦理委员会批准,患者及家属均签署知情同意书。

1.2 基于患者报告的MND结局评价量表研制

1.2.1 基本框架建立 在前期研究工作中,研究小组通过文献及临床病例分析获得MND的症状性指标,综合主成分分析、聚类分析、关联规则等分析方法,形成基于患者报告的MND结局评价量表的基本框架,基于此框架指导条目池建立及量表初稿形成。提取各领域贡献度高的症状条目,对语义相近的条目描述进行合并;按照患者的理解,校正条目问题的表达方式,形成量表条目池。征求神经内科专家及相关领域心理学专家对量表条目池条目的重要性、描述准确性、语义表达等方面的评价及建议,对条目池中的条目进行修正与删减。选取不同文化程度的5例MND患者进行患者访谈及条目描述测试,根据患者反馈,对条目提问方式进行调整,使其符合我国的文化及语言环境,形成条目池专家意见问卷。

1.2.2 条目筛选及量表初稿建立 采用Delphi法[5]。选择5所中医医院或综合性医院,遴选其脑病科或神经内科对于MND有研究基础的副高及以上职称专家25人,以现场发放或邮件回收等方式对量表初稿进行问卷调查[6],基于专家意见问卷进行条目筛选。将专家意见问卷中的条目按照重要程度分为3个等级,并赋值为1~3分(1分为不重要、2分为次重要、3分为重要),由专家依据自身临症经验对问卷中所设条目的重要性作出评价。

基于专家意见问卷调查结果,从4个方面进行条目筛选[6]:①专家积极系数。即量表总体的回收率,代表该领域专家对量表总体可行性的认可度。②条目可操作性。使用满分频率(K)表示,Kj=mj/Mj,Mj表示参加第j个条目评价的专家数,mj表示给满分的专家数;K越大说明该条目越重要,一般认为K以85%为界值,得分≥85%的条目入选。③波动性及协调程度。以变异系数(V)表示,Vj=δj/Xj,δj表示第j个条目的标准差,Xj表示第j个条目的均数,Vj表示专家对第j个条目相对重要性的波动程度;V越高说明波动程度越高,相对应的协调程度越低;采用界值法筛选条目,界值=均数+标准差,得分低于该界值的条目入选。④意见汇总。由于使用呼吸机及胃造瘘术会对患者的心理精神造成一定的影响,故针对是否将此项目列入量表评价进行专家建议调查。搜集专家调查问卷中的建议,经过研究小组论证,对量表条目池进行删减;并对部分条目的描述经讨论后予以更改。结合MND患者逐渐丧失运动功能、部分患者丧失语言功能的疾病特点,尽量保证量表测评时间在15 min以内。

根据国际量表研制说明,将初稿中的条目选项按照Likert-5级评分进行描述;编写明确且简明的卷首语,使被试者了解研究目的、研究背景及需要考察的时间维度,形成基于患者报告的MND结局评价量表初稿。

1.3 第一轮科学性考评

1.3.1 可行性分析 对纳入的20例MND患者进行量表测评,记录回收率、有效率及测评完成时间[7]。

1.3.2 项目区分度分析 项目区分度为条目的鉴别能力,即是否可以对目标人群的能力进行区分。本研究采用各条目与量表总分的Spearman相关系数法计算项目区分度,并与Spearman相关系数界值表进行对比,若大于相对样本量界值则表示该条目与量表目标相关性高,具有良好的项目区分度[8]。

1.3.3 信度分析 信度指量表是否能在受试人群中得到稳定且可重复的结果,本研究采用折半信度、克朗巴哈α系数作为量表信度的检验指标。折半信度[9]把量表按照奇偶数目分为两个量表,通过检验两个量表之间的相关性,反映量表是否能稳定地衡量目标人群的潜在特征。克朗巴哈α系数[10]通过计算条目的相关系数矩阵,分析每个条目之间的相关性即一致性,考量量表是否能同时反映被试者潜在的特定特点,在此处即为MND的疾病严重程度。克朗巴哈α系数≥0.8时,表示量表内部一致性良好。

1.3.4 效度分析 效度主要评价量表与预想的模型框架的拟合度,即量表是否可以测量目标人群的目标特征,本研究主要从内容效度和结构效度两方面对量表的效度进行检验[9]。内容效度[11]是指对多数的测定对象来说,其对量表条目及其选项的理解是否与研究者预设的量表框架一致,使用条目与所属领域之间的Spearman相关系数进行计算,Spearman相关系数越高说明条目与该领域拟合度越高,即内容效度越高。结构效度即构想效度[12],为量表所测属性暂不存在确定的衡量标准时使用的间接测量法,也是验证假设成立的主要方法。绘制量表因子结构图,使用拟合优度指数(GFI)评价模型拟合,GFI>0.8提示模型拟合良好。

1.4 质量控制 在量表初稿的科学性评价调查前,参与调查的人员需经过筛选及统一培训,保证在现场发放问卷时能解答患者的疑惑,并确保不会干预其选择。

1.5 分析方法 采用SPSS23.0统计软件进行K、V、信度、内容效度分析,采用AMOS20.0统计软件进行结构效度分析。

2 结果

2.1 基于患者报告的MND结局评价量表建立结果 经过专家论证及患者语言测评规范后,得到症状指标58个,构成条目池。专家意见问卷共由40个条目组成,量表分为四个维度,核心症状维度包含21个条目、全身症状维度包含8个条目、心理精神维度包含7个条目,社会关系维度包含4个条目。专家问卷发放回收问卷比例为23∶25,专家积极系数(回收率)为92%。各条目V均小于界值,说明上述条目的专家意见波动程度均较低,协调度均良好。根据专家建议,决定纳入呼吸机及胃造瘘术的应用,但不做等级评分。筛选出专家认为可操作性高的条目(K≥85%)共16个(表1),按照Liker-5级评分规则进行选项描述及赋值,编写卷首语,形成基于患者报告的MND结局评价量表初稿。

表1 专家认为可操作性高的16个条目

2.2 第一轮科学性考评结果

2.2.1 可行性分析结果 20例MND患者发放与回收量表比为20∶20,回收率100%,有效率100%,测评完成时间(5.7±2.3)min。

2.2.2 项目区分度分析结果 Spearman相关系数界值表中样本量为20例时,界值为0.447。在2.1纳入的可操作性高的16个条目中,站立、行走、拿取物品、翻身、穿衣、夜间呼吸、肌肉跳动、饮水呛咳、言语、抬头、睡眠、疲劳、治疗渴望、急躁、对家人态度、人际交往与量表总分的Spearman相关系数分别为0.619、0.507、0.620、0.430、0.825、0.722、0.589、0.681、0.637、0.498、0.219、0.217、0、0.602、0.606、0.606,其中翻身、治疗渴望、睡眠、疲劳4个条目的Spearman相关系数低于0.447,区分度较低。

2.2.3 信度分析结果 ①折半信度:折半量表间相关系数为0.58,经校正后折半信度即斯皮尔曼布朗折半系数为0.73,基本说明量表的跨条目一致性在可接受范围。②克朗巴哈α系数:校正后的克朗巴哈α系数为0.81;提示本量表各个条目与所要测量的终点即MND的疾病严重程度相关性强,具有良好的内部一致性。

2.2.4 效度分析结果 ①内容效度:量表中各条目得分与各维度得分的Spearman相关系数见表2,其中核心症状维度中的肌肉跳动条目与本领域的相关性较低(Spearman相关系数为0.46),心理精神维度中的治疗渴望条目与本领域的相关性较低(Spearman相关系数为0.33)。②结构效度:本研究GFI指数为0.567(图1)。GFI<0.8,提示条目之间存在测量领域的交叉,即可能某几个条目存在于多个领域之中,与原量表框架的构建之间有一定的差距。

表2 量表中各条目得分与各维度得分的Spearman相关系数

3 讨论

在量表研制过程中,条目筛选是关键步骤、难点与重点。医学是在临床经验的积累中不断发展与升华的,专家经验是医学进步中的重要环节,而专家意见问卷为量化专家经验的一种方式,结果具有更高的代表性和可靠性。因此,本研究主要运用Delphi法,以专家意见问卷的形式,通过专家重要性评分,对量表条目进行筛选。结果显示,专家问卷回收率>92%,说明专家对该项研究的支持与重视程度较高;专家对条目重要性评分的V值均未超过界值,说明专家意见协调程度较高。故本研究按照条目可操作性(K)进行筛选,并在此基础上综合专家建议,对条目进行优化,对表达不清的条目进行完善,形成了16个条目组成的MND量表初稿。

图1 量表因子结构图(GFI=0.567)

MND量表能否客观、全面、真实地评价所要测评的内容,需要通过临床数据对量表的性能进行考评。本研究量表的回收率为100%,测评的平均完成时间为5.7 min,表示受试者既可以在理解量表条目的基础上完成作答,又不会因长时间作答而产生厌烦及消极情绪。本研究项目区分度结果显示,翻身、治疗渴望、睡眠、疲劳4个条目的Spearman相关系数低于0.447,区分度较低,但其他条目的区分度均良好,故总体来说该量表具有较好的项目区分度。部分条目区分度低的原因可能是:①项目区分度很大程度上依赖于样本量,而MND为罕少见病,发病率低,病例收集困难,可能导致部分条目区分度低。②可能与条目的描述不清,易造成意义混淆,或描述过于复杂,对某些患者来说难度过大有关。因此,需要在以后的研究中针对项目区分度较低的条目进行优化或删减。本研究量表折半信度及克朗巴哈α系数均提示量表信度基本良好,具有测量稳定性、可靠性;但量表的效度与模型框架之间存在一定的差距,表现在某些条目与领域的相关性较低,以及GFI未达到国际统一标准。虽然可能与样本的局限性有关,但在今后量表条目的改良及验证中,仍应扩大样本量,并针对GFI<0.8的条目进行删减、条目描述优化等调整。

MND的临床特征是在几周或几个月内出现的进行性运动缺陷,基本上任何随意肌都会受累,造成多样的临床表现(从构音障碍到足下垂均可出现)[13],导致MND诊断有难度。随访也是诊断中极为重要的环节。基于患者报告的结局评价量表以心理学测评理论为基础,以临床经验为支撑,是评估临床患者疾病变化的科学性手段。对于MND患者来说,在欠缺特效治疗的现状下,全方位评价疾病进展及尽早进行对症治疗是MND领域研究的重点及难点[14]。现代临床研究中多使用ALSFRS-R量表[15],但该量表仅关注于MND的核心症状;而相关生活质量量表因条目繁多,MND晚期患者完成相对困难,并且在实施过程中,因条目问题描述过于直接,可能造成部分患者拒绝回答。以上均提示我们应根据MND的疾病特点,结合患者的生存状态进行综合评价。MND患者一般终身患病,逐渐丧失运动能力,部分患者出现构音障碍,丧失语言交流及进食能力,依赖于护理者生存,严重影响患者的生活质量、心理情绪、功能状态等诸多方面[16]。故本研究认为,MND的评价中不仅仅需要关注MND核心症状的评价(如肌肉萎缩、肌肉无力等),也需要关注患者与疾病的伴随症状(如失眠、疲劳等)、患者心理情绪变化(如暴躁、低沉等)、患者与家人的关系(如拒绝交流)、社会关系(如拒绝探视)等。需将多领域多维度结合起来,综合评价MND的整体疾病状态。

综上所述,本研究成功研制了基于患者报告的MND结局评价量表初稿,并经科学性考评验证该量表可行性、信度、效度均良好,可较好反映MND患者自觉症状的变化,为临床评价MND提供了新的方法。但在今后的研究及工作中,应在本研究的基础上扩大量表条目池,对量表条目及选项进行增改,扩大样本量,增加样本的丰富性,并进行第二轮科学性考评。

猜你喜欢

区分度效度信度
作为数学教育研究质量分析的信度
来华留学生对全英文授课教学服务满意度量表的信度和效度分析——以昆明医科大学为例
问卷是否可信
——基于体育核心期刊论文(2010—2018年)的系统分析
作为数学教育研究质量分析的效度
图形推理测量指标相关性考察*
谈高效课堂下效度的提升策略
巧用模型法提高科学课堂教学的效度
浅观一道题的“区分度”
利用垂直平分线的定义巧解题
语言测试效度研究的另一视角:考试的因子结构研究