基于德尔菲法和层次分析法的医用磁共振成像设备体验设计评价指标体系构建
2019-08-20翟晶王筱金赵古月尹建东侯阳王炳顺
翟晶,王筱金,赵古月,尹建东,侯阳,王炳顺
1. 上海交通大学 公共卫生学院,上海 200025;2. 上海交通大学医学院 临床研究中心 生物统计教研室,上海 200025;3. 中国医科大学附属盛京医院 放射科,辽宁 沈阳 110004
引言
随着医用磁共振成像(Magnetic Resonance Imaging,MRI)设备的市场需求日益增长,不同品牌、不同型号的MRI 设备纷纷进入临床应用。对MRI 设备进行综合评价,是医疗设备管理的重要组成部分。然而国内外对医用MRI设备的评价主要集中在产品注册与出厂阶段的指标检测和临床质控两个方面[1],在MRI 设备的体验设计评价等方面尚欠缺相应的评价标准[2-3]。有必要围绕MRI 设备的体验设计评价体系的建立进行探索研究。
综合评价方法众多,需结合评价目的和评价指标特性选取合适的方法。德尔菲法[4],又称之为专家咨询法,是一种定性的研究方法,在评价指标体系建立过程中使用较为广泛[5-7]。层次分析法(Analytic Hierarchy Process,AHP)[8]作为定量与定性相结合的研究方法,在综合评价研究中常用于确立评价指标权重[9-11]。本文拟采用层次分析法和德尔菲法构建医用MRI 体验设计的评价指标体系,为MRI设备综合评价指标体系的建立提供参考。
1 材料与方法
1.1 德尔菲法
本文运用德尔菲法(Delphi Method)确立评价指标,研究人员通过电子邮件向专家发送调查问卷,经过两轮调查问卷的发放与收回。每位专家对咨询问卷中列出的指标的重要性进行评分。每一轮咨询结束后,相关工作人员会对咨询结果进行统计分析,并统计分析咨询专家的组成结构、专家意见积极系数和权威程度,综合专家意见后,对评价指标进一步筛选和整理[12]。
1.2 层次分析法
利用层次分析法(Analytic Hierarchy Process,AHP)确定评价指标权重,确立医用MRI 体验设计评价指标体系。
主要步骤:① 根据专家打分对一级和二级指标进行两两相对重要性评分;② 得到判断矩阵;③ 计算出矩阵的最大特征根;④ 进行一致性检验;⑤ 最后计算各级指标的权重[8]。
我们利用Excel 2016 软件对收集到的数据进行整理和分析;并且运用Yaahp 12 软件实现层次分析法。
2 结果
2.1 德尔菲法确立评价指标
2.1.1 专家基本情况
本研究遴选医学影像技术和生物医学工程专业领域专家20 人,其中男性13 人,女性7 人;平均年龄(35.14±2.87)岁;学历以本科为主,有17 人(占85%);职称以副高级职称为主,有10 人(占50%);从事专业中,以医疗设备管理(生物医学工程)专业为主,有16 人(占80%);工作年限主要集中在6~10 年,有15 人(占75%)。
从专家基本情况来看,专家的年龄、职称、学历以及所从事专业能够有效互补,满足了德尔菲法的要求。
2.1.2 专家积极性
专家积极系数大小体现了专家对评价内容的关心程度,以问卷的回收率进行考核[13]。本次专家咨询每轮发放20份问卷,两轮专家咨询表回收率均为100%,问卷的合格率也均为100%。两轮问卷调查的回收率均>90%,表明专家对此次咨询内容的关心程度高。
2.1.3 专家权威系数
专家权威程度影响咨询结果的可靠性,主要由专家对专业领域的熟悉程度和判断依据两个方面组成,也称作权威系数(Cr)。它的公式为Cr=(Cs+Ca)/2,可靠的咨询结果一般需要专家权威系数达到0.7 以上[5]。
经过分析计算,本次咨询的Cs 为0.812,Ca 为0.754,则权威系数Cr=0.783。专家权威程度Cr>0.7,因此可以表明专家的权威程度较高。
2.1.4 专家协调系数(W)
也称一致性系数,反映了专家对信息的重要性、可操作性的意见集中程度,W 值介于0~1 之间,越接近1 表明各专家的意见趋于一致,体现了咨询结果的可靠性[15]。此次专家咨询结果的协调系数分别为0.413 和0.422,经χ2检验,差异有统计学意义(χ2=304.51、χ2=315.16;P<0.05),见表1,表明专家的协调程度较好。
表1 专家协调系数
2.2 层次分析法确立各级指标权重
2.2.1 构建递阶层次的结构模型
利用AHP 计算指标权重的前提是对评价目的进行层次化分析,建立评价指标体系的层次结构模型。根据专家咨询结果,建立影响MRI 设备体验设计的因素结构层次,总计分为2 层(图1)。
图1 MRI体验设计评价层次模型
2.2.2 构建判断矩阵及指标体系权重
在专家咨询问卷调查中,询问专家组成员,针对判断矩阵的准则,判断每一级中任意2 个指标的相对重要程度,对重要性程度按1~9 进行打分[16]。重要性标度值,见表2。例如,要构造一级指标系统整体下的二级指标两两比较的判断矩阵,将系统易学性、系统易用性、整体硬件易用性、整体软件易用性四个二级指标,根据上述原则与方法,进行两两比较,分别赋值,然后将每一级所属的不同指标的相对重要程度结果输入Yaahp 12 软件中,构造出判断矩阵。一级指标系统整体指标下的二级指标的判断矩阵,见表3。
表2 重要性标度值及含义
表3 系统整体指标下的二级指标判断矩阵
一般认为CR<0.1 为矩阵的一致性较好。软件会对一致性检验不达标的判断矩阵进行调整,最终使各判断矩阵的CR 值均<0.05。指标体系及指标权重,见表4,最终组合权重值排序,见图2。
表4 医用MRI体验设计评价指标体系及权重
图2 二级指标组合权重值排序
3 讨论
3.1 构建MRI体验设计评价指标体系的科学性及合理性
在运用德尔菲咨询法确立一级、二级指标的过程中,专家小组的选择对决策结果起到关键性作用[5]。参考不同文献研究,专家人数以15~50 名为宜[17-18],拟选择的专家不仅要有相关专业背景,还需要长期从事本领域的相关工作,且专家组的构成不能来自单一的专业领域。本研究的专家们在年龄、职称、从事专业及工作年限方面符合专家选择要求,较好地满足了德尔菲法操作的前提条件。
咨询结果的科学性、合理性与专家积极性、权威性、协调性密切相关[17]。实施专家咨询过程中,两轮专家咨询问卷回收有效率均>90%,表明专家的积极性较高;专家权威系数Cr 值为0.78(>0.7),说明专家对医用MRI 领域的熟悉度较高,保证了较高质量的指标筛选;第一轮、第二轮Kendall 协调系数为0.413 和0.422,说明专家意见较为一致,进一步保证了咨询结果的可信度。
本研究在确立MRI 体验设计评价指标后,根据层次分析法确立了指标权重,经过一致性检验,各级CR 值均<0.1。表明各层指标明确、清晰,较好地综合了专家意见,各项权重无逻辑错误,符合实际要求,其结果科学可靠[19]。
3.2 评价指标体系构建情况
本文应用德尔菲法,建立了MRI 体验设计评价指标体系,包括一级指标2 个、二级指标15 个。应用层次分析法确定评价指标体系的权重,在一级指标中,两个一级指标的权重相等(均为0.5)。在二级指标的组合权重中,权重值排序前五位的指标分别为整体软件易用性、系统易用性、整体硬件易用性、患者摆位方便程度、患者扫描过程。权重排序后三位的是患者注册流程、胶片排版打印便捷性、多语言环境,说明在本评价体系中,MRI 设备的易学性与易用性是医用MRI 体验设计评价的重点。
在建立医用MRI 设备体验设计评价指标体系之后,研究人员可根据评价指标体系内容制定相应的医用MRI 设备体验设计评价调查问卷,对不同医用MRI 设备的体验设计性能进行评分,在回收问卷后对数据资料进行整理,所有二级指标评分应乘以相应的组合权重,得到所有二级指标的最终评分,然后利用最终评分对不同医用磁共振设备的体验设计性能进行分析评价。
3.3 局限性
由于德尔菲法和层次分析法本质上都是定性分析,所得结果容易受到主观因素的影响,主观想法必然存在一定的片面性,因此本研究所构建的评价指标体系还需在实际应用中进一步调整和完善。
4 结论
本研究运用德尔菲法和层次分析法构建了医用MRI 体验设计评价指标体系。过程分析及统计检验结果表明该评价指标体系具备较强的科学性、合理性和全面性,可用于医用MRI 体验设计的综合评价。
目前国内外对于医用MRI 综合评价的研究比较少,本次研究组合了不同评价方法构建了医用MRI 体验设计评价体系,可以说是对医用MRI 综合评价的一次新的探索。然而,该评价体系需在实践中不断完善,随着我国医用MRI设备的不断创新和发展,进而对其修订和更新。