APP下载

中医药健康文化素养问卷质量评价

2019-07-01郭颖梁田田黄梅银殷晓月谭巍

中国社会医学杂志 2019年3期
关键词:区分度效度信度

郭颖,梁田田,黄梅银,殷晓月,谭巍

近年来,我国高度重视中医药健康文化素养发展工作。2016年2月,国务院印发《中医药发展战略规划纲要(2016-2030)》[1],明确指出要繁荣发展中医药文化,大力倡导“大医精诚”理念,强化职业道德建设,形成良好行业风尚,实施中医药健康文化素养提升工程。为积极推进全国中医药科普率及健康文化素养监测工作,《中医药发展“十三五”规划》[2]也将把提升中医药健康文化素养纳入核心工作指标。目前,有关中医药健康文化素养的研究尚未见报道。在上述背景下,设计合理的中医药健康文化素养测评问卷,成为一项极为紧迫而重要的工作。本研究将课题组自行设计的问卷进行项目分析、信效度检验,以期为测评全国中医药健康文化素养水平提供有效的调查工具。

1 对象与方法

1.1 研究对象

对某地区年龄在16~69岁居民开展问卷调查,在分析数据的时候,为使结果更有普遍代表性,本次调查只将无医背景对象填写的问卷作为有效问卷,对其作答情况进行分析。发放问卷1 200份,实际收回有效问卷1 019份,有效回收率为84.92%。方便选取了42名刚入学大学生进行间隔一周的重复测试,期间提醒被调查人员不要特意进行相关知识搜索。并邀请17名中医药临床或科研专家填写问卷的专家评价表对问卷的效度进行评估。

排除标准:在调查问卷最后的基本情况部分对被调查者是否有医学背景进行调查。调查中设置了两道问题:①您是否学过中医药学或医学专业课程?②您是否从事中医药学或医学相关工作? 两道问题中只要有一道回答“是”则将调查对象归为有医学背景类;两道均回答“否”归为无医学背景类。

1.2 调查工具

本课题组在2014年中医药养生保健素养框架研究的基础上,通过文献研究、比较研究和专家咨询等方法,自行设计调查问卷,将中医药健康文化素养内容分为5大类,分别为中医药基本理念、中医药公众适宜方法、中医药健康生活方式、中医药文化常识、中医药信息理解能力(见表1)。素养测试题共分为4道大题、37道小题。第一大题为判断题,共11小题,每题有“对”“错”“不知道”3个选项;第二大题为单选题,共11道,每题4个选项;第三大题为多选题,共12道,每题5个选项;第四大题为材料分析题,共3道小题,分为2个单选题,1个多选题。

表1 五大类中医药健康文化素养指标

1.3 调查方法

采用现场随机拦截投放纸质问卷调查和网络调查两种方法,在问卷星网上调查平台发布电子问卷,邀请某地区群众参与调查。问卷采取自填式,为得到重测信度,方便性选取部分被调查者进行一周后填写第2遍,在此期间不能查询问卷中相关的知识。

1.4 问卷评价方法及指标

问卷质量评价分为问卷的难易度分析和信度、效度分析。问卷的难易度通常用难度(P)和区分度(D)来衡量。在题目分析时,选用27%分组法[3],问卷总得分前27%设为高分组,总得分后27%设为低分组。本次问卷的信度选择重测信度作为外部信度,内部一致性可信度用Cronbachα 系数测量;效度选用专家效度。

1.4.1 问卷难易度评价方法难度(P)是指被试完成题目或项目任务时所遇到的困难程度,经验与研究均表明,一份较好的问卷,问卷的平均难度控制在0.50左右[4]。由于大部分文献都未提及难度具体划分,本课题组拟将难度分为:低于0.3难度过大,0.3~0.4难度较大,0.4~0.6难度适中,0.6~0.7难度较小,高于0.7题目难度过小。

区分度(D)是指试题对调查对象的分辨能力的大小,研究表明,题目的区分度在0.4以上表明此题的区分度很好,0.3~0.39表明此题的区分度较好,0.2~0.29表明此题的区分度不太好,需修改,0.19以下表明此题的区分度不好,应淘汰[5]。

难度公式为:P=(PH+PL)÷2

区分度公式为:D=PH-PL

其中,PH为高分组某题答对率,PL为低分组某题答对率。

1.4.2 问卷信度评价方法内部信度通常用Cronbach α 系数测量,一般而言,α 系数>0.8表示内部一致性极好,α 系数在0.6~0.8 表示较好,而低于0.6表示内部一致性较差[6]。

1.4.3 问卷效度评价方法由专家填写课题组设计的《中医药健康文化素养调查问卷专家评估表》对效度进行评价,评估表包括三部分,专家基本情况,采用5分制根据《中医药健康文化素养调查问卷》对每道小题反映对应知识元的恰当程度、语言表达的准确程度和通俗程度进行打分,对题目的具体改进建议。专家的积极性系数,采用征询表的回收率来反映其大小。本次问卷效度评估共调查了17位专家,收回17份有效问卷,回收率100%。专家评价结果主要以专家意见集中程度、变异系数、协调系数以及问卷效度中的专家效度四项指标来确定。专家意见的协调系数,用W 值表示,在0~1之间,W 越大,表示专家意见协调程度越好[7]。而国内关于卫生系统应用研究大型德尔菲法的W 一般在0.5上下波动[8]。

1.5 统计方法

按照问卷设计内容,回收的纸质问卷应用Epidata 3.1软件进行录入,电子问卷直接导出为Excel进行调查数据合并后,使用SPSS 22.0软件进行统计分析。

2 结果

2.1 问卷难易度、信度分析

2.1.1 被调查者基本情况在调查问卷符合条件的1 019人中,城市居民913 人(89.60%),农村居民103人(10.11%);男性449人(44.06%),女性570人(55.94%),男女性别比为0.79∶1。调查人群平均年龄在32.47±12.48岁,15~24岁、25~34岁、35~44岁、45~54岁、55~64岁、65~69岁的调查对象分别为360 人(35.33%)、297 人(29.15%)、173人(16.98%)、118人(11.58%)、51人(5.00%)和20人(1.96%);文化程度以大专/本科、高中/职高/中专和硕士及以上比例较多,分别为587 人(57.61%)、194 人(19.04%)和117 人(11.48%);60%以上调查人员的职业为学生(29.05%)、其他事业单位人员(15.11%)和其他企业人员(21.10%);76.25%被调查人员未患过慢性病,21.30%人员曾患过慢性病;就健康状况而言,被调查人员自我评价“好”为136 人(13.35%),“比较好”为396 人(38.86%),“一般”为399人(39.16%),“比较差”为55人(5.4%),“差”为2人(0.20%)。

2.1.2 难易度分析根据预调查数据得出,本次调查问卷平均难度为0.55,问卷难度合适;平均区分度0.38,能较好地衡量公民的中医药健康文化素养水平。四类题型中,多选题难度系数最低,难度最大,这和多选题选项多、该题型本身难度较大有一定关系。材料分析题呈现难度系数最大,其难度最小;区分度0.37,区分度较好,说明公民关于常用中成药说明书了解程度很好。而判断题难度系数0.60,难度小,且区分度最低,表明该问卷判断题问题难度偏简单,可适当加大难度,便于区分公民之间素养差异。见表2。

表2 问卷整体难度和区分度

按照难度0.5区分度0.3为原点,将问卷题目进行分类:共分为4个象限,每一个象限对应一种分类。分类结果见图1。

图1 问卷题目分类

图1中,⑴为难度较高区分度较差组(难度系数<0.5,区分度<0.3),题号为:A03、A10、C05、C07。该组题目所占问卷总题目比例为10.81%,该类题目需要进行替换或者修改;(2)为难度较高区分度较好组(难度系数<0.5,区分度≥0.3),题号为:A09、B02、B10、B11、C02、C04、C06、C08、C09、C10,该组题目所占比例为27.03%,该类题目可保留;(3)为难度较低区分度较差组(难度系数≥0.5,区分度<0.3),题号为:A01、A02、A08、B04、B06、D02,该组题目所占问卷总题目比例为16.22%,该类题目没有太大意义,可进行保留或者修改;(4)为难度较低区分度较好组(难度系数≥0.5,区分度≥0.3),题号为:A04、A05、A06、A07、A11、B01、B03、B05、B07、B08、B09、C01、C03、C11、C12、D01、D03,该组题目所占比例为45.95%,该类题目可保留。

2.1.3 问卷信度分析依据重测调查数据,本问卷重测信度的相关系数为0.903(P<0.05),问卷的稳定性高,再测信度佳。内部效度Cronbachα 系数为0.809,大于0.8,信度较好;通过分析结果,得出题号A010剔除后,Cronbachα 系数会提高,提示该题需要剔除或者修改,最后Cronbachα 系数达到0.810,说明剩下的题目所测内容具有很好的同源性。

2.2 问卷效度分析

2.2.1 专家基本情况介绍专家评价人数按目前较为一致的做法以15~50人为宜[9]。本次问卷专家效度评估共邀请17名中医药临床或科研专家。见表3。

2.2.2 专家评价结果本次专家评价各指标的总协调系数(W)是0.180(χ2=336.087,P<0.001),说明本次专家评价结果一致性程度一般。各指标总体均值为4.40,均值在3.59~4.94之间波动,变异系数在0.05~0.33之间波动。专家效度值为0.786,说明问卷本身能充分测量、反映中医药健康文化素养水平。见表4。

根据相关文献[9-12]和实际应用指导,本次题目删改标准确定为均值<4且变异系数≥0.30。根据专家评价结果需要删改的题目分别有:判断题A10题和单选题B03题。

判断题第10题,关于“山药、益母草都是药食两用的植物”的药食同源问题,由于题目难度较大,而且相关专家认为药食同源部分存在学术争议,还有待建立较为完善的科普标准,故暂不作为测试内容。语言调试阶段,专家讨论均认为,单选题中,“中医认为疾病发生、发展的根本原因是:①外邪入侵;②寒热往来;③阴阳失调;④不知道”中选项语言较难理解,不适合一般人群测试,替换为“中医的健康理念以下哪些说法符合中医的健康理念:①个体的健康仅仅取决于先天因素;②个体的健康仅仅与后天生活环境条件有关;③个体的健康或衰病、长寿或夭折,不仅仅取决于先天因素,还与后天生活,环境条件以及自我心身调养水平有关;④不知道”。

表4 专家评价集中程度和变异系数

3 讨论

中医药是我国优秀的传统文化,也是我国的传统医学,在“治未病”、治慢性病、治疗方式灵活和费用方面有着独特优势。健康素养影响着健康产出,公民中医药健康文化素养高低不仅影响我国中医药发展传承,也影响着公民健康意识、健康水平和所承受的疾病负担。但现阶段中医药素养相关文献中,以定性研究居多,少数研究中使用的调查问卷多由研究侧重点不一、涵盖点不全且问卷的信度及效度未测定,缺乏普适性。因此,本研究纳入中医药基本理念、中医药公众适宜方法、中医药健康生活方式、中医药文化常识、中医药信息理解能力5维度框架体系,试图制定有较好普适性和信效度的公民中医药健康文化素养调查工具,以期科学衡量公民中医药健康文化素养水平。

本问卷研究通过难易度分析,已知判断题难度低,区分度较差,多选题难度较大。确定需要对判断题前3题进行删除,进行知识点内题目替换:在“中医认为,人的精神意识思维活动与五脏功能密切相关。”等低难度内容替换为中医“整体观”“以德养生”等提高题目难度。有研究表明,试卷图文并茂,有助于帮助考生理解情景和解决问题[13],因此,考虑到问卷的简明性和形象性,将穴位单选题增加对应穴位图片,以便被调查人员理解。2014年中医养生保健素养调查结果显示,中医常用养生保健内容和方法是三层次中素养水平最低部分,该层次素养水平仅为3.90%[14],并有学者专门针对中医养生保健简易方法地区民众了解程度进行研究,结果表明了解程度并不高。因此,应加强对中医养生保健方法的普及力度,引导群众了解和学习正确的中医养生保健方法,提高健康水平[15]。故对问卷知识点分布结构进行调整,减少古代名医名著、中医药与社会等问题比例,增加家庭养生保健适宜方法维度比例。 编制《中医药健康文化素养调查问卷》是设计问卷的第一步,其次,还需对其信度和效度进行评价。本研究结果表明,调查问卷的重测信度为0.903,结果较理想。本调查问卷总分的Cronbachα 系数为0.809,众多学者认为,当Cronbachα 系数>0.8,重测信度>0.7时,表明问卷信度较好,因此,本问卷较为可信、稳定。选用表面专家效度进行问卷效度评价,专家咨询分析结果显示,专家效度值为0.786,说明问卷本身能充分测量、反映中医药健康文化素养水平。

本研究的局限在于理论上,问卷调查中城乡、性别、职业等因素需要和我国人口学特征一致。但实际调查中,存在调查人群配合性和操作难度等问题,调查样本存在一定偏性,且本调查样本城市比例较高,其中学生比例较高,因此,调查结果存在一定局限性。如何做到更好的代表性和可行性,是后续研究需要进一步完善的问题。

猜你喜欢

区分度效度信度
效度验证模式系统整合与效度研究发展策略
作为数学教育研究质量分析的信度
来华留学生对全英文授课教学服务满意度量表的信度和效度分析——以昆明医科大学为例
问卷是否可信
——基于体育核心期刊论文(2010—2018年)的系统分析
作为数学教育研究质量分析的效度
图形推理测量指标相关性考察*
谈高效课堂下效度的提升策略
浅观一道题的“区分度”
利用垂直平分线的定义巧解题
语言测试效度研究的另一视角:考试的因子结构研究