八年制临床医学本科生变态反应学考试试卷分析
2019-12-24李丽莎王良录支玉香
关 凯,李丽莎,王良录,支玉香,尹 佳
变态反应疾病(又称过敏性疾病)是常见疾病,其发病率在全球范围内都呈上升趋势[1],医疗行业急需变态反应学领域的专科人才。医学生有必要学习掌握变态反应学知识,在临床医学教育中设置变态反应学课程非常重要。在开设课程后,还应当定期评估教学效果,采取措施积极提高教学质量。
目前在本科生阶段开设变态反应学课程的医学院校很少,北京协和医院变态反应科是中国变态反应专科的摇篮,北京协和医学院也是中国最早开设变态反应学课程的医学院。依据八年制临床医学系课程设置,八年制医学生在五年级时开设变态反应学课程,一共16个课时,除了总论和体内体外诊断见习,具体内容包括变应性鼻炎,荨麻疹,食物、药物变态反应等。遗憾的是变态反应学缺乏专科题库,本院本科生的变态反应学课程也是考察课,结课时没有设置考试评测学生的学习水平,这导致学生的学习积极性不足,教师也无法根据学生的学习效果调整教学内容和方法[2]。
为此,本院变态反应学教研室组织专科医生暨任课教师编写专科试题,建立变态反应学题库,并从中抽取试题组成一套试卷,为2019年1月学完本门课程的五年级本科生首次进行结课考核。本文拟评价学生的考核成绩,分析试卷难度、区分度、信度、效度等指标,同时收集学生对课堂教学的满意度反馈,据此改进教学模式,优化教学内容,进一步提高变态反应学课程的教学质量[3]。
1 方法
1.1 研究对象
本研究对象是北京协和医学院八年制临床医学专业五年级本科生所完成的107份结课考卷。该套试卷由变态反应学教研室的3名教员根据教学大纲从变态反应学题库中抽取题目组卷。考试为笔试,不含操作考试,均为客观试题,具体包括40道单选题,每题1分;20道不定项选择题,每题2分;30道病例串单选题,每题1分,总分110分,记录成绩时换算成百分制。在完成考卷后,考生还需要完成一份调查问卷,填写对每节课程的满意度,评价标准分为5个级别: 差(0分),合格(1分),中等(2分),良好(3),优秀(4)。
1.2 研究方法
将学生对每题的回答录入电子系统,双人独立录入并互相核对,其后进行数据分析。使用SPSS软件对学生的答卷进行统计分析[4],应用K-S分布的拟合优度检验进行定量数据的正态性检验,连续数据的相关性分析使用Pearson相关系数,等级数据的相关性分析使用Spearman相关系数,t检验比较不同题型的正确率,以P≤0.05表示差异有统计学意义。同时,计算难度系数、区分度、信度、效度的指标评价试卷质量[5]。
2 结果
2.1 整体成绩
参加此次考试的总人数107人,均为协和医学院八年制临床医学系五年级学生。考生成绩最低69分,最高91分,使用Kolmogorov-Smirnov检验提示学生成绩符合正态分布,平均成绩83.1分,标准差4.3分。成绩分布情况:70分以下1人,占0.9%;70~79分16人,占15.0%;80~89分86人,占80.4%;90~99分4人,占3.7%。
2.2 试卷难度
难度系数(P)是反映试题难易程度的重要指标之一,其范围为0~1,P值高提示试题较容易。本试卷的题目均为客观选择题,其P值计算方法为r/n,r为回答正确的人数,n为考生总人数。P值的范围在0~1之间,P<0.7为较难题,0.7≤P<0.9为中等难度题目,P≥0.9为容易题。本次考卷的90道题目中,有30道题P<0.7,即较难题占33.3%,其中1道题无人回答正确;18道题P值在0.7和0.9之间,即中等难度题目占20%;42道题P≥0.9,即容易题占46.7%。各题目的难度系数P值不符合正态分布,中位数为0.85,四分位数为0.64(25%)和0.97(75%)。
2.3 试卷区分度
区分度(D)主要体现试题对考生学习成绩优劣的鉴别能力,D值越大,区分度越高,提示试题的鉴别能力越强。本文采用高低分组法计算区分度,根据考试成绩,得分在前27%的学生归为高分组,在最后27%的归为低分组。某题目的区分度计算方法为D=PH-PL, PH代表该题目在高分组的难度系数,PL为题目在低分组的难度系数。本试卷各题型的区分度分布如表1所示,总体而言,本试卷的题目区分度偏低,D<0.2的题目占72.2%,而D≥0.3的高区分度试题比例仅有13.4%。各试题区分度中位数为0.07,四分位数为0(25%)和0.21(75%)。
表1 试题区分度分布
2.4 试卷信度
本套试卷用于评价学生学习变态反应学的效果,以得出课程所获成绩,因此不适宜将同一份试卷对同一组学生进行反复测验,也就不能通过比较多次测验的结果评价试卷的信度。此处,通过Cronbach’s alpha系数评价试卷的内部一致性信度,计算所得Cronbach’s alpha系数为0.606,系数大于0.5,说明试卷的内部一致性尚可。
2.5 试卷效度
变态反应学课程一共16节课,除去总论和见习实践课程,教授具体知识点的课程14节,本套试卷覆盖了其中13节课程(占93%)的内容(表2),药物变态反应因为专业性强,知识点难度大,所以此次考试基本未涉及。试卷包含的知识点中,变应性鼻炎、接触性皮炎、荨麻疹等常见病,以及过敏性疾病基本的诊断方法,特色的免疫治疗的相关题量均较多,且在各个题型中反复考查。因此,本套试题既全面地考查了变态反应学课程知识点,又突出了常见病、基本诊治手段的重点,具有很好的效度。
2.6 课程对应试题正确率的影响因素分析
为评估课堂教学效果,分析各课程对应试题正确率的影响因素,将可能的相关因素与正确率逐一做相关性检验。结果显示,各节课程对应试题的正确率与课堂满意度无明显关联,P=0.437(表3)。
按题型及考题总数分析,正确率与该课程对应的考题总数、单选题的数量也均无相关性;但正确率与不定项选择题的数量呈现出一定的负向相关性,P=0.052,相关系数为-0.549,即该课程相关的不定项题目越多,则学生答错越多。比较整套试题中不同题型对应的正确率,可见不定项选择题的正确率(0.56±0.26)显著低于单选题(0.83±0.21)(P<0.001),也显著低于病例单选题(0.80±0.27)(P=0.004);而两种单选题的正确率则无差异。
表2 试题内容覆盖度Table 2 The degree of coverage of test questions
按课程内容分析,对应试题正确率在70%以下的课程包括免疫治疗,真菌变态反应和变应性鼻炎,其中真菌变态反应只考了1道不定项选择题,可能其正确率受到了题型的影响,而免疫治疗和变应性鼻炎涉及的题型均以单选题为主,反映学生确实掌握欠佳。对应试题正确率在90%以上的4节课程分别为:变应性支气管肺曲霉菌病,螨变态反应,严重过敏反应和遗传性血管性水肿,但这4节课程对应试题均为单选及病例单选,没有不定项选择,若是加入不定项题型,错误率可能会有所上升。
3 讨论
本次考试为课程合格评价性考试,参考人数107人,考卷全由客观选择题组成,题型有3种,分别是单项选择题,不定项选择题和病例串单选题,总分为110分,记录成绩时换算成百分制。考试成绩分析显示,学生成绩符合正态分布,整体考分较高,平均分83.1分;且分数差距小,标准差仅有4.3分,有高达80%的考生分数都集中在80~89这个分数段。提示考生对考题所涉及的变态反应学知识点掌握度都较好,课堂教学成效良好,大多数考生都理解了相关知识。
表3 各课程对应试题正确率的影响因素分析Table 3 Analysis of the influence factors affecting the accuracy of answers to the questions related to different courses
在试卷分析指标方面,本套试卷的90道题目中,P<0.7的较难题占33.3%,P≥0.9的容易题比例高达46.7%,难度系数在0.7~0.9之间的中等难度题仅占20%。各题目的难度系数分布为0.85(0.64,0.97),可见对于此次参考学生来说,这套题目整体偏容易。这也直接导致了该试卷的一个缺陷,即区分度不高。难度是与区分度直接相关的[6],试题的P值越接近0.5,其对学生成绩优劣的鉴别能力越强。本试卷整体P值偏高,导致区分度D值普遍偏低,D<0.2的题目比例在70%以上,无法反映出学生水平的差异。为改善试卷的区分度水平,应当在今后设计考卷时加入更大比例的中等难度试题,从而提高试卷的鉴别力,也能更好地激发学生的学习热情。
本套试卷的内容效度较好。内容效度是指题目所考查的知识点对于课堂上教授知识内容的覆盖程度[5]。本试卷所含考点涉及了93%的课程内容,且包括变应性鼻炎、接触性皮炎、荨麻疹的常见疾病相关题量较多,皮肤试验、体外特异性免疫球蛋白E检测、变应原特异性免疫治疗等变态反应学特色诊治方法的内容也相对较多,且分布在各个题型之中,因此对于变态反应学课程考查具有很好的代表性。
本文还分析了各节课程对应试题平均正确率的影响因素,相关性统计显示,课程对应试题的正确率与课堂满意度并无显著关联。学生对于本门变态反应学课程的整体满意度较好,各节课的平均满意度评分都在代表良好的3分以上,均值为3.66分。而试题正确率与课堂满意度无明显相关性,提示教学满意度的变化没有影响学生的学习效果,学生的学习态度较积极,能做到各个课堂都认真听课。
此外统计结果还提示,试题正确率与题型密切相关,不定项选择题的正确率明显低于普通单选题及病例串单选题,后两者之间则无差异。这是因为学生做单选题时可以将四个选项作比较,综合分析,逐一排查,选出最可能的答案;而做不定项选择题时则无法从选项本身找到线索,容易漏选、错选,难度就会更大。因此,将来组卷时可以通过调整不定项选择题的数量和覆盖知识点,使试卷达到适宜的难度和区分度。
分析具体课程内容与相关试题正确率的关系,可见免疫治疗对应试题的错误率最高,虽然该课程对应题型以单选题为主(88.9%),不定项仅有1道题,学生的错误率仍然接近50%。分析原因,可能与该课程专业性较强,学生在既往学习和实践中完全没有接触过相关知识,因而理解起来难度较高有关。该课程的任课老师可以适当降低授课知识点的难度,或可结合门诊见习参观免疫治疗的医嘱开具和注射操作,以更好地帮助学生理解和掌握。变应性鼻炎作为常见疾病和应用免疫治疗的代表性疾病,也是变态反应学课程的教学重点,但此次考试中其对应题目的平均正确率仅有66.1%。再深入各题目具体分析,发现正确率最低的是两道单选题,题干都是具体病例,考点分别是变应原诊断方法和优选治疗药物,这提示学生可能对于记忆性知识点掌握尚可,但灵活应用到临床病例中的能力欠佳[7]。在今后的教学中也可加入病例分析的内容,应用问题式学习的方法,以提高学生对知识的临床应用能力。
总之,本套变态反应学试卷信度尚可、内容效度好、代表性强,但整体难度偏低、区分度不高,有待对试题结构进行调整。对于学生掌握较差的免疫治疗和变应性鼻炎课程,应当优化教学内容,丰富教学模式,以改善教学效果。