APP下载

八年制口腔医学专业口腔临床药物学期末考试成绩和试卷质量分析与评价

2017-11-04赵电红董美丽刘立婷谢来洪郑利光

中国高等医学教育 2017年6期
关键词:区分度信度试卷

赵电红,董美丽,刘立婷,韩 蕊,谢来洪,郑利光

(北京大学口腔医学院/北京大学口腔医院,北京 100081)

●教学管理

八年制口腔医学专业口腔临床药物学期末考试成绩和试卷质量分析与评价

赵电红,董美丽,刘立婷,韩 蕊,谢来洪,郑利光

(北京大学口腔医学院/北京大学口腔医院,北京 100081)

目的:对北京大学口腔医学院八年制口腔医学专业口腔临床药物学考试成绩和试卷质量进行分析与评价,了解试卷质量和学生的学习情况,评价教学质量,为进一步的教学改革提供依据。方法:采用SPSS统计软件和教学测量学的原理和方法对试卷的信度、难度、区分度和成绩进行分析。结果:2009、2010、2011级平均成绩分别为81.60、83.64、87.10分,标准差为7.48、7.34、8.42,信度系数分别为0.784、0.737、0.792,呈负偏态分布;试卷难度系数分别为0.82、0.84、0.87,区分度分别为0.18、0.19、0.32;试题中难度系数较高的是简答题和问答题,区分度较好的是翻译题、单选题和问答题。结论:学生成绩较好,试卷整体难度偏易,部分题型的难度和区分度不理想,试题质量有待提高。

八年制口腔医学;口腔临床药物学;考试成绩;试卷质量;教学评价

口腔临床药物学课程内容丰富、知识点多而散、学习难度较大,教学效果的优劣对学生毕业后从事口腔医学工作的能力和水平有很大影响[1]。考试是检查教学质量优劣的最基本、最有效、最直接的方法,是衡量教学效果的重要指标,也是教学工作的重要环节[2-3]。分析考试成绩和试卷质量,可以在一定程度上反映学生对知识的理解和掌握程度,还可以评价教师的教学质量,为改进教学工作、提高教学质量提供重要的反馈信息[4]。成绩统计分析一般包括成绩统计描述和成绩统计推断两个方面,成绩统计描述则包括成绩分布态势的直观描述、成绩平均趋势、成绩等级构成的描述以及优秀率、及格率等的描述;成绩的统计推断则包括基于原始成绩数据(或派生数据)的有关率的推断以及成绩等级构成的推断[5]。目前国内试卷分析较常用的指标包括试卷信度、难度、区分度等指标[2-5]。本文依据成绩统计分析和试卷分析的理论与方法,对北京大学口腔医学院2009-2011级八年制口腔医学生口腔临床药物学课程的考试成绩和试卷质量进行了分析和探讨,以此来反馈教学过程,为进一步的教学改革提供依据,更好的促进口腔临床药物学的教学效果。

一、资料与方法

(一)资料。

北京大学口腔医学院八年制口腔临床医学生,2009级38人、2010级39人、2011级62人,采用人民卫生出版社出版的《口腔临床药物学》第4版[6](史宗道主编)作为教材。考试前组织召开命题专题讨论会,授课教师根据教学大纲要求,按照所授章节内容占比合理分配分值,以知识的认知分级(重点掌握、较为熟悉、一般了解)和教学目标(记忆、理解、应用)来确定分数的分布,最终由教学主任从题库中随机抽题组卷。考试由教育处统一组织、安排,闭卷考试,由两人监考,考试时间120分钟。

口腔临床药物学期末考试试卷满分100分,共有五道大题、79道小题:客观题满分55分,包括填空题(40题×1分)、翻译题(10题×0.5分)、选择题(20题×0.5分);主观题满分45分,包括简答题(6题×5分)和问答题(3题×5分)。试卷范围涵盖总论、消毒防腐药、口腔局部治疗剂、维生素药物、局麻药物、止痛药、激素和抗菌药物等与口腔临床结合密切需要学生重点掌握的相关内容。

(二)方法。

1.评分方法。根据考前制定的标准答案和评卷标准,两位授课教师共同阅卷,客观题参考标准答案,主观题取平均分,教学主任复核后,教学秘书统一进行成绩录入。

2.数据处理。采用SPSS 19.0统计软件、教学测量学的原理和方法对考试成绩和试卷质量进行分析。成绩分析主要侧重在考试的整体水平,评价指标有最高分、最低分、平均分、标准差、优秀率等。试题和试卷质量分析指标主要包括难度系数、区分度、信度等指标。难度是衡量试题难易程度的指标,区分度是试题对考生水平的区别能力,信度表示考试的可靠性[3]。

二、研究结果

(一)考试成绩。

本试卷卷面成绩满分100分,按照优秀(≥90分)、良好(80-90)、中等(70-79)、及格(60-79)、不及格(<60)划分为五个等级。所有学生全部参加考试,及格率为100%,其中2009级考生最高95.5分,最低60分,平均81.60分,标准差为7.48,优秀率7.89%;2010级考生最高94.5分,最低60分,平均83.64分,标准差为7.34,优秀率28.21%;2011级考生最高97.5分,最低60分,平均87.10分,标准差为8.42,优秀率45.16%。各级成绩分数段频数分布分别如下(见表1、附图)。

表1 2009-2011级口腔临床药物学成绩频数分布

(二)试卷质量。

1.信度分析。信度分析是反映试卷题目得分一致性程度的统计量,通常用信度系数表示考试的可靠性指标,其取值范围为0-1,其高低反映了考试中随机因素影响的大小,其值越大,信度越高[7],牛学敏认为信度在0.8-1为优、0.6-0.8为良、0.3-0.6为合格、0.3以下为不合格[8]。利用SPSS19.0进行信度分析,2009级、2010级和2011级的Cronbach’sα分别为0.784、0.737、0.792,可认为本试卷的测试结果信度较高。

2.难度与区分度。难度(P)表示试题或试卷难易程度,0≤P≤1,P值越大,说明试题或试卷越容易。对于检查性的期末考试,通常认为0.6≤P≤0.8较为合适[9]。难度P=成绩总和/理论满分总和,代入数据计算,具体如下(见表2)。

附图 各级口腔临床药物学成绩分布直方图(A-2009级、B-2010级、C-2011级)

区分度(D)是反映学生掌握知识水平差异的能力的重要要素,即用分数将学生区分为若干部分的系数。采用极端法[10]计算D,将全体考生人数乘以0.27,定为分组的人数(n),将全体考生分为高分组(成绩最高的n个考生)和低分组(成绩最低的n个考生),D=(高分组学生的通过率)-(低分组学生的通过率),具体如下(见表3)。

表3 2009-2011级口腔临床药物学试题、试卷的区分度(D)

(三)试题题型分值情况分析。

2009-2011级口腔临床药物学考试中各题型的得分、失分情况,具体如下(见表4)。

三、分析与讨论

(一)卷面成绩分析。

2009级、2010级主要集中在80-90分,2011级主要集中在90分以上,高分学生逐年增加,三年间优秀率约增长了4.72倍。一方面可以说明授课教师近几年改革传统教学模式,在教学中逐步采用启发式、问题式、互动式等多种教学方法,将与口腔临床密切相关的抗微生物药物、局部麻醉药物、镇痛药物、牙体牙髓病药物、牙周病药物、口腔黏膜病药物等重点药物进行归纳分析比较,加深学生印象,增强学生记忆,收到了较好的教学效果[1];另一方面也提醒教师,随着学生理解、接受、掌握知识能力的提高,题库中的题目可能偏于容易,需要进一步对原有的试题库进行更新替换。三个年级的成绩频数均呈负偏态分布,计算偏态值(sk)[9],sk=3(平均分-中位数)/标准偏差,2009级、2010级、2011级的偏态值分别为-0.3694、-0.3510、-0.7732。一般说来,只要偏态值指标-1

表4 2009-2011级口腔临床药物学各题型得分及失分情况

(二)试卷质量分析。

2009级、2010级、2011级的试卷难度(P)分别为0.82、0.84、0.87,均大于0.8;从各个题型来看,除2009级翻译题和填空题、2010级单选题的难度小于0.8外,其余各个年级的其他试题难度均大于0.8。难度系数较高说明多数试题难度较小,造成整体试卷难度偏易,尤其是知识点集中在典型药物掌握应用情况的简答题和问答题,目前题库试题较为直接,如直接询问某类药物的药理作用、作用特点、用药原则等,学生仅需考试前死记硬背就能取得较好成绩,考试后可能就印象不深,需要进一步结合口腔疾病特点与实际病例更新试题,侧重考察学生真正能够自己分析问题、解决问题的整体能力。

2009级、2010级的试卷区分度(D)分别为0.18、0.19,2009级填空题、2010级简答题的区分度均为0.18。-1≤D≤+1,区分度高的试题、试卷可将不同水平的学生区分开来,区分度低的将不能进行很好的鉴别,使水平高和水平低的学生得分差不多,D对于选拔性考试更为更要。对于检查性考试,认为0.2≤D≤0.4表示区分性较好,2009、2010级的试卷整体区分度不理想。教研室针对区分度不佳的填空题和简答题实行教学改革,填空题增加考察知识点的范围,简答题变换出题思路,初步调整后,2011级的试卷整体区分度提升至0.32,填空题、简答题的区分度分别提升为0.30、0.37,其他类型试题的区分度亦都在0.3以上,区分性较好。

(三)题型分值分析。

2009级各型试题的得分高低为:问答题>简答题>单选题>翻译题>填空题,失分率较高的是填空题和翻译题;2010级、2011级各型试题的得分高低顺序一致,均为:翻译题>简答题>填空题>问答题>单选题,失分率最高的亦都是单选题。在各题型中,翻译题、填空题和单选题属于客观性题目,主要考察教学大纲中要求的基本概念、基本原理等内容,主要集中于简单基础的记忆型知识,授课时大部分内容通过图示、归纳、比较、总结等方式进行突出强调,学生只需认真听讲、及时复习,就能得到很好的巩固,得分应该相对容易,但2009级翻译题和填空题失分率却是所有题型最高的,经查阅试卷发现主要表现在知识点掌握不牢、书写错误、识记能力不够等。分析原因,这可能与口腔临床药物学知识点较多且比较分散,需要记忆的药物中英文名称多且比较抽象,学生之前接触得少,容易遗忘、混淆,提醒授课教师调整教学方法。简答题和问答题属于主观性题目,主要考察学生对口腔临床常用药物的掌握应用能力,三个年级学生的平均得分率均在80%以上,高于记忆性的单选题。分析认为,教师在教学过程中对典型药物通过图示、比较、课堂提问、课后习题等方式讲解得比较透彻,同时八年制学生自学能力普遍较强,学习效果较为理想。

通过分析八年制口腔医学生口腔临床药物学三年来的考试成绩及试卷,我们需要适当提高试题的难度,在保证“宽覆盖、强基础、重应用”的基础上,扩大知识点的考察范围,体现各层次的区分度。同时,对教师也提出了更高的要求,在教学过程中,要注重多种教授方式、教学方法的运用,提高学生的学习兴趣;更要在每次考试后进行考试成绩分析和试卷质量评价,以求查漏补缺,探索性开展闭卷笔试结合课堂成绩、案例分析、综述报道等的多种考核方式,真正体现学生掌握知识、分析问题、解决问题的能力。

[1]赵电红,董美丽,韩 蕊,等.八年制口腔医学专业口腔临床药物学教学的思考与建议[J].现代医药卫生,2014,30(4):616-618.

[2]石武祥,章丽娟,杨庭仕.大理学院2005级硕士研究生医学统计学期末考试成绩分析[J].现代预防医学,2007,34(10):1835-1837.

[3]孙艳芹,李洪梅,熊 晖,等.病理学考试成绩和试卷质量分析与评价[J].基础医学教育,2013,15(1):20-22.

[4]蔡毅媛,宋沈超,刘海燕,等.临床医学专业《预防医学》课程试卷及考试成绩分析[J].贵阳医学院学报,2013,38(1):104-106.

[5]保宏翔.统计学方法在成绩分析中的应用[J].中国高等医学教育,2012(7):114-115.

[6]史宗道主编.口腔临床药物学[M].第4版.北京:人民卫生出版社,2012.

[7]王秀红.利用统计软件SPSS进行试卷质量分析[J].企业导报,2010(1):289-290.

[8]牛学敏.相关系数在试卷质量分析中的应用[J].考试研究,2007,3(4):64-70.

[9]张云松.综合评价试卷质量分析方法[J].数理统计与管理,2009,28(2):232-236.

[10]刘敏钰.运用SPSS、Excel进行试卷质量分析初探[J].陕西教育学院学报,2004,20(4):102-105.

G40-058.1?

A

1002-1701(2017)06-0067-03

2016-03

赵电红,女,硕士,副主任药师,研究方向:医院药学

2014年北京大学口腔医学院教学改革资助项目(2014-PT-01)。

10.3969/j.issn.1002-1701.2017.06.034

猜你喜欢

区分度信度试卷
《广东地区儿童中医体质辨识量表》的信度和效度研究
作为数学教育研究质量分析的信度
图形推理测量指标相关性考察*
平衡损失函数下具有时间效应和通胀因子的信度估计
Module5 A Trip Along the Three Gorges
Module5 Great People and Great Inventions of Ancient China
Module 4 Sandstorms in Asia
Module 1 Europe
浅观一道题的“区分度”
利用垂直平分线的定义巧解题