结业试卷分析的基本方法及应用举例

张东海，徐德颖，马秀华*，赵留庄，刚 君，刘 双

（1.首都医科大学大兴医院，北京 100069；2.首都医科大学，北京 100069）

结业试卷分析的基本方法及应用举例

张东海1，徐德颖2，马秀华1*，赵留庄1，刚 君1，刘 双1

（1.首都医科大学大兴医院，北京 100069；2.首都医科大学，北京 100069）

介绍结业试卷分析的一般分析方法、基本程序及如何应用。从试卷出题时就要考虑评价、检验试卷，试题要具体、标准化、能够客观评价，即需要对测验结果进行信度、效度、难度、区分度检验。用Excel 2000建立数据库，将题号、分值和学生成绩等数据录入计算机进行统计处理，分析计算学生测验成绩、分值范围分布，必要时可以制作曲线图。通过举例介绍试卷分析的基本方法。

结业；试卷分析；信度；难度系数；区分度

考试作为一种基本检测手段，不仅可以检验学生的学习效果，而且可以评价教师的教学质量、发现教学中存在的问题[1-3]。一般认为[4]，考试的功能包括：检查和巩固学习、辨别智愚、选拔人才、对比实验（如：不同教学法的对比）、考查学生学习努力程度、预测能力、指导就业、课程评价。如何检验与评价考试的科学性、合理性等，这就需要进行试卷分析。我们对北京地区“3+ 2”助理全科医生培训结业考试进行了试卷分析工作[5-6]，对课程建设起到了一定的推进作用，现将工作中的体会以及试卷分析的基本程序做一简单介绍。

1 教育测量、测验的概念[7-9]

测量是根据法则给事物分派数字。广义角度的教育测量就是对于教育领域内的事物或现象，根据一定的客观标准进行缜密考核，并按一定的规则将考核结果予以数量的描述。狭义的教育测量是指对学生某些学科经过学习和训练后所获得的知识、技能的测量，又称成就测量、学业成绩测量或学科测量。它是按教育测量的规则，对学生掌握某些学科的知识、技能予以数的描述。

通俗地讲，测验是指编制试卷并施测，再根据测验结果评估考生的学业、智力等的全部过程。即测验是教育测量的工具。

一般认为，测验的作用包括：检查和巩固学习、辨别智愚、选拔人才、对比实验（如：不同教学法的对比）、考查学生学习努力程度、预测能力、指导就业、课程评价。如何做到较为客观地评价，这就需要进行试卷分析。评价考试质量常用的指标：主要涉及试卷质量的指标：信度、效度、难度、区分度；主要体现学生成绩的指标：平均分数、标准差、分布状态、成绩。

2试卷分析工作要起步于测验前

2.1出题时就要明确考试目标

对于一般意义上的考试，试卷要符合考试的目的（根据考试目的，将考试分为常和目）。

常模参照性考试是依据测验集体的常模（平均分、标准差等）来解释分数的测验。其目的在于把个体的成绩与他人做出比较，着眼于集体中学生成绩的区分（如：高考、竞赛），即区别性考试、选拔性考试（如：高考、竞赛），要注意加强试题的区分度与试题难度。

目标参照性考试是以某种目标为依据进行命题和分数解释的考试，其及格的参照是最基本的教学要求水平，其分数解释是依据达标情况和能力水平进行的，达标程度愈高则分数愈高（如：结业考试、毕业考试），主要是了解知识的掌握程度。但出题要有依据，经常采用的依据就是教学大纲。可按照检验的目的不同，分别对掌握、熟悉、了解内容采取不同的比例。对于结业性测验，加大掌握与熟悉部分内容的比例，试题主要围绕基本知识点展开。如果平均成绩低于总分的70%，说明试题较难，或教学存在问题；高于总分的90%则说明试题过易，起不到考查的作用。尤其是后者，对优秀学生不公平，对后进学生起不到督导、激发学习热情的作用。

2.2测量材料、测量实施、评分计分等要标准化

2.2.1测量材料标准化 可以理解为所有测试对象采用统一（同一）试卷。

2.2.2测量实施标准化 一般要求采用统一的教材、教学大纲、测验时间、环境等。

2.2.3评分计分标准化 即要求采用统一的评分标准。

2.2.4测量分数解释标准化 即测验分数必须用统一的标准加以解释。例如：按照每门课程的学时分配测验分数，而不是随意安排。按照同样的标准制订给分标准，如采取多选题时每个问题（试题）给分标准是一样的[5-6]。例如：在首都医科大学全科医学与继续教育学院主导的北京地区“3+2助理全科医师规范化培训”[10]的临床综合课程结业测试中（以下举例均为临床综合课程结业测试），每届学员的结业考试试题均由联合教研室制订统一原则，由各教学单位承担课程的教师提供，建立题库，然后随机抽题组卷。课程负责人只负责组卷，不负责出题。试卷中的试题共计100题，每题分值1分，按照教学大纲内容、教学课时统一分配各章节知识点试题所占分数，平均每学时2分。鉴于学生的培养目标与将来的工作性质，对人文教育课程与全科医学概论每学时各分配4分。考试由联合教研室统一组织、同一时间举行。试卷统一印刷，在考试前发放到各单位，考生就位后同时开始答题。考试结束后各考点将试卷交回教务处统一组织流水阅卷。试题事先列出标准答案。

2.3测验评价要具备客观性

即需要对测验结果进行信度、效度、难度、区分度检验。信度是指测量的可靠性；效度是用于评判测量的正确性、有效性；难度是用于评判试题的难易程度，一般要求同时分析试题的难度系数、试卷的难度系数；区分度，即优秀生与差生的鉴别程度，一般也要求同时分析试题的区分度、试卷的区分度。

2.4要选择合适的题型

考试题型一般包括选择题（是非题、多项选择题、配合题）与供答题（填充题、简答题、论文题）两大类[4]。理论上讲，试卷分析可应用于所有题型，但在实际操作上简答题、论文题受阅卷教师主观因素影响。填充题、是非题猜测机会较大，一般占用试卷的比例较小，但可以分析。多项选择题与配合题则较为相似。根据多数教育学家的评价及其所收集到的学生反馈意见，多项选择题有利于扩大测试范围、用多选题形式进行学习的学生学习比较深入，因此，它是标准化测验较多采用的方法，但是也有命题困难、存在猜测因素的缺点。

临床综合课程涉及人文以及内、外、妇、儿等多个专业学科，因此多选题就成为最佳的选择，可达到题目数量较多、测验内容覆盖面较大、题目取样范围较广的目的。因此，从2015级开始，我们对北京地区“3+2”助理全科医生培训结业考试全部采用多选题组卷。

3试题分析的常用方法及基本步骤

3.1用Excel 2000建立数据库

将各题的编号、分值和每名学生的成绩等数据录入计算机，利用Excel 2000进行统计处理。

3.2分析计算学生测验成绩

统计得出班级的应得总分与实际总分、最高分与最低分、平均分与标准差以及分值范围分布，必要时可以制作曲线图。如果要比较多个班级之间的差异，则需要分别计算，并且要与总成绩进行比较；同时也可以进行不同班级成绩之间的比较。

3.3测验的客观性评价

在测验后，要评价试卷是否适合本次测验，此时需要评价试卷的质量指标，即信度、效度、难度、区分度。例如：在对2015级学员进行“3+2”助理全科医生培训结业考试，目的是目标参照性考试而非区别性考试，因此在试题选用上期望最终平均分为80分且不要求过高的区分度。检验结果：（1）试卷的难度系数为0.73，区分度为0.27，属于相对较易试卷，试卷设计基本符合考查目的及培训课程目标。（2）本次试卷信度为0.79，试卷信度较高，适合于专业理论与能力的测验。（3）试卷试题满分为100分，116名学员中最高分为93分，最低分为52分。本次考试成绩主要分布于65分～75分之间，平均得分（72.2±9.2）分，低于平均80分的期望值，说明部分试题难度略大，下次测验需要注意。

3.4比较分析试题难度系数（P）与区分度的关系

比较分析试卷总的难度系数与区分度的关系，就要了解难度系数较小的试题学生的掌握情况，以评判应该掌握的教学内容学生是否掌握。P值越大提示试题难度越小，测验内容为多数学生掌握，则区分度较差；P值越小说明试题难度越大，大部分学生未掌握，区分度也较差；难度适中的试题区分度则较好。难度系数≥0.7的试题属于较易题；0.4≤难度系数<0.7属于中等难度题；难度系数<0.4则属较难题。

3.5比较不同班级学生试题得分的差别

若是采用统一的教学大纲、教材，但课程实施有多个考生单位（多个班级）且由不同的教师上课，那就需要比较不同班级学生各试题的得分差异。举例（见表1）：下表中有6个班级在8道试题上出现差异，其中4道试题（试题1、试题9、试题11、试题50）有3~4个班级得分低于平均分；有2道试题（试题5、试题48）各有1个班级得分低于平均分；试题11则仅有1个班级正确率较高；试题15整体答题正确率较低。提示教师教学存在差异，有的薄弱部分需要加强。而试题2、试题15则提示是教学难点，需要组织集体备课。

表1 不同单位的考生20道A型题的答题结果分析（%）

3.6调查与反馈

测试结果需要通过适当的方式反馈给教师，然后收集教师以及教学管理部门的意见与建议，对下一次考题进行调整；对出现的问题按照不同情况开展分层次集体备课等。

4试题分析结果的意义及具体应用

4.1第一个层面：是教研室需要重点掌握的内容

（1）教研室要评价试卷是否适合本次测验，主要要对考试成绩与试卷做整体分析比较；（2）要分析试卷总的信度、难度、区分度，评价此次测验所用试卷试题质量是否适合要求；（3）要分析试卷总的难度系数与区分度指数的关系，从整体方面评价教学效果；（4）同时也要比较不同教学单位之间的差异以及具体环节，必要时要对薄弱环节组织集体备课。具体来说，要分析不同教学单位之间存在的考试成绩差异；要思考为什么存在差异？对教学管理者有什么提示？对授课教师有什么意义？对促进教学工作、教学水平有什么作用？对学生的学习过程有什么作用？同时要提出解决的对策。

4.2第二个层面：是教研室、各个教学单位管理部门需要共同关注的问题

本门课程中哪一部分学生掌握较好，哪一部分是薄弱环节，这就要求教研室与各个教学单位管理部门共同探讨，分析原因，如教师的原因、学生的原因等。要达到上述目的，各单位就必须对本单位学生试卷进行分析。

4.3第三个层面：是各个教学单位管理部门需要关注的问题

各个教学单位管理部门要与教研室取得联系，了解班级本次测验水平，组织教师进行集体备课，交流教学体会、教学方法；同时收集教师与学生的意见与建议。对于高分学生与低分学生要有不同的侧重点。

4.3.1高分学生 重点了解其未掌握的内容，分析是个别情况还是整体情况，若是整体情况（即全部或大多数学生答错），需要了解别的班级（教学单位）是否也如此，若别的班级也如此则由教研室拿出解决方案；若仅本班级如此，那就需要从教师处入手，分析教法、教学内容、教学能力等，必要时要对学生进行补课。

4.3.2低分学生（1）总体分析：首先看这部分学生共同掌握的内容，再看共同答错的内容，即首先了解整体情况。如果学生的问题是共性的，原因大致同上；如果学生的问题是无规律可循的，就组织教师和学生一起分析原因。

（2）个体分析：具体对每位学生进行分析。如果学生在每门课程均属于低分组，那班主任就要给予更多关注，分析原因。要重点分析低分（组）学生对难度系数低的试题的答题情况，即必须掌握的内容该生是否掌握？能否达到“助理全科医师”的基本要求。

4.4第四个层面：是每位教师和学生均需要注意的问题

要将考试结果及时反馈给教师与学生，同时收集教师与学生的反馈意见。

（1）教学过程是“教”与“学”的过程，需要“教”与“学”两方面的互动。该过程中教师起主导作用，这个作用不仅在授课过程中发挥，还要持续到课程结束后，将测验结果向学生反馈，包括试卷讲评。教师要了解自己对课程的教授效果，不断提高教学质量。

（2）测验不是目的，而是了解学生是否掌握本门课程知识的手段。学生要反思自己的学习效果，寻找薄弱环节进行补课。

综上所述，结业试卷分析在出题前就要进行，测验后除了计算总分、平均分、标准差，必要时还需进行分布状态分析，评价试卷质量，检验试卷的信度、难度系数以及区分度，教研室以及各个教学单位的教学管理部门要将分析结果及时反馈给每位教师以及学生，以促进教学效果不断提高。

[1]张正祥，刘国庆，王廷慧，等.延安大学医学院药理学试卷分析[J].中华医学教育杂志，2008，28（4）：120-122.

[2]孙敏，王锦帆，祖勤，等.医学生学习中期评估测试实效分析[J].中华医学教育杂志，2013，33（4）：617-620.

[3]卢燕，王培玉，刘宝花.北京大学医学部八年制疾病预防医学期末考试试卷分析[J].中华医学教育杂志，2013，33（5）：791-793.

[4]王孝玲.教育测量[M].2版.上海：华东师范大学出版社，2005.

[5]马秀华，张东海，黄东明，等.“3+2”助理全科医师培训临床综合课程结业试卷评价及相关因素分析[J].中国医学教育技术，2015，29（2）：213-217.

[6]马秀华，张东海，徐德颖，等.“3+2”助理全科医师培训临床综合课程结业试卷分析评价[J].中华医学教育探索杂志，2016，15（5）：445-450.

[7]高卫红，任俊峰.利用教育统计学原理进行考试质量分析方法初探[J].武警医学院学报，2004，13（3）：214-218.

[8]彭斌.试卷质量定量分析系统中的几个参数及其应用[J].医学教育探索，2004，3（4）：52-54.

[9]刘新平.教育统计与测评导论[M]．北京：科学出版社，2003.

[10]黄艳，线福华，赵丽莉，等.“3+2”助理全科医师培养模式的探索与实践[J].中华医学教育杂志，2014，34（2）：31-33.

（*通讯作者：马秀华）

G40-03

A

1671-1246（2017）06-0026-03

北京市教委“2016年度首都全科医学研究专项”基金资助课题（16QK12）