网络题库与考试的应用实效分析
2012-10-11张春辉席卫文朱汉祎耿景海章战士文民刚
张春辉,席卫文,朱汉祎,耿景海,章战士,文民刚
(南方医科大学 教务处,中国 广州 510515)
网络化题库可以让试题管理的继承性、成长性充分显现,网络化考试借助互联网极大地拓展了考试的区域性、灵活性,并可促进试题的自我生长。网络化题库与考试系统拥有大量标准化试题,可以提供多种组卷模式、考试模式和防作弊措施,还可实现自动阅卷、自动分析,并为进一步挖掘试题和考试数据提供了可能,代表了教育改革的一个重要发展方向。
一、国内外现状
国外在智能组卷和考试等方面已取得相应成就,并在托福、GRE、微软认证等等许多领域应用,已经收到了明显的经济效益和社会效益。其研究多集中在考试理论、评价模型质量等方面,且多为普适性的学科领域,考核内容多倾向于认知领域,鲜见关注反映主观能动性的精神运动领域。
国内对题库系统的研究起步较晚,但发展较快。自80年代中期开始启动,90年代初已经在全国100多所高校推广使用工科、理科及医学题库,多为单机版系统。21世纪初才开始借助网络实施计算机应用等级以及部分职称考试。目前大多数研究大多集中在系统的研制和初步应用的探讨方面,对题型、多媒体试题的普适性支持却鲜有讨论,并且也鲜见大范围、大批量的实际网络考试的实证分析报道。
南方医科大学历来重视课程考核改革与题库建设,1992年就曾建成单机版题库系统并在军队及全国医科院校推广。经过多年积累,2010年春季升级成功的网络版《考易题库与考试系统》正式运行,经过短暂的2年多时间,南方医科大学课程题库建设、课程考核改革等工作均取得显著进展。为与广大同行分享成功经验,现将2年来的工作做一系统回顾,希望能为各单位网络题库建设及考试工作提供有益的借鉴。
二、题库建设实效
截止2012年7月,我校共有551名教师参与题库建设,经过四个学期的不断努力,已经形成了232门课程,35万多道的大型系列试题库,涉及医学、药学、英语、中医、工程等多个学科领域。从正式推出系统计算,平均每天增加388道试题。其中22门课程是学校指定建设的题库。其他课程均因系统能显著提高教学工作效率,推动教学质量提高,由教师自发建设。试题数量最多的均为综合考试题库,其中临床医师执业考试综合题库拥有35709道试题。
1.试题结构研究
将一道试题细分为题干、备选答案、标准答案、答案解析四部分组成。不同的题型,四部分组成略有变化,但不影响试题的结构。然后按“①是否串题,②是否单选客观、多选客观、主观题”两个维度对各类题型进行定位。这种处理方式基本可以将目前常见的各类题型进行定义,并可定义新型试题,例如医学职称考试常见的串题多选题。
2.媒体素材使用的研究
网络技术的进步为考试中使用多种媒体素材提供了平台,所以大量的图片、音频视频题,正逐步取代传统的文字试题。新型试题的广泛应用,使经典、传统的课程考试,焕发新的生机,课程考试的信度、效度和区分度大大提高。网络考试有效地引导学生不但要掌握基础知识、基本理论,更要学会运用所学理论知识,去分析、解决相关问题。课程考试不再仅仅局限于认知领域,精神运动领域也在课程考试中逐渐涉及,考试的诊断、反馈功能得到充分的发挥。
在已完成题库建设的79门课程中,使用了多媒体素材(包括视频、音频、动画和图片)为题干主要内容的课程有18门,已实施的700多场次课程考试中,使用到媒体素材(包括音频、照片、视频、动画)的考试有175场次,占考试数量的25%,而且这一趋势正在快速增加。
3.题库建设方法实效
大约70%的课程严格按照规定的设置课程及其参数、设计三级主题词、设定总题量题型、按不同主题词分别录入试题等步骤建设。一般的周期在2个月左右,最快的2周完成。快速建成的课程教研室原本基本都有电子版的试题。
还有30%的课程由于没有足够的试题资源,就鼓励其采取边网考、边建库的方法。即每次考试前,把AB两套试卷的题库录入系统中,先实施网考,让教师体会网考的优越性,提高教师题库建设的动力,然后按照题库建设规定的步骤,构建题库框架,再把网考的试题转化为题库中的试题,对题库进行补充和完善。这一方法促进了题库建设的广泛性,提高了老师建设题库的自觉性和动力。
三、网考的实测研究
两年来,先后实施700多场网络考试,共有139095人次学生参加了网络考试,每场考试的平均人数约为200人。网络考试的人次占全校本专科课程考核总人次的比例由2010年春季的2.77%迅速上升到2012年春季的40.34%。系统共生成139095份学生个人成绩分析报告,700多份试卷分析和试题分析报告,对5万多道试题进行了实测分析。
1.考试方式日趋多样
在多年教育测量学研究基础上,随着不同类型课程的网考实践,系统逐步增加了多种考试方式。
单向逐题限时:试题分完全随机和题型不随机等方式,是主推的网考模式;
单向逐题整卷限时:只限定总答题时间,每题不限时,不能回做。
整卷显示限时:所有试题一个页面显示出来,可回做。
逐串题限时:适合英语类考试,每组串题一个页面显示出来。
一人一卷模式:在试题质量较高的基础上,每人的试题都不完全相同,但难度等要求相同。
还针对形成性考核,增加了一种答完一题后可显示正确答案的模式,便于组织内部学习型考核,有效提高知识的掌握效果。
2.网络在线支持能力
在已实施的700多场网络课程考试中,有317场考试人数均在200人以上。其中2012年4月14日,同时有三门课程,1025名学生参加网考。系统运行平稳、流畅,教师和教务管理人员还可在系统后台实时监控考试过程,说明考易系统使用一台服务器,可同时支持1000人在线考试。在2011年秋季,服务器故障,用一台普通的双核2G内存的PC机代替承担400多人同时在线考试,运行也很顺畅。
3.网考各项参数实测
经过700多场网络考试,相关课程试题的难度、区分度、信度等测量学指标基本稳定,为试题的自动或人工维护提供了客观依据。同时也为验证不同考核方式及不同类型课程试题的难度、信度及区分度的标准化区间测定提供了数据基础。例如,经过测定,A1型试题平均作答时间不足30秒,A2型试题不足40秒。
四、后期实效分析
两年的实践,充分证明了网络题库与实施网考的教学效益、质量效益、经济效益和社会效益都非常显著。
1.教学管理效益
考务工作流程更加规范、科学,教师不再来回奔波。教务人员也不再整天面对纸质试卷进行审核,老师无需趴在办公桌上奋笔疾书评阅试卷。上上下下都认可了网络题库与考试系统的优越性。可以说利用网络题库与考试系统可以使院校考务工作产生革命性的变化。
考易系统形成的700多份试卷分析报告、试题分析报告、学生成绩分析报告,有力的反馈了教学,指导学生如何学习。这700多分分析报告,如果没有应用网络题库和考试系统,其形成是不可想象的。
2.教学质量实效
从教师角度分析,网络题库和考试系统可以让教师把有限的时间用于研究教学工作,提高教学质量上。从学生角度看,由于网络考试采取了多重的防作弊措施,有效地促进了学风建设,促使学生把有限精力用在学业上,可显著地提高学习效果。
由于多年的题库建设和教考分离,我校学生在国家大型考试中屡创佳绩,执业医师考试通过率从2006年的全国49名一路攀升到2011年的全国第5名;印度留学生回国参加的医师执照考试的通过率也高达73%,在招收印度留学生的中国医学院校中名列前茅;大学英语四级考试平均成绩一直保持在470分左右。
图 南方医科大学临床医学专业学生首次国家医师执考通过率情况(数据来源:国家医学考试中心)
3.经济实效
以我校为例,印刷一份试卷的平均成本为1.5元(我校采用施乐高速复印机印刷试卷),每份试卷平均12页A4纸,计0.6元;印刷费每张7分钱,计0.84元,每份试卷的装订费用0.06元,合计为1.5元),加上一张答题卡0.3元,大约每个学生一次考试直接成本需要1.8元。照此计算,自我校开展网络题库与网考工作以来,共有139095人次的学生参加了网络考试,直接节约试卷印刷费25万多元。如果把这些钱用于购买学生用计算机,足以更新80多台学生用机,网络考试真正地促进了教学基础建设。
4.社会实效
根据相关数据,用传统木纤维制浆造纸,每生产1吨纸:需消耗木材2.5立方米,耗水100立方米。一包500页的A4纸大约重2.48公斤。这样计算,我校5个学期共节约纸张168万张,重约8333公斤。相当于节约了20.8立方米的木材,保护了20亩林地免遭砍伐,节约用水800多立方米,减少了大量的污水排放。如此计算,院校实施网考的确是一项效益明显的环保工程。
两年的网络题库与考试系统的实际效果表明,广大教师在亲历网络题库和考试的魅力后,建设题库的积极性会更高。同时也感觉到,这次通过网络构建题库和上世纪90年代的题库建设有天壤之别。过去是我求教师做,现在是教师主动做。
为更多地了解广大教师和各院校对考试的需求,我校曾召开三次全国性题库建设研讨会,有80多家单位共150多名代表参加,现场体验了考易网络题库与考试系统。现在已有10多家院校安装使用该系统,并顺利开展网络题库建设和网络在线考试。
[1]耿景海,席卫文,张春辉,文民刚.医学网络题库与考试系统利弊分析——基于网络考试的事实经验[J].西北医学教育,2012,20(1):159-161.
[2]宋丽,廖洪利,蒋庆琳.高校题库建设中存在的问题及解决措施[J].中国医学教育技术,2010(5):507-509.
[3]张春辉,陈戈煜,文民刚等.医科院校考试改革效果的实证分析[J].中华医学教育探索,2012(4):415-418.