考易网络题库与考试系统实测研究

席卫文，张春辉，朱汉祎，胡 桂，耿景海，王 飞，文民刚*

(1.南方医科大学生物医学工程学院;2.南方医科大学教务处，广东 广州 510515)

南方医科大学于2009年9月28日正式推出考易网络题库与考试系统(以下简称考易系统)，我们对两年的工作进行了实测研究，希望能为网络题库建设提供有益的借鉴。

一、题库规模的实测研究

截止2012年元月12日，我校共有448名教师投身参与题库建设，已经形成了162门课程，206765道的系列试题库。其中22门课程是学校指定建设的题库。其他课程均因系统能显著提高教学工作效率，由教师自发建设。题库涉及医学、药学、英语、工程等多个学科领域。试题数量最多的均为综合考试题库。

从正式推出考易系统计算，截止到2011年元月12日，共计837天，平均每天增加247道试题，实施了427场网络考试，共有95038学生人次参加了网络考试。平均每个教学周实施网络考试5.9场，每场考试的平均人数为223人。系统共生成95038份学生个人成绩分析报告，427份试卷分析和试题分析报告，对3万多道试题进行了实测分析。

二、试题结构的实测研究

题型一直是困扰题库软件开发的一个重要因素，如果题型不能满足课程要求，题库软件就会失去生命力，对此我们有深刻的认识。近20年的题库研究与实践，我们发现和总结了试题的构成规律，考易系统不再受题型困扰。

1.试题结构。一道试题一般由四部分组成，分别由题干、备选答案、标准答案和媒体素材四部分组成。不同的题型，这四部分略有变化，但不影响试题的基本结构。媒体素材本应属于题干的一部分，但媒体素材的出现，导致对试题的处理方法会变得复杂，所以应该把它作为试题的独立构成部分。

2.试题应用的制约因素。一道试题如何应用，受到三个因素的制约。第一个因素是试题是否与其他试题共用一个题干。这中题型除了有自身的题干外，还与其他试题共用一个题干，这在医学考试中非常常见。每次呈现这类试，除了要显示自身的题干外，还必须显示共用的题干，考生才能准确作答此试题。第二个因素是试题与其他试题是否关联。在医学考试中，有大量的A3、A4型题，这些试题是由几道单独试题组成的一组试题。在成卷过程中，单独抽取一道试题是无效的，因为一组试题相互关联，用来的测试一个比较大的知识点，所以选中这组的任何一道试题，相关联的试题也必须抽取，我们把这样的试题称作“串题”或者“关联试题”。属于这样的题目还有用于知识的分析和鉴别B型、C型试题。外语题库中，关联试题也非常多，比如阅读理解题。而且关联试题的呈现顺序是有事先约定的顺序，不能打乱顺序。第三个因素是标准答案是否固定唯一。从理论上讲，答案本身并没有质的区别，但对软件系统来说，不同的答案有不同的处理方法。如果试题答案简短、固定、唯一，这样的试题可由题库软件系统自动判卷。这类试题主要体现在多项选择题上。如果答案不十分固定，允许考生充分发挥，那么系统必须给考生提供灵活的答题空间，比如论述题。

正是因为我们把握了试题构成规律，所以考易系统不再受题型的制约，允许老师创建任意题型。

三、常用题型的实测研究

一门课程的题库需要多少种题型，目前国内外没有确切的理论依据，为了加强题库建设的指导，我们对已完成建设，并实施过网络考试的79门课程，184958道试题进行了分析，得出以下结论。

1.题型的种类数量。这79门课程涉及医学、理学、工学、外语、人文类课程，先后涉及到31种题型，其中外语类课程使用的题型与其他类课程差异性最大。外语类课程共使用了13中题型，这些题型在其他课程均未使用。其他课程均在18种题型内选择，尽管有些题型名称不一样，但从试题结构看，完全一致，只是答题说明体现出个性化。

2.一门课程题库使用的题型。在79门课程中，题型超过10种的有4门，9种题型的有8门，8种题型的有11门，7种题型的有6门，6种题型的有12门，5种题型的有18门，4种题型以下的有20门。79门课程平均使用题型为5.9种。分析已实施网考的371门课程，考试中涉及到的题型一般不超过5种。

因此我们认为课程试题库的题型限定在6种左右比较合适，这也符合教育测量学理论。有3-4种题型测量考生对知识点的掌握(以多项选择题为主)，有2-3种题型测量考生的分析问题、解决问题和文字表达能力的试题。这样的考试是科学合理的。

3.最常用的题型。见附表。

附表 常见的题型

从附表我们可以看出，从使用次数看，A1型题、X型、题简答题、论述题、B1型题在课程题库中使用到的次数最多。从试题数量看，A1型题、B1型题、X型题、A2型题、A3型题在题库中数量最多。

由此我们可以得出结论，A1、A2、A3、B1、X 型题、简答题、论述题是最常用的题型。

4.媒体素材使用的研究。多媒体网络技术为在考试中应用多种媒体素材提供了平台，所以大量的图片、音频视频题，正逐步取代传统的文字试题。多媒体试题的广泛应用，使经典、传统的课程考试，焕发新的生机，课程考试的信度、效度和区分度大大提高，考试结果更加科学、合理。多媒体网络考试有效地引导学生不但要掌握基础知识、基本理论，更要学会运用所学理论知识，去分析、解决相关问题。课程考试不再仅仅局限于认知领域，精神运动领域也在课程考试中逐渐涉及，考试的诊断、反馈功能得到充分的发挥。

在已完成题库建设的79门课程中，使用了多媒体素材(包括视频、音频、动画和图片)为题干主要内容的课程有8门，已实施的427门课程考试中，使用到媒体素材(包括音频、照片、视频、动画)的考试有75门，占考试数量的19.4%，而且这一趋势正在快速增加。

四、题量的实测研究

我们曾在90年代初期，联合四所军医大学开发了40门课程10万道试题的临床医学专业系列试题库，并研制了单机版的通用题库软件［1］。当时规定每学时按照15-25道试题开发题库［2］。通过对试题的会审，我们发现每学时规定的题量有点高，所以在2009年开始建设的22门课程题库时，我们规定每学时按照10-15试题开发试题库。

按照这一标准，两年内先后建设了162门课程的试题库，我们对题量超过400道试题、有完整的知识体系，实施过网络考试的79门课程题库进行了题量分析。

1.79门课程试题库的总题量为184958道试题。其中有八门题库属于综合试题库，用于各专业的综合测试。去除这八门课程的71968道试题，属于课程试题库有71门，题量为110293道试题。我们按照专业中课程的最大学时数进行统计，71门课程的总学时为6828学时，平均每学时的题量为16.2 道试题。

考虑到还有部分课程的试题仍在增加，最后平均每学时的题量将会稳定在18左右。我们认为按照每学时18道试题建设题库的指标是科学合理的。

2.单门课程试题库量最多的分别为:内科学、诊断学、外科学、病理学和生理学。每学时平均题量最多的是方剂学、传染病学、医学生物学、生理学、妇产科护理学，均在每学时35道以上。

所以在建设题库过程中，不应过多的追求试题数量，而要把精力放在提高试题质量和试题均衡分布上来。从实际情况推测，如果按照每次考试100道试题的用量，1000道的试题库可以保证10年试卷试题不重复使用。

五、题库建设方法的实测研究

目前已经开始建设的题库共有162门，总题量有206765道试题。这些题库的建设方法有两种。

1.严格按照规定的题库建设的六步骤逐步推进。即:确定题库的知识框架，确定题型和题量，确定题库相关参数、明确个人分工，录入试题、审核试题。使用这样方法建设题库的大约有70%的课程，一般的建设周期在2个月左右，最快的2周完成建设任务。方法是3位以上的老师利用网络协同作战，建设速度非常快。

2.有些课程由于没有足够的试题资源，我们采取了边使用，边建设的方法建设试题库。即:每次考试前，先把AB两套试卷的题库录入系统中，先实施网考，让教师体会网考的优越性，提高教师题库建设的动力，然后按照题库建设规定的步骤，构建题库框架，再把网考的试题转化为题库中的试题，对题库进行补充和完善。这一方法促进了题库建设的广泛性，提高了老师建设题库的自觉性和动力。

六、网考的实测研究

截止2011年12月31号，考易网络题库与考试系统共完成了427门课程的组卷和网络在线考试，共有95038人次参加了网络在线考试。

1.网考课程数量和人数呈快速增长趋势。2010年春季学期有13门课程，1350人次参加了网考。到2011年秋季学期共有196门课程，46050人次参加了网考。网络课程考试的门数和网考人数快速的增长。

2.网络在线支持能力。在已实施的网络课程考试中，有224场考试人数均在200人以上。其中，在2011年7月14日8:00-10:00期间，共有三门课程，925名学生同时参加网考。考易网络题库系统运行平稳、流畅，说明考易系统使用一台服务器，可同时支持1000人在线考试。

七、题库效益的实测研究

两年的实践，也充分证明了网络题库与实施网考的质量效益、经济效益和社会效益都非常显著。具体表现在:

1.质量效益。从教师角度分析，传统考试的流程中，教师多次往返系、学院、考试中心，学科教师把大量的时间用于非核心的教学工作，不能把有效的时间用于研究教学工作，提高教学质量上。有了网络考试系统，这些工作就能坐在办公室和家中，敲敲键盘、动动鼠标即可完成，提高了考试工作的效率。教师能把更多的精力用在提高教学质量上和教学改革上。从学生角度看，由于网络考试采取了多重的防作弊措施，有效地促进了学风建设，促使学生把精力用在学业上，显著地提高了教学质量。在国家大型考试中，我校学生屡创佳绩，执业医师考试通过率从2006年的全国49名一路攀升到2011年的全国第5名。印度留学生回国参加的医师执照考试的通过率也高达73%。

2.经济效益。以我校为例，印刷一份试卷的平均成本为1.5元(我校采用施乐高速复印机印刷试卷)，每份试卷平均12页A4纸，计0.6元;印刷费每张7分钱，计0.84元，每份试卷的装订费用0.06元，合计为1.5元)，加上一张答题卡0.3元，大约每个学生一次考试直接成本需要1.8元。照此计算，自我校开展网络题库与网考工作以来，共有95038人次的学生参加了网络考试，直接节约试卷印刷费17.2万多元。如果把这17.2万元用于购买学生用计算机，足以更新60台学生用机，网络考试真正的促进了教学基本建设。

3.社会效益的研究。根据相关数据，用传统木纤维制浆造纸，每生产1吨纸:需消耗木材2.5立方米，耗水100立方米。一包500页的A4纸大约重2.48公斤。这样计算，我校四个学期共节约纸张114.1万张，重约5657公斤。相当于节约了14.1立方米的木材，保护了14亩林地免遭砍伐，节约用水566立方米，减少了大量的污水排放。如此计算，院校实施网考的确是一项效益明显的环保工程。

两年的网络题库与考试系统的实测研究表明，广大教师在使用了网考，亲身感受到网络题库和考试的魅力后，建设网络题库的积极性更高，目前题库系统的试题以每天200道试题的速度增长。我们也感觉到，这次建设题库和上世纪90年代建设题库感受有天壤之别。过去是我求教师做，现在是教师主动做。

为了更多地了解广大教师和各院校对考试的需求，我们已经召开了三次全国性题库建设研讨会，80多家单位150多名代表参加了研讨，与12家院校签订了技术开发合同，7家院校已经安装完毕，并且成功实施了网络题库建设和网络在线考试。

［1］文民刚，方振伟，胡 桂，等.试论建立医学试题库的程序和原则［J］.医学教育，1993(8):17-19.

［2］文民刚，陈立明，胡 桂，等.医学通用试题库系统［J］.中国高等医学教育，1993(6):5-6.