项目反应理论在题库系统建设中的应用

冯 熠

(南京师范大学 物理科学与技术学院，江苏 南京 210097)

项目反应理论在题库系统建设中的应用

冯 熠

(南京师范大学 物理科学与技术学院，江苏 南京 210097)

加强标准化题库建设是检测教学效果的必然要求，也是大学物理课程建设和教学改革的需要。运用项目反应理论开发题库，可以弥补基于经典测试理论的题库的不足，提高测量精度，缩短测验长度，使试题系数更加规范，保证试题的科学性和有效性。

项目反应理论；物理课程；试题库；标准化

随着信息技术的快速发展和广泛应用，计算机、互联网因其强大的功能已进入人类社会生活的方方面面，在文字处理、信息管理、辅助设计、图像处理、教育培训以及游戏娱乐等领域，具有不可替代的作用。在教育体系中，以试卷的形式考试是考查学生学习情况的一种常用办法，试题库系统也是计算机辅助教学的一种有效方式。在尚未利用计算机技术开发题库之前，教师们每年必须花费大量的时间和精力预先设计试卷的所有题型、难易程度等。然后，学校要组织大批人力对试题抽样研究，之后再排版、印刷，考试结束后还要对成绩进行分析、评价。每位教师所出试题的难度不同，而且每年的试卷难度也不同，造成考试的标准波动。伴随着大学物理课程建设和教学改革力度的加大，教育教学方式逐步多样化，学生自主学习的积极性和能力不断提高，传统的出卷方式已经不能满足大学物理教育教学的需要。为了体现因材施教，为了促进教考分离、讲学分离从而提高教学质量，为了更及时、客观、公平、高效地评估、检测教学效果，迫切需要科学的考试分析系统和标准化题库。

一、项目反应理论概述

项目反应理论(Item Response Theory，简称IRT)是一系列心理测量与统计学模型的总称，用来分析考试成绩或问卷调查数据，在20世纪六七十年代开始受到教育测量理论界和实践界的关注。这一理论认为被测试者的潜在心理特质可以通过测试题反映出来，它弥补了经典测量理论(Classical Test Theory，简称CTT)的不足，通过优化难度、区分度、一致性等指标分析和一系列参数估计方法，能够高效、客观、公正地评价被测试者的学习能力和学习效果。

经典测量理论的各种测验参数需从考生样本中求出，其理论基础是真分数模型。在信度和测量误差的估计方面，经典测量理论的信度针对所有被试者，只代表所有被试的平均测量精度，不能反映不同能力被测试者的测量精度。而项目反应理论则用测验信息函数来表示测量的精度。项目反应理论主要根据被测试者回答问题的情况来推断其能力，被测试者的能力和项目参数与样本无关。在参数选择方面，项目反应理论所采用的项目参数不受样本数量的影响，这些参数的获得不会因被试样本的变化而改变，同时对被试能力的估计也不会因为试题的不同而不同。

二、题库建设目标

题库不是试题的简单组合或大集合，而是有关人员遵循一定的教育测量理论，将不同学科知识经过科学的数学模型设计、测算而成的数据库。完善的题库系统应该具有数据录入、试题使用、查询、维护与更新、分析等功能，是集信息化、智能化、电子化于一体的应用系统，便于师生利用。

在设计大学物理题库之前要充分考虑以下内容：一是题库的使用者。各年级的学生知识面不同、学习要求不同、计算机水平不同，对题库的需求自然不同。二是开发题库的目的。由于存在不同学习能力的学生、不同学习内容、不同教师运用不同的教学方法等多种差异，开发题库的目的应该不同。开发题库是为了检查学生的学习进度，是为了测量入学水平，还是为了诊断学习过程中的问题，或是为了选拔人才？目的不同，那么使用的检测手段和内容设计等自然不同。三是题库的性质。所要设计的题库是用于常模参考性考试、目标参考性的考试还是普通的习题？是用于课后测试还是大规模的考试？如果要设计为习题，那么是用于单元测试、阶段测试，还是综合练习、基础知识训练？四是题型设计。采用不同题型测试的效果不同，一般来说，主观题便于测试学生的创造力、综合运用能力，而客观题便于计算机批改；单选题、多选题、填空题、问答题、操作题等对学生的知识和技能的考查效果不同。在设计题库之前，需要考虑不同题型的比例。五是题量设计。一般来说，题库中的题量越大越好，而限于人力、物力等客观条件的制约，不可能做到越多越好。题库中的题目应该不断扩充、更新，或是补充新的试题，或是改编原有题目。

在明确题库建设目标之后，先要确定题库类型，制订设计原则，然后进行题型设计，组织教师命题，再经过多次拼题组卷，最后经过审核建成题库。在这个过程中，需要运用相关测量理论和测量工具，对题库进行客观的分析，对试题进行等值处理，才能保证题库的科学性、公平性。

三、评价题库质量的维度

试卷是考试组织者根据一定的考试目标而设计开发的若干试题的有机组合。试题的设计质量关系到整个题库的质量，关系到考核的准确性和有效性。试题要有科学性、纲领性、有效性、严谨性、公平性和针对性。从微观角度来看，可以通过对每道试题分析来评价试卷的质量，也就是考查试题的难度、区分度以及所涵盖的知识面等；从宏观角度来看，可以通过效度、信度等指标来评价试题的规范性、题型结构组合等是否合理。

效度一般是指根据考试成绩所做出决策或推测的有效程度，考查试题的内容及方式等是否符合测试的目的。理论界一般从三个方面分析试题的效度，即内容效度、结构效度和效标关联效度。效度以证据为基础，效度检验的过程就是积累和收集各种证据的过程。效度的证据主要包括考试内容、考生的应答过程、考试的内部结构以及考试结果与其他变量之间关系的证据。常模参照性考试和标准参照性考试都要求高效度。不同的是，标准参照性考试一般都规定了具体的学习标准，特别强调内容效度，要求题库内容的覆盖面广，便于考查考生对知识和技能的掌握程度；而常模参照性考试对考试内容的覆盖面要求不严。

信度是指考试的测量误差，即多次测量结果的一致性。也就是说，在使用同一试卷对考生重复测验时，或用两种平行试卷对考生测验时，所得分数的一致性和稳定性程度。项目反应理论对信度的分析主要是针对考生能力参数的估计值H计算考试的信息量，然后得出能力估计值的标准误差。通常说来，信度和效度关系密切。只有信度较高的测试才可能有较高的效度，但效度较高并不能保证信度也一定较高。信度主要涉及试题本身的可靠性和评分的可靠性，而试题本身是否可靠主要取决于试题的范围、数量、区分度等因素；评分是否可靠则与评分标准是否客观有关。

四、参数设计

根据项目反应理论，试题的难度与考生人数及答对题的数目有关。在项目反应理论中，难度被定义为试题本身固有的特性，不随考生样本的变化而变化。通过项目分析，对参数进行设计和修订，可以对试题进行等值处理，剔除不合格的试题，再对合格试题的难度、区分度等进行优化调整，最大限度地保证题库的科学性。

参数设计有以下内容：一是难度参数。难度，就是指学生答题时所感受的困难程度。经典测量理论用答对率来描述试题难度，通过率高，则试题容易；反之，则难。而项目反应理论是以项目特征曲线的拐点处被试能力值作为试题的难度值。二是区分度参数。区分度是指试题对不同知识、能力水平的测试者的鉴别程度。根据项目特性曲线，曲线越陡峭，区分度越高，当被试能力稍为偏离试题难度值时，被试正确做答试题的概率取值迅速增大或变小。三是被试能力参数。经典测量理论将被测试者的总得分作为能力的衡量指标，没有专门的能力参数。在项目反应理论中，针对考生对试题的应答情况，利用项目反应模型来估计被试的能力参数值，参数值不随试题的变化而变化。一般来说，被试的总得分与被试能力参数总体趋势是一致的，但也不完全相同。

综上所述，随着高等教育教学改革的深化，在大学物理教学过程中，加大题库建设力度，便于实施分层教学，满足学生的不同学习需求，从而在整体上提高教学质量，让学生得到应有的发展。题库中存储的每一道试题都是经过项目反应理论模型筛选和参数修正过的，可以和其他的题目自由组合而成难度、信度、效度、区分度各不相同的试卷。题库中试题的数量应当不断扩充，才能够保障题库的分数具有可比性、内容具有广泛性。物理题库建设是一项复杂的、动态的、长期的系统工程，需要从事物理教学和研究的教研人员以及计算机、心理测量、统计学等领域的专业人员共同努力。

[1]Christine E DeMars. Application of the Bi-Factor Mult-idimensional Item Response Theory Model to Testlet BasedTests[J].Journal of Educational Measurement，2006，(2)：145-168.

[2]雷新勇.大规模教育考试：命题与评价[M].上海：华东师范大学出版社，2006:101-115.

[3]于嘉元.项目反应理论及其应用[M].南京：江苏教育出版社，1992：15-20.

[4]戴海琦.基于项目反应理论的测验编制方法研究[J].考试研究，2006，(2)：31-44.

[5]孔燕，张凡.基于项目反应理论的中国公民科学素质测评方法研究[J].科技管理研究，2009，(4)：280-283.

[6]郑国成.基于IRT动态题库系统分析和设计[J].中国科技信息，2006，(3)：203.

[7]约瑟夫·M·瑞安.基于经典测量理论和项目反应理论的等值与连接——项目反应理论等值程序[J].考试研究，2011，(3)：80-94.

[8]李映红.项目反应理论在构建标准化考试题库系统中的应用[J].邵阳学院学报：社会科学版，2012，(5)：91-93.

[9]何立新.基于项目反应理论的大学英语分级测试题库建设[J].沈阳师范大学学报：社会科学版，2013，(5)：78-80.

[10]王晓华，文剑冰.项目反应理论在命题质量评价中的应用[J].教育科学，2010，(3):20-26.

[11]庄维平.论标准化考试的题库建设[J].中国电大教育，1998，(10)：29.

[责任编辑：王东霞]

TheApplicationofItemResponsesTheoryinBuildingSystemofTestQuestions

FENG Yi

(SchoolofPhysicsandTechnology,NanjingNormalUniversity,Nanjing210097,Jiangsu,China)

Strengthening the construction of normalized questions bank is an inevitable requirement of examining the effects of teaching, and it is also the necessary for curriculum construction of college physics and teaching reform. The application of item responses theory in building system of test questions can make up for the lack of CTT-based question bank, improve measurement precision, shorten the length of test, make the coefficient of test questions more standardized and ensure the test scientific and effective.

item responses theory; physics curriculum; question bank; standardized

2013-12-17

冯熠(1985—)，男，南京师范大学物理科学与技术学院在读硕士研究生，南京财经大学营销与物流管理学院教师。

G40-03

：A

：1672-2604(2014)02-0049-03