新高考背景下学业水平考试题库建设的现状、功能及特征
2022-03-17马鹏飞李建军
马鹏飞 李建军
省级教育考试机构作为国家教育考试工作的重要一级组织管理部门,承担着各类国家教育考试命题的组织实施。近年来,随着省级教育考试机构组考职能的拓展,命题任务逐年增加。在高考综合改革深入推进的背景下,大规模、高利害的学业水平考试(以下简称“学考”)受到社会和广大考生高度关注。在新形势下,命题质量和考试安全面临着新的挑战,传统的命题组织管理模式已很难适应新形势下命题工作的需要,题库建设的重要性和紧迫性愈发明显。《国务院关于深化考试招生制度改革的实施意见》和《国务院办公厅关于新时代推进普通高中育人方式改革的指导意见》都明确提出要加强命题能力建设,加快题库建设,提高命题质量[1]。可以说,题库建设是省级考试机构命题能力建设的基础性工作,也是深化考试招生制度改革的迫切要求,更是打造专业化教育考试机构的必由之路。
一、学考题库建设现状和存在的问题
(一)基本情况
掌握全国省级教育考试机构题库建设现状,了解命题组织实施方式,吸收借鉴兄弟省(市)经验,是做好题库建设的基础。为此,课题组采取调查问卷、考察走访等方式,面向全国31 个省(市)教育考试机构开展了广泛的调研。
结果发现,大多数考试机构尚未采用题库命题方式(约占60%),命题组织方式一般采取集中入闱命题、分散与集中入闱命题相结合两种模式;试题以卷库方式呈现,制作平行试卷,随机抽用。考试机构普遍反映这种命题方式入闱时间长,工作压力大,安全保密风险逐年增加。主要表现为:命题教师选聘困难,组织管理难度大,命题成本高,试题质量把控缺乏有效手段等,对采取题库命题方式普遍看好。
制约题库建设的主要因素包括建设周期、研发费用、专业技术人员配备、题库管理维护等。其他诸如题库功能、题库建设重点难点等,考试机构认识相对比较清晰,这也反映出了题库建设的长期性和复杂性。对于已采用题库系统实施命题的考试机构(约占40%),题库使用满意度较高,普遍认为题库建设是考试机构命题工作方式和管理模式上的巨大变革,是考试机构核心竞争力的体现,有助于提高考试机构命题工作组织实施的能力和水平,具有节约命题成本、提高命题工作效率、提升命题质量和保证命题安全等优势。
从题库建设的实践考察,随着互联网的普及和信息技术的飞速发展,题库系统不仅应用于在线考评、测试、网络培训等教育领域,而且拓展到了公务选拔、职业技能鉴定、企业招聘等非教育领域,取得了良好的经济和社会效益。国外许多专业考试机构都已建立起了适应大规模考试的题库系统,例如雅思(IELTS)、学 术 能 力 评 估 测 试(SAT)、托 福(TOEFL)、国际学生评估项目(PISA)、研究生管理科学入学考试(GMAT)等。国内考试机构和行业部门题库系统的研究与应用也逐步走向成熟。如教育部考试中心的全国英语等级考试(PETS)、财政部会计资格评价中心的全国会计专业技术资格考试等。题库系统在国内外的广泛应用以及在行业部门考试中的成功实践都充分证明了题库建设在教育考试领域应用的前景。
整体上,省级教育考试机构题库建设进展不一,程度各异。在题库建设的研究和应用方面,省级教育考试机构普遍认为题库不仅是储存各类试题或试卷的“仓库”,更是一个以编题和组卷为核心,实现命题工作全流程信息化、规范化、精细化和科学化的管理系统和工作平台。也就是说,完整意义上的题库,除了具有录入、存储、编辑试题的功能外,还应具备智能组卷、查重、数据分析反馈等功能[2]。
(二)存在的问题
省级教育考试机构题库建设普遍起步较晚,研究和应用缺乏深度和广度,整体水平不高。一是命题工作的组织形式以传统的集中入闱命题为主,常态化的命题工作机制体制还未完全建立;二是题库建设缺乏统一规划和指导,进度不一,整体水平差异较大,不能完全适应新高考背景下命题工作开展的需要;三是题库建设经费投入不足,相关专业人才匮乏,专技术力量薄弱;四是题库建设理论研究滞后,对题库系统功能、运行机制、工作模式等缺乏深入研究;五是题库系统实际运用存在短板,题库系统功能的通用性发挥不充分。
二、学考题库建设的定位和功能
新高考背景下,学考分为合格性考试和选择性考试,考试科目覆盖国家课程方案规定的所有科目。因此,题库建设必须围绕考试科目特点、考生群体、考试性质等要素,结合自身命题组织实施过程中的实际情况,对照题库建设实践中的薄弱环节,以提高命题质量为重点,以保障命题安全为核心,不断优化题库建设思路和实施路径,最终建立起与新高考相适应的题库系统。
(一)题库建设的目标
根据学考的性质和特点,题库建设主要是建立覆盖命题、审题、组卷和考后分析评价全流程的工作管理平台,提升考试命题组织和管理的科学化、标准化、规范化工作水平。通过题库管理平台有效识别、发掘和培养高水平的命题教师队伍。满足纸笔考试、机考、网评、机器自动评卷的命题能力建设,适应未来信息化考试的要求。
(二)题库建设的原则
学考作为高考综合改革的重要组成部分,科目覆盖面广,考试频次多,考生数量庞大,在题库建设中应遵循以下基本原则:一是先进性和实用性相结合。系统在设计开发时应充分利用计算机技术发展的最新成果,保证系统设计的先进性和适度的超前性,同时也要考虑题库使用者的计算机操作水平,简化操作流程,方便使用。二是稳定性和安全性相结合。系统的开发设计应遵循软件开发的流程和技术规范,研发成果和系统运行应具有完备的技术文档,通过设置相应权限、角色模块等保证数据的绝对安全和系统的可靠运行。三是开放性与可扩展性相结合。在系统的设计架构基础上,实现系统与其他业务系统的有效对接,保持系统的开放性和可扩展性。
(三)题库功能
题库功能是指为了满足特定命题业务开展需要,题库使用者提出初始化需求,并在题库软件系统上赋能实现的过程。为更好地满足新高考背景下学考命题工作需要,省级考试机构题库系统的建设应聚焦以下基本功能的实现。
1.用户管理功能
用户管理是对题库系统中不同业务流程中涉及的不同角色的管理,主要有两方面的内容:一是对命题参与人员的信息维护。主要包括命题管理人员、学科秘书、学科组长和命题教师等,信息维护中应当包含用户的基本信息,如姓名、年龄、工作单位、职称、学科、研究特长等,以便在开展命题工作时能够进行准确、快速的人员筛选。二是对命题参与人员的权限管理。根据命题工作人员职能分工,在系统中设置对应的角色和权限,分配相应的功能菜单,给予适当的数据权限,同时对所有命题参与人员在系统中的操作记录要有详细的工作日志。
2.试题管理功能
试题管理是题库系统的基础,主要包含题库基础数据管理和试题命制流程管理等。题库基础数据管理部分,要能够提供科目、试卷、题型、知识点以及试题扩展参数的配置。对于试题命制流程的管理,则需要与实际的工作开展相匹配,能够制定命题计划、分配命题任务,支持试题的审校、修改、备注,并能够实现根据试卷参数进行自动组卷。同时根据命题工作的实际需要,试题管理还需要具备一定的查重功能,能够对题库的试题进行内网和外网的查重。
3.组卷管理功能
组卷管理功能是题库系统的核心功能,也是题库建设的重点和难点。组卷功能的设计与开发主要是满足命题管理人员或学科专家通过相应的组卷规则来实现人工组卷和自动组卷的目的。组卷功能应依托灵活的组卷规则,支持根据知识点、难度、题型、数量等参数来组配不同要求的试卷。通过智能组卷,形成高质量的平行卷。
4.考试评价功能
考试评价属于题库的考后功能,主要用于评价试题的质量,验证试题的预设参数,反馈命题得失,为后续的试题命制提供参考,最终达到提升命题质量的目的。由于涉及考后数据的回流,考试评价功能需要支持与评卷系统之间的数据对接,基于评卷数据重新整理、输出考后试卷试题的数据分析,主要包括两方面的内容:一是考生考试成绩数据统计,主要包含总分和单科最高、最低、平均分等,用于评价试卷的整体情况。二是基于单个试题或某一题型的考生答题情况统计分析,如得分分布、选项比例、实测难度等,用于计算试题的信度、效度和区分度等。
三、新高考背景下题库建设的主要特征
(一)应用场景方面
目前,省级教育考试机构的命题组织形式主要包括入闱集中命题和分散命题。入闱集中命题基本采用传统的卷库命题方式:试题用word 软件输入调整,打印出来审核、研磨后将修订结果录入该软件,再手工组卷、排版、定稿。整个过程以人工操作为主,工作繁重,效率不高,容易出错,也不利于流程环节的保密。这种命题方式时间长,命题效率低,命题成本居高不下,命题质量主要依赖命题教师的个人经验和主观判断。因此,如何建立一个集命题任务下发、分配、试题生产、加工、消费、反馈评价为一体的综合性管理平台就成了题库建设需要解决的首要问题。即由传统的集中入闱命题转变为常态化征题,由粗放型的人工管理模式转变为智能化管理,从而达到入闱命题和分散命题的有效整合,最终实现三个转变:一是由传统的经验式命题向科学化、规范化命题的转变;二是由手工命题向依托于计算机技术的信息化命题的转变;三是由单一性的考试命题机构向综合性的考试评价机构的转变。通过题库建设,将实现教育考试机构命题工作全周期的信息化管理,提高命审题的效率,降低命题成本,压缩入闱时间,提高命题科研水平,为考试评价和改革提供决策依据。
(二)性能方面
题库系统应具有性良好的稳定性,人机界面友好,操作简单,易上手;系统录入具有缺省值、操作提示、自动检查、自动纠错功能;具有先进的试题和数据加密技术,确保试题数据安全、保密,不被破解;系统还须具备良好的开放性,可以满足多任务、多科目、多种题型的命、审题与题库建设的需求。
(三)安全性方面
安全性是题库系统最基本的要求。在题库建设中,必须保证信息安全和系统安全,要对应用系统、试题库、数据存储、访问控制、权限管理等各个方面进行高可靠性的规划和设计。因此,在加强入闱命题管理制度建设的同时,要确保入闱时工作网络独立组网,系统软件的运行要经过严格的授权并在规定的时间内使用。对采用分散命题方式的,数据传输要经过高强度加密,不易破解。题库系统还应有完善的数据备份与应急恢复机制,具备完善的日志管理功能,可以根据需要灵活配置,符合调查取证要求。最后,要建立一种安全可控的数据安全和服务管理手段,严格控制对数据的访问与修改。
(四)部署方面
题库的系统部署需要考虑系统运行的场景,因此在部署上需要能够满足常态化征题和封闭入闱命题的需要。一般情况下需要分三台服务器部署三套系统,分别用于数据存储、常态化征题和封闭入闱组卷。其中数据存储服务器仅用于存储试题数据,在专门的保密室中单独管理,隔离外网,可选用塔式服务器或刀片式服务器;常态化征题服务器主要用于面向命题教师开展常态化征题工作,需要连接外网,可选用塔式服务器或刀片式服务器;封闭入闱服务器主要用于在封闭入闱场景中搭建临时局域网络,需要满足便携的要求,可选用2 台工作站笔记本电脑,一主一备。同时整个系统在运行时,需要支持至少1000 人同时命题的并发规模,确保试题数据传输的流畅和稳定。
四、结语
题库建设专业性强,涉及面广,是一个系统工程。同时,题库建设是一个长期的过程,不可能一蹴而就,需要在实践运用中不断发现问题,解决问题。因此,题库建设必须坚持问题导向,以命题工作需要为出发点和落脚点,探索适合本省省情和命题工作实际的题库建设思路和方法。