自学考试命题审校工作信息化策略研究

詹晓庄，沈 洁，苏 婧，魏思萌

(北京教育考试院，北京100083)

2018年4月，国家教育部正式发布了《教育信息化2.0行动计划》，明确指出“教育信息化是教育现代化的基本内涵和显著特征，是‘教育现代化2035’的重点内容和重要标志”。自学考试既是一种考试制度，也是一种教育形式[1]，自学考试命题审校(以下简称“自考审校”)工作的质量决定着自学考试质量，也与国家选拔人才的质量及广大考生的切身利益密切相关。如何把信息技术手段有效应用于自学考试命题工作中，不断提高命题质量，是加快自学考试现代化建设的抓手，也是推进新时代继续教育信息化发展的重要课题。

一、自考审校工作的作用

自考审校工作是对试题和试卷整体的审查和校对，是命题工作中质量控制的重要环节。从命题工作流程角度看，不仅包括命题部门组织的命题组入闱开展的试题、试卷的审校工作，也包括在入闱结束后命题部门内部验收过程中对试题、试卷进行的审校；从审校内容上看，是对试题和试卷的审查、研磨，既包括“校异同”，也包括“校是非”。

自考审校工作旨在通过多角度、多人次、多轮次对比考核依据、考核范围、考核重点、编制规范，审查、研磨试题试卷，发现并修正试题和试卷中可能存在的问题，确保试题试卷质量，因此自考审校工作是保证自学考试质量的重要把关环节。

二、自考审校工作现状和存在问题

(一)审校工作现状

在三十多年的命题管理实践中，自学考试命题管理工作已经形成了用于指导自考审校工作的管理规范和管理机制。教育部考试中心制订的《高等教育自学考试命题工作指南》对试题试卷审校工作的主要流程和内容进行了明确的描述，并设计了用于检查审校工作质量的检查表，如《试卷校对表》《试卷审查表》等。各自学考试命题中心也依据《指南》，结合自身特点，在梳理审校工作流程、内容和相关标准的基础上，对自考审校工作质量检查表设计进行了进一步的细化。

目前，自考审校工作仍主要以纸质版的试题和试卷作为载体，采用以质量检查表为依据，通过查阅教材、大纲等命题依据文件进行人工校对的方式。为提高审校工作质量，采用多人次、多轮次审校的模式，并通过自审、交叉审、合议等环节修改试题。由于自考审校工作产生的过程记录纸质稿版本多，所以在工作记录方式方面，主要采取对纸质审校终稿、关键过程稿和纸质质量检查表进行存档留存的方式。

随着信息技术在自考命题管理中的运用，自考命题的信息化水平稳步提升。目前自考命题工作中已使用的信息系统包括命题信息化工作平台系统、命题管理信息系统、题库管理系统等，这些信息化系统主要侧重于整体命题工作流程管理以及试题、试卷库的管理，专门针对命题审校工作的信息化系统建设尚处于探索状态。

(二)自考审校工作中存在的问题

受客观、个人因素影响大。由于在审校试题、试卷时，需要多人次、多轮次人工反复查阅教材和大纲等命题依据、对比试题与教材、大纲的异同，耗费了审校人员的大量时间和精力。一方面，在审校时间有限的情况下，会压缩用于审查试题、试卷正确性、规范性的时间和精力，影响“校是非”的实际效果。反复校对过程中出现的疲劳感会导致判断能力减弱，产生阅读盲点，即便是最简单的比对，依然存在漏检的风险。另一方面，校对人员也可能会因为先入为主的思维定式、个人对于教材及大纲等命题依据文件理解掌握的局限性[2]、工作细致程度等因素导致审校中的误判或漏检。

协同工作效率不高。自考审校工作中自审、互审、合议、修改的环节是多人次、多轮次、多角度审校工作要求的具体体现，各环节紧密相连、环环相扣。其中，自审、互审意见的汇总是合议、修改的前提，由于这些修改意见分散在不同纸质试卷版本上，查找和汇总意见效率低，致使审校人员协同开展工作特别是集中意见、讨论修改时效率较低，不利于工作组协同优势的发挥，也不利于形成组内审校工作合力。

缺少对于工作量及质量进行评估的依据。命题组审校过程中，存在过程记录不完整的情况，审校记录只有命题组的修改记录，不能反映组内教师个体的审校工作情况，缺少对命题组教师审校工作全面评价的基础，不利于了解和记录组内教师个人在审校工作中发挥的作用，不利于有针对性地向命题教师个体反馈审校问题，无法发现教师在审校工作中存在的不足，也无法针对有关人员开展相应的技能培训[3]。

三、推进自考审校工作信息化建设的策略

针对目前自考审校工作中存在的不足，应从以下几个方面入手，推进和加快自考审校工作信息化建设，促进自考审校工作水平和命题质量的不断提升。

(一)构建实时协同的审校工作系统

1.系统总体设计

命题审校工作中对试题、试卷的修改和完善是保证命题质量的重要环节。一份质量合格的试卷是命题组协同工作的智力成果，是审校验收组协同工作的智力成果，也是命题组与命题部门的协同工作的智力结果。因此，系统设计的出发点和落脚点是在保证命题安全的前提下，提高审校工作中的协同工作效率和效果。

自考审校工作信息化系统功能模块主要包括审校工作用户和文件管理、实时协同修改、审校辅助、沟通交流、记录审校过程、知识共享等。

自考审校工作用户和文件管理。系统可依据具体审校工作需要，创建并配置命题管理部门的内设机构、命题组等基本信息，根据命题任务注册、审核、注销系统中的用户(命题组教师、命题部门的审校验收组成员)，保证只有注册用户才能登录并使用系统。系统可根据命题组织架构自动生成结构化的用户私有存储空间和用户专有的共享存储空间。只有属于同一内设机构且同一命题组的用户才能使用这个共享目录，并且可依据角色配置目录文件的增加、删除、查看、修改等权限，以满足审校工作的安全保密要求。

实时协同修改。用户登录系统后，可进入自己专属的命题管理部门的内设机构下的课程共享文件协作区。以命题组教师审校工作为例，可为组内教师提供全程、实时参加修改的工作环境，多位教师可以同时编辑同一试题，并且能实时看到其他参与者所做的修改。一方面保障了审校协作中教师之间快速、流畅地进行文档修改的沟通与交流，提高了审校工作的质量和效率；另一方面修改方案的探讨不以某命题教师提出方案为出发点，而是以共同修改的创造方式进行，利于思维碰撞而产生出更多解决问题的修改方案，使最终的修改达到最优化。

审校辅助。从试卷整体的审视角度，系统可快速比对试卷结构与预设结构的差异性，具体包括试卷的题型、题量，考点覆盖、考核重点等。从试题审查的角度，系统可依据试题考点关键词，快速查找定位教材、大纲中对应的考点及考点相应的考核要求，辅助用户高效开展审查和校对工作。

沟通交流。课程协作区用户之间可互发消息，实时进行交流。在使用协同批注修改模式下，也可以针对具体试题的修改实时交流修改意见。实时沟通交流是对协同审校、共同修改、编辑的补充和发展。

记录审校过程。系统可以全面记录自考审校工作数据，包括审校过程版本数据和审校结果数据、命题教师个体工作数据和命题组审校工作数据，作为评估命题教师个体、命题组审校工作完成质量的依据。

知识共享。协作区成员可以共享自考审校工作相关资料，如教材、大纲、工作经验等，课程命题组内知识共享是高效、深度协同的价值体现。

2.系统建设策略

组织命题审校工作是自学考试命题管理部门的常规工作。为了能尽快发挥信息化优势，自学考试命题审校信息化建设应尽量摆脱建设周期和经费的限制，尽量利用现有资源进行建设，使自考审校工作管理更加规范化和现代化，提升命题管理质量。

在硬件建设方面，应该遵循立足现有、适度超前的原则。一方面，硬件建设需要与审校信息化建设投入的实际状况相适应，也要考虑投入产出比。硬件建设方面可以充分利用命题管理部门现有信息化建设的基础设备条件，减少建设成本，提高现有设备使用率。另一方面，要充分考虑因信息技术高速发展带来的硬件产品不断更新换代因素，在审校信息化建设资金投入有限的情况下，硬件建设遵循适度超前原则，有助于减少信息化技术重复建设造成的损失。

在软件建设方面，应该遵循适用性、经济性、时效性、可靠性等原则，可选用的建设模式包括自主开发模式、外购软件模式、选用+开发模式等。不同的软件建设模式各有优缺点，具体选择时命题管理部门需要考虑的因素有：承担命题任务的规模(课程数量、用户人数)、命题工作的延续性(时间)、审校工作组织特点是否突出、资金实力、信息化基础、人员整体素质等。若承担命题任务的规模大，审校工作组织特点突出，命题工作的延续性好，资金实力强，人员整体素质高，具有一定的信息化基础，选择自主研发软件模式最优。若承担命题任务的规模适中，审校工作组织特点不突出，命题工作的延续性好，资金实力一般，信息化基础差，人员整体素质不高，选择外购软件模式最优。若承担命题任务的规模不大，审校工作组织特点突出，命题工作的延续性好，资金实力不足，有一定的信息化基础，人员素质较好，采用选用+开发模式最优。

(二)强化自考审校工作数据管理与评估反馈

促进数据流动和共享。在构建实时协同的审校工作系统基础上，可以充分利用审校工作信息化后产生的数据，使其成为科学、合理的工作质量评价、教师培训的数据支撑。通过审校工作数据在评价和培训环节的流动和共享，形成“审校—评价—培训”各环节相互促进的审校工作质量提升环路，以每次命题周期为台阶，促进审校工作质量阶梯式提升，进而推动自考命题工作整体质量水平不断提高。

加强审校工作数据质量管理。审校工作数据质量是数据充分发挥潜在价值的关键因素和基本前提，强化数据管理有益于保障数据的正确性、完整性、有效性和及时性，提升数据分析和数据计算结果的可信度。第一要建立数据标准，确立数据质量管理基准。构建审校工作数据标准是实现数据共同理解、诊断数据错误的重要依据。第二要规范审校工作数据收集过程，有效规避数据收集所造成的误差。第三要进行数据审查，评估相应的数据是否具备公平性和准确性。第四要注重审校工作数据使用，在命题管理部门和命题教师群体中，营造运用审校工作数据的氛围，提高命题精细化工作水平。

设计审校工作质量评价方案。利用关键绩效指标法(Key Performance Indicator，KPI)，在教育部考试中心命题质量评估指标体系框架下，结合审校工作自身特点，建立明确、切实可行的评价审校工作质量的关键绩效指标体系。构建基于一致性的审校工作质量评估模型。以通过命题部门验收的审校完成试卷为标准参照，利用参照试卷文件和过程结果文件(命题教师独立审校试卷终稿、命题组协同审校完成待验收的试卷终稿)进行比对，对照关键绩效指标，通过两者的一致性和差异性分析、判断，全面、系统地评估命题组审校工作质量和命题教师个体的审校工作质量。

建立审校工作信息反馈机制。在全面分析命题组及组内教师审校工作数据的基础上，生成当次的审校工作评估结果。通过建立信息化的安全的反馈途径，把有针对性的分析结果及存在的问题信息，及时推送给命题组及命题教师，便于及时了解工作中发现的问题及原因。

(三)探索运用新技术提高趋势判断和工作水平

1.运用数据挖掘技术

数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息[4]，关联分析和自动预测趋势是数据挖掘的重要功能。

审校工作是一个周而复始、不断重复的工作。命题组、命题部门在运用审校工作系统协同开展试卷审校工作中会不断产生大量的“增、删、改、查”试卷内容的数据信息。这些数据是审校工作全过程的记录，也与审校工作结束后的试卷质量相关联。利用系统数据库中不断增长的审校工作数据信息，通过数据关联分析可以发现存在于大量数据集中的关联性或相关性，从而描述审校工作中某些特征、属性同时出现的规律和模式。因此，通过明确挖掘需求、数据预处理、建模、预测等阶段，利用数据挖掘在数据库大量信息中寻找预测性信息的优势，可由数据迅速得出预测结论，提高预警水平，比如通过往年审校工作中具体类型的试题问题出现情况和控制情况来预测未来年份的控制水平，进而增强命题单位对于试卷审校水平的预测和把控能力。

2.探索集成人工智能技术

人工智能是研究开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的一门新的技术科学，研究目的是促使智能机器会听(语音识别、机器翻译等)、会看(图像识别、文字识别等)、会说(语音合成、人机对话等)、会思考(人机对弈、定理证明等)、会学习(机器学习、知识表示等)、会行动(机器人、自动驾驶汽车等)。[5]人工智能校对，是人工智能技术在自然语言处理方面应用的一个分支。

自考试题的编写严格依据命题依据(大纲、教材)，因此审校工作本身具有相对客观化、规范化的特点，这意味着运用人工智能技术成为可能，计算机在进行数据(课程知识体系库、知识素材库)训练后，可以辅助查找和判定试题与命题要求的一致性，试题整句表达的规范性(无缺字、别字、用语规范)，试题内容和考核知识点分布的科学性等，会具备比人工更快、更强的查错纠错能力，会使审校工作水平和效率大幅提高。

(四)加强制度化管理

建立命题资料管理制度。课程教材、大纲等命题资料电子化是审校工作信息化的前提和基础。考虑到出版版权问题，对纸质版教材、大纲电子化的过程中，应建立使用制度，注意版权保护。

建立审校信息化系统使用和管理制度。一方面要依据审校方式、模式变化重新构建工作流程，规范系统使用流程和操作；另一方面，建立基于角色和任务的访问控制机制，合理划分系统使用者角色的访问权限和修改使用权限，并根据业务流程的执行动态分配权限。此外，还要建立网络安全管理制度，强化和运用安全措施和手段，保障数据安全。

建立完善的人员培训制度。一方面，培训制度建设要以人为本，要对审校工作人员进行操作使用培训，熟悉信息化的审校工作环境。另一方面，培训制度建设要体现前馈控制原则，要把传统的“事后检验”的方法转变到“事前预防”的轨道上来，在分析审校工作质量数据基础上，事先采取对策，组织有针对性的审校工作技能培训，动态调整培训内容和培训对象，通过培训把可能造成审校质量问题的因素控制在萌芽状态。

四、结束语

自学考试命题审校工作信息化旨在通过在命题审校工作中引入现代信息技术，发挥技术优势，促进审校工作改革，不断提升自考命题工作整体水平。自学考试命题审校工作信息化是教育信息化的组成部分，是顺应教育信息化发展需要，深化教育改革，加快教育现代化建设的具体体现，对于保证自学考试的命题质量，维护自学考试的公平、公正，办好继续教育，具有重要意义。