基于共建共享模式的在线考试题库系统的设计与研究

吴君胜

(广州市广播电视大学 人文与工程学院， 广东 广州 510091)

0 引言

开放大学不同于一般的普通高校，它是一个由总部、分部(地方开大)和分校(教学点)组成的办学系统。各层级有分工，也有合作，共同组成完整的办学整体。系统办学是开放大学的办学特色、也是办学优势[1]。

广州市广播电视大学(下称广州电大)是国家开放大学(广州分部)，就广州电大系统而言，截止至2019年底，在校生规模超过25万人，连续多年成为全市规模最大的高校。学生数超过10万可谓巨型大学，面对规模、成本和质量的巨大冲击[2]。传统的纸质笔试时间不灵活、时空间成本高、评阅卷工作量大、成绩发布周期长、耗费人力物力财力，很难满足学习者和管理者的需求。因此，利用开放大学的特点和优势，建立一套科学的、符合开放大学特点的在线考试题库系统，提高效率，保证质量，达成“教、学、考、评”一体化目标，是开放大学考试改革的关键。

1 需求问题描述

目前，开放大学的在线考试系统分为总部网考系统和分部(地方开大)自建网考系统两种，考试单位分别是总部和分部。总部网考系统与纸质笔试区别不大，仅仅是纸质笔试无纸化，仍需人工参与，沿用全国统一总部考试模式。广州电大系统自建“易考通”在线考试平台，在功能上解决了国开总部网考系统的缺陷，实现一定程度的智能化，但仅适用于分部统考课程，比较分析情况，如表1所示。

表1 总部与分部在线考试系统对比

2016年，《教育部关于办好开放大学的意见》中明确提出指出，“开放大学与学习服务中心要实现高速、安全的现代远程教育网络覆盖、统一教学管理、统一在线平台、统一考试评价、保证教育教学质量”、“完善课程学习考试制度、建设数字化题库、学习测评系统、电子试题保密机制”[3]。表1中的系统都仅针对终结性考核(期末考试)而开发的系统，仍无法达成“教、学、考、评”一体化的目标。

广义上的网络考试是指任何计算机参与的考试，可以是终结性、形成性或诊断性的考试等。笔者认为对教、学、考的全流程评价能实现融合统一是开放大学转型发展的关键所在。为此，网考系统功能应在现有系统的功能上进一步拓展和创新，核心需求应在于题库系统的功能设计，需求分析如下。

1.1 支持灵活的考核需求

在线考试系统假如只为终结性考核(期末考试)而开发，那么必然会出现施教者迫切想获取课程复习资料或考试题库信息的情况。然而，施教者往往不是课程题库的建立者，施教者对课程教学文件的理解、对学习者负责任程度、对教研活动的参与度都直接影响学习者的课程最终成绩。因此，课程题库的建立目标，应既能支持形成性考试(包括课前问答、堂上小测、课后练习、常规作业)，又能支持终结性考试(包括考前模拟考试、期末考试)。在课程开始到结束的全流程中，支持不同形式、不同时空、不同规模的考核需求，利用智能移动终端设备，随时、随地、随测、随练、随考的灵活考核方式是开放大学在互联网时代的重要需求。

1.2 建立层级管理题库结构

开放大学的题库建设应改变课程责任教师独立命题或委托专家命题的现状，把集中式命题变为分散式命题。发挥开放大学办学系统优势，使分校(教学点)教师在日常教学中参与知识点考核的命题。建立层级管理题库的功能，课程责任教师审核知识点考核命题并完成入库，实现课程考题数据共享，碎片化审核有效降低集中审核的工作量压力。同时，一定量的考题来源于面对不同生源、在不同区域教学的一线任课教师，具有更好的开放性、公平性和公正性。

1.3 支持单一考题的评析

单一考题的评价与分析除了能考量命题者的水平，还能在答题数据中反映出施教者在某些知识点的教学情况和学习者的掌握情况，正确率、答题平均时间等数据能精准分析考题对于开放大学的学习者的实际难易程度，相比当前依靠命题者和试题审核学科组专家的估算会更为准确。

1.4 支持多终端应用需求

支持PC端、移动设备等多终端应用，PC端提供全流程功能，移动设备终端提供便于施教者和学习者的操作。

1.5 支持跨系统数据共享

题库系统应提供与终结性考核的在线考试系统的数据接口，实现课程题库的导入导出，实现题库数据共享。

2 系统设计

2.1 结构设计

题库系统主要面向教学过程中的在线测考，属于形成性考核，而面向终结性考核的网考功能，则由现有的在线考试系统负责。考虑微信公众平台的系统开发能同时适用于Andriod和iOS等移动操作系统，避免开发不同的移动应用程序所带来的新问题，利用云服务器，针对智能移动终端设备开发基于微信公众平台的在线测考题库系统。题库系统主要由微信公众平台、微信客户端(在线测考平台)和PC端(题库管理系统)3个部分组成，如图1所示。

微信公众平台是微信公众号管理后台，微信客户端既是用户界面又是测试界面，开发者实际面对的主要对象是微信服务器和应用程序(网站)服务器[4]。在线测考平台可通过授权接口和功能权限作为公众号第三方管理平台，其用户为教师或教考务管理人员。系统采用ASP.NET作为开发平台，部署在云服务器。

图1 系统结构图

2.2 功能设计

为实现题库管理系统的核心需求，本文以广州电大现有的在线考试系统为基础，设计开发“拼题易”在线测考题库系统，主要应用于教学过程中的形成性考核和课程终结性考核的考题集成。本系统实现教师对题库考题管理、测考的发起与管理，实现学生随测随考、成绩查询与分析等功能，系统模块包括学生管理、班级管理、教师管理、课程管理、试题管理和用户管理等。功能结构，如图2所示。

图2 在线考试题库系统功能结构图

(1) 试题管理

课程责任教师可根据课程创建试题，并为试题分配指定命题教师，命题教师应为课程责任教师或分校(教学点)任课教师。考题由命题教师自行添加，既可逐条添加题目，也可根据指定模板批量导入知识点和题目。添加后的题目默认为待审状态，题目由课程责任教师审核后入库。已审题目可以按课程导出指定格式Excel文件，导入现有在线考试系统，可按照学科组专家审核流程完成考试发布。待审题目和已审题目都可由命题教师自行发起测考主题，如在线练习或堂上测试等，通过生成二维码让学习者使用终端设备扫码答题，用于实施教学的课前、课中、课后全过程。学生答题监查实时显示学习者答题情况，试题成绩分析在PC端和智能手机终端可查看。

(2) 教师管理

开放大学任课教师与办学系统层级结构对应，课程责任教师负责课程管理，班主任或导学教师负责班级管理，任课教师可以分部(地方开大)教师，也可以是分校(教学点)教师，教学机构管理主要是管理分校和教学点信息，并可标识教师参与命题的身份。其角色流程，如图3所示。

(3) 课程管理

题库题目用于教学全过程就必须关联课程，课程信息可通过专业规则或专业教学计划导入系统，根据课程可创建试题或发起在线练习。

(4) 班级管理

班级管理主要包括班级信息管理和学生信息管理。学生信息主要来源于教学过程中的身份注册，班主任或任课教师可以完成学生和班级的绑定，有效解决学生基础信息依赖学籍系统的数据源问题。

图3 角色流程图

(5) 后台管理

系统用户主要是教师，教师信息主要来源于参与题库建设并将题目用于教学的一线任课教师，教师信息通过身份注册完成。后台默认注册为任课教师，可根据教师角色设置模块功能权限。

2.3 防作弊设计

针对终结性考核的网考系统在防作弊机制可谓各师各法，如表1所示，主要防止偷窥、夹带、替考、利用存储设备或通讯设备等常见作弊行为。本文所设计的题库系统主要针对形成性考核，线下面授课的堂测实质可看作课中教学互动，线上练习实质可看作课前、课后作业，防作弊机制与终结性考核有异有同。基本功能包括考题随机排序和选项随机排列的显示方式、知识点自动组题策略、限时作答、考题答案和查询时间后移等，其他防作弊设计如下。

(1) 地理位置信息获取

智能移动终端设备具有丰富的传感器功能，针对面授教学，题库系统的在线测考平台在智能移动终端设备整合了笔者开发的“基于微信公众平台的课程云签到系统”的功能，同名论文已公开发表。因此，面授课除了考勤数据具有GPS定位数据，堂测答题数据同样具有GPS定位数据提交，记录并防止缺勤者通过网络获取二维码答题的作弊行为。

(2) 身份绑定

微信账户在微信公众号中具有唯一的openid，实名用户身份绑定具有设备限数和认证机制，微信接口技术所获取的设备信息可判断设备更换情况，而且微信号给予他人使用的现象并不多见，考虑即时通讯软件存在个人隐私不便外借的情况，在一定程度上可以防止缺勤替考问题。

(3) 命题者分配和数据隔离

防作弊对象除了被考核人外，还包括对命题者，防止集体作弊行为。命题者来自分校(教学点)教师，为防止跨校教师私下互通考题进而集体套取大量题库考题的行为，以命题者自愿参与为原则实施随机选择分配，命题者账户隔离考题数据，隔离与共享功能并存，控制每位命题者的被审核通过考题在最终导出终结性考核题库的占比在30%以下，结合课程期末复习资料，比率可调可控，可灵活实施。

3 系统应用效果

本文以笔者自主开发的“拼题易”测考系统为例，在广州电大计算机专业课程中试验运行，实现了省设课题库协同共建、省校与分校平台共享、形考与终考融通共享的目标。比较“雨课堂”无法实现单一课程集成题库，本系统的共建共享题库系统，经过近1年的开发与运维，经试验运行集成建立3门课程题库并导入广州电大“易考通”在线考试系统，在分部顺利实施终结性考核(期末考试)[5]。下面从技术部署、教学实施和数据融合方面分析应用效果。

3.1 系统开发技术应用

系统的开发工具使用Visual Studio 2017，在ASP.NET的开发框架下，采用C#语言编程，结合MS-SQL Server 2016进行数据库管理，系统以网站形式部署在Windows Server 2012 R2操作系统的云服务器上，通过IIS发布网站，在完成一些列域名注册和备案审批流程后，与微信公众号无缝结合。Web服务和数据库服务都在云服务器上稳定运行，同时降低部署实施的技术难度[4]。

3.2 “教、学、考、评”一体化应用

题库系统应用在教、学、考全过程，涵盖“评题、评教、评学、评考”四评，在教师组织教学过程中获取的数据，极大地促进教学活动由传统的“经验驱动”向“数据驱动”转型，实现全面融合的一体化应用[6]。

(1) 考题评价

题库系统为一线任课教师参与题库建设提供了机会，提交的题目首先会被课程责任教师初步审核评价，如图4所示。

图4 堂测数据反映教学情况

例如《.NET编程基础》课程共8章，由3位不同分校(教学点)的一线任课教师共同命题，如表2所示。

表2 不同教师命题及其应用情况

由表2可知，W教师、T教师和L教师合共审核通过的命题数为365题，终结性考核题库总量最低要求为500题，入库占比73%。从“拼题易”题库导出后再导入“易考通”在线考试的命题系统将会进行学科组和专家再次审核评价，一审错题率为3.8%，二审错题率为0.6%。比较另一门计算机课程直接由课程主管教师在“易考通”在线考试命题系统中命题，一审错题率为7.3%，二审错题率为2.7%。“拼题易”系统共建题库并用于形考以及碎片化审核题目能有效提高终考考题的命题质量。

任课教师在教学中参与命题的同时可将题目用于线上线下教学，每道题目的学生答题正确率可反映出题目的可用性、难易度和适用性等，一定程度上是学生参与了评价。如表2所示，W教师和L教师的生源不同，根据入库已考题目的正确率，更适合控制及格率，个人入库题目占比较高，分别是61.4%和55.9%，题目适用性更好，其中W教师的命题质量较高。

可见，多元化的考题评价优于传统的考题评审。

(2) 教学评价

来自不同分校(教学点)的任课教师所出的考题，课程责任教师对题目的初步审核入库实质也是对分校(教学点)任课教师的教学能力评价，优良的考题一定源自于良好的教学与备课。命题教师的题目在经过分校学生答题后，答题数据、题目对知识点的覆盖度也在一定程度上是教学实施情况的反馈评估，包括开课安排、教学进度、知识点把握等，如图5所示。

图5 查阅测考成绩与考题整体正确率情况

根据课程教学大纲的各章授课学时建议，对照命题时间和学生答题时间，可得到教学进度匹配表，如表3所示。

表3 不同教师命题时间与教学大纲建议学时匹配情况

由表3可知，W教师高度匹配，开课时间和教学进度正常，并可提前进入复习阶段。T教师的开课时间正常，中间教学进度较慢，最后赶教学进度。私立教学点的L教师开课时间较晚，明显压缩课时，结合表2数据，为求学生易于通过，参与命题难度偏低。

(3) 学习评价

开放大学的不同分校、不同区域的教学点，学生的学习水平参差不齐，任课教师所出考题的质量和学生答题的数据，在一定程度上反映了系统内学生的总体学习能力，有利于均衡化建立终结性考核题库，避免出现大量考生分数过低或过高的现象。

不同分校的某课程各章答题正确率折线图，如图6所示。

图6 不同分校的某课程各章答题正确率折线图

学生在查阅答题情况时可得知该题目的历史整体正确率，了解自身学习差距。通过问卷调查显示，关心此数据的学生达81%。分别统计该课程各章节的学生答题正确率，共4个班级，涉及152名学生答题数据，结合表2和表3数据，W教师命题的正确率渐渐提升，教师完成命题同时并能全程应用于形考。T教师和L教师命题都出现缺章，正确率数据缺失，形考数据不完整。L教师的命题明显容易，但学生答题情况并不理想。

(4) 考核评价

系统的考核评价可以是形成性考核，也可以是终结性考核，形成性考核成绩可在教学过程中线上获得，如图7所示。

图7 堂上实时展示答题情况

任课教师可根据学生的掌握程度，自主评价教学情况，动态调整教学。课程题库的整体数据评价，也影响课程终结性考核题库的构成。

结合表3和图7的数据可知，W教师和T教师在教学中都有一定程度调整教学，学生答题正确率逐步有所提升。通过省校的教学团队管理和教研活动，教学进度基本可管可控。根据整体学习情况，不同分校、不同区域教学点的全体学生的形考答题正确率在55.4%～81.9%之间，平均正确率为72.2%。根据“易考通”系统导出数据，终结性考核实际报考人数为101人，实际参考人数88人，最终通过率是74%，数据显示“拼题易”系统形考数据与终结性考核数据高度接近，并略有提高。

3.3 线上线下数据创新融合

系统既可应用于面授课程，又可应用于在线教学。前述该课程的命题由分校或教学点教师命题占73%，剩余占比由课程责任教师命题，最终形成终结性考核题库。3位教师在教学过程中均实现线下数据线上化，涉及4个教学班，教与学的地理位置信息空间数据、教师上课时间数据、学生到课时间数据、测考答题数据、教学进度数据等线上线下时空数据高度融合，学生的答题成绩完全可作为形成性考核作业成绩，同时为导出终结性考核题库提供数据依据。

按照题库总题量要求为500题，从表2数据可知，L教师占27.4%，T教师占15.4%，L教师占30.2%。那么可预见，参与命题的教师越多，可选的命题总量将会更多，单位教师被选入库题数越少，入库占比必然越低，越接近“教考分离”。同时，教师参与度越低，优质考题入选率越低，入库占比必然越低。课程命题总负责人命题占比越高，也会越接近“教考分离”，可调可控。

4 总结

本系统的设计充分发挥了开放大学系统办学的特点和优势，以课程题库为顶，从顶层设计出发，探索创新开放大学的题库建设新模式。有效改变了任课教师的教学高度依赖于复习资料的现状，充分调动了任课教师的教学积极性，将被动变为主动，鼓励积极参与命题工作。从个体走向协同，促进教师共同体协同发展。结合形成性考核和终结性考核的数字化题库建设，在一定程度上改变了以教师为中心的课堂教学和考试命题，变为以学生为中心的均衡化教学与适用性命题。创新的题库建设模式推进了课程网络教学团队的组建，适度的教考不完全分离也是防止教考脱节和监控教学的有效手段，有利于开放大学的“教、学、考、评”一体化向网络化和智能化的发展。借助智能移动终端设备和微信接口功能的不断进步和开放，在课程的全生命周期中，在课程教学过程中实现时空数据的全面获取，形成了线上线下融合的教育教学大数据。本系统的开发设计与研究在更大规模的数据研究尚不够，仍需要更多管理上和内部政策上的支持，后续系统功能开发将在这些方面进一步拓展和完善。