基于Delphi平台软件的某考试作弊甄别研究

刘叔才， 张泉慧， 何佳， 丁一民， 沈瑞文

考试作弊是许多大型考试中普遍存在的现象。随着科技的发展，作弊的方式也变得多样化，这给考试的监管带来了极大的挑战。为了杜绝作弊，除了事前防范，现场侦查，事后举报等传统手段，先进的统计方法也逐渐成为作弊甄别的一个较为有效的手段。国外在20世纪20年代就已开始对考试作弊进行甄别研究，其中包括Angoff（1974）的B指数、g2方法、CP统计量、错同分析、K指数方法、kappa统计量等方法；国内的研究起步较晚，主要有赵世明［1］（2002及2003）的错同率方法、kappa方法、K指数方法等。这些方法中，以错同率方法应用最广，这是因为作弊结果主要体现在作答雷同，答错雷同就成为了重要指标。但实际上，作答雷同包括答对相同和答错相同，因此本研究中选择了答错雷同和错同、对同雷同进行分析验证。

1 对象与方法

1.1 研究对象

研究对象来自某年某类考试科目一成绩低于一个标准差，且科目四成绩大于一个标准差的考生群体，共3 100人，称为异常考生。样本选取依据切比雪夫（Chebyshev）不等式数据生成方法［2］。

1.2 研究方法

使用基于Delphi开发的平台软件，以该软件分析错同率和错同对同率。

2 某考试作弊判断标准

2.1 研究中所涉及的定义

总选同数：A考生答卷和B考生答卷选项相同的题目数。

总选同率：A考生答卷和B考生答卷选项相同的题目数占总题目数的比例。

错同数：A考生答卷和B考生答卷都答错且选项相同的题目数。

对同数：A考生答卷和B考生答卷都答对且选项相同的题目数。

错同率A：A考生答卷和B考生答卷都答错且选项相同的题目数占A考生答卷答错题目数的比例。

对同率A：A考生答卷和B考生答卷都答对且选项相同的题目数占A考生答卷答对题目数的比例。

错同率B：A考生答卷和B考生答卷都答错且选项相同的题目数占B考生答卷答错题目数的比例。

对同率B：A考生答卷和B考生答卷都答对且选项相同的题目数占B考生答卷答对题目数的比例。平均错同率：错同率A和错同率B的平均值。平均对同率：对同率A和对同率B的平均值。错同对同率：错同率和对同率的乘积。

2.2 用错同率法进行某考试作弊判断标准既往的研究结果

用错同率法作为某考试5选项选择题作弊雷同答卷的判断标准，既往的研究结果主要有：①在无作弊行为的正常常规考场（室）情况下，错同率在不同分数段具有一定稳定性，且接近选项的随机选项选择率0.20［1］；②在考虑5选项选择题错同率影响因素的条件下，可以得出每年的错同率的上限浮动在0.5上下，可以作为适当情况下的判断标准［3］。

2.3 用错同对同率法进行考试作弊判断标准的初步尝试

在本次研究中，以上述异常考生3 100人为主要研究对象。根据上述研究结论，筛选出错同率≥0.54的考生［1］，同时筛选出错同率≥0.735，且对同率≥0.735的考生，即错同对同率≥0.54的考生，对这两组人群进行分析。从科目一数据分析来看，错同率法和错同对同率法得出的疑似作弊考生完全一致的有2 950人，占95%以上；对科目四做了同样的分析，疑似作弊考生完全一致的比例也大于95%。由此可见，用错同率法和错同对同率法筛选疑似作弊考生的结果非常接近。以下主要采用错同法对作弊甄别进行分析论述。

3 作弊甄别分析

对异常考生3 100人用错同率法分析软件进行分析，首先按考试的不同类别进行分析汇总，如表1和表2，发现：类别1中，科目四的雷同率均＞96%，而科目一雷同率均＜10%，说明相关考生科目四存在的疑似作弊人数比较多，科目一的疑似作弊人数少，差异比较大；类别2中，相关考生科目四和科目一可能存在作弊人数在50%左右，差异不太大；其他类别中，科目四和科目一雷同人数少，存在可疑的作弊人数非常少。其次，对异常考生3 100人用错同率法分析软件进行分析，筛选出科目四疑似作弊考生2 800人，按省、市进行分布汇总（表格在此从略），在实际工作中可以将结果反馈至相关考区，提示其对雷同率较高地区重点关注。最后，将科目四疑似作弊考生2 800人按雷同人次数排序汇总，得出雷同人次数最多为1 200的考生，雷同人次数最少为1的考生，其他介于两者之间。必要时，这些数据可以为相关部门调查大规模通讯工具作弊情况提供支持。

表1 某年某类考试科目一部分疑似作弊考生雷同卷全国统计 n，%

表2 某年某类考试科目四部分疑似作弊考生雷同卷全国统计 n，%

4 基于Delphi平台软件的分析程序

4.1 错同率法比对算法

4.2 错同对同率法比对算法

4.3 两种算法比较一致的SQL命令

4.4 两种算法比较不一致的SQL命令

5 结论与建议

防止考试作弊是考试管理者所需考虑的重要方面之一，是确保考试公平、公正关键所在，也是规范考试秩序、提升考试质量的重要一环。除了考试现场加强监管，提高防止作弊的技术手段外，考试后对试卷的作弊甄别也十分必要。由此，国际上有诸多研究，特别是一些统计学方法的应用也成为了作弊甄别的一种有效工具［4］。本文利用Delphi平台软件的分析程序，采用“答错雷同、错同对同雷同”对某大学考试作弊甄别的分析验证，所得结果具有很强的参考价值，能敏感地分析出雷同率较高地区，可为相关部门针对重点的疑似作弊地区（或考点）进行稽查提供反馈信息支持。为此，建议全国或区域性的大型考试要充分利用行之有效的统计学方法加强考试后作弊甄别，建立对雷同率偏高的省、市的反馈机制，加大对甄别出雷同人次数较高的地区（或考点）及可能作弊的相关考生的稽查与打击力度，以进一步完善防止考试作弊的管理工作，规范考试秩序。

［1］赵世明，著.资格考试的理论与实践［M］.上海：上海社会科学院出版社，2007.

［2］盛骤，谢式千，潘承毅，编.概率论与数理统计［M］.第4版.北京：高等教育出版社，2008.

［3］牛诤，朱晶晶，郭永松.以错同率作为医师资格考试多选题作弊检测指标及意义的研究［J］.中国高等医学教育，2010，（1）：12－13.

［4］刘叔才，刘博雷，葛利荣，等.基于J2EE的医学外语考试网上阅卷系统的研究［J］.中国社会医学杂志，2011，28（6）：380－382.