ISO9001标准下的国家普通话水平智能测试系统(2.8版)改进建议

杨 康

(镇江高等专科学校 教务处， 江苏 镇江 212003)

ISO9001标准下的国家普通话水平智能测试系统(2.8版)改进建议

杨 康

(镇江高等专科学校 教务处， 江苏 镇江212003)

通过对普通话水平智能测试系统(2.8版)的分析，从ISO9001标准角度阐述了智能测试系统还存在如可靠性方面不够成熟、交互信息不易被理解、防范作弊的能力不足、评测质量预防机制欠缺等问题，从构建基础性的信息交流平台、借鉴优秀方案完善监考功能、建立网络年度培训考核系统方面提出了改进建议。

普通话测试；智能系统；ISO9001

ISO9001是国际标准化组织颁布的在世界范围内通用的关于质量管理和质量保证方面的标准，用于证实组织具有提供满足顾客要求和适用法规要求的产品的能力，目的在于通过持续改进以增进顾客满意度[1]。由安徽科大讯飞公司研发的国家普通话水平智能测试系统(以下简称测试系统)包含省级测试中心信息管理系统和测试站计算机智能测试系统两个部分，从ISO9001角度看，该系统是教育部语言文字应用管理同提供的普通话口语考试服务的外包产品。2012年7月，在对系统使用中的问题进行分析研究后，教育部语用司发布了改进后的2.8版测试系统。

1 存在问题

根据ISO9001标准，组织应确定：顾客规定的要求；顾客虽然没有明示，但规定用途或已知的预期用途所必需的要求。组织还应对产品信息、顾客反馈等确定并实施与顾客沟通的有效安排[1]。测试系统提供了网络版、单机版两种应用方案。2.8版系统发布后，使用两种应用方案进行多批次测试任务发现,测试系统未能满足省级测试中心、测试站工作人员、考生的需求或期望，还存在问题。

1.1可靠性方面不够成熟

可靠性(Reliability)，即软件是否能够一直在一个稳定的状态上满足可用性[2]，是国际标准化组织制定的软件评价技术中的质量特性之一，是顾客对软件产品正常的质量诉求。在多年的使用过程中发现，测试系统会在两种应用方案下随机偶发某些故障，例如在网络版应用方案下有时出现考生点击“提交试卷”按钮后监考机一直停留在“正在评测”提示状态，无法点击“结束考试”按钮结束本场考试，考试机也不反馈“考试结束”提示框；在单机版应用方案下出现过以下问题：考试机试音成功后第一题测试时麦克风无法拾音，显示“失败原因：无输入信号”提示框；考生参加测试但从考试机导出的考试数据trd压缩包中不包括以该考生准考证号命名的oef文件，以致省测试中心信息管理系统中没有该考生的语音数据文件。虽然上述故障都可通过各种方法予以解决，但对测试站工作人员系统故障排除能力是个考验，同时也无法消除对考生负面的心理影响。

1.2交互信息不易被理解

测试系统在运行过程中会对诸如试音失败、评测失败、操作失败等显示相关信息，用来提示发生错误原因，其中出现次数较多的提示信息之一是“失败原因：截幅”。截幅的含义是什么？什么导致截幅？如何克服截幅？提示界面并没有提供易被理解的信息，软件公司的技术资料也没有提供说明，非专业的测试站工作人员无法获得有用信息，更谈不上通俗易懂地去指导考生。为使测试站工作人员和考生能准确地理解提示信息，测试系统的交互信息设计需要更加人性化。

1.3防范作弊的能力不足

普通话水平测试是一项国家级口语测试，考试信度的高低直接关系着广大考生的切身利益。各测试站虽然采取各种措施加强考场监督，但还不能彻底杜绝测试中的作弊行为，测试系统能否有效打造一道防范作弊的防火墙越来越引起关注。经测试方案验证，测试系统对重复考试、交叉替考作弊方式的防范能力还需提高。

1.3.1 防范重复考试的能力

测试系统在监考机端采用的是SQLServer2000数据库，考试机端采用的是Access2000数据库，Access2000数据库的安全性要远低于SQLServer2000数据库。由于未进行网络版应用方案预防重复考试能力的测试，以下仅就单机版应用方案防范重复考试的能力进行阐述。

任选1台计算机作考试机安装客户端软件导入测试任务，以某准考证号登录测试系统并成功测试，再次以原准考证号登录，屏幕显示“该考生已考试成功”，而后采用如下表所示的方案1,2加以验证，结果表明，对于内外勾结重复考试的作弊行为，测试系统还不能防范。

表1 验证方案

1.3.2 防范交叉替考的能力

国家普通话水平测试时，考生经检查准考证和身份证原件进入测试室，输入准考证号核对姓名无误后进入测试系统。由于每台考试机中的测试任务中包含同一批次所有考生的信息，如果考生输入另一考生的准考证号进行交叉替考，测试系统往往难以发现。虽然实践中可以通过增加测试人员逐一核对考生信息的方式来防范替考行为，但测试系统网络版应用方案中，1台监考机可以联接20台考试机，单机版应用方案则对考试机台数没有限制，要实现短时间逐一核对考生输入信息的真实性，所需增加人员的数量是较大的，这不符合测试系统降低测试成本的设计初衷。可见，对于同一批次考生交叉替考的作弊行为，测试系统还不能防范。

1.4评测质量预防机制欠缺

现行有关规定没有对普通话测试员资格的时效性做出明确要求，只是规定“测试工作人员违反测试规定的，视情节予以批评教育、暂停测试工作、解除聘任或宣布测试员证书作废等处理”[3]，只要测试员不违反这一条，其资格就终身有效。测试系统评测质量关键在于普通话测试员的评测质量[4]，虽然一些省份采取了质量监控措施，对评测质量不高的测试员暂停评分工作，但这些措施是抽检后发现已经对考生测试成绩造成影响的后续措施，并不能预先发现测试员评测质量的不合格，并不能规避评测质量不合格的测试员参与评测工作。测试系统目前仅将考生的语音数据文件、评测成绩集中存储在省级测试中心，并没有利用这些信息形成评测后的质量反馈，更没有利用这些信息建立测试员评测质量预防机制。

2 改进建议

ISO9001标准条款要求应对顾客反馈包括顾客抱怨，确定并实施与顾客沟通的有效安排，要求采取措施消除发现的不合格以及产生不合格的原因，同时还要求采取措施以消除潜在不合格的原因，以预防不合格的发生(条款中的不合格是指未满足明示的、通常隐含的或必须履行的需求或期望)[1]，上述条款内容是对测试系统持续改进的依据要求。

2.1构建基础性的信息交流平台

测试系统的持续改进包括对运行过程中遇到BUG(系统错误)、使用问题等非功能需求及时有效的持续跟踪和维护，还包括对功能需求的确认和完善，这就需要测试系统的顾客特别是既熟悉测试工作又熟悉系统操作和考务管理的人员广泛而密切的配合，目前，科大讯飞公司仅提供技术部门的电话答复各测试站工作人员、测试员的技术咨询和问题反馈，这种点对点的联系方式不利于咨询结果和存在问题的辐射分享。2012年3月召开的专题研讨会也只邀请了部分高校或地市测试站(点)熟悉测试工作管理和系统操作的同志参加，收集的信息不够全面，因此，建立教育部语用司、科大讯飞公司、省级测试中心和各测试站工作人员、测试员都能广泛参与的诸如QQ群、微信群等信息交流平台。只有建立广泛参与的信息沟通平台，才能及时收集测试系统在可靠性、易用性、维护性、可移植性等方面的顾客反馈，才能确认用户功能性、非功能性需求并及时加以维护和完善，不断增进顾客的满意程度。

2.2借鉴优秀方案完善监考功能

考试系统设计的初衷是营造公正、公平的考试环境同时兼顾效率和成本。要有效地监控和防止考生的作弊行为，保证评测的可信度，必须采用低成本、高效率的解决方案。目前，国内的机动车驾驶证考试、大学英语四六级考试、大学英语应用能力考试等已经在实践中采用了各种防作弊措施，取得了较好的效果。诸如将准考证信息随机或人为指定分配到各考试机上进行考前防控，采用指纹、面部识别系统将正在测试考生的生物特征与报名采集的信息比对后的结果反馈到监考机屏幕上供工作人员进行考中防控，留存考生图像签字单进行考后防控，等等，都是值得借鉴的多重防控设计。建议教育部语用词、科大讯飞公司在改进普通话测试系统时予以考虑。

2.3建立网络年度培训考核系统

普通话测试员评测是一项专业性较强的工作，它需要测试员在短时间内对考生的语音状况迅速作出判断，很容易受到测试员自身的语言修养、听辨音能力、掌握评分标准的熟练程度、实践经验、心理素质、身体素质、敬业精神等的影响[5]。为保证评测质量，测试员应不断地参加理论学习和评测实践。同时，为了规避评测质量不合格的测试员参与评测工作，需要对测试员的评测质量有所了解，因此建立测试员网络年度培训考核系统是可行的质量预防机制。测试系统的服务器中储存了测试员的信息和已测考生大量的语音数据文件，可以利用这些语音数据文件建立评测标准库供测试员进行模拟评分，结合理论学习视频对测试员进行网络年度培训考核，通过考核的测试员才具备接受正式评测任务的资格，以消除测试员评测质量潜在的不合格对考生测试成绩的影响。

3 结束语

普通话水平测试是一项国家级口语测试服务，不仅涉及以测试系统为载体的外包产品，也涉及以各种文件为载体的程序文件、作业指导书。持续改进没有终点，需要教育部语用司按照ISO9001标准要求，坚持以顾客为关注焦点，持续改进不断增进顾客满意度。

[1] 国家标准化管理委员会.GB/T 19001-2008 质量管理体系 要求[S].北京：中国标准出版社，2008.

[2] 国际标准化组织.ISO/IEC 25010-2011系统和软件工程.系统和软件质量要求和评估(SQuaRE).系统和软件质量模型[EB/OL].[2015-03-01].http://www.iso.org/iso/iso.catalogue/catalogue_tc/catalogue_detail.htm?csnumber:35733.

[3] 国家教育部.普通话水平测试管理规定[EB/OL].[2015-02-01].http://www.cltt.org/GuiZhangZhiDu/2010/116.html.

[4] 杨康.计算机辅助普通话水平测试评测质量影响因素分析[J].考试研究,2013(5):72-77.

[5] 阎浩然，曹昭.试论方言语境对普通话水平测试员测试评分的影响[C]//第二届全国普通话水平测试学术研讨会论文集.北京：商务印书馆，2004.

〔责任编辑： 胡 菲〕

SuggestionsforimprovementinNationalMandarinProficiencyIntelligentTestSystemVersion2.8underISO9001standard

YANG Kang

(Teaching Affairs Department, Zhenjiang College, Zhenjiang 212003, China)

Through the analysis of the National Mandarin Proficiency Intelligent Test System Version 2.8 issued in July, 2012, this thesis, from the angle of ISO9001 standard, states that there still exist defects in the intelligent test system: reliability is not mature enough; mutual information is not easy to understand; the ability of preventing cheating is insufficient; prevention mechanism of the evaluating quality needs to be invented. Construction of the basic platform for the exchange of information, borrowing superior solutions to improve the invigilator functions and establishment of the network annual training appraisal system are recommended for improvement.

Mandarin test; intelligent system; ISO9001

2015-03-02

杨 康(1973—)，男，江苏镇江人，助理研究员，主要从事教育管理研究。

H102

：C

：1008-8148(2015)04-0039-03