重庆市计算机辅助普通话水平测试试点问题与对策
2013-04-02邹渊
邹 渊
(重庆第二师范学院,重庆400067)
一、重庆市实施机辅测试试点现状
(一)基本情况
重庆市自1994年开展普通话水平测试,到2012年5月,全市参测总人数达到106.9875万人次,年测试量由1994年3万余人次,增加到2011年的14.5万余人次;[1]重庆市2007年10月启用计算机辅助普通话水平测试系统,自此人工测试和机辅测试并行;2010年以后,大面积采用机辅测试;2011年,基本实现了人工测试向机辅测试的转变。
(二)试点现状
1.首个测试站建设情况
2007年,重庆市语言文字工作委员会作出批复,同意在重庆教育学院设立“重庆市国家普通话水平智能测试基地”,对全市机辅测试进行指导和管理,本测试基地也成为重庆首个启用机辅测试的地方。
测试基地建有候测室、备测室和标准化测试室,三室毗邻。测试室有10个独立机房,并备有15台笔记本电脑,网络版与单机版并用。基地还建有多功能培训室,智能模拟测试室,为考前培训和模拟测试提供了场所。为确保普通话水平测试数据传输,基地搭建了相关的网络平台,配备了专用服务器,供数据有效传输。[2]
以此为出发点和技术依托,重庆市陆续开展机辅测试的推广和建站工作。
2.人机测试对比情况
在启用初期,本着大胆推进、小心求证的原则,重庆市在2007年进行了两次大规模人机评测对比实验,由测试员和计算机同时对参测者进行评测。具体做法是:测试员根据PSC测试规范对测试者现场打分;智能评测系统对测试者除命题说话外的其它所有部分进行自动评测,自动评测所得各题分数再加上测试员对命题说话部分的分数得到最终机测成绩;最后,对本次测试的测试员打分和机测成绩进行分析。从分析结果来看,两次对比的平均总分误差为2.46和0.163,等级一致率分别为100%和81.5%。最后认为:机辅测试结果客观公正,可信度高,并极大地降低了测试员和工作人员的劳动强度,规范和减化了管理程序。[3]
3.相关培训情况
自2007年10月以来,共开展测试员培训14次(含骨干测试员培训3次),培训人数达600余人次(含测试员重复参加培训的情况)。培训内容涉及评分标准解析,在线评分操作示范,测试实例研讨及考核4部分。培训人员从核心骨干测试员拓展到一般测试员,送培单位覆盖全市所有区县及有测试机构的单位。开展测试站站长培训和管理人员培训6期,培训人数200余人,培训内容包括测试系统介绍、建站要求、系统操作要领等,为规范建站提供了人员保障。
(三)数据统计情况介绍
以下数据均为截至2012年5月,据国家普通话水平测试信息管理系统查询统计得出。
1.测试站数量
全市建成63个基层测试站,其中区县测试站40个,高校测试站17个,其他机构测试站3个,未开展测试工作的测试站3个。固定考试机数量500余台。
2.测试数量
流程结束的测试总人数183029人,人数逐年递增。2012年1月至5月已测试308批次,28256人。高校测试站表现活跃,测试总人数已突破10万人。
与测试站测试人数分布相适应的是,从测试者的职业构成看,教育系统参测人数为143647人,占测试总数的 78.48%,其中教师占19.4%,学生占55.08%。
3.测试质量
从测试总人数上看,二级乙等所占比例最高,达46.66%。从测试者职业构成来看,演播人员总体水平最高,成绩大都在一级乙等及以上,其次为教育系统人员,其中学生序列略高于教师序列,公务员序列水平列第三。
4.评测情况
全市在编测试员共1078人左右[4],进入机辅测试测试员库的314人,有工作量记载的232人,直接参与在线评分并活跃在测试中的测试员只占20%左右。
二、重庆市实施机辅测试试点存在的问题
(一)测试系统设计不够完善
1.测试系统运作不够稳定,检测工具灵敏度不够
测试系统对于硬件设施存在兼容不确定性。比如,同一批次计算机,虽然都能通过系统“环境检测”,但系统在有的机器上运转正常,在有的机器上则表现不稳定;再如在移动测试中,笔记本品牌IBM和DELL相当配置也都可通过检测,但实际测试中DELL重测或异常复审的机率远高于IBM。
另外,系统对考生声音的包容也不确定。有的考生能够试音成功,并在规定时间内完成相应题目,但却无法评测成功,有的甚至连续几次都不能通过。系统无法给出准确的出错原因(比如声音模糊、过高、过低、频繁读错等等)。遇到这种情况,网络版尚可当异常数据复审,但单机版则显得比较尴尬,只能不断尝试直到通过评测。
2.系统无法给出失分详情,评分数据库不够丰富
机辅测试采用整体映射比较,无法给出各项失分详细情况,不利于查找考生语音问题及彰显测试的客观公正。在测试中我们还发现:系统对于华北、东北方言等与普通话相近的方言区考生评测较容易成功;对于文化水平较高的考生评测也容易成功;在评测成功前,屡屡测评失败的考生等级往往较低。
(二)测试机构建设及操作不规范
1.测试机构在布设考场时硬件设施不达标
测试室的布局通常有两种,一种是独立封闭互有分隔的测试机房,一种是开放空间内互有间隔但不独立封闭的测试机位。按规定,测试机房应为2平方米以上并具有良好隔音效果,开放式机位机器之间间隔至少2米以上。测试机房应安装摄像监控和监控通话设备。测试机构往往因为种种原因,减少机房面积,缩小机器距离或者未安装监控和通话设备等等,加大了测试系统正常运行的难度。
有的测试机构则对计算机配置进行减配或降低配置,如对系统极为重要的网卡、声卡、耳机等配置不达标,就有可能造成测试不稳定。
2.工作人员不能定岗定位,考试操作不规范
1个标准考场通常只需要考场负责人1人、候测室1人、备测室1人、测试室1人。有的测试机构工作人员职责不明,人员配置随意,有的甚至为每个测试室配备1人,专门辅助考生操作电脑。如果考生未提出辅助操作请求而贸然为考生操作电脑,可能会妨碍考生考试。
部分测试机构力量薄弱,少数单位重视不够,没有专门的甚至固定的工作人员,考前临时聘用工作人员,致使部分人员工作不熟练。部分机构人员流动性太强,有时核心技术人员或管理人员工作调整,造成资料、技术、任务移交不到位,也导致了操作上的不规范。
(三)考生不遵守考场规则
在独立分隔且未安装监控设备的考场,考生不遵守考场规则的行为难以得到最有效的监督,替考、夹带、背稿子的现象时有发生[5],有的考生甚至为了寻求再考一次的机会,在考试中途强行关机并谎称机器故障要求重考。遇到上述情况,工作人员均很难发现并及时制止。
三、重庆市实施机辅测试试点的对策及建议
(一)研发机构应进一步优化软件系统,提升服务质量
首先,提高软件兼容性与稳定性,加强环境检测工具和试音软件的准确性。丰富数据库内容,尤其是充实南方方言语音数据量,以提高整体映射比较准确性;充实一级乙等和一级甲等语音数据,以提高对高分段考生评测准确性;充实三级乙等及不入级语音数据,以提高评测成功率。
其次,研发机构应及时公布最新版本以及操作技巧,积极搜集科研成果,整理成册,定期发行,以供各地测试机构借鉴。如结合研发阶段的评测程序设计和评判模式,对讨论热烈的单字复读、字化朗读现象作出说明解释等。
(二)测试主管部门应严格监督和管理
1.加强测试站管理
严格执行测试站管理相关规定,严格审查新建测试站,要求考场建设和测试管理不达标的测试站及时整改。促成测试站的对口帮扶关系,加强各测试站之间的交流学习。组织专家技术人员队伍,定期监督和指导测试站的建设和操作。
2.强化测试员管理
(1)加强测试员培训:加紧对未参加培训的测试员的培训。测试员应严格执行教育部、国家语委发布的《普通话水平测试大纲》“命题说话”测试项的评分标准,对测试员的培训应“反复抓,抓反复”,培训和考核均不能搞“终身有效制”。测试员的反复培训和定期考核应该常抓不懈。
(2)建立测试员分级管理机制:将入库测试员分为核心测试员和一般测试员两级,定期统计测试员工作总量,公布测试员有效测试量,帮助测试员及时调整评分尺度。对有效测试量低于一定比例的测试员及时培训,考核合格方可再次上岗。通过建立分级机制、考评机制、奖励机制,完善薪酬发放制度,充分调动测试员参与测试的积极性。
3.加强教材开发
测试教材应增加机辅测试相关内容,除此之外,在传统教材专注于语音知识、语音理论培训的基础上,应重视学生表达的培训与指导,重视对考生失分严重的命题说话项进行专门梳理和拓展,以提高对考生说话项培训的针对性和有效性。
(三)测试机构应严格执行《测试规程》,加强对考生的培训和监管
《计算机辅助普通话水平测试规程》对于考务管理的诸多方面如组织报名、设置考点、试卷流转、应试规则、证书发放、档案保管以及工作人员岗位职责等都有明确规定,各测试机构应严格执行,以最终实现各个测试机构操作规范一致、管理科学严密、结果客观公正。
考前培训和模拟测试对于考生迅速适应机辅测试、熟练操作步骤、提高测试效度与信度都有重要作用。培训要通过介绍测试系统、分解应试各个环节、介绍应试技巧以及提高分数的策略[6]等,使考生认同并熟悉该系统,最后对系统产生好感并乐意用这种方式进行考试。考试中,考试机构应充分发挥其监控设备的作用并加强考场巡视,以消除考生临场作弊的侥幸心理。
四、结语
计算机辅助普通话水平测试系统的应用是普通话测试方式的历史性飞跃,不断优化计算机辅助普通话水平测试系统、加大监管力度、规范实施操作才能最大限度地维护普通话水平等级考试的严肃性、权威性和公正性,为推动普通话测试工作健康有序地持续发展做出新的贡献。
[1][4]重庆市语委办.重庆市普通话培训测试调研报告[R].重庆:2010:11-15.
[2][3]国家语委普通话测试中心.计算机辅助普通话水平测试业务研讨和质量分析会会议材料[Z].北京:2008:7-8.
[5][6]刘爱民.高校计算机辅助普通话水平测试中存在的问题及对策[J].重庆文理学院学报,2011,(6):90-92.