航海英语会话评估考试网上阅卷系统分析

2012-01-05

航海教育研究 2012年3期

(上海海事职业技术学院，上海 200120)

航海英语听力会话评估项目已经实施多年，随着STCW公约马尼拉修正案的生效，以及随后的一些履约文件的实施，对船员的航海英语水平的要求也随之提高，因此提高航海英语听力和会话网上阅卷系统的科学性就显得更加重要。

一、航海英语会话网上阅卷系统的特点及不足

航海英语会话网上阅卷系统(以下简称“系统”)的网络环境为局域网(LAN)。考生在考试的过程中将三个部分的答案通过“系统”录音设备录制然后存储在电脑中。待所有考生考试完毕，每位评估员使用自己的登录名和密码登录“系统”中的评估页面，待考卷下载完毕后，“系统”即自动地将考生存储在电脑中的答案随机地分发给联机在“系统”服务器上的各评估员终端，供评估员评阅。

1.航海英语会话网上阅卷系统的优点

航海英语听力会话评估项目已经实施多年，它是评估船员英语水平的一个重要项目，经多次改版升级，英语评估系统在版面设计、题目难度和主观题评判方式方面日趋成熟。其中的会话考试部分，利用计算机网络存储考生的答题录音，并由评估员对考试录音进行评判。该系统的实施大大提高了阅卷的公正性。

(1)对阅卷行为的实时监控[1]

“系统”自动隐藏了所有考生的真实身份，而且评估员批阅的只是考生总共12道题目中的随机的某几道题目，此种做法能够更好地体现公平公正的原则。评估员的阅卷过程经历了以下的几个步骤：

① 评估员的自我实时监督

这种监督建立在“系统”自动对评估员所评出分数的统计分析基础上。在阅卷过程中，评估员本人只需轻击鼠标就能在自己的终端屏幕分数一栏给出该题的分数，在点击确定之前，还能对自己给出的评判作出修改。如果给出的分数在该题的范围之外，“系统”会在屏幕上进行提示，以便评估员修正。

② 评估员之间的相互修正

在评判有疑问的情况下，评估员可以通过自发的相互讨论的方式，对所给出的分数进行重新评判。

网上阅卷提高了效率，随机分发试卷增加了考试评判的公正性。

(2)对评估员的质量控制

首先，海事局对学院选派的相关的教师进行资格审批，以确保阅卷工作的质量。在阅卷过程中，评估员也会遵循海事局编制的《适任评估大纲和规范》，对不确定的题目分值相互之间进行讨论以取得公正的评判。

2.航海英语会话网上阅卷系统存在的缺陷

虽然“系统”拥有以上诸多优点，但笔者发现该“系统”仍存在一些缺陷。

(1)航海英语口语考试的评分标准

整个会话考试共有三个部分，即朗读题、口述题和回答问题。评估的要素分别为发音、朗读流利程度、内容、语法等。评分的标准如表1所示。

在这些评分标准中，只是给了评估员一个大概的分值范围，没有具体的评分说明。所以在评估过程中，不同专业背景的评估员给出的分数会差别很大。如果是英语专业教师的评估员，在评估的过程中，他不仅会对考生回答的内容作出评判，而且还会考虑到考生的发音和回答的句子的完整性，如此，考生的分数就不会很高；如果是专业教师的评估员，在评估的过程中，他往往更加注重考生回答的关键词，这样给出的分数也相对会高一些。而且还存在着同一位评估员在评分的过程中，连续数次对不同考生相同的题目给出相同的分数的情况。所以在评估之前对评估员进行评判培训尤其显得重要。

表1 航海英语评估会话部分评估要素及评估标准[2]

例如，在回答问题里有这样一道题：Can you list some restricted areas on board? 可能有各种各样答案，有的学生会说：Yes, I can.像这样的情况，不同的评估员给出的分数也会不一样，具备英语专业背景的评估员会觉得这个回答不正确，只能在0～2分的分值范围内给分；而具备专业背景的评估员可能给的分数会高一些。这就需要评估员在评估之前接受培训，统一思想。我们知道，从英语的文化背景来说：很多的问题都是通过婉转的口气提出的，这个时候并不需要得到“Yes”或者“No”的回答，而是需要得到问题的正确答案。会话中的第三部分占到60%的分值，这个部分的成绩直接关系到考生会话的整体成绩，所以，评估员在打分之前一定要按照标准执行，同时，海事局最好能在评估之前对评估员进行培训。

(2)评估员的培训

虽然评估员都是有多年航海英语教学经验的教师，由于以上出现的问题，海事局有必要对评估员进行培训。培训可以在以下三个方面进行;

① 针对所有评估员的强制性培训。在正式阅卷开始前，“系统”有必要要求所有评估员参加培训，统一思想，对“评分标准”进行讲解，对以往的评估过程中的案例进行分析。以此加强评分的规范性和公正性。

② 对个别评估员强制性培训。海事局主考官可以强制培训那些阅卷期间评分严重偏离“评分标准”的评估员。

③ 选择性培训。在评估的过程中，如果评估员认为有必要，随时可以进行自我培训。

(3)评估员配员的合理性

笔者在多年的评估实践中发现，评估员的评分合理与否与评估员的配员情况存在着很大的关系。

以每200名考生配备5名评估员为例，平均每个评估员要评估40名考生。由于评估过程主要靠评估员的听力进行评判，在开始的30min内，评估员能够精力集中地评判每一道题目，而且作出的判断也比较合理。30min以后，如果不强制要求评估员进行休息，往往会出现视觉疲劳和听、觉感觉等疲劳问题，这些疲劳现象会导致评估质量的下降，集中体现在某些题目的评分出现分数居中，有些题目的评判不在评分范围之内等现象上。而且由于考生的英语发音各不相同，有的考生带有浓重的口音导致在评估的过程中必须反复几次进行听音，延长了评估的时间。如果每一道题目都从头听到尾，以这样的评估速度和配员往往需要一个工作日。所以，制定一个合理的评估员配员标准并且保证该标准的正确实施是保证评估质量的一个非常重要的前提。

二、优化航海英语会话评估考试网上阅卷系统的建议

为了更加完善航海英语会话评估系统，建议成立课题组，完成以下问题的研究。

(1)完善评估系统

在评估的过程中，评估员经常会遇到电脑死机、界面更新太慢等问题，拖延了评估时间。建议海事局相关部门对该“系统”进行优化和升级，确保评估过程能够正常运转，缩短阅卷的时间。

(2)解决阅卷疲劳问题

阅卷疲劳是指在长时间连续过度地盯看电脑屏幕和戴耳机全神贯注地收听考生的答案后引起的视觉、听觉的疲劳和工作绩效下降的现象。长时间的精神高度集中，致使大脑中枢神经系统从兴奋转为抑制状态，导致思维活动迟缓，注意力不集中，动作反应迟钝，从而出现疲劳状态，导致阅卷效率和准确性也有所下降。

根据学者们在实验性监视作业中，以准确反应、误反应、延迟反应以及其他生理反应作为指标，研究注意的维持性。他们发现，基准值的相对下降均发生在作业开始后30min内，从而说明注意的持续性不超过30min。因此，“系统”应该在评估过程持续30min后，屏幕上应出现强制休息的提醒。除此之外，评估员还可以在评估的过程中自行选择休息的时间。

由此可以看出，合理配备评估员人数是解决阅卷疲劳的一个重要手段。

(3)完善评估员的激励机制

探讨这个问题的前提是：每一位评估员应具备良好的道德修养，严守职业道德，不徇私舞弊，保持评估公正的客观公正。除此之外，还应具备良好的英语和专业业务水平。[2]

目前的评估员待遇制度已经延续了10年以上了，显然和目前的用工报酬现状差距甚大，格式塔学派心理学家勒温的心理学的场理论认为：人是一个场，包括这个人和他的心理环境的生活空间(LSP),行为是由这个场决定的。即：

B( 行为 ) = f [ P ( 人 )，E( 环境 )] = f ( LSP( 生活空间) )[3]

根据勒温的这个学说，可以看出：行为的实职就是人对环境外在的可观察的反应，是人类内在的心里活动的反映，行为是随人和环境的改变而改变的。需要和激励的循环关系如图1所示。