考核评估系统研究综述*

肖剑波　胡大斌　胡锦晖　聂　伟

(1.海军工程大学动力工程学院　武汉　430033)(2.镇江船艇学院　镇江　212000)



考核评估系统研究综述*

肖剑波1胡大斌1胡锦晖1聂伟2

(1.海军工程大学动力工程学院武汉430033)(2.镇江船艇学院镇江212000)

摘要模拟训练是指结合半实物仿真或计算机仿真界面等方式,利用系统仿真、虚拟现实等技术手段开展装备操作、管理等训练形式,已成为提高装备技术保障水平和装备操作管理能力的有效手段。为掌握受训人员岗位任职能力,同时,提高培训的效果和制定更加合理的培训计划,模拟训练系统必须具备公正、合理、高效的受训人员考核评估系统。论文从原理、应用和技术手段等角度出发,概述了考核评估系统的研究成果,并对考核评估系统中单因素评估法、综合评估法和智能评估法等方法进行了阐述,并对今后研究趋势进行了展望和建议。

关键词模拟训练系统; 建模; 考核评估方法; 智能评估

Review of Intelligent Evaluation System

XIAO Jianbo1HU Dabin1HU Jinhui1NIE Wei2

(1. College of Power Engineering, Naval University of Engineering, Wuhan430033) (2. Zhenjiang Watercraft College, Zhenjiang212000)

AbstractSimulation training means to use half-semi or computer simulated GUI, with the technologies of system simulation, virtual reality etc. to achieve equipments handling training and managements training, which has been an efficient way to improve equipment operation training and management capabilities. In order to maintain training level and make more suitable training program to improve the training effects, an intelligent evaluation system, which can make justice, efficient evaluation, is needed. In this paper, the developments, principles and key technologies is summarized and the examination evaluation method such as single factor method, comprehensive evaluation method and intelligent evaluation are discussed. Finally, the forecast and suggestion on future research are also made.

Key Wordssimulation training system, modeling, examination evaluation method, intelligent evaluation

Class NumberE139

1引言

模拟训练又称模拟仿真,是指利用模拟器材进行岗位训练的一种方法。随着计算机仿真、虚拟现实技术等的发展,模拟训练的逼真度、可信度越来越高,已成为提高装备技术保障水平和装备操作管理能力的有效手段。

为掌握受训人员岗位任职能力,同时,提高培训的效果和制定更加合理的培训计划,模拟训练系统必须具备公正、合理、高效的受训人员考核评估系统,因此,研究者尝试建立受训人员岗位操作评估方法并构建考核评估系统。在模拟训练系统受训人员岗位操作考核中,受训人员操作水平取决于诸多因素,如理论知识水平、系统设备操作能力、设备故障处理能力和心理素质等。而传统的考核评估方法采用教练员主观评价的方式,易受人为因素影响,难以客观、公正地评价操作人员的操作水平,尤其很难评判在系统参数瞬态运行过程中对操作响应的变化等问题。因此,现代模拟训练系统逐步向智能化发展,综合考虑各方面因素,建立受训人员考核评估体系,并通过计算机采集各操作步骤相关参数,建立考核评估模型对操作过程数学方法进行描述,可以准确反映瞬态运行过程中对操作响应的变化,使得考核评估更加合理。智能考核评估系统已成为模拟训练系统研制过程中的重要组成,并代表着模拟训练系统的最新研究方向。

2考核评估系统研究概况

根据考核人员的操作自动进行评估,为培训人员更好的训练提供依据,这是早期模拟训练系统考核评估系统的主要功能。20世纪60年代初,国外研究者就开始尝试考核评估系统的开发,现在计算机评分系统己经在国外成为广泛使用的测评工具[1]。考核评估系统最早产生于教育领域,在1966年,Page开发的第一代项目短文评定系统,后发展到智能测评、电子评分者、智能阅卷系统以及一些其它一些开放式题目评分的CAS系统[1]。随着模拟训练系统的不断发展,很多研究机构对模拟训练的评估方法进行了研究。德国Wismar University开发了基于航海模拟训练系统的学生训练成绩自动评估系统,开发了“Surveillance Tool”和“Evaluation Tool”两个工具箱,并做了船舶避碰的评估分析以及船舶应急状态的评估分析[2]。英国船商有限公司开发的TGS系列GMDSS模拟训练系统具备智能教练功能,该系统为针对性地加强受训人员的培训,提供多媒体教学功能,同时能解释和解答受训人员在实际操作中遇到的问题[3]。挪威Kongsberg[4]公司研究的船舶操纵模拟器也有评估系统,但不能对多船会遇等复杂局面进行评估。

英国船商公司Transas[5]研制的船舶操纵模拟训练系统包括评估系统(TEAS)、视景、声效、模拟和真实的导航设备、对象和海域数据库以及数据库编辑工具。TEAS可以对学员的训练效果进行评估,根据不同的训练完成情况分别打分,且可以将训练结果作为其他学员训练的平均值进行参照考核。加拿大纽芬兰纪念大学、美国的Ship Analytics等在船舶操纵模拟器的过程中也对考核评估系统进行了研究[6]。

国内对考核评估系统在模拟训练系统中的应用也有较多成果,主要应用于航海院校船舶操纵、避碰及驾驶模拟器。武汉理工大学研制的WMS2004型轮机模拟训练系统,并开发了轮机模拟训练系统操作评分系统,可以监测学员操作过程,对实操结果进行评估、统计和分析,可以了解学员的学习情况及存在的问题和缺陷,提高了考核效率[1,7]。大连海事大学针对航海模拟训练系统中雷达标绘操作评估系统和大型船舶进出港训练评估系统,对航海模拟训练系统中的大型船舶进出港训练的记录文件进行了评估,所得到的评估效果得到了大操培训教员的认同。系统打破了原有简单的及格与不及格评估的格局,增加了学员训练兴趣的同时也减轻了教练员的负担[2,8]。集美大学研究开发了电子海图平台下的训练和评估系统,该系统不仅实现了学员操作的自动评分,同时对结果进行了分析[9～10]。

曾华岚[11]将模糊数学的原理运用于船舶操纵评估方面,对评估系统进行了理论探索。刘成勇[12～13]通过计算操作人员与系统标准值之间的离散程度,获取评估成绩。郑彭军[14]提出了基于模糊集的评估模型,采用计算比较操作人员实际操作与决策之间的离散度的方式对操作进行评估并给出对应分值。包国江[15]提出了一种航海模拟器操作评估方法,建立了船舶航行能见度、水域环境、船舶的操纵性能等的评估模型。陶俊[16]分别对船舶进港航道航行和靠泊操作进行了研究,通过专家调查法确定评估参数和各个评估参数的权重,依据相关的海事法规确定评估参数的参考值,然后对每个评估参数都建立基于数理统计的评估模型,并进行了合理的评估,取得了比较理想的结果。房希旺[17]分别对航道航行、掉头操纵及靠泊操纵进行了研究,对相应的影响因素建立评价指标隶属函数,应用模糊综合评价方法建立评估模型,实现自动评估功能。史国友等[18]应用模糊综合评判法、AHP法建立了船舶操纵安全综合评价数学模型。邱云明等[19]结合临海港口航道航行环境的实际情况,确定了综合评价因素,并按照FSA的模式,运用Delphi、AHP、Fuzzy等理论建立了模糊综合评价数学模型。洪碧光[20]等选取6种典型的大型船舶操纵性能试验数据,分析其影响因素,并运用IMO有关船舶操纵性的衡准,确定综合评价指标,运用层次分析法对其操纵性能进行排序,然后对大型油船、散货船和集装箱船的操纵性能进行比较,总结出大型船舶的操纵特点。至此为对不同种类船舶的操纵性能进行定量的比较提供了一种方法。薛满福[21]的评估模型运用了隶属度函数,结合操船避碰进行评分。海军航空兵模拟训练中心依据训练大纲,通过计算机记录飞行员操作飞行训练器的操作数据,建立了飞行员训练自动评分系统[22]。

3考核评估方法

考核评估基本方法主要有以下几种:扣分法、加分法、分步评估法、功能比值评分法、层次分析法、利用纯数学的加权函数法、模糊综合评判法、神经网络法等等。虽然仿真训练系统考核评估方法较多,但根据其考核评估机制可分为以下三类:单因素评估法、综合评估法和智能评估法。

3.1单因素评估方法

单因素评估法包括扣分法、加分法、利用纯数学的加权函数法等。单因素评估法需要首先对考核过程中出现的操作错误动作或正确动作进行分类,并确定评分系数,能够实现与时间有关的变量和连续变量的处理判断。单因素评估法算法比较简单,计算机程序也较易实现,但评估效果有时不太理想,特别在操作过程比较复杂、系统耦合性强的评估中与实际情况相差比较远[15,23～26]。相关研究成果如下。

文献[15]研究的是船舶操纵评估系统,采用模块化的设计原理,利用纯数学的加权函数法建立了考核评估系统。文献[23]在对火电厂仿真培训的考核中,利用过程曲线考核的原理,通过累计偏差对学员操作进行扣分。文献[24]在分析几种评估方案的基础上,采用基准分难度系数扣分法,但这种方法并不能很好地反映学员的能力差别,指出学员的能力缺陷所在。文献[25]利用扣分法对空中机械师模拟训练评估,其扣分法中评估的合理性受各项扣分系数的影响较大,在某种程度上很难得到比较全面合理的评估结果。

3.2综合评估方法

图3和图4分别为在无气流辅助和有气流辅助条件下喷雾场内雾滴运动轨迹，图3和图4中雾滴的颜色代表雾滴粒径的大小(单位mm)。比较两图，可以看出在有气流辅助时，气流流场改变了雾滴的运动方向，引导雾滴运动轨迹明显偏向地面，从而有效地减少了雾滴的飘移潜能。

综合评估法主要包括层次分析法、模糊综合评判法等。综合评估法的基础是考核人员考核项目已经按照规则细化分类,考核人员的考核成绩由所有分项目考核成绩加权计算获得。这种方法主要应用模糊数学理论,依据考核评估的标准,确定一系列的隶属度函数,计算考核人员操作表现的各个隶属度,最后计算出考核人员的最终成绩。综合评估法对操作变量多、操作过程复杂的系统考核评估也能取得较好的效果,但对于操作关联性强的过程或评估对象出现变动时评估效果不佳,其设计计算过程比较复杂,算法实现需要花费较多时间[27～37]。主要研究成果如下。

文献[29]研究了GMDSS模拟训练评估系统,以分步评估法为基础,使用层次分析法,从是否完成任务分、操作时间分和操作步骤分三个方面设计成绩评分算法。文献[30]通过专家调查法得到大型船舶进出港训练过程的评估参数,利用层次分析法计算出各参数的权重,并且依据航海技术、港口设计和海事部门的要求给出合理的参考值。在调查大量的学员实际训练和考试的操纵基础上,利用概率论中的非参数假设检验方法,得到学员的误差分布函数。最后利用加权平均法计算出学生的综合成绩。文献[32]从水面舰艇模拟训练系统的需求出发,分析了水面舰艇模拟训练特点,明确舰艇模拟中训练成绩评估要素,建立了成绩评估的指标体系及每个指标的成绩评估数学模型。以水面舰艇模拟训练中某次具体训练为例,用层次分析法来计算出舰艇的综合训练成绩。文献[33]研究了岸边集装箱起重机仿真训练系统评分模型的建立和实现,从操作质量、操作步骤、事故项和教师印象分四个方面对训练系统进行评估,利用层次分析法和模糊综合评估的思想对训练系统进行评估。文献[36]以IMO及我国海事局考试和评估项目要求为标准,应用基于灰色关联度的模糊综合评价法,建立船舶操纵评价模型。采用两级评价制与多级评价制相结合的办法,通过船舶操纵模拟训练系统考试和评估系统对大型船舶模拟操作训练做出成绩评估。文献[37]根据STCW马尼拉修正案公约履约和国家海事局颁布的《中华人民共和国海船船员适任评估大纲和规范》的要求,全面地分析了影响航线设计评估的影响因素,根据所涉及的评价因素建立评估指标体系,构造评估模型,并利用模糊综合评判和层次分析法相结合的方法,建立航线设计智能考核评估方法。

3.3智能评估方法

智能评估法主要有人工神经网络评价法、专家系统评估法等。智能评估法利用人工智能研究成果,将大量专业技术人员和有着丰富经验的操控人员的知识信息存储在计算机中,建立知识库,模拟领域专家的评估推理方式,结合计算机编程技术实现考核评估。智能评估法能很好的解决考核评估中存在的一些难题,随着各行业对仿真培训需求的增加,智能评估法的研究也取得了一些成果[38～46]。相关研究如下。

文献[39]以军用电源仿真训练器为研究对象,结合部队实装兵器的操作流程,参考大系统理论和专家知识的相关内容,深入分析了军用电源设备的操作过程以及评分系统的评分规则的建立、评分标准的选择、扣分权数的选取、考核总成绩计算及评定和评分系统的程序流程等关键技术。最后以此为基础为某型燃气涡轮发电机组仿真训练系统研制了一套较为实用的评分系统。文献[40]以知识库的建立为重点,研究了专家系统在轮机模拟训练系统考核评估系统中的应用,以推进电机的操作评分为例说明整个知识库建立过程和遵循的准则。文献[41]提出一种基于专家系统和权函数结合的变电站仿真培训评分机制,代替变电站培训教员,实现对学员的日常变电站操作培训。该系统能够完成诸如变电站正常和事故巡视、倒闸操作、事故处理等培训任务的智能评估,给予学员全面、客观的操作评价;还利用电能质量指标作为智能评估理论的辅助判据,进一步提高了评判的客观性。文献[42]在对学员的操作过程进行分析的基础上,以船舶电站的专家知识为指导,提出了船舶电站仿真训练器培训项目评估的标准,并建立了基本涵盖船舶电站所有操作的五类考核评分准则。

4发展趋势及展望

4.1基于专家系统理论的考核评估系统研究

4.2基于分布式的考核评估系统研究

现有的考核评估系统主要针对单人单科目考核评估,而模拟训练系统通常包含多个岗位、多部门协同训练内容,如何实现对多岗位人员操作完成协同科目的训练任务考核评估是考核评估系统研究的难点。随着模拟训练系统内部操作岗位、节点的增加,相应的数据、规则等也会呈现指数级增加,现有的处理方式受计算机运算能力限制,无法实现高效、实时的评估,因而,利用分布式技术实现多人及综合科目操作考核评估将是后续大规模模拟训练系统的研究方向。

4.3基于数据分析技术的考核评估系统研究

由于模拟训练系统考核评估过程复杂,而且系统操作维护管理知识会不断的变化更新,所有评估专家系统知识库中的知识也需要不断的补充和完善,如何保持知识的完整性以及自动更新知识需要进一步研究。随着知识库中知识规则的扩充,规则之间的关系将会更加复杂,因此,考核评估系统需要研究更加高效的搜索策略。

且考核后会记录大量的数据,如何通过对数据的分析达到更好的评估以及通过数据分析查找考试操作中存在的问题并给出合理化的建议,制定更加合理的培训计划是考核评估研究的一个方向。

5结语

随着计算机仿真技术的发展,模拟训练的逼真度、可信度不断增强,且具有训练耗费低、训练风险小等优点,其重要性日益凸显。而公正、合理、高效的受训人员考核评估系统对模拟训练系统具有至关重要的意义。本文从原理、应用和技术手段等角度出发,概述了考核评估系统的研究成果,对考核评估系统中单因素评估法、综合评估法和智能评估法等方法进行了阐述,在此基础上,明确提出了考核评估系统的几个具有重要理论意义和实际价值的发展方向。

参 考 文 献

[1] 冯志勇.轮机模拟器操作评分系统的设计与开发[D].武汉:武汉理工大学,2010.

[2] 张欢.海船船员轮机智能考试系统的研究与开发[D].大连:大连海事大学,2010.

[3] 张卫国.自动化机舱操作训练与评估系统的开发[D].大连:大连海事大学,2010.

[4] http://www.km.kongsberg.com/[EB/OL].

[5] http://www.Transas.com/[EB/OL].

[6] 王德龙.船舶操纵模拟器实操自动评估系统初步研究[D].大连:大连海事大学,2013.

[7] 李登凤,董雷,林昌年,等.一种新型电力培训仿真智能评价指导系统[J].电网技术,2007,31(1):90-94.

[8] 张飞成.雷达/ARPA模拟器训练评估系统的设计与研究[D].大连:大连海事大学,2007.

[9] Nie Wei, Wu Ying. Study of Automatic Scoring System for Simulation Training[C]//3rd International Conference on Advanced Computer Theory and Engineering,2010:403-406.

[10] 张桂臣.船舶电站实操考试自动评分系统的设计与实现[J].中国航海,2010,33(3):27-30.

[11] 曾华岚,吕江海.模拟器实操评定系统初探[J].航海教育研究,1999(4):37-38.

[12] 刘成勇.雷达模拟器评估体系研究及其计算机实现[D].武汉:武汉理工大学,2002.

[13] 刘成勇.雷达模拟器评估系统的设计与分析[J].武汉理工大学学报(交通科学与工程版),2002,26(1):134-137.

[14] 郑彭军.航海模拟器客观评分系统的设计[J].中国航海,1997,40(1):54-57.

[15] 包国江.基于航海模拟器的船舶操纵评估系统的研究[D].大连:大连海事大学,2008.

[16] 陶俊.大型船舶进出港训练评估方法的研究与实现[D].大连:大连海事大学,2009.

[17] 房希旺.基于航海模拟器的操船评估模型及应用[D].大连:大连海事大学,2008.

[18] 史国友,贾传荧.船舶操纵安全综合评判数学模型的研究[J].大连海事大学学报,1997,23(3):16-20.

[19] 邱云明,陈伟炯,陈锦标.临海港口航道航行环境安全综合评价模型[J].中国航海,2005,64(3):41-45.

[20] 洪碧光,贾传荧.大型船舶操纵性能综合评价[J].交通运输工程学报,2002,2(2):55-58.

[21] 薛满福.基于模拟器的雷达标绘评估方法研究[D].大连:大连海事大学,2008.

[22] 沈美芳.基于专家系统的智能化考试系统基于BP神经网络的应用[D].无锡:江南大学,2008.

[23] 李登凤,董雷,高峰等.一种新型的电力仿真培训智能评价指导系统[J].电网技术,2006,30(16):261-264.

[24] 董秀臣,俎金花.模拟器操作评分系统[J].核动力工程,2005,26(6):645.

[25] 谭麒瑞,魏思东,刘承相.空中机械师模拟训练评估系统研究[J].装备制造技术,2010(5):36-37.

[26] 范永胜,程芳真,眭喆,等.电站仿真机的培训评分系统研究[J].系统仿真学报,2000,12(3):282-286.

[27] Nie Wei, Wu Ying, Hu Dabin. Scoring system of simulation training platform based on expert system[C]//3th International Conference on Computer Engineering and Network, Shanghai, China,2013:809-816.

[28] Clauser B E, Harik P, Clyman S G. The generalizability of scores for a performance assessment scored with a computer-automated scoring system[J]. Journal of Educational Measurement,2000,37:245-261.

[29] 肖方兵,尹勇,张新宇,等.GMDSS模拟训练评估系统[J].大连海事大学学报,2010,36(2):62-65.

[30] 陶俊.大型船舶进出港训练评估方法的研究与实现[D].大连:大连海事大学,2009.

[31] Benedict K, Baldauf M. Example for inland waterway design Investigations with wind impact in ship-handling simulator and computer-based assessment of the results[D]. Mecklenburg: Wismar University,2003.

[32] 熊正祥,王立强,孙永侃,等.基于AHP的舰艇模拟训练成绩评估研究[J].系统仿真学报,2008,20(12):30-35.

[33] 潘洋.岸边集装箱起重机仿真训练系统评分模型的建立和实现[D].上海:上海海事大学,2005.

[34] Baldauf M, Benediet K, Boeke T, et al. Compute-based evaluation of ship handling simulator exercise results[C]//INSLC, San Francisco, USA,2002:1653-1662.

[35] 任重,张永,徐池.模糊综合评价法在模拟训练评分系统中的应用[J].网络与通信,2012(8):65-67.

[36] 陈锦标,吴广宇,应士君.基于灰色模糊综合评估法的大型船舶模拟操纵评价[J].上海海事大学学报,2008,29(4):1-5.

[37] Abhishek K, Seung K C, Lorens G. Tolerance allocation of assemblies using fuzzy comprehensive evaluation and decision support process[J]. The International Journal of Advanced Manufacturing Technology,2011,55(1-4):379-391.

[38] 常鲜戎,刑金峰,张洁.基于多级模糊综合评价法的电网调度员培训评估[J].电网技术,2005,29(17):30-34.

[39] 孟飞翔,程培源,杨旭峰.军用电源仿真训练器中的评分系统[J].计算机应用,2011,31(10):2866-2869.

[40] 聂伟,巫影,夏极.模拟器自动评分系统的设计与实现[J].船海工程,2010,39(4):84-87.

[41] 盛化才,朱小良.大型火电机组仿真系统学员评价[J].系统仿真学报,2008,20(21):5989-5992.

[42] 高海波,陈明昭,陈辉,等.船舶电站仿真训练器中的培训考核评分系统[J].武汉理工大学学报,2003,27(5):633-635.

[43] 李登凤.基于多Agent的电力培训仿真智能评价指导系统[D].北京:华北电力大学,2007.

[44] 常喜茂,孔英会.仿真系统的操作过程考核软件开发[J].华北电力大学学报,2002,29(4):51-54.

[45] Htin A K, Xiao Y J. Assessment on the Yangon river channel based on fuzzy synthetic evaluation[J]. Journal of Shanghai Maritime University,2007,28(1):53.

[46] Nie Wei, Wu Ying, Hu Dabin, et al. Data Management and Analysis of Intelligent Examination Scoring System of Simulation Training System[C]//2013 5th International Symposium on Intelligent Human-Machine Systems and Cybernetics, Hangzhou, China,2013:267-270.

[47] 敖志刚.人工智能与专家系统[M].合肥:中国科学技术大学出版社,2002:19-25.

中图分类号E139

DOI:10.3969/j.issn.1672-9730.2016.01.005

作者简介:肖剑波,男,博士,讲师,研究方向:机舱自动化与仿真,视景仿真及虚拟现实技术。胡大斌,男,教授,博士生导师,研究方向:舰船动力装置仿真及机舱自动化。胡锦晖,男,博士,讲师,研究方向:船舶动力装置仿真及机舱自动化。聂伟,男,博士,研究方向:舰船动力装置仿真及机舱自动化。

*收稿日期:2015年7月3日,修回日期:2015年8月25日