装备操作考核自动评分算法设计

王书湖　刘华章

摘 要：客观评价学员的实际操作水平，在分析装备操作的特点之后，结合序列匹配方法、模糊逻辑思想及最短编辑距离算法，设计装备操作考核自动评分算法，实现对学员操作过程的自动评分。应用表明，该算法符合装备操作考核的要求，能够反映出学员的实际操作水平。

关键词：序列匹配；模糊逻辑；最短编辑距离；自动评分

中图分类号：TP301 文献标识码：A

1 引 言

对操作者的实际操作水平进行考核是实践教学的一个重要环节，但由于装备操作具有操作内容多，操作流程复杂，操作有效性及熟练度难以检验等特点，传统上往往依靠考核者全程观察操作者的操作过程，进行一对一的考核，这种考核方式实施代价高，可操作性差，并且评价结果完全依赖考核者的主观印象，难以做到客观、公正、全面[1]。

随着信息技术的飞速发展，计算机辅助测评逐步在教育领域得到了应用[2]，然而目前的计算机辅助测评系统在选择、判断等客观题或计算机操作技能等自动测试方面支持良好[3，4]，但对装备操作考核评估的支持还很不够，这是因为对装备操作考核并不能简单采用某一种或几种标准答案进行评定，系统需要对操作者的操作速度、操作流程等各方面因素进行综合评估。这些因素都具有不确定性，难以给出精确的评估指标。为解决上述问题，本文在研究分析了装备操作特点后，针对这类操作特性，提出了基于操作序列匹配与模糊逻辑评判的自动评测算法，对操作者的操作过程进行考核评估，取得了良好效果[5]。

2 操作考核自动评测模型

对操作者的操作进行评测，首先需要获得操作者操作的相关信息，之后再对相关操作进行标准化处理，最后利用自动评测算法对操作进行评分，系统模型如图1所示。

图1 操作考核自动评测模型

在操作信息中所要关注的是操作对象及其属性、操作完成时间、操作所达到的状态。为方便标准化处理及后续的自动评测，在此利用事件来表示考生的操作序列，用四元组E（O，N，T，S）来描述相关的操作信息，其中O表示操作对象，N表示操作对象的属性， T表示操作结束时间，S表示操作所达到的状态[7]。

3 算法设计

针对操作训练的实际操作特点，采用重要度、相似度、时间度和成功度四个评估因子对操作过程进行模糊逻辑评分，评分时首先需要确定标准操作序列，在具体操作中可能存在多种正确的操作序列，因此标准操作序列可能存在多个，为此在进行评分时首先对操作序列进行预处理，再逐一与标准操作进行比对，采用分步评分、累加求和的方式计算总分[5]。

3.1 标准操作序列预处理

对标准操作序列依据各操作步骤间的联系进行分组，即联系紧密度高、难以分割的一组序列分为一组，对于相对独立的操作则独自成为一组，每一组作为一个评价得分点，依据所确立的评价指标对各评价组进行模糊评分。对实际操作序列按照子序列严格匹配的模式依次判断各评价点的操作是否正确，若匹配成功则标志位accurate置为true，否则置为

3.2 四种评估因子

1.重要度

在装备操作过程中，某些错误的操作可能会对系统设备造成损害或导致较为严重的后果，因此这些操作是极为重要的，在操作过程中必须严格落实。未严格遵守这些操作不仅不能得分，还要进行相应的扣分。为此用重要度表示某操作的重要程度，用Ii表示，共分为10个等级，取值范围为[0，10]，每个等级的取值间隔为1。此指标是唯一的扣分指标，对不符合规定的操作进行扣分。

2.相似度

相似度又可称为操作序列符合度，即实际操作序列与标准序列的符合度。具体操作时利用子序列匹配算法将预处理后的标准操作序列与实际操作序列进行匹配。匹配成功则该组的标志位accurate置为true，其相似度Pi=1，否则置标志位accurate为flase，Pi=0。匹配不成功则说明该操作未完成，则依据相应的重要度加权进行扣分处理。

3.时间度

对每一组操作序列，系统均预先设定一个参考操作时间TSi，并以实际操作时间TCi与该值的比作为时间度 Ti的函数输入评价值[9]。

定义xi=TCiTSi，则Ti=f（xi），xi为自变量，其取值为（0，+∞），Ti的函数曲线图如图2所示，在参考操作时间内的操作设其权重为1。操作时间越长得分越低，则其时间度的权重越低，由于大部分操作号手操作的操作时间集中在1至2倍的参考操作时间内，为便于拉开操作成绩，则此时的曲线斜率较大。对4倍参考操作时间以上的操作不在进行区分，统一将权重设为0.2。

图2 时间度Ti的函数曲线图

4.成功度

在实际操作中，存在多种正确的操作序列，某步操作的结果可能会对后续操作的结果造成影响，一步不达标的操作可能导致后续相关的操作都不达标，因此不能简单的以操作结果是否合格来进行评价，为此采用成功度这一评价因子来衡量操作人员的操作效果，即用该操作实际达到的状态集与该操作应达到的状态集进行匹配，完全匹配则成功度Si为1，并将某操作实际达到的状态集个数与应该达到的状态集个数间的比值定义为Fi。当匹配度少于20%时便不做区分，将其成功度统一设为0.2，这主要是考虑虽未达到预期的操作效果，但仍然完成了该步操作，也应获得一定的分值。成功度Si定义为：

Si= Fi，Fi≥0.2 0.2，Fi<0.2

操作序列由于具有多样性和复杂性，在具体评分时对相关性高的进行了预先分组，但仍存在一些相关程度不高的操作序列，对于这些操作序列的评分主要依据成功度与最短编辑距离来评分。

3.3 最短编辑距离的计算

在实际的操作过程中，有可能存在误操作或多次操作的情况，比如一个波段开关存在多个档位，在具体操作时可能会存在多次来回波动才停在正确的档位上，为此就要比较实际操作序列与标准操作序列的差别。对所存在的误操作及多次操作进行扣分处理，在此引入字符串的编辑距离算法，编辑距离是指将原字符串转换到目标字符串所需的最少的插入、删除和替换的数目。利用该算法求出实际操作序列变换为标准操作序列所需要的最少次数，并用该指标评价实际操作中的误操作及多次操作情况[11，12]。endprint

求两个字符串间的编辑距离实际是一个求最优解的过程，可以采用动态规划的思想来计算。将实际操作序列字符串记为T[1，N]，标准操作序列记为S[1，M]，将T到S的编辑距离记为D（S，T），并定义D[i，j]=D[S[1，i]，T[1，j]]。对单个字符的定义为：

对于某装备的操作共有9步，依据该装备的操作特点，制定了如表1所示的标准操作序列，采用该算法对表2所示的操作序列进行评分，结果如表3所示。在计算得出各评价组的得分后，通过进一步的计算可以得出实际操作序列与标准操作序列间的最短编辑距离为2，则该操作的最终得分为17.68+11.52-3+27.6-2=51.8。

4 结 语

利用装备操作考核自动评测算法可以有效的评价操作者的装备操作水平，在具体操作时，首先要提取操作者的操作信息并对其进行标准化处理，然后再依照算法进行评分。标准序列及评分标准需要依据实际情况预先确定，这也有利于发挥人的主观能动性，使得算法更具普适性。

参考文献

[1] BRIAN E，Clauser，Polina Harik，Stephen G. Clyman. The Generalizability of Scores for a Performance Assessment Scored with a ComputerAutomated Scoring System[J].Journal of Educational Measurement， 2005，37（3）：20-26.

[2] 张冰.自动阅卷系统的研究[D].成都：西华大学，2008

[3] Temur Kutsia. Context Sequence Matching for XML[J]. Electronic Notes in Theoretical Computer Science， 2006，157 （2）：47-65.

[4] 宗德才.操作题自动评分系统的设计与实现[J].计算机工程与设计，2010，31（5）：1156-1160.

[5] 郭培，高俊雄，王耘波.基于序列匹配的自动评分算法设计[J].计算机应用，2011，12：78-80.

[6] CLAUSER B E，HARIK P，CLYMAN S G，The generalizability of scores for a performance assessment scored with a computerautomated scoring system[J]. Journal of Educational Measurement， 2000，（37）：245-261.

[7] ROCKWOOD A L， CROCKETT D K， OLIPHANT J R， et al. Sequence alignment by crosscorrelation[J]. Journal of Biomolecular Techniques，2005，16（4）：453-458.

[8] 张静，李凡长.动态模糊机器学习模型及验证[J].计算机应用，2006，26（9）：2044-2046.

[9] ARORA S，BHATTACHARJEE D，NASIPURI M，BASU D K，KUNDU M.Recognition of Non-Compound Handwritten Devnagari Characters using a Combination of MLP and Minimum Edit Distance[J]. International Journal of Computer Science and Security，2010，4（1）：107-112.

[10]冯乃勤，申向东，徐久成，等.模糊推理中冲突消解的一种新方法[J].计算机工程，2002，28（9）：75-76.

[11]喻高瞻，彭宏，胡劲松，等. 时间序列的相似性的分层查询[J]. 计算机工程与应用，2006，45（23）：152-153.

[12]王树西，吴政学.改进的Dijkstra最短路径算法及其应用研究[J].计算机科学，2012，39（5）：223-228.endprint