基于视线追踪技术的工艺操作人员人为失误识别研究*

2019-06-05胡瑾秋张来斌胡静桦

中国安全生产科学技术 2019年5期

胡瑾秋，张来斌，胡静桦

(中国石油大学(北京) 安全与海洋工程学院油气生产事故预防与控制基础研究室，北京 102249)

0 引言

现代工艺的自动化水平逐日提高，但人工操作过程还不能被自动化设备所完全取代。同时随着智能化水平的不断提高，一旦出现操作事故，事故进程更难控制、后果更加严重。根据资料统计[1-2]，近年来人因失误导致的安全事故占全部工业事故的比例从20%上升到80%，具体到电力生产、油气生产等行业，有70%～80%的事故是由于人因失误引起的。因此，有效预防人因失误，并在失误发生之前进行有效的预警，是工艺生产事故预防与控制的关键环节之一[3]。

在典型控制室中，操作者在异常情况处理期间执行的认知任务可以分为：熟悉情况、诊断和执行3个步骤。人为失误可能发生在其中任何1个步骤之中，每1项失误都能带来负面影响[4-6]。

目前在生产实际中消除人为失误的最常见的方法是在过程危害分析期间对其进行分析，或使用在风险分析中的人的失误概率来计算人的可靠性，存在较强的主观判断。因此，需要通过对操作员认知状态的自动监测、识别、评估，确保操作者正确地实施操作，从而减少因人为失误带来的工艺安全事故。

视线追踪技术能够分析操作者的心理过程，适用于监测与识别设备系统操作者的认知状态。近年来，对视线追踪技术的应用包括医疗安全、驾驶安全、视觉搜索和信息处理等方面[7-10]。文献[11]使用视线追踪技术来评估新手和驾驶熟练的飞行员的操作行为，研究结果表明，关于飞行员的认知状态的信息可以通过持续监测的眼动数据来获得；文献[12]对外科医生的操作熟练度进行判断，发现经验较少的外科医生视线主要集中于手术显示器而忽视患者的生命体征；文献[13]中也得出了经验丰富的医生更频繁关注麻醉监视器的结论；文献[14]中使用眼动数据识别专业车手和首次骑摩托车的新手，将视线注视情况与道路环境相关联以评估驾驶员的行驶状态。因此，视线追踪技术能对各个领域中操作者的认知状态进行有效的监测，从而可实现异常行为的早期预警。

本文结合视线追踪技术对生产工艺操作人员人为失误模式进行分析，提取人为失误的眼动数据特征，建立失误模式智能识别方法，能够通过人员对工艺生产调控系统注视的眼动特征进行有效的监测，智能识别操作人员的失误模式，实现对误操作的早期预警。

1 眼动数据采集

1.1 视线追踪技术

视线追踪技术是1种通过检测人员在各个时间注视的位置，注视的时间长短以及眼球的运动轨迹等信息来帮助科学家了解被测人员注意力情况的技术[15-16]。本研究采用瞳孔-角膜反射法实现操作人员在工艺过程调控中的视线追踪，以识别其发生误操作的可能。如图1所示，视线追踪系统通过将1束红外光线射向眼睛，再利用相机记录来自眼睛的反射信息，然后对该信息进行处理以获得关于注视和眼跳的相关信息。

图1 瞳孔-角膜反射法Fig.1 Pupil-cornea reflection method

图2 模拟生产操作人机界面中的注视和眼跳过程示意Fig.2 Schematic diagram of fixation and saccade processes in simulated production operation man-machine interface

人员在工艺操作时眼球会产生一系列由于眼球跳动而产生的离散停顿，这些离散停顿被称为注视，眼球的跳动被称为眼跳。视觉对于信息的处理仅在注视期间发生，在眼跳期间被基本抑制，眼睛的整体活动可以认为是注视、眼跳和眨眼的组合。图2为工艺操作人员在中控室远程操作设备时的注视和眼跳过程，图中的圆圈表示注视点，其中圆圈的大小表示注视时间的长短，数字是以毫秒为单位所表示的注视时间，而连接各圆圈的线段表示眼跳。

根据眼脑一致假说可以认为，人的眼动特征是能够实时展示其认知情况的窗口，并且能够根据眼动特征提供关于人的认知行为的动态信息。因此，为了更高层次的对人员注视特点，以及大脑对外部信息的理解过程进行有效的分析，本文建立如下基于眼动数据的注视统计指标，对操作人员各类注视模式进行有效的辨识：

①注视时间(s)：每次注视目标区域的持续时间；

②注视次数：测试者注视目标区域的次数；

③停留时间(s)：落在目标区域内的所有注视时间的总和；

④注视比率(%)：对某一区域每秒的注视次数；

⑤眼跳时间(s)：眼睛在2个注视点之间实际移动的时间。

1.2 眼动分析实验

本次眼动分析实验通过中控室操作人员对生产乙醇流程的控制来研究操作人员的认知情况。整个生产装置主要由进行反应的连续搅拌反应器(CSTR)以及对产物进行处理的蒸馏塔组成。主要发生的化学反应为乙烯与水在CSTR中发生反应生成产物乙醇，其反应机理如式(1)所示：

C2H4+H2OCH3CH2OH ΔH=-45 kJ·mol-1

(1)

这一流程中没有使用任何自动控制器，因此监视和控制需要由操作者(人工参与)执行。在本次实验中共有18 名不具备相关工艺操作经验的学生来扮演控制室操作员的角色。在实验之前，没有告知被试这项研究的真实目的，以防止影响他们的认知行为并防止他们产生任何辅助或破坏实验假设的战略反应。具体的操作界面如图3所示。

图3 实验界面目标区域划分Fig.3 Division of target areas in experimental interface

在实验中通过模拟6个与内外扰动相关的异常事件场景(见表1)来分析操作者的认知行为。在实验过程中，每名测试者的任务是由6个异常事件场景组成的随机集合。也就是说，18名测试者的实验产生了1个包含108个任务的数据集。考虑到操作者之间的固有变异性，将具有类似任务完成状态的测试者聚集，以便从他们的眼动数据特点中提取可聚类的模式。

表1 实验中的异常控制场景Table 1 Anomaly control scenarios in experiments

在实验期间，测试者操作调控系统对异常事件进行处理的过程中，其各项动作均被视线追踪系统记录下来，包括视线的移动、鼠标的点击移动、对各个滑块的操作，以及各项过程参量的实时变化。

2 失误模式与失误类型识别方法

2.1 失误模式建立

为了对被试者在实验期间的认知行为进行分析，将操控系统界面中的17个特定区域标记为目标区域(AOI，Area of Interest)，包括11个变量标签(T)、4个滑块(V)、趋势窗口以及报警摘要窗口。具体的目标区域形状、大小及划分情况在图3中给出。对各个目标区域的眼动指标的分类分析可以将数据的有效性最大化并且使校准误差最小化。

从认知行为角度，一旦出现异常事件，被试者必须在人机界面中对多个目标区域进行有序的观察来分析该异常事件的类型、原因及应对措施：

①通过点击变量标签来显示相应变量的趋势变化；

②通过观察趋势窗口来观察变量的变化情况；

③通过操作主滑块来控制阀门的开闭度。

因此，将目标区域归纳为趋势窗口、主滑块、主标签、次要滑块、报警摘要和其他区域6个区域。通过统计操作者在每个目标区域上的停留持续时间和多个目标区域之间的转换，分析他们处理异常事件的认知行为特点。

在数据分析阶段，发现操作者有部分失败操作时的眼动情况显示与典型操作具有不同的特征。因此按不同眼动特征对这些被试者眼动数据进行分类。分类后通过与被试者沟通，得出其当下精神状态，并将其操作方式对应不同认知状态。将这些认知状态与安全行为科学原理中关于人为失误分类方法的概念法分类结果(偏离、疏忽、错误)相结合，最终得出3类人为失误的失误模式：精神涣散、高度紧张和操作生疏，如图4所示。从而将实验结果数据按认知状态分为4组：

A组：正常工作状态。

B组：被试操作生疏。包括预先培训阶段未掌握操作技巧。

C组：被试精神涣散。包括被试疲劳或者在操作过程中收到其他因素干扰。

D组：被试高度紧张。

图4 失误模式分类Fig.4 Classification of error patterns

通过数据统计，将这4组在各个目标区域的视线停留时间进行对比分析，得出各失误模式的失误特征，如图5所示。图5中，横坐标按4种状态在不同区域的注视情况分类，纵坐标为该组在该区域注视视线停留时间占总时间的百分比。

图5 各组被试者完成测试任务时的视线停留时间分布Fig.5 Distribution of sight fixation time for each group of testers when finishing testing tasks

从图5中可以看出，在视线停留时间的分布上,B组在次要变量标签上的停留时间远高于A组，达到了30%，而在趋势窗口和主变量标签上的值远低于A组，分别为28%和15%；C组在其他区域上的停留时间远高于A组，达到了30%；D组在主滑块上的停留时间远高于A组。

2.2 失误类型识别方法建立

在对各类被试者在不同目标区域注视情况的研究中，发现虽然不同失误模式展现出了全然不同的眼动数据特征，但各个参数之间的定量关系难以用固定的数学公式描述。失误模式与不同区域注视时间之间虽然具有较高的模糊性，但失误模式一定，且具有模式可分性。因此，尝试利用距离函数分类法对失误模式进行分类。将每个待测样品看作P维空间的1个点，通过计算P维空间中待测样本与各个标准样本之间的距离，把距离最小的那一类认定为待测样本所属的分类。

具体实施步骤如下：

1)通过对实验中各组失误模式在各个目标区域的视线停留时间进行归纳统计，得出主要失误模式及其特征参数，具体见表2。表2中参数为各组认知状态对应的操作人员在各个目标区域注视时间长短占总注视时间的比值。

表2 各类失误模式特征参数值Table 2 Values of characteristic parameters for each type of error pattern

注：表中参数为被试者在不同区域的注视时间比例。

2)根据表2中数据建立关于认知状态的标准矩阵Y。矩阵的每1行分别表示正常、操作生疏、精神涣散、高度紧张4种状态；矩阵的每1列分别表示被试者在趋势窗口、主滑块、主标签、次要滑块、报警摘要、其他区域的视线停留时间百分比。

3)进一步计算各指标的权重矩阵W。矩阵的每1行分别表示4种认知状态；每1列分别表示对应状态下在不同区域中注视时间长短的指标重要度。

4)利用视线追踪系统采集操作者进行操作时的眼动数据。在本次数据分析过程中，选择 “持续时间”、“坐标X”、“坐标Y”3项数据作为分析过程的输入。

5)采用距离函数分类法，其输入值包括注视点坐标的x值、y值及注视持续时间。实现对注视点按照目标区域分区，统计各区域注视持续时间，计算各区域注视持续时间百分比，得出样本参数矩阵，进而计算欧氏距离矩阵，并将样本与参照对象的距离由大到小排序。根据分类法则，样本与哪一个失误模式类距离最小，则该被试的操作状态就判别到那一类。

3 案例分析

3.1 欧氏距离函数分类结果

以表3中的8个测试样本为对象进行试验。样本1，5被试者为正常状态；样本2，6被试者为操作生疏；样本3，7被试者为操作状态疲劳；样本4，8被试者操作时状态紧张。

表3 操作人员操作状态测试样本Table 3 Testing samples of operators’operation status

最终利用欧氏距离函数法对操作者的认知状态进行识别的结果见表4，可以看出，除了第4号样本的状态判别与真实情况存在差距以外，其余各组样本的识别结果均与实际情况一致。

表4 样本与各类失误模式的欧氏距离Table 4 Euclidean distance between samples and each type of error pattern

3.2 加权欧氏距离函数分类结果

由于每种失误模式的眼动情况都有各自明显的标志和特征，引入权系数矩阵来强化各个区域注视情况对分类起到的不同作用。对于每个失误模式的各个参数其权重值均不同。以各个模式的标准参数矩阵作为基准，结合权重计算表3中各样本的加权欧氏距离，最终利用加权欧氏距离函数法对操作者进行认知状态识别，结果见表5。从表5可以看出，与一般欧氏距离分类法相比，失误模式识别的准确性进一步得到了提高。