一种新型船舶驾驶台值班防疲劳监控系统设计

周锋，吴华锋，孙志宽

(上海海事大学 商船学院，上海 201306)

一种新型船舶驾驶台值班防疲劳监控系统设计

周锋，吴华锋，孙志宽

(上海海事大学 商船学院，上海 201306)

为克服当前驾驶台值班报警系统需人工直接参与的不足，提出一种基于视频流跟踪的驾驶台值班报警系统。该系统通过比对2时刻值班人员的位置差异来判定值班人员的清醒状态。使用定时图像差分的方法确定值班人员的图上位置，实现目标的图上坐标与驾驶台空间坐标的转换；系统所收集数据可用于后续值班行为分析使用。实船实验表明，系统克服了需人员直接参与的限制，能够根据所设定的时间间隔识别驾驶员值班状态，并据此发出系列报警信号。

驾驶台值班监控系统；设计；图像处理

在海难事故中，人为因素占事故总量的70%，其中，人员疲劳是人为因素的主要原因[1]。为克服船舶驾驶台值班疲劳问题，2001-07国际海事组织(IMO)航行安全分委会(NAV)第47次会议通过了BNWAS标准[2]，旨在通过安装驾驶台定时唤醒装置来确保驾驶员的清醒状态。作为我国船旗国的指定机构之一，中国船级社在2010-06-05通函中发出了关于执行MSC.282(86)决议有关强制安装BNWAS的通知，意味着在中国船旗下的各类SOLAS公约船舶，将按照IMO船型和时间表的要求逐步实施IMO的相关要求。

BNWAS实现的关键是找出判定驾驶员清醒状态的有效判据。IMO性能标准要求，每3～12 min系统应能够确定值班驾驶员是否处在正常值班的状态[1]。这种判据目前主要有两类实现方法：值班人员的物理特征探测和生理特征探测。物理特征探测主要包括运动探测和声音探测，红外探测器最先被用于探测人员在驾驶台的运动，因驾驶台散热设备较多，导致探测器的人体和设备近体温效应明显，难以区分人体和设备，导致设备误跟踪和误报警。楼于海等人在此基础上，综合使用红外探测器和微波多普勒效应运动探测，改进了仅使用红外探测的不足[4-5]，使得系统具有探测运动和热源的双重功能。驾驶台安装的地面压力传感器也是BNWAS探测器种类之一[6]，这种传感器具有识别运动效率高、无需值班人员主动参与的优势，但成本高、可靠性差。孙向晖等使用了声音传感器，其缺点一是船舶正常航行时驾驶台噪音较大，难以探测人的声音；二是难以区分电台声音和值班人员声音；三是远洋航行时驾驶台通常仅一人值班，少有发声，无法探测。生理特征探测方面，主要是依据人体生理特征如：脉搏变化、体温变化等作为判据判定人员清醒状态。然而，这种方式必然要求驾驶员穿戴必要的设备，容易引起驾驶员的反感。近来，随着集成驾驶台的普及使用，也有设备厂家将BNWAS自动复位功能镶嵌于集成驾驶台各种操作按钮上[8]，任何按钮的动作，BNWAS将视其为激发信号而自动复位。这种功能在近海和航道内航行十分有效，但大洋航行时通常不需频繁操作任何按钮。以上各种方法均存在一定的限制和不足之处，因此，BNWAS传感器有待进一步的优化和提高。

为克服当前驾驶台值班报警系统需人工参与的限制，提出了一种基于视频流跟踪的驾驶台值班报警系统。该系统通过比对两时刻值班人员的位置差异，来判定值班人员的清醒状态。系统潜在的数据收集功能还有助于对海上事故中人为因素的研究。

1 监控系统结构简介

系统的主要功能是通过视频信号处理向满足报警性能标准要求的报警控制系统输入激发控制信号。系统硬件包括视频采集于转换装置、数据处理单元、串口通信、数据管理及报警输出等模块。其中，DSP处理模块是系统的核心，它完成视频图像中驾驶员所在位置的识别和跟踪，是图像处理算法的承担者，DSP识别的位置和时间信号经串口通信传送至报警控制单元。该单元按照IMO性能标准的要求，监控驾驶员的值班行为。连续识别的驾驶员位置信息存储于位置记录数据库中，以供后续研究和分析之用。

系统硬件框架设计见图1。

2 系统关键信号处理

2.1 目标位置识别

2.1.1 识别预处理

驾驶员的位置在图上表示为其身体所处的区块，对这一区块的识别即可实现位置识别。

研究驾驶台图像特征发现，船舶驾驶员活动于驾驶室的固定空间内，船舶驾驶室的设备布置具有相对稳定的特点，所以本系统的驾驶员位置判定属于固定背景下的动态物标识别问题[9]。图像背景差分是解决此类问题最为有效的方法之一。图像差分过程涉及图像的灰度处理，图像灰度处理的质量，直接影响目标位置的识别。实验发现，驾驶台内不同区域明暗程度相差较大。为提高图像灰度处理的结果，系统拟采用分区灰度处理法[10]，根据明暗程度的不同，不同区域使用不同灰度阈值[11]实施灰度处理。为实现位置点跟踪的连续性，需要获取时间上连贯的位置点信息，为达到这一目的，系统采用序列灰度图像差分法实现位置点的连续。图像预处理过程见图2。

2.1.2 目标位置识别

该步骤的目的是实现图像上目标位置的识别。在灰度处理基础上，使用序列图像差分法[12-13]来确定目标位置，对于连续的图像序列，任取其中连续两帧fi(x,y)和fi+1(x,y)，差分后得到的图像为f0(x,y)。

f0(x,y)为包含驾驶员位置和噪声的目标基础图像。由于图像背景固定，差分处理使得图像的背景信息得以有效消除。若图fi为不包含驾驶员的背景图，由序列差分结果即可直接获得驾驶员图上位置，见图3。

2.1.3 图像降噪

图4d)为图4c)反相处理后的效果。由此效果可知，若对灰度图4c)二值化时阈值选择得当，可起到一定的滤波作用。但处理结果中噪声依然存在，需进一步降噪以提高目标位置确定的准确度。根据上述图像噪声特征以及图像边缘特点，使用数学形态学滤波实施图像降噪[9]。在本系统中，形态学滤波算子选取3×3、3×1、“+”等开运算和闭运算操作结构[9]。

实验结果发现，先使用小结构滤波算子，而后使用较大结果滤波算子有助于达到较好的滤波效果。分析其原因主要在于：一方面，小结构滤波算子在滤波过程中有助于保留图像真实边缘；另一方面，小结构滤波算子的优先执行，有助于避免大结构算子开运算时，由于腐蚀作用而导致目标结构的残缺。

2.2 目标位置跟踪

2.2.1 跟踪

本系统中的所谓位置跟踪，即建立当前监控时刻位置和上一监控时刻位置之间的联系，从而比较定长时间段内驾驶员的值班位置是否发生变化，在2.1目标位置识别的基础上，做如下定义。

(1)

式中：Pt为t时刻驾驶员的位置；ft(i,j)为t时刻驾驶员所占矩形空间的中心坐标。

任意2个时刻的图示位移差为

(2)

式中：Pt+1为t+1时刻的驾驶员图上位置；Pt为t时刻的驾驶员图上位置；ft+1(i,j)为t+1时刻的驾驶员矩形区域中心横坐标函数；ft(i,j)为t时刻的驾驶员矩形区域中心横坐标函数。

2.2.2 建立驾驶员位移状态数据库

Pt包含的信息远大于仅代表驾驶员在某时刻图上的位置，若能够收集所有时刻驾驶员在驾驶台的位置信息，即可得到驾驶员整个值班过程中的位移记录，为进一步分析驾驶员值班行为以及挖掘海难事故中的人为因素原因提供有力帮助。在记录数据之前，还需要完成驾驶员图上坐标与驾驶台空间平面坐标的转换，转换示意见图4。

图中，xOy为驾驶台平面空间坐标系；O为坐标原点；Ox为沿驾驶台横向方向；Oy为沿驾驶台纵向方向，其中L表示横向最大距离；D为驾驶台纵向最大距离。

由于视频传感器位于驾驶台固定位置上，图上不同位置的像素点所代表的实际空间位置大小是不同的，将这种现象称为图像的扭曲。为有效地将驾驶员在图上的位置转变为在驾驶台的实际位置，在坐标转换中需要考虑扭曲因素。在图4中，D1、D2表示与驾驶台实际空间对应的图像远近不同的像素长度，L1和L2分别表示与驾驶台实际空间对应的图上像素宽度。

将图上坐标f(i,j)转变为校正曲率后的坐标fD(i，j)，为

图上坐标fD(i，j)与空间坐标fp(i，j)的转换关系为

(4)

式中：ip为与驾驶台空间坐标系对应的空间横坐标；jp为与驾驶台空间坐标系对应的空间纵坐标；φ为图上横坐标最大值；λ为图上纵坐标最大值。

2.3 报警控制

根据BNWAS的性能标准，本监控系统设置3 min为时间窗口，在时间窗口内，系统监测驾驶员的位置变化，系统设定：若驾驶员在时间窗口内的距离变化量d小于设定阈值，则认为在这一时间内驾驶员未履行正常值班职责，系统将发出报警声，提示驾驶员变换空间位置；若再次检测不符合值班位移要求，系统将持续报警并进一步扩大报警范围。

初始报警条件为

(5)

式中：dB为设定的最小移动距离；fk(i,j)为k时刻驾驶员位置空间坐标；ft(i,j)为t时刻驾驶员位置空间坐标。

在3 min的时间窗口内，任一两时刻的位置间隔大于dB即认为：驾驶员值班有效；在时间窗口结束时，计时器重新计时，报警过程见图5。

3 船舶实验

为验证系统的可行性，在上海海事大学教学实习船育锋轮上进行了为期1周的航行监控实验，系统运行初始界面见图6。

系统具备自动和人工阈值设置功能，运行界面中间的直方图为灰度分析，方便人工确定灰度处理的阈值设定，上述实验总时间为4 h。图7表示位置点时间序列。连线表示位置点之间的序列关系，图中dis=603.5514 m，是对驾驶员值班期间活动距离的估算，可作为判断值班行为勤勉与否等的参考。

4 结论

尝试性地提出基于图像处理的BNWAS。这种系统的实现方法能避免值班人员必须每3 min输入激发信号的弊端，有助于降低值班人员精神负担。目标位置识别和位置跟踪处理是系统的核心。目前系统主要实用于一人值班的大洋航行状态，尚未考虑沿岸航行和进港航行多人在驾驶台的情景。在实验过程中曾出现驾驶员跟踪丢失的现象，这与系统采用序列差分法获取驾驶员的位置有关，需进一步对适用于驾驶台环境的目标识别算法，特别是多人识别跟踪算法进行研究。

[1] STRAUCH B. Investigating fatigue in marine accident investigations[C]. 6th International Conference on Applied Human Factors and Ergonomics (AHFE 2015) and the Affiliated Conferences，2015.AHFE，2015:2515-2522.

[2] International Electro-technical Commission. IEC 62616 2010(E): Maritime navigation and radio communication equipment and systems-Bridge navigational watch alarm system (BNWAS)[M]. Switzerland: International Electro-technical Commission (IEC),2010.

[3] 黄晓中.驾驶室航行值班报警系统的设计[J].上海海事大学学报,2012,33(1):45-60.

[4] 楼于海.智能人体运动探测在驾驶台航行值班报警系统中的应用[J].航海，2011(4)：64-66.

[5] FENGWEI Y U, SUN Hongying, CUI Xiangdong. Design of bridge navigational watch alarm system[J], Applied Mechanics and Materials,2014,vols,488/489:521-524.

[6] 陈奎英，李天威，徐刚.解析船舶安全航行的桥楼航行值班报警系统[J].船舶,2012，23(3):63-67.

[7] 孙向晖．船舶桥楼值班报警系统(BNWAS)中检测系统的实现[J]．企业技术开发，2011(7)：26-27.

[8] FURUNO, Bridge navigational watch alarm system[EB/OL],(2011-12-19)[2016-5-20]. http://www.furuno.com/en/business_product/merchant/product/bnwas/.

[9] 赵蓓蕾，吴亚婷，李强.基于形态学与灰度模态分析的阴影去除方法[J].兵工自动化,2013,32(12):15-19.

[10] 孙炜，杨鹏飞.一种去光照干扰方法在行人检测中的应用[J].计算机应用研究,2014.31(11):3514-3520.

[11] KOWSARI T, BEAUCHEMIN S, CHO S J. Real-time vehicle detection and tracking using stereo vision and multi-view adaboost[C]. Intelligent Transportation Systems (ITSC)-14th International IEEE Conference.2011:1255-1260.

[12] 廖斌.典型视频目标跟踪方法实现与分析[J].软件导刊,2015,14(1):136-138.

[13] 曲仕茹，杨红红.采用Kalman_BP神经网络的视频序列多目标检测与跟踪[J].红外与激光工程,2013,42(9):2554-2560.

Design of Bridge Navigation Watch Alarm System Based on Image Processing

ZHOU Feng, WU Hua-feng, SUN Zhi-kuan

(College of Merchant Ship, Shanghai Maritime University, Shanghai 200135, China)

A new design of bridge navigational watch alarm system (BNWAS) was introduced to overcome the drawbacks of current systems, which required the engagement of watch-keepers on bridges of ships. The watch-keepers’ awake state was judged by comparing the difference of two locations at different time. The image differencing was used as an approach to locate the target and the target’s location on the image was further transferred to its space coordinates in the bridge. Meanwhile, the collected data could be used for the analyzing of human element on the maritime accidents. Experiment on an operating ship showed that the limitation of watch-keepers’ engagement could be eliminated significantly and the watching states of navigators could be monitored and assessed.

BNWAS; design; image process

10.3963/j.issn.1671-7953.2017.02.040

2016-07-01

国家自然科学基金(51279099)；上海市科学技术委员会基金(12ZR1412500)；上海市教委科研创新基金资助重点项目(13ZZ124)；上海市教育委员会和上海市教育发展基金会“曙光计划”基金(12SG40)；交通运输部应用基础研究(2013329810300)

周锋(1982—)，男，博士生，讲师

U676.1

A

1671-7953(2017)02-0170-05

修回日期：2016-08-11

研究方向:船舶交通信息工程及自动化技术