河道安全巡检中的船舶可视化监测方法

2020-12-10李寿千李子阳

水利水电科技进展 2020年6期

陈诚，李寿千，王新，李子阳，徐磊

(1.南京水利科学研究院水文水资源与水利工程科学国家重点实验室，江苏南京 210029；2.河海大学水利水电学院，江苏南京 210098)

在河道工程管理中，对河道采砂、运砂船只进行科学监管至关重要。如何提高河道安全巡检的智能化水平是智慧水利的重要内容之一。另外，对船舶的运动轨迹进行跟踪和监测是保障航行安全、提高航运管理水平的重要工作，研究船舶运动轨迹的可视化测量方法对于统计船舶交通流信息、防止碰撞事故、提高智慧水利及智能航运技术等具有重要意义。

目前船舶运动跟踪常采用的系统主要有雷达监控系统、船舶自动识别系统(automatic identification system, AIS)、视频监测系统等[1]。雷达监控系统的主要优点是能在雾天及夜晚等低能见度情况下进行监测，但主要存在监测有盲区、易产生虚假回波、数据精度不高、信息量较少等缺点[2-3]。AIS能够发射并接收船舶的动态和静态信息，其中动态信息包括船舶经度、纬度、航向等，静态信息包括船舶长度、宽度、AIS 天线到船首和左右舷距离等。AIS对于船舶的身份识别主要基于GPS定位信息，若存在邻近波段的干扰或严重遮挡，会出现严重的掉包甚至跟丢现象，且对于船舶的身份确认主要借助于人工记录，不是可视化的，只能进行虚拟视景显示，部分船舶甚至还未配备AIS船台[4-5]。与常规船舶运动监测方法不同，视频监测系统能够通过图像记录船舶行驶姿态，可以对船舶进行可视化的跟踪监测。视频监测系统是基于图像处理技术，通过视频图像提取及特征识别进行船舶轨迹跟踪[6-7]。传统的水上船舶视频监控方法无法满足大范围多目标同步监测的要求，无人机具有体积小、机动性好、操作简单等优势，近年来基于无人机的水上船舶监控已经成为水上交通管理中不可或缺的组成部分之一[8]。但目前无人机主要仅用于拍摄图像，基于图像技术的船舶跟踪方法大都是对黑白图像进行目标识别，可视化程度不高。因此，本文基于高分辨率彩色图像识别技术，提出一种船舶运动轨迹的动态可视化监测方法。

1 河工模型试验中船模轨迹跟踪

1.1 系统组成

河工模型试验船模轨迹跟踪系统主要包括图像采集系统、船模及图像处理系统。船模长0.75 m，宽0.12 m，几何比尺λL=90,对应的代表船型长度为67.5 m、宽度为10.8 m。

图像采集系统采用1 200万像素高分辨率智能一体化工业摄像机，如图1所示，可实时拍摄彩色高清照片，配置红外自动增益，自适应光线调节，背光补偿，数字宽动态，特别适用于大型河工模型长时间测量，可自动消除光线变化影响。标准型工作温度为-30℃～60℃，配套有一体化IP67防护等级护罩，可有效解决模型试验中温度、湿气影响等问题，保证系统长期稳定运行。另外，可多通道瞬时同步采集，支持智能化嵌入图像处理算法，可显著提高图像处理速度。测量前，将摄像机垂直安装在河工模型正上方。

图1 高分辨率智能一体化摄像机

1.2 可视化跟踪方法

通过彩色高分辨率智能一体化工业摄像机连续采集船模运动图像，对每帧彩色图像R、G、B三通道灰度图像进行分离，选定初始背景帧图像，通过检测当前帧图像与背景帧图像灰度值变化识别船模，按照下式进行图像处理：

(1)

(2)

(3)

其中dG,ij=

式中：Rij、Gij、Bij分别为处理后彩色图像中位于(i,j)处的R、G、B通道灰度值,取值范围为(0～255)；R0,ij、G0,ij、B0,ij分别为初始背景帧彩色图像中位于(i,j)处的R、G、B通道灰度值；Rt,ij、Gt,ij、Bt,ij分别为当前帧彩色图像中位于(i,j)处的R、G、B通道灰度值；dG,ij为当前帧与初始帧灰度值之差；T为图像灰度阈值。

图2 船模轨迹可视化

首先采集初始背景帧图像，如图2(a)所示，然后连续采集船模运动图像，按式(1)～(3)对多帧图像进行处理，可得船模轨迹可视化图像。船模运动图像帧数为11帧，图2(b)(c)(d)分别为T=5、20、200的船模轨迹，可以直观发现，当阈值T取得过小或过大，船模图像都会出现缺损，阈值T的取值是船模可视化跟踪的关键参数，需根据船模与河工模型背景颜色差别的实际情况进行调整。

为了精确定位船模位置，在船模头部和尾部分别放置了具有明显特征的黄色和红色示踪粒子，同时为了防止船模自身配备的器件颜色的干扰，在其表面贴上了白色的保护层。由于采用高分辨率智能一体化工业摄像机拍摄彩色高清图像，可以根据黄色和红色粒子彩色特征进行识别和定位。

黄色的标准R、G、B值分别为255、255、0，红色的标准R、G、B值分别为255、0、0，但由于现场光照等原因，获取的粒子图像的R、G、B值不可能与对应颜色的标准R、G、B值完全一样。黄色粒子的R值和G值都比B值大，红色粒子的R值比G值和B值都大，采用下式对船模上的黄色粒子进行提取：

(4)

(5)

(6)

对红色粒子按下式进行提取：

(7)

(8)

(9)

图3为船模运动图像粒子提取结果。提取出船模上的黄色和红色粒子图像后，通过识别粒子的中心位置，精确标定图像坐标与模型坐标的映射关系，可以将船模位置精确定位到模型坐标上，便可测得船模的运动轨迹和航向如图4所示。

图3 船模运动图像粒子提取

图4 船模定位

1.3 测量结果分析

在对船模运动图像进行处理过程中，图像帧间隔及图像阈值直接影响可视化迹线轨迹效果，需要根据结果进行修正，以达到最佳效果。为了验证测量精度，提取11帧船模运动图像，跟踪测量船头和船尾示踪粒子之间的距离，并与直尺测得实际间距0.670 m进行对比分析，结果如表1所示，表中Li(i=1,2,…,11)表示第i帧图像中船模头尾粒子之间的距离。由表1可见，最大相对误差为-3.284%，平均相对误差为1.384%，可以满足河工模型试验要求。

表1 测量精度验证

图5 大疆Mavic2 Pro无人机

2 基于无人机的河道船舶轨迹跟踪

2.1 无人机设备

无人机设备采用大疆Mavic2 Pro(图5)，该无人机配备了全新的哈苏L1D-20c相机，1英寸2 000万像素CMOS传感器，f/2.8～f/11可调光圈，在高光和低光环境下都能提供出色的图像质量。该无人机支持1 080p高清图像传输，控制距离可达8 km，最长飞行时间31 min，最大续航里程18 km。

2.2 无人机图像轨迹跟踪

无人机图像轨迹跟踪与河工模型船模轨迹跟踪有所不同，主要不同在于河工模型中的摄像机是固定安装在河工模型正上方，而由于风荷载和自身稳定等原因，悬停无人机难以保持完全固定的位置而发生飘移，无人机相机位置的变化可能会引入跟踪偏差[9-10]。特别是控制无人机在宽阔水面上飞行时，为了获取完整水域内的船舶运动图像，需要将无人机升到较高的位置，飞行高度越高，控制信号传输衰减越大，而且受风载影响更大，更难保持自身稳定，从而产生更大的飘移，对图像精确校正处理提出更高要求。设置视频图像帧率为30帧/s，图6(a)(b)分别为第1帧和第3 000帧无人机图像，从图6中红色框标注区域可以明显看出，无人机图像发生了明显的偏移。

图6 无人机图像

按式(1)～(3)对时间间隔为10 s的10帧无人机图像进行处理，阈值T取值为50，可得未经配准船舶轨迹跟踪图像如图7所示，可以直观看出，多个目标船舶的运动轨迹并未沿着航行方向，而偏向河岸运动，这说明如果对无人机图像不经配准就直接进行轨迹跟踪，会产生较大的偏差。

图7 未配准船舶轨迹跟踪

为了消除无人机飘移对船舶运动轨迹跟踪结果的影响，必须把无人机位置配准到同一位置，本文采用加速稳健特征变换 (speeded-up robust features，SURF)方法[11]进行图像配准，SURF方法是基于尺度不变特征变换(scale invariant feature transform，SIFT)的快速图像配准方法。与河工模型试验轨迹跟踪不同，无人机初始背景帧图像通常难以直接采集到没有船舶的图像，可用船舶周围的水体图像替代船舶，生成初始背景帧图像如图8(a)所示。

图8 无人机图像配准

通过SURF方法检测出初始背景帧图像的特征点，如图8(b)中红色点所示，除了岸边固定区域的特征点，在水域中由于存在航标等水面漂浮物也会检出特征点，而由于水域是流动的，水域中检出的特征点通常是运动的，如果应用水域中的特征点对无人机图像进行匹配，则会产生较大的误差。因此，需在匹配前剔除水域中的特征点，只保留岸边固定区域的特征点，如图8(c)所示。

以初始背景帧图像为基准图像对第3 000帧无人机图像进行配准，检测出特征点数为1 154个，其中满足匹配条件的特征点个数为438个，根据匹配点对图像配准后的结果如图8(d)所示，与图8(b)进行对比可以发现，船舶的位置发生了改变，图像边缘发生了移动，两岸被配准到与初始背景帧(图8(a))相同的位置。

按式(1)～(3)对时间间隔为10 s的10帧无人机图像进行处理，处理过程中需要将配准图像的黑色边缘部分用初始背景帧图像进行替代。经过配准后船舶轨迹跟踪图像如图9所示，与图7所示的未配准船舶轨迹跟踪结果相比，多个目标船舶朝岸边的偏离轨迹被纠正到了正确的航向，有效地消除了无人机飘移对船舶运动轨迹跟踪结果的影响，实现了多个船舶目标的运动轨迹同步可视化跟踪监测。