基于图像轮廓特征的无人水面艇航海雷达目标检测修正方法

李立刚, 李勃然, 金久才, 刘德庆, 戴永寿

基于图像轮廓特征的无人水面艇航海雷达目标检测修正方法

李立刚1, 李勃然2, 金久才3, 刘德庆3, 戴永寿1

(1. 中国石油大学(华东) 海洋与空间信息学院, 山东 青岛, 266580; 2. 中国石油大学(华东) 控制科学与工程学院, 山东 青岛, 266580; 3. 自然资源部第一海洋研究所海洋物理与遥感研究室, 山东 青岛, 266061)

航海雷达具有检测范围广、全天候工作等优点, 是无人水面艇障碍目标检测的主要手段。但是对于岛屿、货轮等大型目标, 航海雷达无法对其所在区域进行准确描述, 并且可能将其误判为多个分散的目标。为此, 文中结合雷达图像特点, 提出一种基于图像轮廓特征的航海雷达目标检测修正方法。首先对雷达图像进行预处理, 简化图像数据, 增强有关信息的可检测性。然后根据目标对应像素点坐标提取目标轮廓, 若不同目标对应同一轮廓, 则认为发生误判, 并将误判产生的多个分散目标合并为一个目标。最后借助目标轮廓包含的距离和方位特征参数对目标所在区域准确描述。试验测试结果表明, 该方法能有效解决大型目标误判问题, 并将航海雷达检测结果中的距离误差降低79%以上, 方位误差最大减少60%。

无人水面艇; 航海雷达; 障碍目标检测; 图像轮廓特征

0 引言

无人水面艇(unmanned surface vehicle, USV)是一种具有自主规划和自主航行能力, 并可自主完成环境感知和目标探测等任务的小型水面平台, 发展前景十分广阔。海面障碍目标的准确检测是实现无人艇安全航行、正常执行任务的重要前提。目前, 无人艇海面障碍目标检测手段包括航海雷达、激光雷达和视觉相机等[1-3]。其中, 航海雷达的检测精度受天气和海况影响较小[4-5], 适用于远程目标检测, 应用于无人艇海面障碍目标检测具有显著优势。对于无人艇而言, 船载测控计算机代替了船舶驾驶员的角色, 航海雷达将检测结果发送至测控计算机, 测控计算机根据内置算法计算并规划出无人艇的避碰路线。航海雷达检测结果是否准确, 将直接影响到无人艇的航行安全。利用多普勒效应[6], 航海雷达能够自动判别海面障碍目标进行捕获并持续跟踪, 从而有效避免虚、漏警问题的发生。通过对大量实测数据分析发现, 当海面障碍目标为岛屿、货轮等大型目标时, 一个目标可能会反射多个回波, 导致航海雷达将其误判为多个分散的目标。此外, 航海雷达仅能测得被捕获目标内部一个点的距离和方位, 无法准确描述目标所在区域。

航海雷达是近年来无人艇海面障碍目标检测领域的研究热点。Almeida等[7]利用航海雷达自动捕获目标功能, 将雷达计算得到的目标位置参数直接用于无人艇避碰, 此种方法未考虑雷达误判问题, 且无法得到目标所在区域信息, 当无人艇行驶区域内存在大型目标时, 可能导致碰撞发生。庄佳园等[8-10]对雷达图像进行处理, 将图像中全部前景区域都判定为障碍目标, 并以质心点表示目标位置, 此方法未考虑对目标所在区域进行描述, 且将图像中全部前景区域都判定为障碍目标, 计算量大, 实时性差, 容易发生虚、漏警问题。

综上所述, 现有研究无法满足无人艇安全航行的需求, 为此提出一种基于图像轮廓特征的航海雷达目标检测修正方法, 利用雷达图像中的目标轮廓及其包含的距离和方位特征, 判断误判情况是否发生, 并对目标所在区域进行准确描述。通过试验测试, 验证了该方法的有效性和准确性。

1 基于图像轮廓特征的航海雷达目标检测修正方法

首先采用加权平均法与自定义阈值法对雷达图像进行预处理, 得到二值图像, 并利用Sobel算子进行边缘检测, 提取图像中全部轮廓; 然后, 将雷达目标位置参数坐标变换为雷达图像中对应的像素点坐标, 提取每个雷达目标在图像中对应的轮廓, 若不同目标对应同一轮廓, 则认为发生误判, 并将误判产生的多个分散目标合并为一个目标; 最后, 提取能够描述目标轮廓位置的特征点, 计算得到目标边缘距离和方位范围参数, 用以对目标所在区域准确描述, 并替换目标原有的位置参数, 从而实现对雷达目标检测的修正。

无人艇平台所用航海雷达为英国Raymarine公司生产的Quantum2脉冲多普勒雷达, 具有抗干扰能力强、图像清晰度高等优点, 可以同步输出海面障碍目标相关参数与雷达图像。

1.1 雷达图像预处理

文中获得的雷达图像具有颜色种类丰富的特点, 且图像前景区域由前景像素点填充, 处理运算量大。若仅保留区域轮廓, 不仅能有效减少运算量, 而且能够保留区域原有相关特征, 不会对特征提取结果造成影响。因此, 在得到雷达图像后, 首先进行预处理, 以简化图像数据, 增强有关信息的可检测性。预处理包括灰度化、二值化与边缘检测。

灰度化指将图像中每个像素点的R(red)、G (green)、B(blue)值保持一致, 此时的这个值叫做灰度。选用加权平均法[11]对雷达图像进行灰度化, 对于图像中第列行的像素点, 灰度计算公式为

式中:(,)、(,)、(,)分别表示该点初始R、G、B值;(,)为计算得到的灰度; 权值R、G、B具体数值应结合雷达图像特点经试验分析设定。

二值化指将图像中的像素点灰度置为0(黑色)或255(白色), 即让图像呈现非黑即白的效果。选用自定义阈值方法[12]对图像进行二值化, 即预先设定阈值, 若像素点满足(,)≥, 则将该点灰度置为255, 否则置为0。阈值具体数值应结合灰度化结果经试验分析设定。

得到二值图像后, 采用Sobel算子[13]对二值图像进行边缘检测, 得到图像中由边缘像素点构成的轮廓。Sobel算子通过计算像素点水平和垂直方向的梯度S和S来实现边缘检测功能。对于图像中第列行的像素点, 有[13]

式中,(,)和(,)分别为Sobel算子3×3尺寸的水平和垂直卷积因子, 如图1所示。(,)为该像素点灰度,(,)为计算得到的梯度, 若梯度不为0, 则将其判定为边缘像素点。

图1 Sobel卷积因子

1.2 目标轮廓提取

雷达图像中, 每个雷达目标都能在图像中找到与之唯一对应的轮廓。当岛屿、货轮等大型目标被航海雷达误判为多个额外目标时, 这些额外目标在图像中仍对应同一个轮廓。因此, 需提取每个雷达目标对应的轮廓, 若不同目标对应同一轮廓, 则说明这些目标为由同一个大目标误判产生。目标轮廓提取步骤如下。

式中:为雷达量程;为图像每一行像素点的个数;为图像每一列像素点的个数。

然后, 根据坐标变换结果, 提取每个雷达目标在图像中对应的轮廓。提取规则如下: 对图像中轮廓进行标号, 逐次比较雷达目标像素点与轮廓位置关系, 如图2所示。若某个雷达目标对应的像素点在某一轮廓内或轮廓上, 则该轮廓为这个雷达目标在图像中对应的轮廓。

图2 雷达目标与图像轮廓提取规则示意图

1.3 目标特征参数计算

为了描述目标在实际场景中所在区域, 引入边缘距离S与方位范围。其中边缘距离指雷达目标反射截面相距无人艇的最近距离; 方位范围指雷达目标反射截面两端相对于无人艇的最大与最小方位之间的范围。

为了提取上述3个特征点, 需要计算轮廓上每个像素点相对于图像中心的距离和方位。令图像中心像素点为0, 则图像中任意像素点P相对于0的距离计算公式为

式中:和分别为像素点所在列数与行数;为P相对于0的距离, 单位为1个像素点的宽度。

计算得到两像素点间距离后, 计算P相对于0的方位

该方法中, 以正北方向作为0°, 顺时针为正方向, 方位区间为[0, 360°)。需要注意的是, 式(7)只适用于方位区间在(0, 90°)时, 其他方位区间还需根据具体情况在计算结果基础上进行补足。

当雷达图像尺寸与航海雷达量程固定时, 雷达图像中每一个像素点所代表的实际距离也是固定的。因此, 可得边缘距离

方位范围方为min～max。

2 试验验证及结果分析

为验证基于图像轮廓特征的无人艇载航海雷达目标检测修正方法在工程应用中的有效性与准确性, 开展试验测试。试验基于Opencv2.4.9计算机视觉库, 以C++编程语言开发检测软件。试验时通过计算机获取航海雷达测得的海面障碍目标相关参数与雷达图像, 并利用检测软件实时进行处理, 以模拟无人艇航海雷达海面障碍目标检测的场景。

2.1 试验准备工作

试验计算机平台为2.60 GHz主频Intel Core i5处理器、8 GB内存、Windows 7操作系统的笔记本计算机。在2级海况条件下开展了2次试验: 试验一地点为青岛胶州湾海域, 被测目标为进港货轮; 试验二地点为青岛唐岛湾海域, 被测目标为岛屿。试验中分别采用德国大陆集团ARS408型毫米波雷达与谷歌公司Google Earth卫星图测距作为文中方法准确性的验证手段。ARS408型毫米波雷达是一款紧凑型V波段77 GHz长距雷达传感器, 最大检测距离250 m, 测距误差小于0.4 m, 可根据检测结果中横、纵向距离计算出目标相对方位。Google Earth卫星图是一款虚拟地球软件, 它把卫星照片、航空摄影和地理信息布置在一个地球三维模型上, 在中国城市内的测距精度为1.5～2 m[14], 可根据经、纬度计算两坐标点的相对方位。

试验正式开展前, 对方法中涉及的各项权值与阈值进行了分析与设定。首先, 由于文中所用航海雷达的图像包含颜色种类较少并且颜色固定, 因此为确定灰度化中权值R、G和B的值, 对雷达图像目标区域中各类对象颜色的R、G、B值进行统计如表1所示。以灰度化后各类对象灰度接近且能够与黑色背景显著区分作为标准, 选取合适的权值。

表1 雷达图像目标区域R、G、B值统计

经过计算发现, 当R、G、B值分别设定为0.45、0.40、0.15时, 灰度化后的雷达图像目标区域中各类对象灰度接近, 并且均大于125, 能够与黑色背景显著区分, 如图3(a)所示, 满足选取标准。

为确定二值化中的值, 利用前述经过灰度化的雷达图像, 对取不同值时的二值化效果进行比较, 处理结果取局部如图3所示。结果表明,设置过小会导致不同目标区域边缘粘连, 设置过大会造成目标区域缺失, 两者皆会影响后续边缘检测的准确性。当=100时, 目标区域边缘清晰不粘连, 并且填充饱满没有缺失, 因此将设定为100。

2.2 试验过程及结果分析

1) 试验一: 将航海雷达架于船艇上, 设定雷达量程为1/4 n mile, 将一艘进港货轮作为被测目标, 试验场景与雷达图像如图4所示, 矩形框中为货轮回波图像。

图3 T取不同值时的二值化效果

图4 试验一场景与雷达图像

试验中, 进港货轮被航海雷达误判为5个分散目标, 每个目标被测得的距离和方位参数如表2所示。

表2 试验一航海雷达测得的进港货轮相关参数

采用文中方法对航海雷达检测结果进行修正, 雷达图像处理过程如图5所示, 并计算得到货轮相对于试验船的边缘距离与方位范围参数。

利用毫米波雷达测得货轮雷达反射截面相对于船艇的最近距离以及反射截面两端相对船艇的方位。以毫米波雷达检测结果作为基准, 将雷达原始检测结果中5个分散目标中距离最小值、方位最小与最大值分别作为雷达初步检测测得的货轮雷达反射截面相对于试验船的最近距离、反射截面两端相对试验船的方位, 并与该方法处理结果进行比较, 结果如表3所示。

图5 试验一雷达图像处理过程

表3 文中方法修正结果与毫米波雷达检测结果

通过对比试验结果可知, 该方法在对航海雷达检测结果修正过程中, 将雷达误判产生的5个分散目标合并为一个目标, 解决了误判问题。同时, 计算得到的边缘距离误差由0.014 n mile缩减为0.001 n mile, 误差降低了92.9%。计算得到的最小方位误差由5.0°缩减为2.0°, 最大方位误差由7.4°缩减为3.3°, 误差分别降低了60.0%与55.4%, 相比于原有检测结果更能准确描述障碍目标所在区域。算法运行处理时间平均为276 ms, 满足无人船海面障碍目标检测对于快速性的要求。

2) 试验二: 将航海雷达架于岸边, 设定雷达量程为1 n mile, 将海岸附近一座岛屿作为被测目标, 试验场景与雷达图像如图6所示, 矩形框中为岛屿回波图像。

试验中, 岛屿被航海雷达误判为4个分散目标, 检测结果如表4所示。

采用文中方法对航海雷达检测结果进行修正, 雷达图像处理过程如图7所示。

图6 试验二场景与雷达图像

表4 试验二航海雷达测得的岛屿相关参数

图7 试验二雷达图像处理过程

在Google Earth中标记岛屿相对于航海雷达扫描截面两端的坐标点和扫描截面上距离航海雷达最近的坐标点, 计算得到岛屿雷达反射截面相对航海雷达的最近距离以及反射截面两端相对航海雷达的方位作为Google Earth测距结果。

以Google Earth测距结果作为基准, 将雷达原始检测结果中4个分散目标中距离最小值、方位最小与最大值分别作为雷达原始检测测得的岛屿雷达反射截面相对于航海雷达的最近距离、反射截面两端相对航海雷达的方位, 并与该方法处理结果进行比较, 结果如表5所示。

通过对比试验结果可知, 该方法在对航海雷达检测结果修正过程中, 将雷达误判产生的4个分散目标合并为一个目标, 解决了误判问题。同时, 计算得到的边缘距离误差由0.034 n mile缩减为0.007 n mile, 误差降低了79.4%。计算得到的最大方位由5.0°缩减为2.2°, 最小方位由1.9°缩减为1.8°, 误差分别降低了44.0%与5.3%, 相比于原有检测结果更能准确描述障碍目标所在区域。算法运行处理时间平均为205 ms, 满足无人船海面障碍目标检测对于快速性的要求。

表5 文中方法修正结果与Google Earth卫星图测距结果

3 结束语

针对航海雷达对海面大型目标易产生误判、检测结果准确性差的问题, 文中提出一种基于图像轮廓特征的航海雷达目标检测修正方法。利用雷达图像中目标轮廓及其包含的距离和方位特征, 判断航海雷达是否将一个大型目标误判为多个分散目标, 并将分散目标重新合并为一个目标, 同时对目标所在区域准确描述。试验结果表明, 该方法能有效解决大型目标误判问题, 并将航海雷达检测结果中的距离误差降低79%以上, 方位误差最大减少60%, 验证了该方法的有效性与准确性。

[1] 张磊, 许劲松, 秦操. 无人船目标探测与跟踪系统[J]. 船舶工程, 2018, 40(8): 56-60.

Zhang Lei, Xu Jin-song, Qin Cao. Target Detection and Tracking System of Unmanned Surface Vehicles[J]. Ship Engineering, 2018, 40(8): 56-60.

[2] Han J, Cho Y, Kim J. Coastal SLAM with Marine Radar for USV Operation in GPS-Restricted Situations[J]. IEEE Journal of Oceanic Engineering, 2019, 44(2): 300-309.

[3] Muhovic J, Mandeljc R, Bovcon B, et al. Obstacle Tracking for Unmanned Surface Vessels Using 3-D Point Cloud[J]. IEEE Journal of Oceanic Engineering, 2019, 99: 1-13.

[4] 季勤超, 赵建军, 贺林波, 等. 舰船姿态测量误差对雷达探测精度的影响分析[J]. 计算机与数字工程, 2019, 47(2): 330-333, 353.

Ji Qin-chao, Zhao Jian-jun, He Lin-bo, et al. Analysis of Effects on Radar Detection Precision Caused by Ship Attitude Measurement Errors[J]. Computer & Digital Engineering, 2019, 47(2): 330-333, 353.

[5] Han J, Park J, Kim J, et al. GPS-less Coastal Navigation Using Marine Radar for USV Operation[J]. IFAC-Papers OnLine, 2016, 49(23): 598-603.

[6] 唐林, 刘通. 基于微多普勒效应的运动船舶目标分类研究[J]. 舰船科学技术, 2019, 41(4A): 100-102.

Tang Lin, Liu Tong. Research on Moving Ship Target Classification Based on Micro-Doppler Effect[J]. Ship Science and Technology, 2019, 41(4A): 100-102.

[7] Almeida C, Franco T, Ferreira H, et al. Radar Based Collision Detection Developments on USV ROAZ II[C]// Oceans 2009-Europe, Bremen: IEEE, 2009: 1-6.

[8] Zhuang J Y, Zhang L, Zhao S Q, et al. Radar-based Collision Avoidance for Unmanned Surface Vehicles[J]. China Ocean Engineering, 2016, 30(6): 867-883.

[9] 庄佳园, 苏玉民, 廖煜雷, 等. 基于航海雷达的水面无人艇局部路径规划[J]. 上海交通大学学报, 2012, 46(9): 1371-1375.

Zhuang Jia-yuan, Su Yu-min, Liao Yu-lei, et al. Unmanned Surface Vehicle Local Path Planning Based on Marine Radar[J]. Journal of Shanghai Jiaotong University, 2012, 46(9): 1371-1375.

[10] Ji X, Zhuang J Y, Su Y M. Marine Radar Target Detection for USV[J]. Advanced Materials Research, 2014, 1006-1007: 863-869.

[11] Liu J, Hu B, Wang Y. G. Optimum Adaptive Array Stochastic Resonance in Noisy Grayscale Image Restoration[J]. Physics Letters A, 2019, 383(13): 1457-1465.

[12] Guo J B, He C J, Zhang X T. Nonlinear Edge-Preserving Diffusion with Adaptive Source for Document Images Binarization[J]. Applied Mathematics and Computation, 2019, 351: 8-22.

[13] 王云艳, 周志刚, 罗冷坤. 基于Sobel算子滤波的图像增强算法[J]. 计算机应用与软件, 2019, 36(12): 184-188.

Wang Yun-yan, Zhou Zhi-gang, Luo Leng-kun. Operator Filtering[J]. Computer Applications and Software, 2019, 36(12): 184-188.

[14] 王旭旺, 王凡. 基于全球IGS站坐标的Google Earth地图精度分析[J]. 测绘通报, 2019(S1): 18-21.

Wang Xu-wang, Wang Fan. Precision Analysis of Google Earth Map Based on the Coordinates of Global IGS Stations[J]. Bulletin of Surveying and Mapping, 2019(S1): 18-21.

Target Detection and Correction Method for Unmanned Surface Vehicles Marine Radar Based on Image Contour Features

LI Li-gang1, LI Bo-ran2, JIN Jiu-cai3, LIU De-qing3, DAI Yong-shou1

(1. College of Ocean and Space Information, China University of Petroleum(East China), Qingdao 266580, China; 2. College of Control Science and Engineering, China University of Petroleum(East China), Qingdao 266580, China; 3. Laboratory of Marine Physics and Remote Sensing, First Institute of Oceanography, Ministry of Natural Resources, Qingdao 266061, China)

Marine radar has the advantages of a wide detection range and all-weather operation, and it is the main method used by unmanned surface vehicles(USV) to detect obstacles on the sea. However, for large targets such as islands and freighters, marine radar cannot accurately describe the area in which they are located and may misjudge them as multiple scattered targets. For this reason, a method for correcting the target detection result of marine radar based on image contour features was proposed with the use of the radar image characteristics. First, the radar image is preprocessed to simplify the image data and enhance the detectability of related information. Second, the target contour is extracted according to the corresponding pixel coordinates of the target. If different targets correspond to the same contour, a misjudgment is considered to have occurred, and multiple scattered targets generated by the misjudgment are combined into one target. Finally, the area where the target was located was described using the distance and orientation characteristic parameters contained in the target contour. The results of the experimental tests demonstrate that this method can effectively solve the problem of misjudgment of large targets and reduce the distance error in the detection results of marine radar by more than 79%, and the azimuth error by up to 60%.

unmanned surface vehicle; marine radar; obstacle target detection; image contour feature

李立刚, 李勃然, 金久才, 等. 基于图像轮廓特征的无人水面艇航海雷达目标检测修正方法[J]. 水下无人系统学报, 2022, 30(2): 190-196.

U665.22; TJ630.6

A

2096-3920(2022)02-0190-07

10.11993/j.issn.2096-3920.2022.02.008

2021-05-01;

2021-06-26.

国家重点研发计划(2017YFC1405203); 中央高校基本科研业务费专项资助(19CX05003A-1).

李立刚(1976-), 男, 博士, 副教授, 主要研究方向为无人艇智能信息处理技术.

(责任编辑: 许 妍)