基于显著性分析的HOG快速船舶检测方法

元海文， 肖长诗， 文元桥， 周春辉, 张康贺， 邹 雄

(1.武汉理工大学 航运学院，武汉 430063；2.内河航运技术湖北省重点实验室，武汉 430063)

基于显著性分析的HOG快速船舶检测方法

元海文1,2， 肖长诗1,2， 文元桥1,2， 周春辉1,2, 张康贺1,2， 邹 雄1,2

(1.武汉理工大学 航运学院，武汉 430063；2.内河航运技术湖北省重点实验室，武汉 430063)

为实现海事无人机在水上巡航过程中对船舶的检测，提出一种基于显著性分析的方向梯度直方图(Histograms of Oriented Gradient, HOG)快速检测方法。与大部分基于背景模型的运动检测算法不同，该方法主要利用快速的全局图像视觉显著性分析，缩小检测范围和计算量，实现快速、可靠的船舶检测。首先，从对整幅图像的频谱分析出发研究通航水域环境的分布特点；其次，采用高斯差分算子(Difference of Gaussian, DoG)组合滤波的方式实现水面显著性特征的提取，即非水面与水面区域的分离；最后，采用自适应分割技术对滤波图像进行后处理，从而直观地展示图像非水面区域。此外，当图像中存在船舶之外的其他目标时，采取方向梯度直方图算子对该区域进行多尺度检测，从而实现船舶与其他目标的分离。试验结果表明，所提算法具有良好的有效性和实时性。

水路运输；船舶检测；频谱；组合滤波；HOG；分类器

Abstract: The visual saliency analysis and Histograms of Oriented Gradient(HOG) feature analysis are introduced into fast ship detection process for Maritime unmanned aerial vehicles, which rely on the ability of ship detection to perform there job in cruise. With the new method, the frequency spectrum and its distribution of the whole channel environment image are analyzed first and the salient region in image, i.e., non-water parts are separated with the band-pass filter approximated by a Difference of Gaussian(DoG) combined filter. The extracted salient region image is further processed by means of an adaptive segment algorithm to produce clear visual display of the salient areas. The ships are detected from the salient areas on dimension based with the AdaBoost classifier which was trained by HOG features of vast ship samples and non-ship samples. Test results show that the method of ship detection is effective and real-time. This method do not rely on the background model, as most target detectors do, therefore, can make unmanned aerial vehicles more autonomous.

Keywords: waterway transportation; ship detection; frequency spectrum; combined filter; HOG; classifier

采用小型无人机进行海事“电子巡航”时，目标检测是其基于视觉监控的关键技术。内河或近海航道是无人机巡航的主要区域，其环境要素通常分为水面部分和非水面部分。在无人机视觉监控的图像中，水面部分作为背景占据大部分像素位置，而非水面部分则由所监控的船舶及其他水上目标组成。

近年来已有多种船舶检测方案被提出。基于视觉的水上船舶检测主要有岸基式(背景静止)和巡航式(背景运动)2种方式。

1) 岸基式水上监控主要利用架设在岸边的摄像机对附近水域进行检测，采用的技术手段一般是基于背景建模和光流法的运动检测算法。例如，叶玲利[1]通过将改进的高斯混合模型(Gaussian Mixed Model, GMM)算法与视觉显著性信息相结合来实现船舶和水域的分离；周靓[2]利用高斯统计模型对场景进行分割获取船舶区域，进而以灰度直方图信息作为特征和支持向量机(Support Vector Machine, SVM)对该区域进行检测。FEFILATYEV等[3]和万磊等[4]采用图像分割和边缘检测方法检测水面上的目标，虽然其摄像机是船载或移动的，但其处理算法是在单帧图像内完成的，可近似为“场景静止”。柳圣军[5]主要采用帧间差分法和光流算法分析内河航道智能监控系统中的船舶检测问题。

2) 巡航式水上监控主要指利用有人或无人操纵的航行器对某特定水域进行覆盖式监控和定期搜索。由于摄像机的载体须保持运动状态，因此不适用于要求场景较为恒定的背景建模算法。相关研究人员主要采用由目标样本特征训练过的分类器去检测图像区域中的目标，用到的特征算子有LBP(局部二值模式)、方向梯度直方图(Histograms of Oriented Gradient, HOG)和Harr等，用到的分类器主要有随机森林SVM和AdaBoost等。要求精度越高，则该算法的计算量就越大，尤其是目标在图像中所占区域较小的情况下，无用的计算量被大大提高。解晓萌[6]提出一种自适应权重更新Adaboost的运动目标检测算法，提高运动目标检测率并抑制背景的错分类。TANG等[7-9]对航道船舶的卫星图像进行分析，分别利用神经网络、形状先验知识和局部形状特征等算法实现船舶检测。这些研究对基于可见光视觉船舶检测的研究具有很好的启示作用。

然而，在环境噪声大、船舶运动相对较慢、水面特征较单一等特殊情况下，对船舶进行检测的算法具有一定的特殊性。针对该情况，提出一种基于显著性分析的HOG船舶快速检测算法。与之前的船舶检测算法相比，这里从整幅图像的频谱分布特性出发，研究船舶目标显著性特点和水面背景的特点，采用高斯差分算子(Difference of Ganssian, DoG)组合滤波的方式剔除水面背景成分，实现水面显著性目标检测(即船舶检测)。为展示检测结果，采用自适应分割技术对滤波之后的图像进行后处理；同时，假设图像中存在与船舶大小相似的非水面目标，采取HOG算子对该区域进行进一步精确检测，从而实现船舶与其他非水面目标的分离。

1 显著性特征提取算法

通航水域主要组成成分通常包括船舶、桥梁和浮标等结构性物体及占据无人机大部分视野的水面。从图像的频谱特性看，水面具有颜色均匀、纹理弱和占据图像比例大的特点，对应图像中的中、低频部分；而船舶和桥梁等物体具有结构明显、颜色突出等显著特点，对应图像中的其他频率部分。因此，采用滤波的方式提取显著性信息具有一定的可行性。

假设ωl为滤波器的低频阈值，ωh为高频阈值。为均匀地突出显著目标，原始图像的低频部分需要被考虑，ωl必须较低；为保护目标完整的边界信息，原始图像的高频部分亦应被保留，即ωh必须较高。然而，为避免噪声干扰和纹理模式，原始图像的最高频部分应被丢弃。由于目标占据一个较宽的频域，因此检测算法可通过带宽为[ωl,ωh]的带通滤波器[10]近似实现。

1.1组合带通滤波器的近似

选择DoG作为带通滤波器，DoG滤波器是高斯拉普拉斯算子的有效近似，能很好地检测图像边缘，用式(1)表示。

G(x,y,σ1)-G(x,y,σ2)

(1)

式(1)中：σ1和σ2为高斯方差，二者的比值ρ=σ1/σ2>1。

DoG滤波器是一个简单的带宽受ρ控制的带通滤波器，而带宽较宽的带通滤波器可由N个窄带DoG滤波器组合而成。若每个DoG滤波器的因子ρ大小一定，则其组合带通滤波器可简化成式(2)。

G(x,y,ρNσ)-G(x,y,σ)

(2)

可看出，对于N个高斯差分项，除第一项和最后一项外，所有的项相加为0，即带通滤波器的方差比例为K=ρN。因此，通过选择一个较大的K值，可模拟几个带通滤波器的组合结果。为获得良好的边缘检测性能，ρ的大小应恒定为1.6，然后将不同尺度下的几个边缘检测算子(DoG滤波器)的输出相加求和。这就解释了为什么显著目标可被完整保留而非仅边缘部分得以保留。

基于上述原理，当计算显著图时，一个近似的带通滤波器和图像卷积能保留原始图像中被期望的频域成分。若σ1和σ2的差足够大，则组合带通滤波器的近似带宽也较大。当σ1>σ2时，ωl由σ1控制，而ωh由σ2控制。为使σ1与σ2的比例最大化，即保存原始图像中完整的显著性信息，定义σ1为无穷大，导致直流频率被切除而其他频率部分被保存。此外，为移除原始图像中的高频噪声和纹理信息，采用较小的高斯核函数。对于这些小型核函数，DoG滤波器在离散处理方面能很好地近似高斯函数。

1.2显著特征图的计算

对于宽度为W像素、高度为H像素的图像I的显著特征图S，可通过式(3)计算得到。

(3)

式(3)中：Iμ为图像特征量的平均值；Iwh(x,y)为经过高斯滤波后对应图像像素的特征值；‖‖为欧式距离公式。这里主要采用Lab空间中的颜色向量作为特征值，显著特征图的效果见图1。

a)原始图像b)显著特征图

图1 显著特征图的效果

2 基于显著特征的船舶检测算法

根据得到的显著特征图，限定和分割原始图像中的目标候选区域。基于显著性区域的船舶检测算法主要用来对这些区域进行进一步的检测和定位，方法是将局部特征描绘子与AdaBoost分类器相结合来实现精确检测。这里选用HOG[11]作为船舶检测的特征描绘子。HOG算子的核心思想是：原始图像中局部物体的外貌和形状能被光强梯度或边缘方向的分布所描述。与其他特征描述方法相比，HOG算子具有以下优点。

1)由于HOG是在图像的局部方格单元上操作的，因此其对图像几何和光学形变能均保持很好的不变性。

2)在粗略的空域抽样、精细的方向抽样和较强的局部光学归一化等条件下，只要目标结构不发生整体改变，不会影响检测效果。

此外，HOG特征算子已在图像行人检测中取得巨大成功，其具体算法见图2，图中的输入图像为已得到的显著性分割结果。这里在利用HOG算子检测图像船舶时采用9个通道的直方图来统计细胞(cell)内像素的梯度信息，每16×16个像素组成一个cell，每2×2个cell组成一个块(block)。假设以8个像素为步长，则对于尺寸为32×24的图片，HOG特征量共有216个。图3给出图像的HOG特征图和HOG可视化图像[12]。

图2 基于显著区域的HOG检测算法

a)原始图像b)HOG特征c)HOG可视化

图3 HOG检测算子及其可视化

3 试验分析

为验证所提算法的有效性，对原始图像进行测试，并与几种传统的分割或分类方法进行对比。首先，给出基于显著性分析的船舶分割算法的显著图和结果；其次，与自适应灰度阈值分割算法、HSV分割算法、MeanShift分割算法及HSV聚类算法的结果进行对比和分析；最后，将该算法和基于HOG特征的分类器相融合所得的结果与单独基于HOG检测算法所得结果进行对比分析。这些计算统一在i7计算机(3.40 GHz)上利用软件VS2010和OPENCV2.4.4完成。

3.1基于显著性分析的船舶分割结果

对多张图像进行显著性计算，提取出图中每个像素对应的显著值，根据显著信息进行图像分割。图中船舶作为唯一的显著性目标，其对应的显著值与背景具有明显差异。因此，在显著性图中采用自适应分割算法对其进行提取，实现船舶与其水面背景的分离。图4为基于显著性分析的船舶分割。

a)原始图像b)显著性图c)分割结果

图4 基于显著性分析的船舶分割

3.2算法对比与分析

为比较不同目标分割算法的性能，将分割结果和处理时间2个指标作为评价标准。图5通过3幅图像样本给出4种传统的分割算法与所提算法的结果，其中：图5a的自适应灰度阈值分割算法在处理时易将船舶与背景混淆，无法完整保存目标；图5b～图5d虽然结果看起来较好，但并没有准确把握背景的属性和目标的完整性(如船舶的倒影并没有得到很好的区别)，同时这些算法存在一定程度的不稳定性。而利用这里所提的算法(见图5e)不仅能将船体与其倒影准确地分离开来，认定倒影部分属于背景而非前景，而且具有一定的稳定性。

a)灰度阈值化

b)HSV分割

c)MeanShitt分割

d)HSV聚类

e)显著性分割

图5 5种目标分割算法的结果展示

此外，分析5种算法的处理时间，分别对5幅不同尺寸的图像进行处理，经多次测量得到的平均处理时间见表1。

表1 5种目标分割算法的平均处理时间 ms

3.3基于显著性区域的HOG船舶检测算法

图6为基于显著性区域的HOG船舶检测结果。利用显著性分割算法将船舶区域提取出来，用蓝色矩形框表示。以2倍于蓝色矩形框的红色矩形框作为HOG检测区域，经多尺度检测，最终结果用黄色矩形框表示。

a)检测结果b)真实值

图6 基于显著性区域的HOG船舶检测结果

图6b为标准的目标在图中的位置和尺寸。需声明，分类器训练所需要的大量正样本和负样本是由原始图像仿射变换获得的：从图像中包含目标的扫描窗口内选择10个矩形框，每个矩形框内进行±1%范围的偏移、±1%范围的尺寸变化和±1%范围的平面内旋转，并增加方差为5的高斯噪声，则每个矩形框需进行20次几何变化，20个矩形框可产生200个正样本，然后重新定义均值为0的15×15像素的图片；而负样本也从原始图像中获取。由于除目标区域外都是负样本，因此无须仿射变换。

同时，通过120幅图像对该算法与HOG检测算法和Sift匹配算法进行比较(见表2)，其中：检测率指的是被正确检测到的船舶图片数量与所有图片数量之比；误判率为误判的数量与图片尺寸之比。对于尺寸为512×512像素的图片，虽然三者都具有较高的检测精度，但前者在计算时间上具有较大优势，适合于高速视频检测。

表2 算法比较

4 结束语

为使海事无人机能在巡航过程中对船舶进行精确、实时的检测，提出一种基于显著性分析的快速船舶检测算法。该算法首先根据航道水域环境的图像频谱分布特征，采用DoG组合带通滤波器对原始输入图像进行处理，得到显著性图谱，并通过自适应分割获取显著性区域分割结果；然后利用HOG特征对AdaBoost分类器进行参数训练，并使用该分类器对显著区域进行多尺度检测，最终获得精确的船舶检测结果。试验结果表明：该算法具有较好的准确性和实时性，适用于背景动态变化的情况，且对光强干扰不敏感，具有一定的抗干扰能力。

[1] 叶玲利. 内河视频监控中运动船舶检测和遮挡分离算法研究[D]. 武汉：武汉理工大学, 2013.

[2] 周靓. 航道监控中船舶的检测与跟踪[D]. 南京：南京理工大学, 2012.

[3] FEFILATYEV S, GOLDGOF D, SHREVE M,etal. Detection and Tracking of Ships in Open Sea with Rapidly Moving Buoy-mounted Camera System[J]. Ocean Engineering, 2012, 54(11): 1-12.

[4] 万磊, 曾文静, 秦再白，等. 海面目标自适应实时检测[J]. 上海交通大学学报, 2012，46(9): 1421-1427.

[5] 柳圣军. 基于计算机视觉的内河航道智能监控系统的研究[D]. 杭州：浙江工业大学, 2009.

[6] 解晓萌. 复杂背景下运动目标检测和识别关键技术研究[D]. 广州：华南理工大学, 2012.

[7] TANG J, DENG C, HANG G,etal. Compressed-Domain Ship Detection on Spaceborne Optical Image Using Deep Neural Network and Extreme Learning Machine[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(3): 1174-1185.

[8] FROST D, TAPAMO J. Detection and Tracking of Moving Objects in a Maritime Environment Using Level Set with Shape Priors[J]. EURASIP Journal on Image and Video Processing, 2013(42): 15-18.

[9] SHI Z, YU X, JIANG Z,etal. Ship Detection in High-Resolution Optical Imagery Based on Anomaly Detector and Local Shape Feature[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52: 4511-4523.

[10] ACHANTA R, ACHANTA R, HEMAMI S,etal. Frequency-Tuned Salient Region Detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2009.

[11] DALAL N, TRIGGS B. Histograms of Oriented Gradients for Human Detection[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005.

[12] VONDRICK C, KHOSLA A, MALISIEWICZ T,etal. HOGgles: Visualizing Object Detection Features[C]. IEEE International Conference on Computer Vision, 2013.

FastShipDetectionBasedonVisualSaliencyAnalysisandHOGFeature

YUANHaiwen1,2,XIAOChangshi1,2,WENYuanqiao1,2,ZHOUChunhui1,2,ZHANGKanghe1,2,ZOUXiong1,2

(1. School of Navigation, Wuhan University of Technology, Wuhan 430063, China；2. Hubei Key Laboratory of Inland Shipping Technology, Wuhan 430063, China)

2015-10-13

国家自然科学基金(51579204)；武汉理工大学自主创新基金(2016IVA064)

元海文(1988—),男,河南新乡人，博士生，从事机器视觉及其在交通信息工程中的应用研究。E-mail: hw_yuan@whut.edu.cn

1000-4653(2016)01-0069-05

TP391.41

A