一种快速自动检测海面目标算法*

臧风妮， 李庆忠， 张 洋

(中国海洋大学工程学院，山东省海洋工程重点实验室，山东 青岛 266100)



一种快速自动检测海面目标算法*

臧风妮， 李庆忠**， 张 洋

(中国海洋大学工程学院，山东省海洋工程重点实验室，山东 青岛 266100)

为实现海事动态视频监测中海面目标的自动检测，提出基于小波域视觉注意选择机制的海面目标快速检测算法。根据人类视觉观测特点，首先利用提升小波变换在小波域建立了双尺度视觉选择注意模型，然后在粗分辨率低频子带上分别利用相位谱法和梯度法建立视觉显著图，并对两者进行有效融合形成综合视觉显著图，最后通过小波反变换得到原始高分辨率图像的视觉显著图，并由此实现海面目标区域的提取。实验结果表明：该算法能够快速、准确地实现海面目标的自动检测，可用于基于海洋浮标的海事智能监测。

视觉注意机制； 视觉显著性； 海面目标检测； 小波变换

中国具有辽阔的海岸线，海域十分广阔，因此，海事视频自动监测具有重要的现实意义和应用价值。在军用方面，可以维护海洋权益、加强海域监管、减少海事纠纷等；在民用方面，海面目标的自动检测技术可以高效实现港口、海湾等的海上交通管制、事故船只救援报警、海洋环境监测，并对非法捕鱼、污染物倾倒、非法走私偷渡等起到强有力的监管作用。本文的研究的目的，就是当摄像机安装在晃动的海洋浮标或运动的海事船上时，研究如何自动快速检测海面感兴趣目标，这是海事智能监测的关键技术之一。

在基于可见光成像的海面目标自动检测方面，目前国内外学者已经进行了较多的研究。提出的检测方法主要可分为以下3类。

第一类是基于背景建模的海面运动目标检测方法[1-5]。如Borghgraef等[1]引入最少量的先验目标信息，提出基于像素的背景减除算法，进行评估和更新背景模型；Hu等[2]利用前n帧视频图像的中值构造海面背景图像，并提出相应的背景更新策略，实现了海水养殖海域非法侵入目标的自动检测；张明杰等[3]对海浪波动显著和非显著海面分别以Weibull和Gauss分布模型建立海面背景模型，提出了一种在反射光较强条件下海面运动目标检测算法，可以较准确地检测海面运动目标；王明芬等[4]提出了一种基于高斯混合模型和邻域信息项融合的海面运动目标检测算法，在对强光和不同气候环境由较好的鲁棒性。这类算法的特点仅适合摄像机安装后固定不动的视频监控场合，不适合摄像机运动的动态背景情况。

第二类方法是基于边缘、纹理等特征的海面目标的检测[6-9]。如Bouma等[6]假定海面与天空存在局部亮度差，采用多尺度边缘检测方法识别海天线，基于海面背景与目标的亮度差异检测目标；何四华等[7]首先获取海面背景的混沌特征，然后通过检测混沌特征的变化，进行海面目标检测；王立地[8]根据海面背景与运动目标的分形维数不同，实现了海面运动目标的自动提取。这类方法在实时性和鲁棒性方面有待于进一步提高。

第三类方法就是模仿人眼视觉注意力选择机制，根据建立的视觉注意模型求取感兴趣目标的显著图，这是目前研究的一个热点[10-17]。这方面代表性的研究有：Itti等人[12]采用自底向上控制策略的视觉注意模型，在不同分辨率的RGB空间分别提取亮度、颜色、方向这些低层次的图像特征，然后通过高斯金字塔和一个叫center-surround的算子进行局部视觉反差计算，反差大的区域代表易于引起视觉注意力的区域。然后对不同尺度、不同特征下的反差结果进行融合，得到最终的综合视觉显著图，需要计算6幅亮度特征图、12幅颜色特征图，24幅方向特征图才能进行融合，计算复杂程度高。在国内，Ye等[13]对Itti模型进行改进，摒弃了方向信息，提出基于HSI颜色空间结合高斯金字塔和center-surround算子计算不同尺度下各分量的局部视觉反差获得特征显著图的方法，对于海浪存在的背景区域得以较好的抑制，可以较好地实现海面目标的检测。任蕾等[15]提出局部和全局显著性相结合的方法，以图像子块与邻域对比度作为局部显著度，频率调谐得到全局显著度进行组合，可以有效抑制海杂波，进行海上小目标的检测。孟琭[17]通过分水岭算法对彩色图像预分割获得颜色相近、材质相似的子区域,在各个子区域应用视觉注意模型，进行显著区域提取。这类算法的优点是引入人眼视觉注意机制，融合和不同尺度、不同特征的多个显著图信息，可以较完整准确地检测出海面目标，但其缺点是计算复杂度高，很难达到实时检测。

针对基于视觉注意力模型的检测算法存在的实时性差的问题，本文提出了基于小波域视觉显著性的海面目标快速检测算法。根据海面视频图像和人眼实际观测搜寻的特点，利用小波变换这个数学工具，在小波域建立了双尺度视觉注意模型，并采用相位谱显著图和梯度显著图有机融合的策略，实现了基于海面图像单亮度特征的海面目标的快速有效检测，并通过实验对提出的算法进行了性能测试。

1 基于小波域视觉显著性的目标检测算法

1.1 人类视觉系统小波域双尺度选择注意模型

根据观察，不难发现人类视觉系统(HVS)在对于海面目标的进行搜索观测时，对应的选择性注意过程是：首先，人眼在辽阔的海面上进行大尺度(粗分辨率)的快速眼动扫描，看有无感兴趣的目标区域；一旦发现有感兴趣的目标后，就会将高分辨率的视网膜中央凹区对准感兴趣的区域，进行小尺度的精细观测、识别与理解。可见，这个选择注意观测过程包括2个基本过程：一是快速bottom-up预注意机制，可从大量输入信息中选择特定区域，而对图像的细节信息一概“视而不见”。从图像信息论角度看，图像信息可分为显著部分和冗余部分[11]。显著部分是人眼对图像最先关注的敏感区，即引起视觉反差最强烈的地方，这些特定区域的选择主要是基于特征的显著性或差异性，如亮度特征、颜色特征、纹理特征、运动特征等。此快速预注意机制的实现是在粗分辨率(或大尺度)下进行。二是慢速、精细的top-down注意力集中观察、识别过程，该过程是在高分辨率(或小尺度)下进行。

总之，人眼视觉系统的目标选择注意机制可抽象为一个双尺度视觉注意过程：在大尺度上确定感兴趣目标显著区，而在小尺度上进行精细观察、识别。问题的关键在于如何通过计算机快速、合理地实现这2个过程。

传统的视觉选择注意模型[12-13]一般采用5个尺度，且采用了亮度、颜色、方向等多个特征，因计算复杂度高，很难达到实时性应用。通过以上分析可知，实际上应用中只需2个尺度即可。而在特征选择上，通过大量海上视频观察发现，由于海上气象与光照条件变化频繁，故海面的颜色信息也千变万化。鉴于此在2个尺度上都只采用最为可靠的亮度特征信息。此外，在双尺度视觉选择注意机制的实现上，采用小波变换来快速实现，由于小波变换又称之为数学显微镜，是十分方便的多分辨率分析工具。为实现海面目标的快速检测，本文提出的小波域双尺度视觉选择注意模型的实现见图1。

图1 小波域双尺度视觉选择注意模型的实现Fig.1 Implementation of the two-scale visual attention model in wavelet domain

1.2 海面目标检测算法

下面具体介绍图1中各模块的具体实现过程：

(1)适合大尺度选择注意机制的低频子带确定。通过对大量海面视频序列利用小波变换进行分解测试发现，3级小波变换后得到的低频子带LL3比较适合于大尺度(粗分辨率)下视觉显著图的计算，因为在LL3上海面波浪的细节信息已经基本去除，只剩下背景基本一致的海面背景和海面目标。考虑到计算的实时性，采用Daub 5/3小波对原始图像进行3级提升小波变换即可。其中正变换公式为：

(1)

反变换公式为：

(2)

(2)低频子带上基于相位谱法的显著图生成。为了在得到的粗分辨率低频子带LL3上生成引起视觉注意的显著图，本文首先采用相位谱法[14]进行显著性检测。对LL3进行二维傅里叶变换后得：

F(u,v)=A(u,v)+iB(u,v)

(3)

或F(u,v)=|F(u,v)|exp(iP(u,v))

(4)

其中：F(u,v)为LL3的傅里叶频谱；A(u,v)为实部；B(u,v)为虚部；|F(u,v)|为幅度谱，反映了图像的明暗对比信息，或图像中正弦分量的幅值和比重；P(u,v)为相位谱，反映了图像中的纹理结构信息，即图像中正弦分量的位置，这是显著性信息的重要组成部分。仅由幅度谱重构图像由于丢失了相位信息而导致原图像的纹理结构信息丢失；而由相位谱重构图像虽然丢失了原有的亮度对比信息但原图像的基本纹理细节仍然存在，幅值变化时对由相位谱重构的图像无影响，因此，令|F(u,v)|为定值，本文取值为1，然后进行傅里叶反变换就可以得到在LL3显著图。

(3)低频子带上基于梯度法的显著性检测。为了加强视觉注意显著区提取的完整性，本文又对低频子带LL3，利用Roberts梯度算子进行梯度计算，如式(5)所示。得到的梯度图就是LL3的另一种显著图，因为梯度反映图像局部亮度变化的程度，也就是引起视觉注意的成分。

(5)

其中：G(x,y)是输出的图像梯度值；f(x,y)是输入的图像亮度值。

(4)低频子带上2个显著图的融合。通过实验发现，相位谱法得到的显著图能突出海面上的船只等目标，但突出的区域完整性欠佳；而由梯度法得到的显著图突出的海面目标较为完整，但会形成过多不必要的边缘，2种显著图示例如图2所示。采用的两者融合策略是：首先采用自适应阈值T，如式(6)所示，对相位谱的显著图进行分割。如果显著值大于阈值门限T，则将该显著值二值化置1，作为目标区，反之则为0，视为背景区。

(6)

其中：λ是阈值系数，经实验比较取3.5比较理想；W、H分别对应图像的宽和高；S(x,y)是位置(x,y)的相位谱显著值。由于显著图二值化分割后，目标区内会出现部分孔洞，即四周均被目标像素包围的区域，因此要通过图像形态学膨胀处理[18]以填充这些孔洞。由此得到低分辨率下的包含海面目标的区域，记为R1，然后两幅显著图仅在区域R1中按照权重因子α进行加法运算即可，公式如(7)所示。这样既可以得到较为完整显著图，又滤掉多余的边缘、纹理信息。由此得到LL3的综合视觉显著图。

S′(x,y)=αS(x,y)+(1-α)G(x,y)

(7)

其中：S′(x,y)是位置(x,y)处的综合显著值；S(x,y)是相位谱法得到的显著值；G(x,y)是梯度法求得的显著值，本文α取2/3。

图2 显著图对比Fig.2 Comparison of saliency maps

(5)高分辨率原始图像显著图与目标区域确定。由于小波变换后图像的低频子带仍保持了原始图像的概貌和空间特性,并且低频子带的面积仅为原始图像的1/4i，其中i为小波分解的级数，只利用低频子带可以有效减少重构图像所需的数据量。因此获取LL3的综合视觉显著图后，令所有高频子带的系数值为0，只对低频子带系数进行小波反变换，就得到原始图像的视觉显著图。然后对其按照公式(6)进行自适应阈值分割，阈值系数λ取2，如果显著值大于阈值T，则保留该点的原始图像值，否则置为0，作为背景剔除。

由此得到高分辨率下的海面目标的区域，即海面目标的取证图像。因为对于海上浮标的视频监测系统，其摄取的图像要通过卫星无线传到地面工作站，其传输带宽非常有限，所以必须只传输含有目标的最主要图片信息。

2 实验结果与分析

针对不同海况，本文进行了大量测试实验，并与代表性的视觉注意力模型方法:Hou方法[11]和Itti方法[12]进行了对比，以验证本文提出算法的有效性。所有测试实验使用的计算机CPU：IntelPentiumDualE2180, 内存1.0GB，程序代码在MicrosoftVisualC++6.0上编写运行，测试图像分辨率为256×256像素。

图3给出的是4组实验的显著图检测结果，每一排为一组。其中第一组为阴天的测试效果,第二组为风平浪静的测试效果,第三组为大风天气的测试效果，第四组为多目标的测试效果。其中，(a)图是原始图像；(b)图是由Hou方法[11]得到的显著图；(c)图是由Itti方法[12]得到的显著图；(d)图是由本文算法得到的显著图；(e)图是由本文算法得到的结果。

图3 海面目标检测结果图Fig.3 Detection results of sea surface objects

由图(b)可以看出，Hou方法只能将海面目标的主要显著点展现出来，其显著图完整性较差；而由图(c)知，Itti方法由于采用较多的特征，其显著图完整性较好，但无法判别各个显著区是否来自同一个海面目标。由图(d)可以看出，本文算法可以克服以上算法的不足，既可以得到海面目标较为完整的轮廓，又可以抑制抑制海浪背景噪声及其它的边缘信息，如第一组中远处的山，第三组中海天线。

采用检测率(TPR)、虚警率(FPR)2个指标对本文算法及Hou方法和Itti方法的实验结果进行定量的评价，如图4、5所示。选取不同海况的图像作为样本，对其进行人工标注目标显著图，通过对比人工标注图与3种方法求取目标显著图的结果获得统计信息,计算公式为式(8)和(9)：

TPR=TP/(TP+FN)

(8)

FPR=FP/(FP+TN)

(9)

其中:TP为目标区检测到目标的次数；FN为目标区没有检测到目标的次数；FP为背景区检测到目标的次数；TN为背景区没有检测到目标的次数。从图3、4可以看出，本文算法检测效果良好。经统计计算，检测率平均值大于87%，虚警率平均值低于6%。对于天晴无浪情况，本文算法与其它2种算法检测率相当，漏检的主要原因来自尺寸很小的船只，虚警主要是由于海面强烈的鱼鳞光引起的背景干扰。然而天气恶劣且大浪存在时，能见度较低目标不清晰且容易被波浪淹没，由于Itti方法是在空域进行目标检测，降低了小目标检测的灵敏度，漏检数目多于本文算法，而Hou的方法易将巨浪视为显著目标造成较多虚警。

表1 单帧图像的处理时间Table 1 Processing time per image

Hou算法是在傅里叶变换域，通过亮度的log振幅谱与其均值滤波的差值SR(Spectralresidual)方法来提取显著图，由于Hou算法需要逐点计算LOG振幅谱，故处理时间要长于本文算法。而Itti算法需要建立9层高斯金字塔，分别计算6幅亮度特征图、12幅颜色特征图，24幅方向特征图才能进行融合，因复杂度高，所以其实时性最差。

3 结语

本文首先建立了人类视觉系统小波域双尺度选择注意模型，并由此提出了一种海事动态视频监测中海面目标的检测算法。在大尺度上有效融合了相位谱法显著图和梯度法显著图，既可以得到较为完整的海面目标区域，又可以有效抑制海浪背景噪声及其它的边缘信息。该算法可以快速有效地实现海面目标的自动检测，可用于基于海事船或海洋浮标的智能视频监测中。下一步应继续进行海面目标的识别与跟踪方面的研究。

图4 3种方法的检测率比较Fig.4 Comparison of true positive ratios amongthe three different methods

图5 3种方法的虚警率比较Fig.5 Comparison of false positive ratios amongthe three different methods

[1]BorghgraefA,BarnichO,LapierreF,etal.Anevaluationofpixel-basedmethodsforthedetectionoffloatingobjectsontheseasurface[J].EURASIPJournalonAdvancesinSignalProcessing, 2010(6)： 978451-978461.

[2]HuWC,YangCY,HuangDY.Robustreal-timeshipdetectionandtrackingforvisualsurveillanceofcageaquaculture[J].VisualCommunicationandImageRepresentation, 2011, 3(9): 543-556.

[3] 张明杰, 李翠华, 刘明业. 基于高斯混合模型的海面运动目标检测 [J]. 计算机工程与应用, 2005, 41(5): 27-29.

[4] 王明芬, 李翠华, 余强力. 基于融合邻域信息的海面运动目标检测 [J]. 厦门大学学报： 自然科学版, 2007, 46(5): 641-645.

[5] 林春丽, 王科俊, 夏余, 等. 一种小位移的运动目标检测方法 [J]. 光电子·激光, 2011, 22(3): 0418-0421.

[6]BoumaH,DeLangeDJJ,VanDenBroekSP,etal.Automaticdetectionofsmallsurfacetargetswithelectro-opticalsensorsinaharborenvironment[J].SPIEPassiveSensingandDataProcessing, 2008, 7114: 799813-799820.

[7] 何四华, 杨绍清, 石爱国, 等. 基于图像序列区域混沌特征的海面舰船目标检测算法 [J]. 交通运输工程学报, 2009, 9(1): 73-76.

[8] 王立地, 黄莎白, 史泽林. 基于有向分维的海面运动目标自动检测方法 [J]. 模式识别与人工智能, 2004, 17(14): 486-450.

[9] 尹宏鹏, 柴毅, 匡金骏, 等. 一种基于多特征自适应融合的运动目标跟踪算法 [J]. 光电子·激光, 2010, 21(6): 0917-0913.

[10] 李敏, 范新南, 张学武, 等. 基于视觉认知机理的复杂动态背景下目标提取 [J]. 光电子·激光, 2012, 23(2): 0366-0373.

[11]HouXD,ZhangLQ.Saliencydetection:Aspectralresidualapproach[C].IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.LosAlamitos,CA,USA:IEEEComputerSociety, 2007: 1-8.

[12]IttiL,KochC,NieburE.Amodelofsaliency-basedvisualattentionforrapidsceneanalysis[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1998, 20(11): 1254-1259.

[13] 叶聪颖, 李翠华. 基于HIS的视觉注意力模型及其在船只检测中的应用 [J]. 厦门大学学报： 自然科学版, 2005, 44(4): 484-488.

[14] 李崇飞, 高颖慧, 卢凯, 等. 基于相位谱和调谐幅度谱的显著性检测方法 [J]. 中国图象图形学报, 2012, 17(7): 821-827.

[15] 任蕾, 施朝健, 冉鑫. 结合局部和全局显著性的海上小目标检测 [J]. 上海海事大学学报, 2012, 33(2): 0001-0005.

[16]HouB,FanN,WangS.Avisualattentionmodelbasedonwavelettransformanditsapplicationonshipdetection[C].IEEEInternationalGeoscienceandRemoteSensingSymposium.Munich,Germany:IGARSS, 2012: 2202-2205.

[17] 孟琭. 基于视觉注意机制的彩色图像显著区域提取 [J/OL]. 计算机应用研究, 2013,http://www.cnki.net/kcms/detail/51.1196.TP.20130603.1500.013.html.

[18] 张肃, 王文生. 复杂背景下运动目标的光学相关识别 [J]. 光学学报, 2012, 32(1): 201-207.

责任编辑 陈呈超

A Fast Algorithm for Detection of Sea Surface Objects Based on Visual Attention Model in Wavelet Domain

ZANG Feng-Ni，LI Qing-Zhong，ZHANG Yang

(College of Engineering, Shandong Provincial Key Laboratory of Ocean Engineering, Ocean University of China, Qingdao 266100, China)

In order to achieve the automatic detection of sea surface objects for maritime monitoring from dynamic video, this paper presented a fast algorithm to detect sea surface targets based on the visual selective attention mechanism in wavelet domain. According to the characteristics of human visual observation, a two-scale visual attention model was first established in the wavelet domain by using lifting wavelet transform. Then two visual salience maps were generated by employing the phase spectrum method and gradient based method on the low-pass subband of wavelet domain with coarse resolution respectively, and a synthetic visual salience map was obtained by effective combination of the both obtained saliency maps. Finally, the high resolution visual saliency map of original image was generated by inverse wavelet transform, and the sea surface object regions were extracted from the final saliency map. The experimental results show that the proposed algorithm can detect the maritime targets quickly and accurately, so it can be used for maritime buoy-based intelligent monitoring.

visual attention mechanism; visual salience; sea surface object detection; wavelet transform

国家高技术研究与发展计划项目(2006AA09Z237)资助

2013-09-03；

2013-11-20

臧风妮(1982-)，女，博士生。研究方向为海洋观测与智能信息处理。E-mail:funnykid@163.com

** 通讯作者： E-mail:liqingzhong@ouc.edu.cn

TP391.41

A

1672-5174(2015)04-110-06

10.16441/j.cnki.hdxb.20130341