基于背景差分和视觉显著性的运动船舶检测方法
2018-01-25李双双安居白李春庚孟杰
李双双 安居白 李春庚 孟杰
摘 要：运动目标检测是智能视频监控系统中的一项关键技术，其检测准确性将直接影响后续的跟踪与识别。针对传统运动船舶检测方法难以克服水面波纹这一问题，文中提出了一种基于码本模型的将背景差分与频率域显著性区域检测相结合的算法。利用船舶区域比水面区域显著值较高这一特性，生成显著图，通过OTSU对显著图做二值化处理，将二值化后的显著图与码本模型检测结果进行与运算，滤除背景干扰区域，检测出运动船舶目标。实验结果表明，该算法能够更准确地检测出运动目标，具有较好的鲁棒性和有效性。
关键词：船舶检测；频率域；显著性；码本；OTSU
中图分类号：TP391.41 文献标识码：A 文章编号：2095-1302（2018）01-00-04
0 引 言
长期以来，船运[1]以其成本低、运输量大、环保等特点，在内河水路交通中发挥着不可替代的作用。但由于内河河道狭窄，因此船舶的智能监控管理是当前备受关注的问题。运动目标检测是智能视频监控系统中的重要内容，其检测准确性将直接影响后续的识别与跟踪。在复杂、动态的内河环境中准确、快速地检测运动船舶已成为信息化水路交通建设的一个技术热点，具有重要意义。
目前的运动目标检测方法主要包括帧间差分法[2]、光流法[3]和背景减法[4]。帧间差分法是当今仍被广泛使用的一种简单方法。但由于船舶速度较慢，且体型大，若采用帧间差分则易出现大面积空洞；光流法计算量大、复杂度高、抗噪性能差，需要硬件实时处理，因此不常用；背景差分法能得到较完整的运动目标，同时还能够更新背景，适应环境的变化，但无法有效克服水面波纹的干扰。
目前主要通过如下两种思路抑制水面波纹：
（1）先检测并滤除波纹干扰，之后再进行船舶目标检测；
（2）先进行船舶目标检测，之后对混有水波纹的二值图进行处理。
腾飞和刘清[5]等利用融合ITTI模型与改进的混合高斯背景建模进行波纹抑制。算法首先利用ITTI模型检测目标，然后与背景建模检测结果进行逻辑运算，得到最终检测结果。该算法能够区分出开船与水波纹，但计算量较大，且ITTI模型很容易检测到目标周围的区域。Bao[6]等使用基于上下文的视觉显著性法检测船舶，该算法虽然对水波纹噪声有一定的鲁棒特性，但检测过程复杂度高，实时性较差。Hu[7]等提出了一种改进的基于自适应模板匹配的波纹消除全搜索算法，可有效抑制波纹，但运算量较大。Li[8]提出了一种基于质点运动向量积累来消除波浪不规则运动影响的方法。该方法将粒子运动向量积累应用到光流场中，能有效剔除监控视频中的波纹区域，但计算复杂，实时性差。
为了降低传统运动检测引起的背景干扰，本文提出将码本模型背景差分和改进的基于频率域的MSS视觉显著模型相结合的方法。利用船舶区域比水面区域显著值高这一特性，生成显著图，通过OTSU对显著图像做二值化处理，将二值化后的显著图像和码本模型检测结果进行与运算，检测出运动船舶目标。
1 基于碼本模型的船舶区域检测
码本模型[9]算法是目前运算效率较高的背景差分运动目标检测方法，利用量化和聚类技术从连续的像素采样值中构建背景模型，效率高、适应性强，同时能表示背景多状态变化。因此本文在研究中采用该方法检测船舶区域。
1.1 码本背景模型构建
假设P={p1，p2，p3，…，pn}为码本模型训练中单个像素的采样序列，其中pt（t=1，2，3，…，n）为该像素在t时刻RGB空间的向量值。设C={c1，c2，c3，…，cL}为像素对应的码本，其中ci（i=1，2，3，…，L）为码本中的码字。每个码字ci由vi和auxi组成：，6元组auxi=
为了度量码本的变化，需要定义颜色失真度和亮度函数。颜色失真度定义见公式（1）：
1.2 码本模型前景检测
假设前景检测过程新输入的像素为xi，其对应码本为CB，根据条件：
图1所示为码本算法用于内河视频监控中运动船舶的检测效果，其中第一行为视频输入帧，第二行为船舶检测结果，实验所用图像序列选取自广东中山海事局三段监控片段。由实验结果可以看到，码本算法用于内河运动船舶检测时，能够得到较为完整的船舶，检测效果较为理想。但由于视频中大部分为水面，因此船舶不可避免的会产生水波纹。考虑到波纹干扰面积大且起伏剧烈，仅使用背景模型更新难以去除，因此提出了采用改进的基于频率域的MSS视觉显著模型抑制波纹干扰。
2 基于频率域的内河显著区域检测
显著性目标检测源于视觉注意模型，这是一种模拟人类视觉智能的重要模型，它可得到图像中最显著的区域。本文选择基于图像频域分析的显著性算法，即MSS（Maximum Symmetric Surround，MSS）方法[10]。
2.1 算法原理
设wlc为低频截止频率，whc为高频截止频率，为了突出显著物体并得到较好的轮廓信息，wlc应尽可能低，选择较高的whc。利用颜色和亮度特征来估计中央-周边差对比度，叠加多个带通滤波器，将所有的输出合并作为最终的显著图。带通滤波器采用DOG（Difference of Gaussian，DOG）滤波器，以获得wlc和whc之间的频率信息：
2.2 改进算法
传统MSS算法由于显著区域中心像素的抑制，无法提取完整目标，因此本文对MSS做出改进。从视觉角度分析，不同分辨率下获得的显著目标不同，分辨率越高，目标表现出的细节就越丰富，所以在高分辨率下很容易将较小的目标检测出来，结果侧重于局部对比度；当分辨率较低时，更容易将一些较大的目标检测出来，结果侧重于全局对比度。为了综合考虑显著目标的局部与全局性，本文算法使用高斯金字塔对图像进行多尺度采样操作，以获取不同分辨率下的图像。由于自然图像内容丰富，边缘信息比较重要，因此本文在MSS算法颜色和亮度特征提取的基础上，加入了边缘特征，提高了显著区域的轮廓信息清晰度，得到了显著图，最后对显著图进行归一化处理，优化显著区域。与MSS算法的显著图提取对比实验证明，本文的改进算法能更准确地反应出目标的显著性，将改进的算法记为S-MSS（Shape-Maximum Symmetric Surround，S-MSS）。
Sobel边缘检测算子是一种计算灰度图梯度近似值的离散性差分算子，计算量小、处理速度快。本文采用多方向的Sobel作为导数算子，可计算出梯度大小和方向，作为本文的边缘特征。
算法的主要步骤如下：
（1）高斯金字塔获取多分辨率图像。图像原始长为L，宽为W，采样尺度为G，G={1，1/2，1/4}，第一层图像G1为原图像大小，长l1=L，宽l2=W；第二层图像G2采样后长宽分别为l2=（1/2）l1，w2=（1/2）w1；第三层图像G3采样后长宽分别为l3=（1/2）l2，w3=（1/2）w2；针对每一层图像，分别将输入的RGB图像转换到Lab空间，分别为G'1，G'2，G'3。
（2）边缘特征提取。对于G1，G2，G3图像，选择基于3×3四個方向的Sobel[11]模板计算梯度，四个方向分别为0°、45°、90°和135°，gx1，gx2，gx3，gx4为各方向边缘检测的图像灰度值。梯度的幅值为：
（3）分别对G'1，G'2，G'3图像及|g|进行DOG滤波，计算亮度信息L、颜色信息a，b以及边缘特征信息。显著值重新定义为：
（4）将各层得到的显著图像进行叠加：
（5）不同分辨率下的显著性属性强度不同，需要进行均匀归一化处理，从而形成最终的显著图：
2.3 实验结果与讨论
为了测试改进算法的检测效果和鲁棒性，定量描述算法的性能，选用准确率Pr，召回率Re，综合得分FM值以及检测耗时作为评价指标。为表示方便，将视频输入帧图分别记为1，2，3。实验结果如图2所示。其中公式描述为：
其中，TP指正确识别的像素个数，FP指未正确识别的像素个数，TN指正确识别的像素个数。
第一行为视频输入帧1，2，3，第二行为用MSS提取的显著图，第三行是采用S-MSS提取的显著图。通过图2实验结果可以看出，采用MSS算法检测船舶目标存在漏检，而采用改进的MSS算法提高了显著区域轮廓信息的清晰度，显著性更明显，提取的船舶目标更准确。表1中两种算法平均准确率Pr和综合度量FM相差不大，但平均召回率Re明显提高，显著目标的漏检率更低，弥补了MSS的不足。在时间开销上两种算法FM相差不大。因此，在综合考虑召回率Re和时间消耗的基础上，本文提出的算法优于MSS算法。由图2所示的显著区域检测结果可以看到，船舶能够与水面波纹区别开来，但显著图中还存在山、岸边建筑等干扰，因此要得到只包含船舶的二值图，还需滤除其它显著区域带来的干扰。
3 融合的运动目标检测算法
由上述讨论可知，基于码本背景差分法难以描述多状态的水波纹背景，而基于S-MSS的显著区域检测结果保留了较完整的轮廓信息，适用于船舶目标分割，但显著区域同时也包含了船舶目标和其它显著区域。针对此问题，本文提出了图3所示的融合船舶检测方法。
对输入视频图像采取基于S-MSS的显著性检测进行分割以获取高显著度区域，通过提取图像在不同尺度下的颜色、亮度和方向特征，将这些特征分量图进行中央周边差和归一化操作，使船舶等目标区域被增强，而水面及周围区域被削弱。对合成显著图进行自动阈值分割可滤除波纹背景区域的干扰，最后将基于S-MSS的船舶检测结果和基于码本背景差分船舶检测结果进行相与操作，检测运动船舶。
为了测试融合算法的检测效果和鲁棒性，将本文算法分别与码本建模背景差分法、S-MSS法进行对比。在Win7系统下，利用Matlab2012a+Visual Studio10软件开发，实验结果如图4所示。
为了更好地描述算法的性能，选用准确率、召回率、综合得分值以及平均检测耗时（检测耗时指每帧图像从输入图像到输出检测结果所需要的时间）作为评价指标。
由图4检测结果可看出：与码本法相比，本文算法检测出的运动船舶最接近真实目标。从表2数据分析来看，本文算法的召回率Re与码本算法相当，而本文算法的准确率Pr、FM均明显高于码本算法，是因为本文方法采用显著值滤除了水波纹的干扰，从而提高了精确度指标。
表3列出了2种方法的耗时对比，本文方法检测耗时略高于码本法。但综合考虑准确率、召回率、FM及平均检测耗时后，发现本文方法可以获得更好的检测效果。
4 结 语
为了更加有效地检测出船舶目标，文中提出了一种融合频率域显著性区域检测和码本建模背景差分的检测算法。本文用码本法获取可疑的运动船舶区域，然后根据船舶区域比水面区域显著值高这一特性，采用改进的MSS显著性区域检测法降低运动检测的背景干扰，最后将两者结果相与，得到最终船舶目标。实验证明，本文算法能够排除水面波纹甚至船舶倒影的干扰，准确检测出船舶，综合评价明显高出其他算法，具有一定的自适应性。
参考文献
[1]韩京伟.低碳经济时代的内河运输发展对策[J].综合运输， 2010 （5）：18-20.
[2]陆冰， 王玲玲， 裴东.基于混合高斯模型和六帧差分的目标检测算法[J].激光与红外， 2016（2）：240-244.
[3] Barron J L， Fleet D J， Beauchemin S S. Performance of optical flow techniques[J].International Journal of Computer Vision， 1994， 12（1）：43-77.
[4]汪冲， 席志红， 肖春丽.基于背景差分的运动目标检测方法[J].应用科技， 2009， 36（10）：16-18.
[5]滕飞， 刘清， 朱琳，等.波纹干扰抑制下内河CCTV系统运动船舶检测[J].计算机仿真， 2015， 32（6）：247-250.
[6] Bao X， Zinger S， Wijnhoven R， et al. Ship detection in port surveillance based on context and motion saliency analysis[J]. Proc Spie， 2013 （3）：135-145.
[7] Hu Wu Chih， C Y Yang， D Y Huang，et al.Robust real-time ship detection and tracking for visual surveillance of cage aquaculture[J].Journal of Visual Communication & Image Representation，2011，22 （6）：543-556.
[8] Li N. Boat detection using vector accumulation of particle motion[Z]. Proceedings of SPIE - The International Society for Optical Engineering， 2014.
[9] Kim K， Chalidabhongse T H， Harwood D， et al. Background modeling and subtraction by codebook construction[C]// International Conference on Image Processing. IEEE， 2004：3061-3064.
[10] Achanta R， Süsstrunk S. Saliency detection using maximum symmetric surround[C]//IEEE International Conference on Image Processing. IEEE， 2010：2653-2656.
[11]杨淑莹.VC++图像处理程序设计[M].北京：清华大学出版社， 2003.
