基于灰度波动的水下图像分割

2020-11-19颜明重黄冰逸朱大奇

哈尔滨工程大学学报 2020年9期

颜明重，黄冰逸，朱大奇

(上海海事大学水下机器人与智能系统实验室，上海 201306)

相对于普通图像，水下光学成像具有一定的特殊性。水下环境对可见光具有不同程度的吸收和散射等复杂作用，加上水中悬浮颗粒的存在，使得水下图像脉冲噪声斑点多，对比度低而且模糊[1]。在光线微弱的深水环境中，摄像机成像较为困难，通常需要采用人工光源来补充照明，非均匀的光照会导致目标成像亮度不均，而且轮廓边缘特性不一致。水下光学图像的以上特点，使得前景目标的准确分割难度很大。

传统的图像分割方法，通常利用图像中相似区域灰度的连续性以及边界上灰度的不连续性等特征信息，从图像背景中提取出目标。阈值分割、区域生长、边缘提取和主动轮廓模型等是常见的4类分割方法[2-4]。考虑到实际环境的复杂性以及自动目标特征提取和识别的需要，水下图像更多地采用基于阈值的分割方法，比如基于熵的方法[3]和基于聚类的方法[4]常用于确定分割阈值。这2种方法在寻找阈值的过程中都需要大量迭代运算，因此许多学者提出利用粒子群优化、遗传算法等智能优化算法来寻找最优解[5-8]。基于熵的方法和基于聚类的方法通常难以获得精确的目标边缘分割效果[9]，针对这一问题，文献[10]引入模糊数学理论利用隶属度函数代替属于或不属于某类的两元判断，提高了分割的精确度。针对光照不均图像，有些文献从图像的灰度波动特性角度来研究图像的分割问题，如文献[11]对彩色图像进行灰度化的权值调整处理，再进行分割，而文献[12]利用主元分析(principal component analysis, PCA)的方法，对图像各方向的灰度波动变换矩阵进行降维，再用最大类间方差法来选取分割的阈值。对于水下图像来说，基于最大类间方差的方法忽略了图像的空间信息，当图像亮度不均，目标与背景的灰度有较多重叠时，其分割效果难以令人满意。

本文分析水下图像在非均匀光照下目标边缘特性和图像噪声特点，提出一种非对称自适应中值滤波的方法改善目标的边缘特性，在此基础上借鉴了文献[11]对于图像灰度波动的研究，分别提取图像的行和列的灰度波动信号，找出大尺度的波峰和波谷，再采用自适应的局部阈值分割确定目标的边缘，从而实现目标的准确分割。

1 水下图像的灰度波动特征

在水下微光环境中，人工光源照射下的灰度图像如图1(a)所示，前景为一个被缆绳系固的立方体目标。建立三维直角坐标系(XYZ)，X轴和Y轴分别表示图像行和列，Z轴上显示图像中各像素的灰度值，则图像的灰度波动特性如图1(b)所示：由于非均匀光照的缘故，背景区域的灰度呈现一定曲面特征；水中悬浮颗粒使得图像呈现明显的灰度波动脉冲噪声；目标物边缘特性不一致，部分轮廓边缘存在显著的反向脉冲噪声。

图1 水下图像Fig.1 Underwater image

提取图像中的行灰度信息，可进一步发现前景目标的边缘细节特征。如图2显示了图1所示水下图像的第400行的灰度波动：明显的大尺度灰度跳变波动包含了明显的目标边缘特征信息，提取该特征可以准确分割目标，另外该边缘位置也存在比一般脉冲噪声更为显著的反向脉冲噪声。

图2 行灰度波动特征Fig.2 Original row grayscale wave

2 非对称自适应中值滤波

中值滤波对正反向脉冲噪声具有同等程度的抑制作用[13]，但是在水下图像中，存在于目标边缘的反向脉冲噪声与一般的正向脉冲噪声往往并不对称。如果采用小模板窗口，虽然能够保护图像的边缘特征细节，但是反向脉冲噪声抑制效果不明显，若采用大模板窗口，虽然可以有效滤除反向脉冲噪声，但是图像边缘特征信息会丢失。图3(a)所示为图2经过中值滤波处理后的效果，可见一般正向脉冲噪声信号得到了很好的抑制，而且目标边缘特征保存较好，但是显著反向脉冲噪声仍然存在。为此，本文提出一种非对称的自适应中值滤波方法，主要思路是对较亮的前景目标区域采用小模板窗的中值滤波处理，而对较暗的背景区域则采用动态扩大的模板窗口进行滤波。具体工作原理描述如下：

A模式：

A1=gmed-gmin,A2=gmed-gmax

ifA1>0 andA2<0 andgxy>gmean

goto B

else

r=r+1

Sr=(2r+1)*(2r+1)

ifSr≤SW

repeat A

esle

f(x,y)=gmed

B模式：

B1=gxy-gmin,B2=gxy-gmax

ifB1>0 andB2<0

f(x,y)=gmed

esle

f(x,y)=gmean

其中：gmax和gmin分别表示模板Sr中像素灰度的最大值和最小值；gmed和gmean分别表示模板Sr中像素灰度的中值和均值；gxy表示在图像(x,y)位置上的实际灰度值；SW表示设定模板的最大尺寸。在A模式中，如果图像局部邻域范围Sr内像素实际灰度高于平均灰度值(gxy>gmean)，则进入B模式，用小模板窗(2r+1)×(2r+1)进行滤波处理；如果像素灰度gxy≤gmean，则不断扩大模板窗口(r=r+1≤W)再滤波。

图3 行灰度波动滤波处理Fig.3 Row grayscale wave filtering

图4 本文滤波后的图像灰度波动Fig.4 Image grayscale wave by the proposed method

图2的行灰度波动经过非对称自适应中值滤波的处理，得到的结果如图3(b)所示，对比图3(a)的普通中值滤波处理结果，可以发现目标边缘的反向脉冲噪声仍然存在。从图4所示的滤波结果与图1(b)对比可知，目标边缘的细节特征保存完好，图像中的正反向脉冲噪声均被有效滤除。

3 自适应局部阈值分割

在滤除水下图像中的正反向脉冲噪声和改善目标边缘特性的基础上，为了实现对非均匀亮度图像的准确分割，本文采用自适应局部阈值的方法：首先从图像的灰度波动特征提取大尺度的峰谷点，从而确定目标的边缘；其次根据局部峰谷点位置计算出局部阈值，从而对目标与背景进行分割。

3.1 提取灰度波动的大尺度峰谷点

通过图像灰度波动特征获取目标边缘分为3步：首先按行(或者列)搜索灰度波动的所有谷峰点；其次确定大尺度的波谷波峰；最后去除伪波谷波峰点。

假设g(r,i)为图像第r行的灰度值，其中i=1,2,…,≤N，N为图像的列宽。待求取的波峰和波谷点记为p和t，则获取峰谷点的判断条件：

g(r,i)≥g(r,i-1)

∧g(r,i)≥g(r,i+1)

∧g(r,i-1)≠g(r,i+1)

⟹pm=(r,i),m=1,2,…

(1)

g(r,i)≤g(r,i-1)

∧g(r,i)≤g(r,i+1)

∧g(r,i-1)≠g(r,i+1)

⟹tn=(r,i),n=1,2,…

(2)

进一步筛除小尺度的峰谷点，筛除的思路是：在灰度波动曲线的上升沿和下降沿，如果相邻的波峰和波谷点，其灰度差小于某个极小值ε，则合并取消。设波峰点的集合P={pm},m=1,2,…,R，波谷点的集合T={tn},n=1,2,…,S，R、S分别表示第r行的波峰和波谷数，对于波峰点pi，如果与相邻波谷点tj和tj+1的灰度差小于某个极小值ε，如式(3)所示，则将该波峰点筛除。同理，对于波谷点ti，与其相邻波峰点pj和pj+1则采用式(4)筛除波谷点。

g(pi)-g(tj)≤ε∧g(pi)-g(tj+1)≤

ε⟹P=P-pi

i=1,2,…,R

j=1,2,…,S-1

(3)

g(pj)-g(ti)≤ε∧g(pj+1)-g(ti)≤ε

⟹T=T-ti

i=1,2,…,S

j=1,2,…,R-1

(4)

将经过筛选后所剩下的峰谷点按列坐标升序排列，放入队列PTs中。在PTs中进一步合并消除灰度差小于ε的相邻峰谷点，最后获得的大尺度峰谷点保存在队列LPTs中，这些峰谷点标记了目标边缘的位置，如图6所示。

图5 提取大尺度峰谷点Fig.5 Picking out large scale peaks and troughs

3.2 自适应局部阈值分割图像

在获得目标边缘的大尺度波峰波谷点之后，为了进一步分割出目标，设计目标分割的局部阈值：

T=g(t)+ξ×(g(p)-g(t))

(5)

式中：t和p为LPVs中的位置相邻的大尺度波谷点和波峰点，0<ξ<1。若图像的行灰度值大于阈值T时，判为前景目标，反之则判为背景。若LPVs为空，即该行无大尺度峰谷点，则该行直接判定为无目标的背景。

4 实验结果与分析

为测试和验证算法的有效性，设置计算机仿真环境如下：Intel Core2 Duo 3GHZ处理器、4 GB DDR2 800 MHZ内存、250 GB硬盘以及Matlab2011a仿真平台。实验对象为5张非均匀光照下的水下图像，其中包含近距离和远距离的球体和立方体目标物各1张，以及水下沉船残骸图像1张，所有图像的分辨率均为704×576。图6分别代表原图、基于模糊熵的阈值分割算法、模糊C值聚类分割算法及本文算法的分割结果。

基于模糊熵的图像分割算法使用了差分演进(differential evolution, DE)算法对迭代进行加速。基于模糊C均值分割算法为了取得更好的分割效果将聚类数目设为3，并将后2类聚类中心的平均值作为一类。最大迭代次数设为100、隶属度矩阵U的指数设为2.0、隶属度最小变化量(中值条件)设为10-5。

图6 水下图像分割结果Fig.6 Segmentations of underwater images

从图6可见，对于水下距离较近的球体和立方体目标，3种算法的分割效果相差不大，目标物的外轮廓均能够较准确分割出来。其中，对于近距离方块的分割，基于模糊熵的方法存在将噪声错分割为前景目标的问题，基于模糊C均值聚类的方法未能将系固立方体的绳索准确分割出来。对于较远距离的目标物，无论是基于模糊熵还是模糊C均值聚类的方法，均出现较明显的错分割。对于水下沉船残骸的分割，基于模糊熵的方法只分割出了小部分前景(船艏的栏杆)，基于模糊C均值聚类的方法基本未能有效分割出可识别的目标细节。本文的算法则分割出了在人工光源照射下的前景目标的更多细节。如图6(d)所示，本文算法无论对于远近距离的球体和立方体，还是水下沉船残骸，均实现了更为准确的目标分割，获得了更丰富的前景目标的细节特征。

为进一步评价各算法的图像分割性能，选择错分类误差(misclassification error, ME)、均匀性测度(uniformity measure，UM)[9]以及算法耗时等指标来进行测评分析。

ME值所需要掩码图像按照研究人员的观察标准人工制作而成(图7)，ME值的计算公式为：

(6)

式中：BO和FO分别指图像标准二值掩码中的背景与前景(目标)，BT与FT为图像分割后的背景与前景，|·|为取集合元素总数操作。ME表征图像背景和前景的错分割概率，该值越小表示图像的分割效果越好。

对本文人造目标物的4幅水下图像的分割算法进行ME测评，结果如表1所示。从表中可见：本文算法对近距离球体、远距离球体、近距离立方体和远距离立方体等人造目标的分割ME值最小，也即图像分割质量最好；从运行时间看，本文算法的耗时明显短于基于模糊C均值聚类方法的耗时，稍长于基于模糊熵的分割方法；对于远距离球体的分割，基于模糊熵的方法和基于模糊C均值聚类的方法无论在耗时和ME值上都有较大的波动，而本文算法的性能表现则相对平稳。

图7 水下目标图像掩码Fig.7 Ground truth images of artificial objects

表1 各算法耗时和ME测评Table 1 Evaluation of time consumptions and MEs

由于水下沉船残骸图像的真实掩码难以确定，因此采用UM来检查图像分割后的前景与背景区域的灰度均匀性，UM的定义示：

(7)

式中：C为归一化系数；Ri表示第i类分割区域；Ai表示第i类元素所占面积。UM值越大则表明分割区域内部均匀度越好，即图像的分割越合理准确。从表2的算法耗时和UM值可见：本文的算法UM值最大，也即目标分割区域均匀度最好；另外，本文算法的耗时远短于基于模糊C均值聚类的方法的耗时，稍长于基于模糊熵的方法。