基于平滑化区域填充的水下图像倒影去除研究

吴 函，唐磊生，夏昕阳，徐红丽

(1. 中国科学院沈阳自动化研究所，辽宁 沈阳 110016；2. 中国科学院机器人与智能制造创新研究院，辽宁 沈阳 110169；3. 中国科学院大学，北京 100049；4. 东北大学机器人科学与工程学院，辽宁 沈阳110819；5. 沈阳建筑大学信息与控制工程学院，辽宁 沈阳 110159；6. 沈阳工业大学人工智能学院，辽宁 沈阳110000)

1 引言

因为海洋环境的条件约束，所获取的水下图像往往存在噪声点、清晰度较低、颜色失真、倒影问题[1]，这对人们提取水下信息的精度存在一定负面影响，提升了人们在识别水下图像目标时的难度[2]。水下图像倒影对水下图像目标识别存在严重影响，因倒影属于水下图像目标的“影子”，和水下图像目标存在高度一致性，在水下图像目标识别时，将出现误导的问题，为此，水下图像倒影去除十分关键[3]。

目前针对去除水下图像倒影去除这一问题的相关研究还较少，若使用图像信息去除类方法去除水下图像倒影，将存在图像细节断裂的情况，影响水下图像的信息完备性[4]。为此，本文提出一种基于平滑化区域填充的水下图像倒影去除方法，并通过实验验证其具有可应用性，可为水下图像倒影去除问题提供可参考资料。

2 水下图像倒影去除方法

2.1 水下图像倒影区域识别

将倒影水下图像A(x，y)从RGB空间变换至Lab空间

(x，y)L=0.2126(x，y)R+0.7152(x，y)G+0.0722(x，y)B

(1)

(x，y)a=1.4749(0.2213(x，y)R-0.3390(x，y)G

+0.1177(x，y)B)+128

(2)

(x，y)b=0.6245(0.1949(x，y)R-0.6057(x，y)G

-0.8006(x，y)B)+128

(3)

其中，(x，y)是A(x，y)的像素点；(x，y)L、(x，y)a、(x，y)b是Lab图像像素的L值、a值、b值。

使用K-means聚类算法设置一个a、b层像素数据点集合与需要聚类的倒影区域像素聚类数量，算法使用距离函数，以迭代的形式把像素点导入每个聚类范围中。操作流程是：

1)设置A(x，y)中像素大小是m的样本空间数据集，迭代次数是Z，按照聚类数k任意选择k个像素设成初始聚类中心Wj(z)，此聚类中心即为倒影区域像素的初始聚类中心；

2)运算A(x，y)的像素样本空间里j个数据目标(x，y)j和初始聚类中心Wj(z)的相似度距离Q[(x，y)j，Wj(z)]，建立簇Vj：

(4)

其中，μ是随机设置的正数。

3)运算k个新的倒影区域像素聚类中心

(5)

其中，Wj(z+1)是倒影区域像素聚类结果。

倒影区域像素聚类准则函数值F(z+1)的运算方法是

(6)

4)分析倒影区域像素聚类的合理性，分析方法是

|F(z+1)-F(z)|<μ

(7)

其中，F(z)是初始聚类的准则函数值。

如果满足式(7)条件，即为合理，输出聚类结果，迭代停止，反之跳转是第(2)步骤再次迭代。颜色空间变换后，使用Lab颜色模型图像里a、b层信息，通过K-means聚类算法识别A(x，y)的倒影区域。

2.2 水下图像倒影区域增强

大部分图像中，暗像素点的存在不可避免，很多类型图像都存在某种颜色通道灰度值较低的问题[5]。在本文研究问题中，含倒影水下图像A的暗通道表达式是

Adark(x)=miny∈β(y)[minb∈{s，f，c}Ab(x)]

(8)

其中，Ab(x)、β(y)分别是含倒影水下图像的各个通道值、以含倒影水下图像像素点y为中心的窗口；x、y为像素值；b∈{R，G，B}是颜色分量RGB的三个通道。计算含倒影水下图像各个像素RGB颜色分量的最小值，并导进和含倒影水下图像的灰度图中，实现图像增强处理[6]。

含倒影水下图像增强处理时，可将清晰度较低的含倒影水下图像模型描述为雾图像模型

B(x，y)=A(x，y)h(x)+D[1-h(x)]

(9)

其中，B(x，y)、A(x，y)依次是需增强的含倒影水下图像、增强后含倒影水下图像；D、h(x)依次是大气光成本、暗通道先验处理透射率。设定已知条件是B(x，y)，处理目标需要实现的是A(x，y)，则

(10)

(11)

导入暗原色先验理论后可得

Adark(x)=minx∈β(y)[minbAb(x)]=0

(12)

式(12)能够推导为

minx∈β(y)[minbAb(x)]=0

(13)

(14)

水下图像增强后的结果是

(15)

其中，h0为暗通道先验处理的初始透射率。

2.3 基于平滑化区域填充的图像倒影去除

2.3.1 平滑化区域填充

为实现平滑化区域填充，引入自适应的图像平滑填充方法，该方法要在需填充区域中心设置一个符合平滑填充条件的窗口尺寸，运算需平滑填充的区域和邻域间的像素欧式距离，以此变化已知区域(由邻域区域不存在破损的像素构成)的对应权重[7]，通过邻域像素的加权平均运算填充区域的像素值[8]。具体步骤如下：

1)自适应变化窗口尺寸，将去除倒影后水下图像O(x，y)需要平滑填充的区域设成r，设置一个大小是M×M的窗口，初始化成3×3，然后运算窗口中完好像素占据的比例ψg。

2)提前设置阈值是U0，若ψg不小于U0，那么r的估计值I(r)和邻域中已知目标信息I(s)的加权均值相同。则

(16)

其中，窗口中已知目标的像素点集合、平滑填充区域的权函数依次是Me、σ(r)。权函数的运算十分重要，主要通过平滑填充区域的已知像素点δ1和破损像素点δ2之间欧几里德距离运算，且需要符合条件0≤σ(r)≤1。

设置平滑填充区域中破损像素点δ2坐标是(xr，yr)，窗口里某个已知像素点δ1坐标是(xz，yz)，两个坐标之间的欧几里德距离是

(17)

已知像素点的权重是

(18)

其中，Ω为归一化因子；D(δ1)为已知像素点与破损像素点的差异值；|Me|为窗口中已知像素点的数量；指数函数的衰减因子是sj。

式(20)中，此类权重运算方法可让需平滑填充窗口已知像素点的权重为正数，破损像素点的权重是0，且权重的大小与亮点的距离有关[9]。

3)若ψg小于U0，把需平滑填充的窗口上下左右的各边依次往外位移1个像素值，若需平滑填充的窗口为最大值，标记此时的窗口尺寸，之后运算其权重，通过最大窗口的有效加权平均值取代破损像素值，实现破损像素值的平滑填充。

2.3.2 水下图像倒影去除

因倒影去除后，被去除区域将出现空洞情况，为了保证水下图像的可应用性，需要对水下图像进行平滑化区域填充，以此保证倒影去除后，水下图像的有价值信息不被损坏，通过识别提取水下图像倒影区域之后，使用基于平滑化区域填充的倒影去除方法，去除水下图像的倒影[10-12]。具体去除流程是：

1)提取水下图像倒影区域的非匀质因子。

2)按照导引区域和邻近的非倒影区域存在空间相似性，通过区域补偿方法，补偿倒影区域的亮度

(19)

倒影去除的结果是

O(x，y)=γ(x，y)Wj(z+1)+(1-Wj(z+1))

(20)

综上所述，基于平滑化区域填充去除倒影，保证倒影区域去除后，图像细节信息不出现严重缺失。

3 实验结果及分析

为测试本文所提基于平滑化区域填充的水下图像倒影去除方法的使用效果，把Matlab 2012a软件设成仿真工具，在Windows 10、Intel i5 3.2 GHz双核处理器、600GB硬盘、8GB内存的PC机中采取仿真测试的模式，测试本文方法使用效果。实验中所需处理的图像如图1所示。

图1 实验中所需处理的水下图像

3.1 水下图像倒影识别效果

3.1.1 敏感性

敏感性别称命中率，表示被识别判断成倒影的区域中，的确为倒影区域的概率，运算方法是：

(21)

其中，Kp、GN依次是倒影区域被准确识别成倒影区域的次数；倒影区域被错误识别成非倒影区域的次数。敏感性数值越接近于1，表示本文方法对水下图像倒影区域的识别精度越高。

本文方法对图1中倒影区域识别后，识别结果的敏感性如图2所示。

图2 倒影区域识别结果的敏感性测试结果

由图2显示，多次测试下，本文方法对水下图像倒影区域识别后，识别结果的敏感性高达0.98，接近于1，表示本文方法对水下图像倒影区域的识别精度较高。

3.1.2 特异性

特异性表示被识别判断成非倒影区域的区域中，实际是非倒影区域的概率。若特异性较小，代表较多的非倒影区域被识别判断为倒影区域。运算方法是

(22)

其中，KN、GP依次是非倒影区域被准确识别成非倒影区域的次数、非倒影区域被错误识别判断成倒影区域的次数。

本文方法对图1中倒影区域识别后，识别结果的特异性如图3所示。

图3 倒影区域识别结果的特异性测试结果

由图3显示，多次测试下，本文方法对水下图像倒影区域识别后，识别结果的特异性大于95%，特异性较高，表示本文方法对水下图像倒影区域识别后，非倒影区域被识别判断为倒影区域的概率极低，识别精度显著。

3.2 水下图像倒影去除效果

使用本文方法对图1中的倒影区域进行去除，去除效果如图4所示。

图4 水下图像倒影去除效果图

对比图1、图4可知，本文方法对水下图像倒影进行去除处理后，倒影去除效果较好，基本看不出倒影的存在。图4的测试效果主要以视觉角度分析，为了定量分析本文方法去除水下图像倒影后，图像细节是否平滑完整，以相关系数、信息熵、色差为定量分析指标。

3.2.1 相关系数

相关系数的计算方法是

(23)

其中，M、N是水下图像大小。相关系数越高，表示去除倒影后，水下图像有价值细节与原图有价值细节相似度越高，去除效果越好。本文方法去除水下图像倒影后，水下图像相关系数测试结果如图5所示。

图5 相关系数测试结果

由图5显示，多次测试下，本文方法去除水下图像倒影后，水下图像有价值细节与原图有价值细节相似度较高，应用效果较好。

3.2.2 信息熵

信息熵的计算方法是

(24)

其中，灰度级概率值是hds；j为测试次数。

信息熵可表示水下图像信息量，信息熵较高，表示本文方法去除倒影区域后，水下图像信息量完备性显著，本文方法应用效果较好。信息熵测试结果如图6所示。

图6 信息熵测试结果

由图6显示，多次测试下，本文方法去除水下图像倒影后，水下图像信息量完备性显著，信息熵大于0.90，表示本文方法去除水下图像倒影后，图像的信息量没有受到严重损坏。

3.2.3 色差

色差计算方法是

(25)

其中，R、G、B表示图像的颜色通道。下表1与2分别代表本文方法去除倒影前后，水下图像三种颜色通道的色差值。

本文方法使用后，水下图像的色差测试结果如图7所示。

由图7显示，本文方法去除水下图像倒影后，水下图像不存在颜色失真情况，原因在于本文方法引入了平滑化区域填充步骤，可有效保证水下图像倒影去除后，图像颜色保真度不出现异常。

4 结论

本文提出基于平滑化区域填充的水下图像倒影去除方法，此方法被证实可有效实现水下图像倒影去除。在实验测试中，本文方法对水下图像增强处理后，水下图像的细节信息更为凸显，细节清晰，图像中特征更为明显，细节表现更好；且本文方法对水下图像的倒影区域识别精度较高，在去除倒影后，可以更好地保留水下图像信息，水下图像倒影去除后不存在颜色失真情况。在未来的研究工作中，将以具有较强噪声的水下图像为研究目标，逐步优化本文方法对水下图像的处理效果。