改进的同态滤波与多尺度融合的水下图像增强

杨亚绒,李恒,赵磊,王海瑞

(昆明理工大学 信息工程与自动化学院,昆明 650500)

目前,人类仍在不断地探索海洋世界,海洋资源蕴藏着丰富的生物、矿产和能源等,因此人们可以充分地利用海洋资源,而捕获水下图像是获取海洋信息的关键,如何获得优质的水下图像成为一个重要问题。水下成像不同于普通成像,图像因光强随水深的变化而出现不同程度的色彩异常、细节模糊、低对比差等问题[1],这严重影响了重要信息的准确获取。

图像复原和图像增强是水下图像清晰化的主要方法[2]。前者建立了水下成像退化模型,对退化图像根据此模型进行逆求解,以获得复原图像;后者则根据实际需求对图像信息进行增强,改善原始图像中模糊的地方。近年来,国内外学者对水下图像处理进行了深入研究,取得了一定的成绩,但还存在一些弊端。图像复原方法有Pan等[3]提出一个多尺度迭代框架去除散射,再采用白平衡算法去除色偏,最后把图像转换到NSCT域去除噪声并进行边缘增强,该算法可以提高图像的视觉效果,但不能有效地去除深海区域的蓝色背景。He等[4]提出寻找暗通道中最亮的像素作为背景光强度的单幅图像去雾算法,该算法可以有效地改善大气雾化图像,但不适用于水下图像处理。Galdran等[5]对成像模型的红色通道进行了改进,该算法提高了图像的可见度,但未能改善图像细节信息。水下图像增强大致分3类,分别是Retinex、直方图和图像融合[6]。Wen等[7]为了估计红色通道透射率,提出暗通道与蓝绿色通道相结合的算法,该算法可以有效地增强图像细节,但图像还存在偏色现象。Iqbal等[8]提出无监督模型对低质量图像进行颜色校正,该算法可以有效地去除蓝色偏色并改善低照度图像,但处理没有偏蓝色现象的图片效果不理想。Ancuti等[9]提出图像融合算法对水下图像及视频进行增强,该算法可以改善视觉效果,但对于深蓝色图像处理效果不佳。Ghani等[10]提出瑞利拉伸提高水下图像质量,该算法增强了可视性和对比度,但图像颜色被过度增强。Iqbal等[11]使用集成色彩模型来增强水下图像算法,该算法可以均衡图像颜色对比度,但图像细节不清晰。

近年来,水下图像增强的研究焦点主要在图像融合,该方法在处理色偏、低对比度和低清晰度等方面有很大改善。本文结合光在水体环境中呈指数衰减特点,根据先去除色偏,后增强对比度且均匀亮度的思路,提出了改进的同态滤波与多尺度融合的水下图像增强方法。首先利用色彩平衡算法对颜色进行校正,获得色彩校正的输入图像;然后使用限制对比度直方图均衡化算法增强对比度,获得对比度增强的输入图像;同时用改进的同态滤波算法降低噪声,降低光线过强区域的亮度,增强光线过弱区域的亮度,增强细节信息,获得亮度均匀的输入图像;最后采用多尺度融合算法对3个输入图像进行融合,得到最终增强图像。

1 水下图像成像模型

根据Jaffe-McGlamery成像模型[12],水下相机接收到的光分为直接分量ED、前向散射分量EF及后向散射分量EB,如图1所示。

图1 水下图像成像模型

直接分量是指物体表面反射光经过衰减直接到相机的光的分量,其表达式为

ED(x,λ)=J(x,λ)e-η(λ)d(x)=J(x,λ)t(x)

(1)

式中:J(x,λ)为物体当前位置的光强;η(λ)为总的减弱因数;d(x)为相机与物体的间距;t(x)为透射率。

前向散射分量是指物体表面反射光先遇到水介质中的细小微粒形成小偏角,随后再经过衰减到达相机的光的分量。当相机与物体距离无限接近时,前向散射分量可忽略。后向散射分量是指背景反射光在到相机的过程中,遇到水体中的微粒而发生小角度的散射,这是引起图像对比度低的主要因素,其表达式为

EB(x,λ)=A∞(λ)[1-e-η(λ)d(x)]=A∞(λ)[1-t(x)]

(2)

式中A∞(λ)为背景光。

因此,当前向散射分量忽略不计时,由式(1)、式(2)可得简化的水下光学成像模型为

I(x,λ)=ED+EB=J(x,λ)t(x)+A∞(λ)[1-t(x)]

(3)

式中:J(x,λ)为输出图像;I(x,λ)为退化图像。

2 水下图像增强算法

2.1 色彩平衡

由于不同波长的光在水下衰减速率不同,引起光能大量减少,导致水下图像与真实场景之间存在颜色偏差,对于这个问题,本文采用最简单的色彩平衡算法[13]。该算法先将图像中RGB颜色通道的最大值即最亮部分记为白色,最小值即最暗部分记为黑色;其次把图像中其余部分的红绿蓝三通道进行对比度拉伸;最后对每个通道进行仿射变换以占据最大范围[0,255]。由于部分图像存在0～255的异常像素值,所以在进行仿射变换之前,将具有最高值的小百分比像素饱和到255,并将具有最低值的小百分比像素饱和到0。

颜色校正的主要方法包括白平衡方法和带色彩恢复的多尺度视网膜(MSRCR)增强方法。白平衡方法又包括最大RGB、灰度世界以及灰度阴影。图2展示了各颜色校正算法的试验结果,可以看出最大RGB算法处理后的图像色彩亮度低;灰度世界处理后的图像仍存在严重的偏色问题;灰度阴影虽去除了绿色基调,但颜色饱和度不足;MSRCR算法处理后的图像颜色过度亮艳,色彩饱和度偏高;而色彩平衡算法较好地消除了颜色失真,适当地恢复了图像的颜色饱和度,较自然地还原了色彩,更贴近人眼的视觉感受。

图2 颜色校正对比图

2.2 CLAHE算法

限制对比度自适应直方图均衡化(CLAHE)算法经过约束部分直方图高度,以缩小噪声,达到减弱局部对比度极度增强的目的。色彩校正图像被CLAHE算法划分为毫不重复的等距区域,再分别对各个等距区域进行灰度映射,即

(4)

式中:n=0,1,…,N-1;M为各个等距区域像素;N为灰度级数量;h(k)为各个区域第k个灰度级像素量。把邻域的4个子区域映射函数组合构成一张图像的灰度映射P(n)。因为在图像处理的过程中会引进噪声,所以P(n)的斜率受到一定程度约束。在重新划分灰度值的过程中,使用P(n)能够扩大灰度值动态范围,显著提高对比度。

直方图均衡化算法(HE)和自适应直方图均衡化算法(AHE)是常用的对比度增强方法,图3展示了各对比度增强算法结果,可以看出HE算法处理后的图像局部细节出现了较黑现象;AHE算法处理后的图像部分区域过白,产生了对比度过度增强的问题;而CLAHE算法相比其他两种算法优化了图像细节信息,但图像中的部分区域也存在过度增强现象,通过和其他两张输入图像进行融合可以得到适当改善。

图3 对比度增强图

2.3 改进的同态滤波

为了均衡图像亮度,采用改进的同态滤波算法对颜色校正后的图像进行增强处理。采用传统同态滤波器获得的图像整体亮度失衡,没有有效改善暗区域亮度,对高光或高亮图像的处理效果不佳。只使用高通或低通滤波器中的任何一个都不能使图像得到较好改变,这是由于低频部分主要用来表示图像关键内容,高频部分主要用来表示图像细节和边缘信息,因此本文对同态滤波器进行改进,把图像的高、低频分别处理,以便减少图像细节损失,最后把得到的结果进行整合。

传统同态滤波传递函数为

(5)

改进后的同态滤波表达式为:

(6)

(7)

式(5)～(7)中:rH为高频增加倍数,rL为低频衰减倍数,c为锐化系数,rL

本文参数c=3,rL=0.7,rH=5, 式(6)为高频分量的传递函数, 由于图像中的大部分边缘(轮廓)信息和细节信息都存在于高频部分, 所以需要加强图像中的高频信号, 选择高频成分大于1的传递函数, 这样就可以增强图像的对比度; 式(7)为低频分量的传递函数, 由于低频分量是对整幅图像强度的综合度量, 描述了一个较大范围内图像整体的亮度变化, 所以需要对图像中的低频信号进行压制, 选择低频成分小于1的传递函数, 这样图像的整体变化就较为均匀, 从而可以压缩图像的动态范围。 故使用式(6)和式(7)既能增强图像的对比度又能压缩图像的亮度范围, 以达到均衡图像亮度、增强图像细节信息的目的。

首先对滤波后的两张图像分别使用傅里叶变换进行处理,再进行逆变换,其次对其取指数,然后线性叠加高、低频分量,最后再进行归一化处理,以获得增强图像。对色彩恢复图像使用传统同态滤波进行处理,获得的图像亮度不匀称;而改进后的同态滤波算法获得图像不但极大地增强了亮度且优化了细节。如图4所示为传统同态滤波算法、改进后同态滤波算法的对比图和RGB通道直方图。

图4 算法对比图和RGB通道直方图

改进的同态滤波算法的RGB通道直方图与传统的同态滤波算法RGB通道直方图相比而言,不但RGB通道强度分散较均匀,而且整个灰度级也得到了有效增强,改进后的同态滤波算法获取的图像噪声少且亮度均匀。

2.4 多尺度融合

2.4.1 融合权重

为了得到具有显著优势的最佳图像,使用4种权重,以确定在融合过程中输入图像所占的比重,其分别是拉普拉斯对比度权重(Wlap,k)、局部对比度权重(Wcont,k)、显著性权重(Wsal,k)和饱和度权重(Wsat,b)[14]。

1) 拉普拉斯对比度权重

拉普拉斯算子能够有效地处理图像边沿信息,把拉普拉斯滤波器运用在每个输入图像的亮通道上,并计算其绝对值,以得到全局对比度[15]。

2) 局部对比度权重

局部对比度权重是指输入图像中每个像素亮度与其相邻像素亮度平均值之间的偏差关系,使局部对比度在融合的过程中得以增强。其计算公式为

Wcont,k=|Lk-Lωhc,k|

(8)

3) 显著性权重

显著性权重是指水体环境中不突出的物体,主要是增强亮暗区域对比度,增强图像整体对比度。其计算公式为

Wsal,k=‖Iμ,k-Iωhc‖

(9)

4) 饱和度权重

饱和度权重用于调整图像中的饱和区域,以获得饱和度均匀的融合图像。其计算公式为

(10)

式中Lb表示输入图像灰度图。

5) 归一化权重

对上述权重进行归一化处理,其计算公式为:

Wk=Wlap,k+Wcont,k+Wsal,k+Wsat,b

(11)

(12)

2.4.2 图像融合

由于单尺度融合易产生光晕现象,所以本文采用多尺度融合算法。整个经过如下:第一步把3张输入图分解成拉普拉斯金字塔;第二步把3张归一化权重图分解成高斯金字塔;第三步分别对第一、二步结果图在各l层进行融合,得到多尺度融合图像Fl(x);第四步对Fl(x)进行向上采样,获得输出图像。多尺度融合计算公式为

(13)

式中:l为金字塔层数;k为输入图像数目;G为高斯金字塔分解;L为拉普拉斯金字塔分解。

3 本文算法流程

本文算法针对复杂多变的水下光学成像特性,基于色彩平衡理论先去除色偏,再使用CLAHE提高对比度,同时改进传统同态滤波器,使用改进后的算法削弱了噪声,获得光照强度匀称的图像,最后对这3张具有显著优势的图像使用融合算法,以求得最终的增强图像。本文算法整体流程图如图5所示。

图5 算法流程图

4 结果分析

本文实验采用的数据集来源于大连理工大学-獐子岛联合实验室和其他论文中常用的图像数据。为了检验该方法的可行性,选取5组光在水体中衰减程度不同的图像进行处理,本文实验结果分别与文献[4]、文献[7]、文献[8]、文献[9]、文献[10]和文献[11]进行对比。

4.1 主观评价

图6～图10展示了本实验和其他6篇参考文献算法得出的结果。由处理结果可知,采用文献[4]算法处理得到的图6b),图7b),图8b),图9b),图10b)可以看出颜色失真严重,表明大气暗原色去雾化算法在水下图像不适合;采用文献[7]算法处理得到图10c)可以看出色彩在一定程度上得到了还原,图6c)、图7c)及图9c)可以看出物体轮廓更清晰,但偏色现象加剧了;采用文献[8]算法处理得到的图6d)～图10d)可以看出对比度增强了,但图像颜色偏黄,颜色恢复效果不理想;采用文献[9]算法处理得到的图6e)～图10e)可以看出虽然图像颜色改善了,但细节不清晰;采用文献[10]算法处理得到的图6f)～图8f)可以看出色彩鲜艳,颜色还原度高,但图像出现了过度曝光现象,图9f)和图10f)的红色通道出现了过补偿现象,图像中的某些区域偏红;采用文献[11]算法处理得到的图7g)可以看出对比度在一定程度下提高了,但图像仍存在颜色失真的现象;相比而言,本文算法处理得到的图6h)～图10h)可以看出:本文算法在处理具有绿色(深绿色和浅绿色)和蓝色背景的水下图像时,能获得色彩较自然、对比度强和清晰度高的图像,不但可以削减噪音,解决偏色问题,而且可以改善过度曝光问题。

图6 第1组光在水体中衰减程度不同的图像

图7 第2组光在水体中衰减程度不同的图像

图8 第3组光在水体中衰减程度不同的图像

图9 第4组光在水体中衰减程度不同的图像

图10 第5组光在水体中衰减程度不同的图像

4.2 客观评价

使用3种性能指标来评估图像,即均方误差(MSE)、峰值信噪比(PSNR)和水下图像质量(UIQM)。通过本文算法和其他参考文献算法处理后的图像均方误差越大,表明在实验过程中引入的噪声越多;经过本文算法和其他参考文献算法处理后的图像峰值信噪比越小,表明在实验过程中图像的颜色失真越严重;UIQM是综合性评价指标,包括对比度、色度和饱和度[16]。经过本文算法和其他参考文献算法处理后的UIQM值越小,表明图像质量越不好。采用该指标对5组不同的图像进行评估,表1展示了本文及其他6篇参考文献算法的实验结果。

表1 水下图像质量评价

为了快速且准确地得出实验结论,把表1表示成如图11～图13所示的对比直方图。

图11 均方误差对比直方图

图12 峰值信噪比对比直方图

图13 水下图像质量对比直方图

由图11～图13可直观看出:1) 从均方误差对比直方图可看出,经本文算法处理后的图像MSE值相对较小,说明图像在处理的过程中带进了极少噪声,图像质量更优;2) 从峰值信噪比对比图可看出,经本文算法处理后的图像PSNR值相对较大,说明图像具有良好的保真度;3) 从水下图像质量对比直方图可看出,经本文算法处理后的图像UIQM值最高,说明图像的总体质量效果最好,具有最自然的色彩,同时也有效增强了图像对比度及清晰度。

从图11和图12可看出,文献[9]的MSE值最小、PSNR值最大,但数值越高并不意味图像具有最佳的视觉效果。从图6～图10可看出,颜色过于鲜艳,图像出现了颜色过饱和现象。

5 结论

由于水下拍摄相比大气拍摄环境较恶劣,引起采集的水下图像不但存在蓝绿色偏和对比度低的特点,且存在模糊不清和亮度不均等问题。因此本文提出了一种改进的同态滤波与多尺度融合的水下增强方法。该算法不涉及水介质参量,直接从退化图像着手,先基于色彩平衡校正颜色,从整体和局部恢复色彩;然后使用CLAHE提高对比度,改善图像细节;同时采用改进的同态滤波算法均衡图像亮度,增强光强较弱的暗区域亮度;最后使用多尺度融合权重对图像进行融合,获得主客观性能最佳的高质量水下图像。虽然本文取得了较好效果,但对于深蓝色的水下图像处理效果一般,这在未来研究中有待进一步优化。