非均匀光照条件下的水下图像增强算法

(山东科技大学 电气与自动化工程学院，山东 青岛 266590)

海洋蕴藏着巨大的资源，水下图像作为海洋信息的重要载体，受到了越来越多的关注和重视，同时水下图像增强技术也得到了广泛应用，如水下目标检测与跟踪[1]、水下基础设施检查[2]和海洋生物研究[3]等。与一般图像不同，由于光的吸收和散射效应，导致水下图像可见性差。其中，光的吸收减少了光照强度，且由于不同波长的光谱在水中的传播距离不同，造成水下图像的颜色失真；光的散射引起了光传播方向的变化，使图像产生雾状模糊。这些降质特性导致水下图像普遍存在模糊、偏色、对比度低等问题，极大限制了水下图像在海洋资源利用中的实际应用。因此，提升水下图像的质量具有重要意义。

针对光的吸收和散射效应，Lu等[4]结合引导三角双边滤波器提出一种新的水下模型对光进行补偿，实现对水下图像的增强和颜色校正。Prasath等[5]通过对比度和色彩校正来克服水下光衰减以及光散射的问题，实现对水下图像的增强。Guo等[6]针对水下图像的模糊和偏色问题，将暗通道先验与定量直方图拉伸技术相结合，提出一种改进的基于暗通道先验的去雾增强算法。Abunaser等[7]利用粒子群优化算法来减少光吸收和光散射对水下图像的影响。Wang等[8]提出一种基于集成视网膜机制启发模型的方法来实现对水下图像的颜色校正和对比度改善。

水下图像增强可根据人类的视觉感官系统进行相应的评估，Retinex理论建立在色感恒常性和人对光线感知能力的基础上，许多学者通过Retinex理论增强水下图像。Petro等[9]提出一种基于Retinex带色彩恢复的多尺度视网膜增强算法，对水下浅层图像具有较好的色彩还原效果。Alex等[10]将图像转换到YCbCr色彩空间，并在Retinex框架下使用高斯环绕函数进行卷积，提出一种基于单尺度Retinex的水下图像增强算法。Tang等[11]利用多尺度Retinex对水下图像进行预校正，并采用逆灰度世界算法选择性的保留图像颜色，以实现颜色校正和改善水下图像的对比度。

上述研究成果主要针对自然光照射下水下浅层的图像增强，对于人工光源照明为主的夜间水域或深海区域中的图像增强效果不佳，相比于浅层图像，深水图像的可见度更低[12]，光的吸收和散射效应更加突出，获取的图像存在严重的光照不均，造成图像质量下降，如图1中(a)、(b)、(c)所示。

图1 非均匀光照条件下的水下图像

受人工光源影响，这类图像近光点部分亮度偏强，远光点则偏暗，同时存在着水对光的吸收和散射情况，若对整幅图像增强处理，现有的算法效果不理想。为此，针对上述非均匀光照条件下的水下图像，提出基于图的视觉显著性(graph-based visual saliency, GBVS)[13]和Retinex算法相结合的图像增强方法，流程如图2所示。首先，对水下图像进行降噪预处理，利用GBVS算法将原图像分割为前景区域与背景区域。然后，基于Retinex算法分别对两个区域增强处理，背景区域再利用伽马变换进行二次增强。最后，采用泊松融合算法合成两个区域的增强图像。

图2 非均匀光照条件下的水下图像增强流程图

1 视觉显著性分割

1.1 GBVS

GBVS是Harel等[13]基于Itti模型并结合图论提出的一种自下而上视觉显著性检测方法。在非均匀光照条件下，水下图像的前景区域相对于背景区域具有较强的显著性，可采用GBVS算法分割两区域。GBVS算法基本流程为：①对原图像构建{1/2,1/4}尺度图像，并分别提取颜色特征、亮度(灰度)特征和方向特征(Gabor滤波器在{0°,45°,90°,135°}四个方向)；②利用马尔可夫链的特性分别计算每层特征图的显著值并生成激活图；③融合三种特征的激活图生成最终的显著性图。流程如图3所示。

图3 GBVS算法流程图

1.2 区域分割

首先，分别对颜色、亮度、方向特征激活图进行尺度归一化，再将每种特征的激活图相加，得到对应的显著图，如图4所示，3种显著图从不同角度描述了图像的显著性；其次，将3幅显著图按照1∶1∶1的比例进行线性叠加，生成最终的显著图S(i,j)和着色显著图(显著性越强的区域越红)；然后，将S(i,j)按像素值由小到大形成列向量，并通过线性插值函数计算分割阈值T；最后，利用分割阈值T将原水下图像分割为前景区域与背景区域。显著图及分割结果如图5所示。从分割结果可以看出，根据视觉显著性特征，可将非均匀光照下的水下图像分割成不同区域，进而分别实现对两区域增强处理。

图4 原图及3中特征的显著图

图5 显著图及分割结果

2 前景和背景区域增强算法

在视觉显著性分割基础上，根据非均匀光照下水下图像前景和背景区域的不同特点可采用相应的增强算法。

2.1 前景区域增强

前景区域具有一定的视觉显著性特征，但受到了水下非均匀光照影响，为此基于Retinex理论[14]对前景区域进行增强，其基本原理如下：

将前景区域图像Ifg(i,j)定义为：

Ifg(i,j)=L(i,j)×R(i,j)，

(1)

其中：R(i,j)为反射光图像，即图像内在属性，应保留；L(i,j)为入射光图像，应去除。对式(1)等号两边分别取对数并移项得：

logR(i,j)=logIfg(i,j)-logL(i,j)。

(2)

其中，R(i,j)无法直接从图像Ifg(i,j)得到，可通过估计L(i,j)后利用式(2)间接获取。采用文献[15]中的方法对入射光图像L(i,j)进行估计：

(3)

2.2 背景区域增强

水下背景区域图像除受到非均匀光照影响外，整体偏暗且光线成非线性发散。在前景区域增强算法的基础上，利用伽马非线性变换对背景区域图像Ibg(i,j)进行二次增强，则式(2)可改写为：

logRbg(i,j)=γ(logIbg(i,j)-logLbg(i,j))+logc。

(4)

其中，Lbg(i,j)表示背景区域的入射光图像，Rbg(i,j)表示背景区域的反射光图像，c为常数，γ∈(0,1)。

利用上述前景和背景区域增强算法分别对图5(c)、(d)两个区域进行增强，增强后图像如图6所示。从增强效果可以看出，前景和背景区域都实现了增强，特别是背景区域的效果更为明显。由于将整幅图像分割成了两部分，增强时根据不同特点分别处理，互不影响，特别整体偏暗的背景区域得到了较大的亮度范围扩展。

图6 前景区域与背景区域增强结果

3 泊松融合

图像的前景和背景区域分别增强后，区域间邻接部分存在明显差异，采用泊松融合算法实现区域间的融合。泊松图像编辑[16]是通过泊松方程实现图像间的融合，合成后的图像内容平滑、边界一致。首先求取图像梯度向量场，然后对融合区域进行引导性插值处理，进而将区域间融合问题转变成求函数的极值问题。其基本原理如下：

设二维图像I上有一闭合子区域Ω，Ω的边界为∂Ω，定义Ω上的梯度向量场为V，f为I上的标量函数。已知f在∂Ω上的取值为f*，则f在Ω内取V引导下的插值函数，即求解极值问题：

(5)

(6)

对式(5)进行有限差分离散化得：

(7)

式中,〈p,q〉是一对4连通相邻像素点，fp和fq分别为f在像素点p和q上的取值，Vpq为V中由p到q的向量。则式(7)的解满足：

(8)

其中，|Np|表示p的四邻域。

将待融合区域划分成若干子区域，对于每个子区域由式(8)进行求解，进而得到融合区域的解，最后实现区域间的图像融合。

4 实验与分析

实验数据集来源于网络搜集的自然水域下非均匀光照图像。数据集包含40幅图像，主要按场景(12幅)、光衰减性(18幅)和浑浊程度(10幅)分为三类，部分数据集如表1所示。实验所用计算机的配置为CPU Intel(R)Core(TM)i5-6300HQ 2.30 GHz，RAM 8 GB。软件平台为MATLAB 2016b。针对上述数据集，通过实验验证提出增强方法的有效性，并与直方图均衡化(histogram equalization, HE)算法和单尺度Retinex(single scale Retinex, SSR)算法[17]进行了比较。

表1 实验数据集

4.1 增强效果主观评价

选取数据集中3幅不同类型的图像进行增强算法的主观评价，图像分别为Light1、Background1、Turbid1，实验结果如图7所示，其中放大了增强后图像的局部效果。

图7 图像增强效果对比

从图7可以看出，3种算法对水下图像都有一定的增强效果，其中小方框为局部放大区域。HE算法增强处理后，图像亮度有较大的提升，但没有解决偏色问题，同时过度增强了前景区域(如Background1中的鱼)，且背景区域出现了明显的噪音(如Light1中的鱼尾和Turbid1中的鱼鳍)；SSR算法增强处理后，虽然提升了图像的亮度，对颜色具有一定的校正作用，但细节纹理不清晰(如Turbid1中的鱼鳍)，且处理后的图像具有泛白现象，较为模糊；本研究提出算法增强处理后，图像中前景、背景区域细节清晰可见，且区域间自然融合，有效解决了色偏问题，改善了图像的整体视觉效果。

4.2 增强效果客观评价

为客观评价不同增强算法性能，本节对比常用的图像平均灰度值、标准差、信息熵三项统计指标。平均灰度值指标与图像的亮度动态变化相关；标准差统计了像素值间的变化情况，其值越大对比度越大；信息熵是图像中含有信息量的反映，表征图像灰度分布的聚集特性，反映了图像的清晰度。

利用上述的性能指标分别对图7中的三幅图像增强前后效果评估，结果如表2所示。

表2 图像增强效果的客观评价

从表2可以看出，由于水下图像较暗，3种情况下增强后算法都提高了图像的平均灰度值指标，使得整幅图像亮度均值在一个合适范围；在图像的标准差方面，HE算法和SSR算法对于不同的图像增强后标准差变化不稳定，存在降低图像对比度现象(如Turbid1)，本文提出算法表现了更好的性能；增强后，HE算法降低了三幅图像的信息熵，SSR算法略有提高，本算法的效果更佳，明显地增强了图像清晰度。

表3 图像增强效果的客观评价

Tab.3 Objective evaluation of image enhancement effects %

指标平均提高百分比HE算法SSR算法本文算法平均灰度值251.18267.73190.21标准差23.4223.7525.12信息熵-8.624.9617.71

为了评价算法的整体性能，分别对40幅非均匀光照水下图像进行实验，并计算增强处理后性能指标参数的平均提高百分比，结果如表3所示。

从表3可以看出，由于数据集中的非均匀光照水下图像亮度一般整体偏暗，HE算法主要实现了一幅图像中所有像素的亮度范围均衡化，提高了图像的对比度，由于存在灰度级合并现象，信息熵有所损失；SSR算法提高了水下数据集图像的整体亮度和对比度，但图像信息熵只是略有提升；本算法相比于其他两种增强算法具有更好的性能，在增加图像平均灰度值和标准差的同时，较大地提高了图像的信息熵。

5 结论

针对非均匀光照条件下的水下图像特点，利用GBVS视觉显著性算法将水下图像分割为前景区域与背景区域，并基于Retinex算法分别对两部分进行增强，采用伽马变换对背景区域进行二次增强，最后通过泊松融合算法将两部分合成水下增强图像。利用提出算法对多幅非均匀光照条件下的水下图像进行增强，图像质量得到显著提高，并与其他算法进行了比较，表现出更好的性能。由于波长较长的红光在水下比蓝色和绿色的光更容易被吸收，考虑到红色分量衰减造成的颜色失真，在今后的工作中尝试进行颜色补偿。