水下图像的颜色校正及对比度增强算法研究∗

朱恒军 王天落 马利浩

（齐齐哈尔大学通信与电子工程学院 齐齐哈尔 161006）

1 引言

神秘的海洋世界蕴藏着丰富的资源，令人心向往之。但水会先吸收长波光，导致水下以红、绿和蓝光为主；水的散射特性及光源不足又降低可见性。这让采集的水下图像呈现对比度差、色偏严重和模糊问题。因此，校正色偏和提高图像对比度是水下图像的研究热点，也为后续水下科学研究提供真实水下信息。随着研究深入，单幅水下图像去雾方法被广泛应用，有以下几种方法。

图像恢复方法，通过构建退化模型来进行图像恢复。水下图像和去雾图像类似，He等人［1］提出的暗通道先验去雾算法（DCP）被应用到水下图像的恢复中。Galdran 等［2］提出使用红色通道方法（ARC）来恢复图像颜色和提高对比度，并降低人造光源影响；Peng等［3］提出基于图像模糊和光吸收的深度估计方法（IBLA），解决基于暗通道或最大强度先验方法对水下场景深度估计不准确问题；Marques 等［4］提出的L2UWE 算法，从局部对比度信息中推导出一种高效的大气照明模型来恢复低光照水下图像。但这类方法严重依赖模型，在极端水体中恢复效果差。

深度学习方法，通过大量数据集训练，深度学习方法在简单图像处理中效果喜人。李微等［5］改进的U-Net 网络可将图像的目标部分和背景部分进行对比度增强，能够有效提升水下图像清晰度；Liu 等［6］提出一种基于条件生成对抗网络（GAN）的深度多尺度特征网络来校正水下图像颜色。然而这类方法数据集大，训练时间长。

图像增强方法，通过简单的像素调整，便可得到清晰图像。Hummel［7］提出的HE 算法，通过全局拉伸对失真图像进行全局增强，但造成局部细节不清晰；Zuiderveld［8］在HE 算法基础上提出的CLAHE算法，将图片划分多区域来增强局部对比度，但存在伪影。

由于各种算法都存在一定局限性，融合算法便受到重视，它结合不同算法的优势提高图像质量。Rajni 等［9］将直方图均衡图像和对比度拉伸图像进行融合得到良好的效果。在本文中，为解决色偏问题，提出一种统计学方法恢复颜色；为增强图像细节，使用CCI［10］来改进ACE［11］算法；为调整图像的亮度，采用CLAHE算法对图像进行处理；最后使用多尺度融合的方法解决输出图像的伪影问题。结果表明，本文提出的方法，不需要先验信息和构建物理模型，便能够大幅度提升水下图像的质量。

2 算法原理

2.1 颜色校正

有研究者考虑到水下图像易出现蓝绿色畸变，提出白平衡的方法进行颜色补偿。陈浩等［12］提出对图像的每一个通道都进行补偿。但这种方法只是简单的对颜色通道进行输入补偿，其结果会受到全局对比度低和蓝色通道衰减的影响。考虑到浑浊泥沙水体中存在着同沙尘暴天气类似的大量悬浮颗粒，在Fu 等［13］使用的颜色矫正方法基础上，本文提出使用统计学方差的办法来矫正水下图像颜色。

将水下图像定义为I，并计算颜色通道中的最大值和最小值，最终校正后图像为。

其中c∊{R，G，B}，是颜色通道均值，是颜色通道的方差。β是饱和度参数，经过实验取值在（0～0.15）之间，如果取值太小，虽色彩上会有较好的外观，但会过度曝光；取值太大，图像会变模糊。几种不同取值的实验结果如图1 所示，在本文中对β取值为0.085。

图1 实验结果

2.2 改善曝光图像

在进行颜色矫正时，图像进行了全局处理，使得校正后图像出现局部的曝光现象，这会造成图像的亮度失衡和对图像细节丢失的问题。为改善此类问题，本文中使用CLAHE 算法来对颜色矫正后图像进行改善，抑制图像噪声干扰，平衡亮度。该算法通过局部区域的对比度限幅来调整图像中过于明亮或者过于黑暗的区域和提高图像的局部对比度。

2.3 对比度代码图像

在图像处理过程中通常使用单一大小的邻域。较小的邻域虽然突出更多图像细节，但会使亮度过饱和（非自然色）；较大的邻域能够很好地估计和消除雾霾，但是在强度不连续的部分会出现光晕问题。因此，为确定颜色矫正后图像ICR每个像素的最佳邻域尺寸，因此引入对比度代码图像CCI，计算过程为

其中σ代表邻域Ωa内部强度间的标准差；Ωa(x)∊ICR代表以像素x为中心的正方形邻域，其尺寸大小表示为 (2a+1) ×(2a+1)，其中的a={1，2，...，7}。

2.4 改进的局部自适应对比度增强算法

获取信息时，人眼更关注高频信号。因此，虞等［11］通过提高高频信息来获得更多图像细节，但该算法的邻域大小影响着处理结果的好坏。为此，本文提出使用CCI来改进ACE算法。

ACE 算法可分为低频的反锐化掩模部分和高频部分。实际应用中，通常取局部的像素平均值表示低频部分。定义x(i，j)为图像某点灰度值，局部区域定义为：以(i，j)为中心，则(2n+1) ×(2n+1)为局部区域，n为整数，通常为定值。本文中对ACE 算法的改进是局部区域的大小通过CCI 来确定，即n=CCI(x)。图像的低频部分为式（5），局部方差为式（6）：

其中σx(i，j)代表局部标准差；f(i，j)表示为x(i，j)增强后的像素值：

其中的函数G(i，j)表示高频放大系数（CG）。为保证高频成分[x(i，j)-mx(i，j)]得到增强，CG 应大于1。通常CG 为常量，但此时，图像中的高频部分放大程度一样。因此在本文中采用自适应方法：

其中D为常数，表示图像的全局平均值；而α作用是控制高频部分的增强程度，文中设置为1.5。

通过CCI 对ACE 算法改进的实验结果如图2所示。普通的ACE 算法对水下图像进行处理时，会提高图像的目标区域和背景区域的对比度，使得图像显现出来更多的目标轮廓，但是该算法使用单一大小邻域处理，也使得图像的轮廓出现光晕，破坏了图像本身的细节信息；经过改进后的ACE 算法，提高了图像的细节对比度，恢复更多有用信息的同时也解决了图像目标出现的光晕问题。

图2 通过CCI对ACE算法改进的实验结果

2.5 多尺度融合

进行多尺度融合时需对三个权重图进行计算：显著性权重图、亮度权重图、局部对比度权重图。其能够保证输入图像的显著性和对比度高的区域，或者有边缘和纹理变化的区域，在融合输出过程中得到强化。

显著权重图：作用是突出显著区域，可由输入图像的高斯平滑图像减去输入图像的平均强度值来得到：

其中x表示输入图像Pk的一个空间坐标，k={1，}2。Gs是对每个输入的图像进行高斯平滑操作时用的5×5 高斯核：

亮度权重图：该权重图为良好的可视性像素分配高值，可通过输入图像的RGB 颜色通道和亮度间的偏差来获得，可由式（10）表示。其中Rk，Gk，Bk代表每个输入图像的三通道。而Tk为输入图像中每一像素x处的三通道平均值。

局部对比权重图：作用是突出输入图像局部强度变化大的地方。具体方法可通过使用为的拉普拉斯核对Tk计算获得。

将获得的三个权重图进行合并得到；通过归一化得到归一化权重图----。为保证归一化过程中分母不为零［14］，引入δ，设其值为0.001。

最终用多尺度融合的办法解决融合过程中的伪影问题，计算过程为

其中的O为融合后图像；l为高斯金字塔和拉普拉斯金字塔的层数，本文中设置为5层。

3 仿真结果与讨论

在本文中，实验处理器为Intel（R）Core（TM）i7-7500U CPU @ 2.70GHz 2.90GHz；软件环境是MATLAB R2018b、PyCharm2020.1 和Python3.7；实验的数据集是Li 等［15］提出的UIEB 数据集中的890幅可参考图像；对比算法为ARC 算法、IBLA 算法、L2UWE算法和HE算法。

3.1 图像定性评估

在颜色矫正方面，如图3 所示的（a）、（b）两行图像。考虑到水下图像常出现蓝绿色畸变，选择两张以蓝色和绿色的为主的图像进行实验。可以明显看出IBLA 和L2UWE 矫正蓝绿色图像的效果最差；ARC 次之；HE 虽突出图像各区间的色彩对比，但改变原来图像的色彩，造成图像失真；本文算法效果更接近于文献［15］中的参考图像，色彩校正效果最好。如图3 所示的（c）、（d）两行图像；对于泥沙较多的水下图像，ARC的效果为全局的高亮不清晰，HE 也出现局部的高亮，使局部模糊；L2UWE 会对水体中的悬浮颗粒过度增强，严重影响图像外观；IBLA 虽能够抑制悬浮物的影响，但整体的区分度较低，不易获得有效信息；本文算法的效果图同参考图像相近，能够恢复出来清晰的水下图像，可以达到去除雾霾模糊的效果。

图3 不同方法的颜色校正和雾霾去除效果对比图

如图4 所示的（a）、（b）两行图像，L2UWE 对水下微光图像的增强效果更符合人眼对图像增强的评价体系；ARC、IBLA 和HE 都存在对原始图像的明亮区域过度增强和较暗区域增强较弱的问题；本文算法，对明亮区域增强较弱，不会出现过度曝光，对暗区域进行亮度均衡，使图像整体亮度一致。如图4 所示的（c）、（d）两行图像，对细节增强效果进行对比。L2UWE 能够有效地将图片中的细节纹路凸显出来，但图像边缘会出现光晕；本文算法不仅将纹路细节刻画清晰，且图像边缘没有光晕，较之参考图像也能显示更多细节；反观HE和IBLA则会丢失部分细节。ARC 会使得图像的内容和背景不易区分，细节凸显度低。

图4 不同方法的亮度提升和细节增强效果对比图

3.2 图像定量评估

在定量评估时，一类是需要参考图像的评价指标：峰值信噪比（PSNR）、结构相似度（SSIM）、基于patch 的对比度质量（PCQI）指标［16］；另一类是不需要参考图像的评价指标：水下图像质量测度（UIQM）指标［17］和水下彩色图像质量指标（UCIQE）［18］。表格中加粗的数据是五种算法中的最好结果。

PSNR指标是基于像素误差求取的，其值越大，图像失真越小。SSIM 指标通过对比度、曝光度和结构信息三方面计算获得的，其值越大，图像的相似性越高。如表1所列，在PSNR指标和SSIM指标评比中，本文算法的结果都获得了很高的的数值，表明本文算法处理后的图像同参考图像的结构相似。

表1 利用PSNR、SSIM指标对不同水下图像增强方法进行定量评价

PCQI 指标采用局部的方法来对数据进行统计。PCQI 是由两图象相同局部间的平均强度、结构改变和对比度变化三部分组成，是评价图像对比度变化的优秀指标。其结果越大，图像的对比度越为明显。如表2所列，本文算法能获得更高的PCQI值，更能提高图像对比度。

表2 利用PCQI对水下图像增强方法进行定量评价

UIQM 指标是由图像色彩度（UICM）、图像清晰度（UISM）和图像对比度（UIConM）组成。UIQM 的值越大，表明图像的视觉效果越好。而UCIQE 指标是由水下图像的色度、对比度和饱和度进行线性组合得到，其值越大，则图像恢复效果越好。实验结果如表3所列，在进行UIQM指标实验时，本文算法和L2UWE 算法都采用CCI 引导图像，都对局部细节进行增强，使图像对比度更明显图像更加清晰，所以获得最优结果。IBLA 算法的UCIQE 值是最好的，其原因是该算法采用基于图像模糊和光吸收的水下场景深度估计方法，对水下图像去雾效果好些，但整体视觉效果较差；本文使用的是一种简便的统计学方法，胜在计算简单，并且本文算法获得的UICQE指标和其余几种算法是较为接近的。

表3 利用UIQM、UCIQE指标对不同水下图像增强方法进行定量评价

在进行定量评估时，仅展现图3 和图4 中8 张图片的指标数据，考虑到实验的个异性，又展示890 张图片的指标均值，结果如表4 所列。本文算法的UIQM 指标排列第一，表明图像在细节提升、色彩度恢复方面最好；PSNR、SSIM、PCQI 指标排列第二，极接近最好算法所得结果，说明同真实图像间有更高的相似度且引入更少噪声；但UCIQE 平均值却差强人意，虽然IBLA 算法有较高的UCIQE值，但是由图3和图4不难看出IBLA处理的图片有较多的红色偏移和伪影存在；也可能较高的UCIQE不符合人类的视觉系统。

表4 五种定量评价方法的平均值

4 结语

从浑浊泥沙水体中采集到的图像特点出发，提出使用方差的统计学办法来恢复图像色彩；针对图像对比度低及通常算法的领域大小固定问题，本文提出由对比度代码图像（CCI）来确定ACE 算法的最佳邻域大小，这种改进方法能显示更多图像细节；对曝光图像进行适当调整；为更好地解决以上问题及输出伪影问题，采用了多尺度融合算法进行处理。通过实验证明，所提出的算法在图像的对比度方面远远优秀于现有算法，能够显示更多细节；对浑浊水体图像和严重的色偏图像有很好的色彩恢复效果。