基于图像融合的自适应水下图像增强

颜 阳，王 颖，丁雪妍，王 珏，付先平

(大连海事大学 信息科学技术学院，辽宁 大连 116026)

0 引 言

受到水中介质的散射、吸收等影响，光线在水中传播时会产生衰减现象，这使得水下图像存在着细节模糊、颜色失真、对比度低下等问题。传统的水下图像增强方法如Chang等[1]提出的限制对比度自适应直方图均衡(contrast limited adaptive histogram equalization，CLAHE)算法实现简单，在实际工作中解决了水下图像对比度低下的问题，但仍存在颜色失真、放大噪声等缺陷。为了更好地消除色偏对水下图像的影响，诸如白平衡等[2,3]的色彩校正方法被应用于水下图像增强，但该方法复原结果的细节和对比度方面都不够理想。Ghani等[4]在RGB和HSV两个模型中分别拉伸颜色通道和亮度通道。其效果有了明显的改进。Fu等[5]提出了水下图像增强的两步方法：第一步使用色彩校正策略来处理色偏，第二步采用最优对比度改进方法减少伪影，有效处理低对比度。近年来基于有监督深度学习的图像增强方法表现突出。Cai等[6]提出了一种名为 DehazeNet 的端到端的网络进行图像增强，将该方法应用在水下图像增强中时需要大量包括水下原始图像及其对应的ground-truth图像的训练集，使得该方法存在时效性问题。而无论是基于传统还是深度学习方法，在同时兼顾图像增强的健壮性、有效性等方面仍有欠缺。为此本文提出了一种基于图像融合的自适应水下图像增强方法。实验结果表明，该方法能对水下图像进行自适应处理，有效解决色偏、细节模糊、低对比度的问题。

1 基于图像融合的自适应水下图像增强方法

考虑到水下图像的固有特性和成像特点，本文提出一种基于图像融合的自适应水下图像增强方法。具体方法如图1所示。首先，对原始水下图像用颜色校正算法[7]进行颜色均衡化预处理去除色偏，并获得优化后的亮度分量；然后对L进行Gamma校正，提升亮度图像的对比度；接着，对两个亮度分量执行三级小波分解，分别得到两组低频和高频分量，对低频分量进行线性融合，同时对高频分量进行基于L2范数的自适应融合，得到融合后的亮度图像。最后，将其结合颜色通道A和B并转化到RGB空间输出最终结果。

图1 整体方法结构

值得一提的是，本文提出了一个基于融合的水下图像增强方法，实验验证该方法相比于现有的方法可以达到更好的水下图像增强效果。

1.1 基于改进白平衡算法的颜色校正

(1)

其中，C代表RGB这3个通道。如式(1)分别对RGB这3个通道进行拉伸，得到颜色校正后的图像IC C。

1.2 Gamma校正

颜色校正将各通道像素值拉伸至[0，255]范围，虽去除了色偏，图像中仍存在着亮度过大的问题。因此在L通道上应用Gamma校正[8]，通过对输入的亮度图像灰度值进行指数变换s，进而校正亮度偏差。表达式定义为

LG=A*Lγ

(2)

其中，L是IC C的亮度通道。A是常数，这里取A=1。 指数γ是Gamma值，其大小可以影响图像的亮度。当γ<1时，照射强度变强，相反，当γ>1时，光强度变弱。大量实验分析表明，令γ=2时，可以使结果图像达到最合适的亮度。

1.3 多尺度融合策略

(1)小波分解

对上述步骤得到的两个亮度通道L和LG分别采用小波分解得到高频和低频信息作为融合的输入。本文选择Db4小波基[9]对L和LG做三层小波分解，第一层小波分解将图像分解为低频信息和高频信息，第二层小波分解是在第一层的基础上把低频信息部分再分解为低频与高频两部分，依此类推，直至分解到第三层。若分解层次过少，会导致亮度图像的轮廓信息分解不完全，若分解层次过多则会导致低频部分过度丢失，同时还伴随着计算量越来越大的问题。综合考量以上原因，既要保证结果图像的细节增强又要避免算法计算复杂度的问题，本文对两个亮度图采取三层小波分解。

(2)融合规则

图像融合的一般思想是多个特征图通过一定的融合规则，使其重要的特征信息在结果图像中得以保留，起到图像增强的效果。为了达到自适应增强图像的目的，本文提出了一种融合规则，对亮度LL和LLG分别进行三级小波分解，得到的高频带特征图采用基于L2范数[10]的自适应融合，以达到增强细节，提高对比度的作用；同时，为了防止细节过度校正产生过多噪点对低频带进行线性融合。最后将融合结果重构得到最终的融合亮度通道，具体步骤如下：

1)高频带融合规则：L和LG小波分解后的每一层高频带都包含亮度在垂直、水平以及对角线方向的信息，为了保留其中重要的特征信息，对高频带分量采用基于L2范数[10]的自适应融合策略。该融合策略要达到的目的是计算出L和LG每一层各个方向所包含信息的最优融合解，相当于结合了L和LG每一层的重要特征信息。公式描述为

(3)

为了更容易对式(3)进行求解，可以将其看作是一个最小二乘的问题，使用快速傅立叶变换(fast fourier transformation，FFT)得到式(3)的近似解如下

(4)

2)低频带融合规则：对小波分解后的低频分量LL和LLG采用线性融合规则，引入两个权重系数λ1，λ2， 对LL和LLG进行加权操作，得到融合后的低频分量，公式如下

LL′=λ1LL+λ2LLG

(5)

其中，λ1+λ2=1， 且λ1=λ2=0.5时融合效果最佳。对低频分量线性融合可达到防止高频分量融合产生过度校正的目的。

经过上述步骤，得到了亮度L和LG融合后的高频和低频信息，将这两组信息分别重构，便得到校正后的亮度通道L′。 然后结合亮度通道，并转换图像为RGB空间，得到最终的增强图像。亮度通道优化前后的结果对比如图2所示，可以看出，优化后的结果在图像细节与对比度方面都明显加强。

图2 亮度通道优化结果

2 实验与结果分析

2.1 实验数据与分析

为了验证本文方法的有效性，本文以水下图像作为实验对象精心设计了一系列实验，水下图像色偏严重， 对比度低且细节模糊。在运行本文算法的同时，使用文献[1，2，6]几种算法对水下图像进行处理，为了保证实验过程的公正性，所有图像均无损地预处理为600*400像素大小，实验所用处理器：Intel Core i7-7700K@4.2 GHz，内存8.00 GB，在Matlab R2017a环境下进行实验。

2.2 定性分析

图3所示是本文方法和文献[1，2，6]的增强结果的视觉比较。图中可以明显看出，对于不同种类的水下图像，Shades-of-grey对水下图像进行了有效的颜色校正，但处理后的图像仍然很模糊。CLAHE实际上可以很好地增强水下图像的对比度，但在去除色偏和增强细节方面表现不佳。而 DehazeNet 的结果对水下图像只有一点增强。可以看出，与这些方法相比，本文方法处理的图像细节更丰富，色彩失真更小，对比度更好。

图3 不同方法增强结果比较

图4是水下采集到的原始图像与文献[1,2,6]以及本文方法增强后的图像的RGB这3个通道的直方图对比结果。直方图是一种统计报告图，图像各个通道的直方图可以直观显示图像各通道的灰度分布情况，通过直方图分析图像的质量是对图像的一种常用评价方法。图中从上到下3行分别代表RGB这3个通道，可以看出，在水中直接获取到的退化图像的每个通道像素值的大小相差较大，且只分布在集中区域，这表示原始图像存在对比度低和色偏的问题；Shades-of-grey恢复了色彩偏差；CLAHE和DehazeNet只对直方图起到了拉伸的作用；而本文方法对每个通道的灰度值进行了拉伸，且3个通道的像素值大小均衡，与其它3种方法的结果图相比，增强效果明显更好。

图4 RGB通道直方图对比结果

SURF(speeded up robust features)[11]是一种高效而稳健的局部特征点检测和描述算法，本文采用SURF算法对原始图像和几种方法增强后的图像进行特征点提取，并对提取后的图像进行特征点匹配。质量高的图像细节清晰，特征点明显，因此对特征点的检测与匹配结果可以用来评估图像的质量，提取的特征点越多，匹配到的特征点比例越高，验证图像质量越高。如图5所示是各方法结果图像的SURF匹配结果。

图5 各方法SURF匹配结果

图5中可以看出，前面评估中在去除色偏方面表现比较优秀的Shades-of-grey方法检测到的特征点却最少；CLAHE方法由于大大加强了原始图像的对比度，其结果图5(b)检测出的特征点明显增多；DehazeNet的结果图5(c)表明该方法在匹配特征点上没有明显的增强；而本文检测到的特征点图5(d)是几种方法中最多的，且匹配到的特征点成功率也极高。该对比实验结果表明本文算法对水下图像处理效果的有效性，在颜色保真的同时恢复了对比度并突出了图像的细节。

2.3 定量分析

从人眼视觉角度分析得到本文结果在这些方法中都获得了最好的增强效果。在此基础上，使用PCQI(patch-based contrast quality index)[12]和Blur Metric[13]定量评估指标进一步支持上述主观结论，表1为图3中4组图像的评价指标对比结果：其中PCQI是用于评估图像对比度的度量，其值越大，代表图像对比度越高；Blur Metric则是一种估计图像模糊效果的度量，其值越小，表示图像视觉越好。从表1中可以看出，在图像对比度和模糊程度上本文方法所得到的增强后的图像质量在这几种方法中几乎可以达到最好，也就是可以得到最适应于人类视觉效果的图像。

表1 增强结果评估

3 结束语

由于水中环境复杂，水下图像都呈现出较差的视觉效果，本文方法主要从颜色校正与亮度调节两方面入手，自适应提升水下图像的清晰度。与现有的水下图像增强方法相比，本文方法的融合策略可以自适应的对不同类型的水下图像起到恰当的增强效果，最终获得清晰的水下图像。定性与定量分析可以看出本文方法有效提高了水下图像的清晰度，增强了图像细节。尽管本文方法获得了良好的增强效果，但是仍然在以下方面存在不足：本文方法提出的自适应融合策略虽然可以达到去除色偏、增强细节的目的，但是如果采集到的图像过于暗淡，本文方法则不能达到最优效果。