基于多特征融合的单幅水下图像清晰化

杨爱萍，田 鑫，杨炳旺，王 建, 2



基于多特征融合的单幅水下图像清晰化

杨爱萍1，田 鑫1，杨炳旺1，王 建1, 2

(1. 天津大学电气自动化与信息工程学院，天津 300072；2. 国家海洋技术中心，天津 300112)

水体对光有较强的吸收和散射作用，从而造成水下图像颜色失真、对比度下降和细节模糊等问题．针对上述问题，基于图像融合框架提出一种水下图像清晰化方案．首先，结合水下成像模型，提出了基于景深估计的颜色校正方法，其可以有效去除水下图像的蓝(绿)色基调，同时有效解决红通道过补偿问题．然后，对水下图像进行颜色校正和对比度增强得到两幅输入图像；最后，结合亮度、对比度、饱和度、显著性等特征构造权重图将两输入图进行多尺度融合，得到最后的复原图像．实验结果表明，该算法可以有效地去除水下图像颜色失真，同时能够大幅提升图像的对比度和清晰度．

多尺度融合；颜色校正；对比度增强；权重图

近些年，水下图像在海洋能源勘探、海洋环境监测与保护、海洋军事等领域应用广泛[1-2]，但由于水体对光有较强的吸收和散射作用，造成水下图像出现对比度下降、颜色失真和细节模糊等问题[3]，使得水下图像清晰化逐渐成为研究的热点．

现有的水下图像清晰化方法主要分为两类：一类是基于水下成像模型的复原方法；一类是基于图像增强的方法．复原方法是基于水下图像成像模型估计相关参数，反演得到清晰图像．很多学者利用与雾天成像相似性，基于暗通道先验去雾的方法来复原水下图像[4-5]．但该类方法在暗通道计算过程中，基于最小化运算得到的暗通道值很可能是红通道分量，求得的暗通道值偏小，导致估计的透射率偏大，复原图像偏暗．针对该问题，文献[6]提出了基于蓝、绿通道的暗通道方法，但该方法会因缺少红通道信息而导致透射率估计偏小．文献[7]通过红通道反转，提出了一种基于红通道的水下图像复原方法．

基于图像增强的方法包括基于Retinex理论的增强方法、空间滤波方法以及图像融合方法等．文献[8]基于Retinex理论提出一种有效的水下图像增强方法，该方法能大幅度提高图像的对比度，但是易出现颜色失真等问题．文献[9]利用同态滤波增强图像，该方法能处理水下光照不均问题，但该方法导致高频区域过增强，且容易放大噪声．文献[10]提出了一种基于图像融合的水下图像增强方法，该方法可有效增强图像的亮度和细节，但其没有考虑水下图像降质过程，不能实现均匀增强，同时复原后图像局部偏红. 文献[11]提出基于PCA(principal component analysis)的融合方法，但是该方法忽略了光在水下的衰减和散射问题．文献[12]提出了一种基于自适应直方图均衡化的融合方法，但该方法未考虑水下3通道衰减差异性，处理后图像颜色不自然．

针对目前水下图像清晰化存在的问题，本文提出一种基于多特征融合的水下图像清晰化方案．首先，从单幅图像出发，基于水下成像模型估计场景深度，由此提出准确的光源估计方法，并将颜色校正图像和对比度增强图像作为融合输入图；然后，提取两输入图的多种特征构造融合权重图；最后，对两输入图进行多尺度融合得到复原图像．

1 水下图像成像模型

根据Jaffe-McGlamery水下成像模型，水下图像可以表示成3个分量的线性组合，分别是：直接分量、前向散射分量及背景散射分量，如图1所示．

图1 水下图像成像模型

一般情况下，由于物体与相机的距离较小，可以忽略前向散射分量造成的影响．水下成像模型可以简化为

 (1)

 (2)

2 基于多特征融合的水下图像清晰化

针对传统图像融合方法用于水下图像清晰化时所出现的问题，本文基于水下图像成像模型和图像融合方法，提出一种新的水下图像清晰化方案：首先，基于颜色校正和对比度增强设计融合输入图；然后，提取2个输入图的多种特征作为融合权重图；最后，对两输入图进行多尺度融合．基于以上思路，本文所提出的方法主要包括：①输入图设计；②输入图特征提取；③多尺度融合．

2.1 基于颜色校正的输入图设计

水下图像存在色偏，Gray World算法[13]对在大气中拍摄因光源导致颜色失真的图像处理效果良好，但其认为场景对3个颜色通道的平均反射率是相等的．而水下环境获取的图像颜色衰减严重，且3通道衰减存在差异性，该算法处理后的图像出现红通道过补偿现象．

为解决上述问题，本文对Gray World算法进行改进：①为解决3通道衰减存在差异性的问题，在光源颜色估计中加入各通道颜色衰减因子；②针对Gray World算法出现红通道过补偿现象，改进各通道输出增益，使其适用于水下图像．

2.1.1 光源颜色估计

水下图像颜色衰减过程可以表示为

 (3)

由此，可以通过估计光源颜色并去除来实现水下图像颜色校正．首先，求出各通道颜色衰减因子，对因介质导致的颜色衰减进行补偿；然后，将图像中的蓝(绿)色基调看作光源颜色，利用Gray World算法估计光源颜色后并去除．光源颜色估计可表示为

 (4)

2.1.2 基于各通道衰减差异估计景深函数

式(4)中，求取各通道衰减因子的关键在于场景景深以及海水衰减系数估计．文献[14]给出水体对光的选择性吸收和散射与波长的关系，但将得到的透射率作为全局透射率估计，未考虑不同颜色光的衰减差异性，且背景光估计方法易受场景中白色物体的影响，导致复原图像背景过亮，掩盖了图像细节．因此，本文结合水下图像的特点，提出基于各通道衰减差异估计景深函数，分别求出3通道的衰减因子．

对于水下场景而言，由于红光的严重衰减，其背景中的红通道的强度非常低，同时光的散射将导致蓝或绿通道的强度相对较高．考虑到3通道衰减差异性，本文根据红通道暗通道先验与蓝绿通道暗通道先验的最大值求背景光

   (5)

 (6)

 (7)

 (8)

根据文献[15]，可计算出红色光与绿色光相对于蓝色光的衰减比，即

 (9)

由式(9)可求得另外2个通道的衰减因子为

 (10)

2.1.3 基于红通道判定的暗通道修正

He等[16]针对室外无雾图像提出暗通道先验：在大多数非天空区域的图像局部域中，某些像素总会有至少一个彩色通道具有非常低的强度值，甚至趋近于0，即

 (11)

首先，对于红通道的强度设置一个阈值，然后对红通道求均值，若均值大于设定的阈值，则将红通道信息加入暗通道先验，否则就只考虑蓝绿通道．则将暗通道修正为

   (12)

2.1.4 改进各通道输出增益

 (13)

 (14)

 (15)

针对上述问题，本文对图像的输出增益进行改进：令每个通道的增益与其所占图像3通道强度值的比率呈正相关，同时为了充分利用图像中红通道的信息，使得红通道的增益与该通道所占比率呈反相关．

首先，计算出图像3通道强度值为

 (16)

然后，分别计算出R、G、B通道的比率

 (17)

最后，分别求出R、G、B通道的增益

 (18)

由式(18)可以得到R、G、B通道的输出

 (19)

图2 Grey Word算法与第2.1节算法对比

2.2 基于对比度增强的输入图设计

2.3 基于多特征提取的权重图设计

为了进一步改善水下图像复原质量，本文提取两输入图的特征信息，由此定义融合权重图，即亮度图、显著性图、局部对比度图和饱和度图，可根据图像局部特征自适应保留输入图信息，确保融合后的图像具有较高的亮度、显著度、局部对比度以及饱和 度等．

2.3.1 亮度图设计

图像模糊区域饱和度相对较低，清晰度高的区域具有较高的饱和度．亮度图可将高饱和度值分配于高可见度区域，将低饱和度值分配于其他区域，即确保可见度较高的区域在输出图像中所占比例大于较低可见度区域，使得输出图像具有较高的可见度．将输入图从RGB空间转换到HSV空间，计算每个输入图的R、G、B通道与对应的亮度通道的标准差，由此得到的亮度图为

 (20)

2.3.2 显著图设计

 (21)

2.3.3 局部对比度图设计

 (22)

2.3.4 饱和度图设计

针对水下图像颜色失真问题，本文通过处理模糊图像的饱和度增益来减小颜色失真．本文通过饱和度图来体现图像的色彩信息，表示为

 (23)

2.4 多尺度融合算法

 (24)

基于输入图及其相应的标准化权值图，采用多尺度融合方法对水下图像进行增强．输出图像由输入图及其对应的标准化权值图加权求和得到

 (25)

首先，对标准化权值图进行高斯金字塔分解，对输入图进行拉普拉斯金字塔分解，然后对其分层加权融合．由于高斯金字塔和拉普拉斯金字塔具有相同的层数，则输入图与相应权值的融合可在每一层中分别进行，即

 (26)

基于IHS空间融合和基于正交多项式变换融合是图像融合中常用的方法，两类方法融合结果如图5所示．由实验结果可发现，使用IHS空间融合的方法处理后的图像出现过饱和及颜色失真等现象；经正交变换融合后的图像提高了局部对比度，但图像的某些区域仍保持黑暗．相比之下，本文融合方法得到的水下图像，可显著提升图像的对比度，物体颜色更自然.

图4 融合过程

图5 Coral基于IHS方法、正交变换方法及本文方法结果

3 本文算法流程

综上，提出本文基于多特征融合的水下图像清晰化算法如下．

输入：水下图像

步骤7 得到最终的清晰图像．

结束

4 实验与结果分析

本实验使用的Matlab R2016b 实现算法编程，PC处理器为3.4,GHz Intel(R)Core(TM)i7-6700，RAM为16,GB．实验过程中，实验图像均来自于网络或文献．

4.1 主观评价

为了说明本文算法的有效性，首先与文献[8]基于Retinex理论的带色彩恢复的MSR算法进行对比，结果如图6、图7所示．可以发现，MSR算法虽然能很好地恢复图像细节，扩大场景可见范围，但是所恢复的图像泛白，色彩失真严重．相比之下，本文算法得到的水下图像，物体颜色鲜艳，细节清晰可见，视觉效果更自然．

图6 MSR算法与本文算法效果对比(图像1)

图7 MSR算法与本文算法效果对比(图像2)

同时，将所提算法与文献[6]基于蓝绿通道的复原方法、文献[10]基于图像融合的增强方法、文献[14]基于景深估计的图像复原方法和文献[18]基于导向三角双边滤波的方法进行对比，实验结果如图8～13所示．可以看出，文献[6]复原的图像远景处红色分量被过度补偿，且未有效恢复图像细节；文献[10]虽然有效地增强了图像的亮度和细节，但是处理后的图像不能均匀增强，得到的图像颜色显得不自然，且近景处出现红通道过补偿现象；文献[14]依然存在较严重的背景散射影响且图像颜色偏黄，颜色失真较严重；文献[18]能够较好的处理近景，但是不能很好地处理远景；相比之下，本文算法可以有效地去除水下图像的颜色失真，同时提高图像的对比度，恢复出更多的图像细节，具有更好的视觉效果．本文以6组图像为例，经实验发现对大量数据统计有类似结果．

图8 Coral清晰化效果对比

图9 Multi-fish清晰化效果对比

图10 Flower清晰化效果对比

图11 Shrimp清晰化效果对比

图12 Single-fish清晰化效果对比

图13 Carp清晰化效果对比

4.2 客观评价

为了进一步验证算法的性能，计算两种客观评价指标：色偏检测和对比度．

 (28)

表1 各方法相关指标对比

Tab.1 Comparison results of related measuring index of various methods

5 结 语

由于水下特殊的成像环境，导致水下图像颜色失真、对比度下降．针对目前水下图像清晰化存在的缺陷，本文提出一种基于多特征融合的水下图像清晰化方案．首先，结合水下图像成像模型估计场景景深，并利用景深信息改进颜色校正方法；然后，将自适应增强图像和颜色校正图像作为相融合的两幅输入图；分别提取两输入图的多种特征，作为融合权重图，最后对两输入图进行多尺度融合，得到清晰化图像．所提方法可有效去除颜色失真，增强图像对比度，恢复更多图像细节．需要说明的是，由于算法未考虑人工光源影响，部分图像色偏指标稍高，有待进一步改进.

［1］ Lu Huimin，Li Yujie，Zhang Yudong，et al. Underwater optical image processing：A comprehensive review [J].2017，26(11)：1-8.

［2］ Wang Yi，Liu Hui，Chau L P. Single underwater image restoration using adaptive attenuation-curve prior[J].2017，26(99)：1-11.

［3］ Guo Jichang，Cong Runming，et al. Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior[J].，2016，25(12)：5664-5677.

［4］ Borkar S，Bonde S V. Underwater image restoration using single color channel prior[C]//(). Vishnupuri，India，2017：1-4.

［5］ Drews P，Nascimento E R，Botelho S，et al. Underwater depth estimation and image restoration based on single images[J].，2016，36(2)：24-35.

［6］ Wen Haocheng，Tian Yonghong，Huang Tiejun，et al. Single underwater image enhancement with a new optical model[C]//(). Beijing，China，2013：753-756.

［7］ Galdran A，Pardo D，Picon A，et al. Automatic red-channel underwater image restoration[J].，2015，26：132-145.

［8］ Fu Xueyang，Zhuang Peixian，Huang Yue，et al. A retinex-based enhancing approach for single underwater image[C]//(). Paris，France，2014：4572-4576.

［9］ Bazeille S，Quidu I，Jaulin L，et al. Automatic underwater image pre-processing[C]//. Brest，France，2006：145-152.

［10］ Ancutic C，Ancutic C O，Haber T，et al. Enhancing underwater images and videos by fusion[C]//(). Providence，USA，2012：81-88.

［11］ Ansar M K，Krishnan V. Performance evaluation of image fusion algorithms for underwater images：A study based on PCA and DWT[J].，，2014，6(12)：65-69.

［12］ Ritu S，Mantosh B. Adaptive histogram equalization based fusion technique for hazy underwater image en-hancement[C]//Chennai，India，2017：1-5.

［13］ Buchsbaum G. A spatial processor model for object color perception[J].，1980，310(1)：1-26.

［14］ Thomas S，Peter F，Stefan W，et al. Model based image restoration for underwater images[C]//. Calfornia，USA，2015：87911F-9.

［15］ Zhao Xinwei，Jin Tao，Qu Song. Deriving inherent optical properties from background color and underwater image enhancement[J].，2015，94(15)：163-172.

［16］ He Kaiming，Sun Jian，Tang Xiaoou. Single image haze removal using dark channel prior[J].，2011，33(12)：2341-2353.

［17］ Achantay R，Hemamiz S，Estraday F，et al. Frequency-tuned salient region detection[C]//. Miami，FL，USA，2009：1597-1604.

［18］ Serikawa S，Lu H. Underwater image dehazing using joint trilateral filter[J].，2014，40(1)：41-50.

［19］ Li Fang，Wu Jinyong，Wang Yike，et al. A color cast detection algorithm of robust performance[C]//. Nanjing，China，2012：662-664.

(责任编辑：王晓燕)

Single Underwater Image Sharpening Based on Multi-Feature Fusion

Yang Aiping1，Tian Xin1，Yang Bingwang1，Wang Jian1, 2

‘(1．School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China；2．National Ocean Technology Center，Tianjin 300112，China)

Due to the absorption and scattering effect on light when traveling in water，there are three major problems of underwater imaging：low contrast，color distortion and fuzzy image details．In view of the above problems，a scheme for sharpening underwater images has been proposed based on image fusion framework．First of all，combined with the underwater imaging model，a color correction method based on depth estimation was proposed which can effectively remove the blue(green)color tone of the underwater image and solve the problem of red channel overcompensation．Then，two input images were obtained by color correction and contrast enhancement of the underwater image．Finally，the restored image was obtained by utilizing the multi-scale fusion strategy which is based on the weighted maps constructed by combining the features of brightness，contrast，saturation and saliency．The experimental results show that this algorithm can effectively remove the color distortion of underwater images and greatly improve the contrast and sharpness of images.

multi-scale fusion；color correction；contrast enhancement；weighted map

TP751.1

A

0493-2137(2018)10-1031-11

10.11784/tdxbz201801065

2018-01-14；

2018-04-08.

杨爱萍（1977— ），女，博士，副教授.

杨爱萍，yangaiping@tju.edu.cn.

国家自然科学基金资助项目(61372145，61472274，61771329).

the National Natural Science Foundation of China(No.,61372145，No.,61472274 and No.,61771329).