基于颜色失真去除与暗通道先验的水下图像复原

2015-11-25杨爱萍何宇清

电子与信息学报 2015年11期

杨爱萍郑佳王建② 何宇清

杨爱萍*①郑佳①王建①②何宇清①

①(天津大学电子信息工程学院天津 300072)②(国家海洋技术中心天津 300112)

水下图像成像过程与雾天图像虽然类似，但因水对光的选择性吸收和光的散射作用，水下图像存在颜色衰减并呈现蓝(绿)色基调，传统的去雾方法用于水下图像复原时效果欠佳。针对这类方法出现的缺点，该文根据先去除颜色失真后去除背景散射的思路，提出一种新的水下图像复原方法。结合光在水中的衰减特性，提出适用于水下图像的颜色失真去除方法，并利用散射系数与波长的关系修正各通道透射率；另外，该文改进的背景光估计方法可有效避免人工光源、白色物体、噪声等影响。实验结果证明，该文方法在恢复场景物体原本颜色和去除背景散射方面效果良好。

图像处理；颜色失真；背景散射；暗通道先验；透射率

1 引言

近些年来，水下图像在海洋能源勘探、海洋环境监测与保护、海洋军事等领域应用广泛，但在水下环境获取的图像会严重退化，难以用于后续视觉分析和判断。由于水对光的选择性吸收和介质散射，使得水下图像颜色失真并呈现蓝(绿)色基调，降低了图像的对比度，且因介质散射中的背景散射致图像呈现雾状模糊，减小了场景的可见范围。此外，水下环境拍摄常使用人工光源，导致图像存在亮斑，且水下图像还存在噪声等问题[1]。

本文针对水下图像特点，根据先去除颜色失真后去除背景散射影响的思路，提出一种新的水下图像复原方法，能较好地处理水下图像的颜色失真、背景散射导致的模糊等问题，且无需提前得知图像的拍摄环境参数，运行速度快。主要工作包括：根据背景光与水下光学特性参数之间的关系，提出适合于水下图像的颜色失真去除方法；利用散射系数与波长之间的关系，对每个颜色通道的透射率进行修正，以得到更好的图像复原效果；改进背景光估计方法，能够更好地切合水下图像的特性，尽量避免人工光源、白色物体和噪声对估计结果的影响。

图1 水下图像成像模型

2 水下图像成像模型

2.1 水的光学特性

水对光的作用主要包括吸收和散射。吸收与介质的折射率有关，散射则是由水中的悬浮颗粒和水分子导致。根据Lambert-Beer经验定律，光在介质中传播是呈指数衰减的。假设介质是均匀的，其透射率可以表示为

假设是在各向同性、均匀的介质中，则总的衰减系数可以分解成吸收系数与散射系数之和，

2.2水下图像成像模型

根据文献[9,10]的介绍，相机接收的光可以表示为3个分量的和，如图1所示。图中给出了光从光源发出到被相机接收的传播过程，本文不考虑人工光源对成像的影响。3个分量分别为：(1)直接分量：物体的反射光在传播过程中没有被散射的部分。(2)前向散射分量：物体的反射光在传播过程中发生小角度散射的部分。(3)背景散射分量：环境光经悬浮颗粒散射后被相机接收的部分。最后相机接收的光强表示为

背景散射分量不同于直接分量和前向散射分量，它并不来源于场景物体的反射，而是环境光经散射后被相机接收的部分，表示为

由此，可得到水下图像成像模型：

如果假设场景与相机的距离不大，那么前向散射带来的模糊影响可以忽略，式(7)可以简化为

3 基于暗通道先验的水下图像复原

3.1 暗通道先验

文献[11]针对室外无雾图像提出暗通道先验：在大多数非天空区域的图像局部域中，某些像素总会有至少一个彩色通道具有非常低的强度值，甚至趋近于0，即

3.2基于暗通道先验的水下图像复原

如前所述，水下图像与雾天图像都会因介质散射导致低对比度和低可见度，二者成像模型类似。另外，场景中都存在物体的阴影、彩色物体或表面以及暗色物体或表面，满足暗通道先验的成立条件。因此，理论上可以采用图像去雾的方法去除水下图像的背景散射。

但是水下不同于大气环境，水对光的选择性吸收导致不同波长的光衰减程度不一样，波长越长衰减越严重。经散射作用后，不同于雾天中的白色，水下图像呈现蓝(绿)色基调。水下环境使得根据式(9)得到的水下图像的暗通道值可能偏小，影响背景光估计和背景散射去除。

为了避免上述问题，不少学者利用G, B两个颜色通道来估计暗通道[12,13]。由式(8)可得

将估计得到的透射率和背景光代入式(8)，得到复原的水下图像：

恢复的图像往往还存在颜色失真等问题，因此还需要进行颜色校正。

4 基于颜色失真去除和透射率修正的水下图像复原

根据式(10)，式(11)得到的暗通道值和透射率会存在如下问题：首先，由于缺少R通道信息，估计的暗通道值可能偏大，影响背景光估计；其次，将得到的透射率作为全局的透射率估计，没有考虑不同颜色的光衰减特性不同。引起上述两个问题的主要原因是水对光的选择性吸收导致颜色衰减和散射带来的蓝(绿)色基调。因此本文提出一种新的水下图像复原思路：先去除水下图像中的颜色失真，使得处理后的水下图像能够尽量相似于在大气中拍摄的图像，再利用图像去雾的方法去除背景散射的影响。

基于以上思路，本文方法主要包括3部分：(1)颜色失真去除；(2)透射率修正；(3)背景光估计。

4.1颜色失真去除

呈现蓝(绿)色基调的水下图像可以看成是在蓝(绿)色灯光下拍摄的图像，估计光源颜色就能去除蓝(绿)色基调。由理想的朗伯特反射模型可知，场景中物体表面上某一点颜色可通过在整个可见光范围内对光源的分布、反射面的反射率以及相机感光系数的乘积再积分得到，

Shade of Gray算法是基于Gray World假设提出的，该假设认为：场景中所有物体表面的平均反射是无色差的，即

根据式(14)，式(15)，光源的估计为

Shade of Gray算法对在大气中拍摄的，因光源导致颜色失真的图像处理效果良好。但在水下环境获取的图像衰减程度要比在大气中严重的多，该算法并不能很好地校正颜色失真。

由此，针对水下图像两种颜色失真的处理方法为：(1)通过求各通道颜色衰减因子，对因介质导致的颜色衰减进行补偿；(2)将图像中的蓝(绿)色基调看做光源颜色，利用Shade of Gray算法估计光源颜色后去除。

Shade of Gray算法已经发展为比较成熟的方法，各通道衰减因子的求取在于场景景深以及水的衰减系数估计。文献[16]指出，水下图像的全局背景光与散射系数成正比，与衰减系数成反比：

文献[17]通过采集大量数据，得到水的散射系数与波长的关系：

由此，可以近似求出各通道的衰减因子。蓝色光衰减程度最低，可将蓝色光作为参照，求出红色光与绿色光相对于蓝色光的衰减比：

假设蓝色光的衰减仅与景深有关，结合暗通道先验，场景的景深可以通过式(22)确定：

结合式(16)，式(17)，式(19)~式(25)得

4.2透射率修正

经过颜色校正后的水下图像，其蓝(绿)色基调问题得到改善，因衰减导致的颜色失真也得到了补偿。式(8)可以修改为

4.3 背景光估计

上述介绍中均假设背景光已知，本节将详细介绍背景光的估计方法。本文算法需要两次背景光估计，一是需要估计原图像的背景光以确定各通道衰减系数比和，用于后续的颜色失真去除；二是估计图像的背景光，代入式(32)得到最终的复原图像。因此，背景光估计在本文算法中非常关键。

根据式(12)估计的背景光易受到场景中白色物体的影响，使得估计值偏大，复原后的图像背景亮度过大，掩盖了图像细节。且水下图像的拍摄往往需要人工光源的辅助，令水下图像整体亮度偏大，进一步影响背景光的估计。

背景光应选自场景无穷远处，景深越大，背景散射造成的影响越大，透射率越小。假设无穷远处的背景散射是均匀的，对透射率图分块，背景光取自均值和标准差均最小的透射率块，对应到原图像，通过对各通道值求平均得到背景光。这样能够避免噪声和白色物体对估计结果的影响。此外，在第一次分块操作中，只对透射率图的上半部分分块，去除人工光源影响最大的近景，保证估计结果的准确性。本文对背景光的估计步骤如下：

(1)取透射率图的上半部分；

(3)将最后得到的均值最小、变化不大的透射率块对应到原始图像中，对该图像块各通道求均值，得到最后的背景光。

4.4本文算法

本文算法基于先去除颜色失真，再去除背景散射影响的思路，利用背景光与水下光学特性参数之间的关系，结合Shade of Gray方法去除水下图像中的颜色失真，并修正各颜色通道的透射率估计，求得最终的复原图像。这种新的水下图像复原的算法如表1所示。

表1

5 实验结果及分析

为了说明本文算法的有效性，首先与带色彩恢复的多尺度视网膜增强算法(MSRCR算法)进行对比。MSRCR算法作为图像增强算法，具有色彩增强、颜色恒常性、边缘增强等特点。通过与该算法的比较，能够展现本文算法在颜色校正与可见度增强方面的性能。如图2，图3所示，MSRCR算法虽然能很好地恢复图像细节，扩大场景中的可见范围，但是所恢复的图像泛白，色彩失真严重。相比之下本文算法复原的水下图像，物体颜色鲜艳，且较好地去除雾状模糊，远处的礁石细节清晰可见，视觉效果更自然。

图2 MSRCR算法与本文算法处理效果对比(图像1)

图3 MSRCR算法与本文算法处理效果对比(图像2)

为了进一步论证本文算法的有效性，将与文献[6-8]中的复原算法进行对比。由于相关文献作者未提供原始程序代码，因此本文只与作者在文献中提供的实验结果进行比较，并采用3种衡量标准来判断算法的性能：一是色偏检测；二是对比度计算；三是图像结构变化。

为了使计算的颜色差异与人眼感知的差异一致，本文在CIE Lab颜色空间检测色偏情况和计算对比度。

彩色图像的色偏不仅与图像色度的均值相关，也与图像色度的分布特性相关。针对这两点特性，本文采用文献[18]的方法比较各算法颜色恢复性能，计算得到的值越大，表示图像色偏越严重。

文献[19]提出的质量评价准则可用于比较具有不同动态范围的图像。该准则利用人眼视觉系统对3类结构变化敏感的特点来判断测试图像相对于参考图像的失真情况，并分别用3种颜色表示：可见对比度的丢失(绿色)，不可见对比度的放大(蓝色)和可见对比度的极性反转(红色)。颜色越深说明该处结构变化的可能性越高。

如图4所示，本文算法恢复的图像视觉效果明显优于文献[6]的算法。图4(c)依然存在严重的背景散射影响且图像颜色偏黄，而图4(d)视觉效果良好。在客观评价上，图4(d)的对比度值明显高于图4(a)和图4(c)，色偏值低于图4(a)和图4(c)。在两种算法的结构变化示意图中，不难看到图4(h)的蓝色覆盖范围要大于图4(g)，且几乎不存在绿色和红色区域，进一步说明本文方法的优势。在细节放大图中可详细比较两种算法的优劣。

在图5和图6中，本文算法分别与文献[7]和文献[8]的算法进行对比，无论是从主观视觉还是从客观质量评价方面，都更具优越性。

本文提出的水下图像成像模型忽略了人工光源的影响，在实际情况中，人工光源的存在会严重影响水下光学特性参数的估计。但在实验对比中发现，本文算法复原效果良好，并没有出现预料中的因人工光源存在导致背景光估计过大而掩盖图像细节的现象，图像亮度也在可接受的范围内。文献[7]的算法包含人工光源的检测与去除，本文算法与之对比结果如图7所示。图7(d)的对比度值低于图7(c)的原因是图像亮度大。

图4 本文算法与文献[6]所提算法处理效果对比

图5 本文算法与文献[7]所提算法处理效果对比

图6 本文算法与文献[8]所提算法处理效果对比

图7 本文算法与文献[7]所提算法处理效果对比

6 结束语

因其特殊的成像环境，水下图像存在颜色衰减和蓝(绿)色基调这两种颜色失真，简单利用暗通道先验估计的透射率不准确，使得大多数基于该原理的水下图像复原方法效果不理想。本文提出一种新的算法，根据水下光学特性先去除颜色失真，可更准确估计透射率；然后利用散射系数与波长的关系修正各通道透射率，用于复原图像；改进的背景光估计方法可有效避免人工光源、噪声、白色物体等影响。大量实验结果表明了本文算法在恢复场景物体原本颜色和去除背景散射方面的有效性。

本文为了简化问题的求解过程忽略人工光源与前向散射对成像的影响。但是实际情况中，利用人工光源照明使得图像亮度增加，像素强度变化缓慢，由此估计的透射率偏大，景深估计不准确，此外前向散射的影响也会随着景深的增加而增大。因此当处理有人工光源照明且景深较大的水下图像时，算法的处理效果不太理想。在未来的研究中，我们将考虑这两个因素的影响，并寻求合适的解决方法。

[1] Schettini R and Corchs S. Underwater image processing: state of the art of restoration and image enhancement methods[J]., 2010(1), 2010: 1-14.

[2] Ancuti C, Ancuti C O, Haber T,.. Enhancing underwater images and videos by fusion[C]. IEEE Conference on Computer Vision and Pattern Recognition, Providence, USA, 2012: 81-88.

[3] Fu Xue-yang, Zhuang Pei-xian, Huang Yue,.. A retinex- based enhancing approach for single underwater image[C]. IEEE International Conference on Image Processing, Paris, 2014: 4572-4576.

[4] 张问一, 胡东辉, 丁赤飚. 基于Goldstein滤波器的SAR海洋图像增强方法[J]. 电子与信息学报, 2012, 34(9): 2263-2267.

Zhang Wen-yi, Hu Dong-hui, and Ding Chi-biao. Enhancement of SAR ocean image based on Goldstein filter[J].&, 2012, 34(9): 2263-2267.

[5] Hou W L, Gray D J, Weidemann A D,.. Automated underwater image restoration and retrieval of related optical properties[C]. IEEE International Geoscience and Remote Sensing Symposium, Barcelona, 2007: 1889-1892.

[6] Stephan T, Frühberger P, Werling S,.. Model based image restoration for underwater images[C]. SPIE Optical Metrology 2013. International Society for Optics and Photonics, Munich, 2013: 87911F-87911F-9.

[7] Chiang J Y and Chen Ying-Ching. Underwater image enhancement by wavelength compensation and dehazing[J]., 2012, 21(4): 1756-1769.

[8] Li Yu-Jie, Lu Hui-min, Zhang Li-feng,.. Real-time visualization system for deep-sea surveying[J]., 2014, 2014: 1-10.

[9] Jaffe J S. Computer modeling and the design of optimal underwater imaging systems[J]., 1990, 15(2): 101-111.

[10] Jaffe J S. Underwater optical imaging: the past, the present, and the prospects[J]., 2014, 40(3): 683-700.

[11] He Kai-ming, Sun Jian, and Tang Xiao-ou. Single image haze removal using dark channel prior[J]., 2011, 33(12): 2341-2353.

[12] Guo Jun-kai, Sung Chia-chi, and Chang Herng-hua. Improving visibility and fidelity of underwater images using an adaptive restoration algorithm[C]. IEEE OCEANS 2014, Taipei, China, 2014: 1-6.

[13] Wen Hao-cheng, Tian Yong-hong, Huang Tie-jun,.. Single underwater image enhancement with a new optical model[C]. IEEE International Symposium on Circuits and Systems, Beijing, 2013: 753-756.

[14] He Kai-ming, Sun Jian, and Tang Xiao-ou. Guided image filtering[J]., 2013, 35(6): 1397-1409.

[15] Henke B, Vahl M, and Zhou Zhi-liang. Removing color cast of underwater images through non-constant color constancy hypothesis[C]. IEEE International Symposium on Image and Signal Processing and Analysis, Trieste, 2013: 20-24.

[16] Zhao Xin-wei, Jin Tao, and Qu Song. Deriving inherent optical properties from background color and underwater image enhancement[J]., 2015, 94(2): 163-172.

[17] Gould R W, Arnone R A, and Martinolich P M. Spectral dependence of the scattering coefficient in case 1 and case 2 waters[J]., 1999, 38(12): 2377-2383.

[18] Li Fang, Wu Jin-yong, Wang Yi-ke,.. A color cast detection algorithm of robust performance[C]. IEEE International Conference on Advanced Computational Intelligence, Nanjing, 2012: 662-664.

[19] Aydin T O, Mantiuk R, Myszkowski K,.. Dynamic range independent image quality assessment[J]., 2008, 27(3): 1-10.

Underwater Image Restoration Based on Color Cast Removal and Dark Channel Prior

Yang Ai-ping①Zheng Jia①Wang Jian①②He Yu-qing①

①(,,300072,)②(,300112,)

The imaging process of the underwater image is similar to the haze image. However, the dehazing methods fail when used in the underwater image restoration because of the color attenuation and blue (green) color tone, caused by the selective absorption of water and light scattering. Thus, this paper proposes a new approach for underwater images restoration based on the idea of removing backscattering after the color cast removal. Due to the attenuation of light in water, a color cast removal approach is proposed. The relationship between scattering coefficient and wavelength is used to obtain a more accurate transmission estimation for each color channel. In addition, an improved algorithm for background light estimation is presented, which can effectively avoid the influence of artificial light, white object and noise. Experimental results demonstrate the effectiveness of the proposed method in restoring the original color of the scene and removing the backscattering.

Image processing; Color cast; Backscattering; Dark channel prior; Transmission map

TP391

1009-5896(2015)11-2541-07

10.11999/JEIT150483

2015-04-28；改回日期：2015-07-20；

2015-08-28

杨爱萍 yangaiping@tju.edu.cn

国家自然科学基金(61372145, 61472274, 61201371)

The National Natural Science Foundation of China (61372145, 61472274, 61201371)

杨爱萍：女，1977年生，副教授，研究方向为视觉计算、压缩感知理论和应用等.

郑佳：女，1991年生，硕士生，研究方向为水下图像处理等.

王建：男，1976年生，讲师，研究方向为彩色图像处理、恶劣天气/环境条件下的图像复原、生物特征识别等.