基于色彩衰减补偿和Retinex的水下图像增强

杨福豪, 史启超, 蓝方鸣, 彭宗举

基于色彩衰减补偿和Retinex的水下图像增强

杨福豪, 史启超, 蓝方鸣, 彭宗举*

（宁波大学 信息科学与工程学院, 浙江 宁波 315211）

针对水下图像存在的色偏、雾状模糊、低曝光和非均匀光照问题, 提出一种基于色彩衰减补偿和Retinex的水下图像增强算法. 首先, 为校正水下图像的色偏, 利用水体对不同波长光线衰减不一致的特性自适应地补偿其R、G、B通道. 然后, 使用基于多尺度导向滤波的Retinex去除雾状模糊, 增强对比度. 最后, 根据水下图像和自然图像的直方图分布特征对其进行归一化处理, 从而在保存图像主要信息的前提下增强其纹理和曝光. 实验结果表明, 该算法不但具有较优的视觉感知效果, 而且具有较高的图像质量评价分数. 该算法具有较强的适应性, 有助于计算机视觉算法在水下的应用.

水下图像增强; 色彩补偿; 导向滤波; 对比度

水下图像在海洋矿产资源开发、海洋生物研究、海底管道检测、海洋军事应用等方面起着重要作用. 然而, 光照条件、拍摄深度、杂质类型、水体浑浊度等因素致使水下成像环境复杂多样. 此外, 水体对光线具有吸收和散射的物理衰减特性[1]. 因此, 水下图像具有不同程度的色彩偏差、雾状模糊、低曝光、非均匀光照等退化现象, 导致图像的对比度、能见度和清晰度下降, 严重影响其视觉感知效果及进一步的视觉应用. 所以, 提高水下图像质量的研究具有重要意义.

当前, 水下图像清晰化技术研究主要从基于硬件[2-3]和基于算法[4-13]两个方面展开. 其中, Amer等[2]使用低通偏振滤波器来去除水下成像中因后向散射造成的模糊. 吕文磊等[3]使用距离选通水下激光成像系统只接收来自物体反射的光线, 从而消除散射对成像的影响. 而基于算法的水下图像清晰化处理可进一步分为水下图像增强[4-6]、水下图像复原[7-10]以及基于深度学习的方法[11-13]. 黄冬梅等[4]依据水下图像的特点, 提出在两种颜色模型下进行自适应直方图拉伸的水下图像增强方法, 具有较好的增强效果. Zhang等[5]提出基于色彩校正和光照调整的水下图像增强模型, 利用Retinex对色彩校正后的图像亮度通道进行光照调整, 从而恢复水下真实场景. Ghani等[6]提出了集成同态滤波、基于重叠递归的限制对比度自适应直方图规定化和双图像小波融合的深水图像增强方法. 由于水下图像与雾天图像类似, 因此有学者提出基于改进暗通道的水下图像复原方法. Drews等[7]提出只针对蓝绿通道的水下暗通道先验方法, 取得比直接应用暗通道更好的增强效果. 王鑫等[8]利用稀疏表示对水下图像的暗通道进行优化, 融合暗通道先验和稀疏表示理论, 提高了水下图像复原质量. Yang等[9]建立了基于暗通道分解和局部散射光估计的水下图像复原模型, 并将近海环境中光线衰减系数的统计先验引入模型中, 进而提出复原近海水下图像的方法. Li等[10]提出一种分别对蓝绿通道去雾和对红通道色彩校正的方法, 其思想分别来自暗通道和灰度世界理论, 并利用自适应曝光解决非均匀光照问题. Lu等[11]通过实验得到在CycleGAN (Cycle-consistent Generative Adversarial Networks)网络中采用不同尺度的损失函数会增强不同的景深区域. 因此, 其将多尺度损失函数引入融合了暗通道先验的CycleGAN网络中, 在校正色偏的同时增强图像的对比度. Chen等[12]提出基于生成对抗网络的方法用于实时自适应地复原水下图像, 并被应用于水下物体抓取中. Cheng等[13]改进了应用于超分辨率的生成对抗网络, 并利用其对色彩校正后的图像去除模糊. 以上算法虽然提高了水下图像的质量, 但仍存在以下问题: (1)校正色偏时没有考虑水下成像中色彩通道衰减不一致的问题, 处理后的图像存在色彩失真现象; (2)去除雾状模糊的效果不够理想, 图像的纹理细节不够丰富; (3)低曝光和非均匀光照问题没有得到有效解决.

针对以上问题, 本文提出了一种基于色彩衰减补偿和Retinex的水下图像增强算法, 主要包括: (1)针对水下成像中色彩通道衰减不一致的物理特性, 引入通道衰减补偿系数, 消除因通道衰减差异而造成的色彩失真; (2)利用Retinex对水下图像进行分解, 从而去除雾状模糊, 还原被隐藏的边缘细节; (3)基于水下图像的直方图分布特征对去模糊后的图像进行归一化处理, 在增强细节的同时提高亮度.

1 基于色彩衰减补偿和Retinex的水下图像增强

针对水下图像存在的色偏、雾状模糊、低曝光、非均匀光照等退化问题, 本文提出一种基于色彩衰减补偿和Retinex的水下图像增强算法, 包括色彩校正和清晰度提高两部分, 算法流程如图1所示. 在色彩校正中, 由输入图像的色偏来确定R、G、B三通道的衰减补偿系数, 并依此自适应地进行通道衰减补偿以达到色彩校正的目的. 在清晰度提高方面, 首先, 对色彩校正后图像的红通道进行中值滤波, 但此步骤只针对偏蓝的输入图像. 由于偏蓝图像的红通道受到严重的衰减, 所以上述处理去除了噪声对增强算法的影响. 然后, 在Retinex理论下, 利用具有边缘保持特性的导向滤波估计其光照图像, 并得到其对应的反射图像. 在多尺度条件下, 对多幅反射图像进行加权平均得到其最终的反射图像, 从而恢复出更多被模糊隐藏的纹理. 最后, 依据水下图像的直方图分布特征对反射图像进行归一化处理, 使输出图像具有更高的对比度和亮度.

1.1 水下图像色彩校正

由于水体对不同波长的光线具有不同的吸收率, 光线随着传播距离的增加被衰减为偏色光. 所以, 水下图像中存在绿、黄、蓝等色调的偏色现象. 偏色的水下图像既影响人们的视觉感知, 又对水下物体真实色彩信息的提取造成干扰. 因此, 本文首先对水下图像进行色彩校正.

在灰度世界假说中, 对于色彩丰富的无色偏图像, 其R、G、B三通道均值相近. 然而, 水下图像各通道的均值因介质对光线衰减的不同而存在较大差异, 且图像整体色调偏向均值最大通道的颜色. Zhang等[5]提出的色彩校正方法在灰度世界假说上, 分别利用各通道的均值和标准差确定其通道对应的新动态范围, 并将之拉伸到全动态范围, 从而使色彩校正后图像的三通道具有相近的均值, 即:

,(1)

1.2 水下图像清晰度提高

水下图像经上述处理后, 虽然其色彩感知质量得到提高, 但仍存在雾状模糊和低曝光的问题. 因此, 提出基于多尺度导向滤波的Retinex去除模糊以及增强曝光的归一化后处理方法, 从而提高图像的清晰度.

1.2.1基于多尺度导向滤波的Retinex去模糊

水下图像因水体对光线的吸收衰减而存在一定程度的低曝光现象. 在分解光照图像与反射图像时, 对上式取对数, 既可将复杂的乘法转化为减法, 同时也可对图像的低值区域进行扩展拉伸, 进而对低曝光现象进行补偿, 即:

由于同一像素被包含在不同的局部窗口内, 所以对包含此像素的窗口线性系数取均值即可得到该像素的线性变换系数. 当导向图像与待滤波图像一致时, 此时导向滤波器能够在平滑图像平坦区域的同时较好地保持图像的边缘细节.

在利用导向滤波进行平滑处理时, 大尺度下得到的光照图像含有物体的轮廓边缘, 而小尺度下得到的光照图像则含有丰富的细节纹理. 因此, 本文选取不同尺度的导向滤波来估计光照图像, 并对各光照图像对应的反射图像加权平均作为最终的反射图像, 可在平滑与保持边缘之间达到合理的平衡, 即:

1.2.2基于直方图分布特征的归一化

由于反射图像会在平坦区域出现负值, 所以需要对其进行归一化处理. 对数变换不但可拉伸图像的低值区域, 而且符合人眼的感知特性. 所以, 本文在对数域进行归一化处理. 若采用反射图像各通道最大最小值为目标归一化范围, 则输出图像的亮度较弱, 纹理细节不够突出. 本文对大量水下图像和具有良好视觉感知的自然场景图像进行分析, 得到其直方图分布特征. 如图2所示, 水下图像的三通道分布因衰减呈现明显差异且集中于某一动态区间, 而自然图像的三通道分布相似且遍及整个动态范围. 为增强水下图像的纹理细节和曝光, 提高其视觉感知效果, 依据上述自然图像的直方图分布特征对反射图像进行归一化处理.

图2 图像及其直方图

2 实验结果与分析

为验证本文算法的性能, 选取多种算法在水下退化图像数据集上进行对比实验, 并从主观视觉效果和客观评价指标两方面对实验结果进行分析. 本文实验平台: Inter(R)-Core(TM) i5-8300H@ 2.30GHz, 8G RAM, MATLAB R2017b.

2.1 数据集和参数设置

复杂的水下成像环境导致水下图像退化呈现多样性, 本文收集了100张水下图像组成数据集以验证算法的鲁棒性. 数据集除含有各种色偏外, 还同时具有雾状模糊、低曝光、非均匀光照等典型退化现象, 能够较全面地反映水下图像的退化现象.

2.2 主观视觉效果分析

水下图像存在的主要问题是色偏和低清晰度, 本文算法分两步来校正色偏和提高清晰度. 因此, 对实验结果的主观视觉效果分析也从以上两个角度进行.

2.2.1色彩校正结果分析

选择Gray-World[18]、Gray-Edge[19]和Zhang[5]的色彩校正方法作为对比算法, 在多种典型的水下偏色图像上验证算法的鲁棒性, 结果如图3所示.

图3 色彩校正结果

由于只分析校正色偏的效果, 所以只对各算法的色彩保真度进行分析. 首先, 可以看出Gray- Edge算法对水下图像没有校正色偏的效果. 其次, 经Gray-World算法校正后的多幅图像皆存在严重的红色偏色现象, 尤其在偏蓝图像的水体部分出现大面积的红色区域. 而Zhang的算法虽在色彩和对比度方面都有不错的提高, 但其被校正图像内也存在红色分量被过度增强的现象, 与人眼的色彩恒常感知存在差异. 虽然本文算法在整体效果上与Zhang算法存在差距, 但其结果在色彩保真度方面更符合人眼的色彩恒常感知, 与物体的真实色彩更加相近, 且算法的鲁棒性更强. 通过比较色彩校正结果, 可以说明引入色彩衰减补偿思想的正确性. 此外, 本文算法结果中的雾状模糊和低曝光对色彩感知的准确性亦造成一定的影响, 故需去除模糊和增强曝光.

2.2.2整体增强结果分析

由于本文色彩校正结果在清晰度上仍存在不足, 所以提出去模糊和增强曝光的算法提高其清晰度和能见度. 为比较算法的整体性能, 选取了图像增强算法MSR (Multi-Scale Retinex)[15]、去雾算法CAP (Color Attenuation Prior)[20]、水下图像复原算法UDCP (Underwater Dark Channel Prior)[7]和Zhang[5]的水下图像增强算法作为对比算法. 在多幅具有典型退化现象的水下图像上测试上述算法的增强效果, 实验结果如图4所示.

通过对比多种算法的视觉效果可以发现, MSR算法的结果不仅在色彩还原上存在明显的失真现象, 而且图像中依然存在白色雾状模糊, 降低了图像的对比度和清晰度. 而去雾算法CAP的结果在整体感知上几乎和原始图像保持一致, 除去色彩偏差没有得到校正, 图像中的雾状模糊也没有得到有效去除. 虽然水下成像环境类似雾天成像环境, 但去雾算法CAP应用到水下退化图像上的效果却不尽如人意, 更加复杂的水下成像环境使水下图像质量提高更具挑战性. 对于UDCP算法的结果, 综合多张图像可以看出其算法虽然增强了图像的对比度, 使图像的清晰度得到一定的提高, 但其在色彩还原上却存在明显不足, 图像仍然存在较为明显的色彩偏差. 在UDCP和Zhang的结果对比中, 首先, 可以看出UDCP的结果具有更高的清晰度, Zhang的结果中存在可感知的雾状模糊. 但是, UDCP结果中的暗区域却被加强, 细节被损失. 其次, 在色彩偏差校正上, Zhang算法具有更好的校正效果, 但其结果中红色被过度增强的现象依然存在, 与物体的真实色彩仍有一定偏差.

对于本文算法的增强结果, 首先, 在整体上可以感受到其具有最高的清晰度和能见度. 其次, 图像中物体的色彩更加真实、自然, 更符合人眼的色彩恒常特性. 在色彩偏差校正、模糊去除、低曝光增强和非均匀光照改善等方面, 选取的局部放大图像可以直观地反映出本文算法的优异效果. 在图5的第1幅图中, 本文算法对珊瑚和石头的色彩还原更加真实, 物体外观更加自然. 在第2幅图中, 本文算法去除雾状模糊的效果更加优异, 图像的清晰度和能见度更高. 在第3幅图中, 本文算法增强了图像中的暗区域, 细节纹理更加丰富, 不均光照现象得到改善.

2.3 客观质量分析

为准确衡量增强图像的客观质量, 本文除采用针对水下图像的无参考质量评价方法UCIQE (Underwater Color Image Quality Evaluation)[21]和UIQM (Underwater Image Quality Measure)[22]外, 还采用了衡量对比度变化的PCQI (Patch-based Contrast Quality Index)[23]和信息熵(Entropy)作为水下图像质量评价指标. 针对水下图像具有色偏、模糊、低对比度等特点, UCIQE从色度、饱和度和对比度方面对水下图像进行质量评价, 而UIQM则依据色彩、清晰度和对比度对水下图像进行评价. 为验证算法的鲁棒性, 在收集的100张水下退化图像上进行对比实验, 并使用上述的客观评价指标对各算法结果进行评测. 各算法增强结果在不同评价指标上的均值见表1.

图4 不同算法增强效果

图5 局部放大图

表1 不同算法的客观质量评价指标均值

注: 加粗的数字表示在对应评价指标中的最好结果.

由表1可知, 本文算法在各质量评价指标上均表现优异, 表明本文算法对水下退化图像的增强效果显著, 即对水下退化图像的色彩校正、模糊去除、清晰度和能见度提高有良好的效果.

3 结论

针对水下图像存在的偏色、模糊、低曝光和非均匀光照问题, 本文提出一种基于色彩衰减补偿和Retinex的水下图像增强算法. 该算法对多种水下偏色图像均有较好的校正效果, 且增强后的图像具有较高的清晰度和能见度, 更加接近自然场景下的图像. 同时, 对水下图像的非均匀光照和低曝光问题也有较好的处理效果, 增强后的图像具有更多暗区域的纹理细节和更高的亮度. 实验结果表明, 与对比算法相比, 本文算法能够有效增强水下退化图像, 使其主观视觉效果和客观质量分数得以提高. 由于水下图像的退化呈现多样性, 而深度学习网络能够发挥大数据量的优势. 目前, 深度学习在图像处理中得到了广泛的应用. 因此, 基于深度学习的方法将有助于进一步增强水下图像的质量.

[1] Wang Y, Song W, Fortino G, et al. An experimental-based review of image enhancement and image restoration methods for underwater imaging[J]. IEEE Access, 2019, 7:140233-140251.

[2] Amer K O, Elbouz M, Alfalou A, et al. Enhancing under- water optical imaging by using a low-pass polarization filter[J]. Optics Express, 2019, 27(2):621-643.

[3] 吕文磊, 张旭, 刘可. 一种距离选通水下激光成像系统设计与实验研究[J]. 兵器装备工程学报, 2019, 40(8): 198-202.

[4] 黄冬梅, 王龑, 宋巍, 等. 不同颜色模型下自适应直方图拉伸的水下图像增强[J]. 中国图象图形学报, 2018, 23(5):640-651.

[5] Zhang W, Li G, Ying Z. A new underwater image enhancing method via color correction and illumination adjustment[C]. 2017 IEEE Visual Communications and Image Processing, 2017:1-4.

[6] Ghani A S A. Image contrast enhancement using an integration of recursive-overlapped contrast limited adaptive histogram specification and dual-image wavelet fusion for the high visibility of deep underwater image[J]. Ocean Engineering, 2018, 162:224-238.

[7] Drews P L J, Nascimento E R, Botelho S S C, et al. Underwater depth estimation and image restoration based on single images[J]. IEEE computer graphics and applications, 2016, 36(2):24-35.

[8] 王鑫, 朱行成, 宁晨, 等. 融合暗原色先验和稀疏表示的水下图像复原[J]. 电子与信息学报, 2018, 40(2):264- 271.

[9] Yang M, Sowmya A, Wei Z Q, et al. Offshore underwater image restoration using reflection-decomposition-based transmission map estimation[J/OL]. IEEE Journal of Oceanic Engineering [2019-03-17]. https://ieeexplore. ieee.org/document/8605308.

[10] Li C, Quo J, Pang Y, et al. Single underwater image restoration by blue-green channels dehazing and red channel correction[C]. IEEE International Conference on Acoustics, 2016.

[11] Lu J, Li N, Zhang S, et al. Multi-scale adversarial network for underwater image restoration[J]. Optics & Laser Technology, 2019, 110:105-113.

[12] Chen X, Yu J, Kong S, et al. Towards real-time advancement of underwater visual quality with GAN[J]. IEEE Transactions on Industrial Electronics, 2019, 66(12): 9350-9359.

[13] Cheng N, Zhao T, Chen Z, et al. Enhancement of underwater images by super-resolution generative adversarial networks[C]. Proceedings of the 10th International Conference on Internet Multimedia Computing and Service, ACM, 2018:22.

[14] Land E H. The Retinex theory of color vision[J]. Scientific American, 1977, 237(6):108-129.

[15] Rahman Z U, Woodell G A. Multi-scale Retinex for color image enhancement[C]. International Conference on Image Processing, IEEE, 2002.

[16] He K, Sun J, Tang X. Guided image filtering[J]. IEEE transactions on pattern analysis and machine intelligence, 2012, 35(6):1397-1409.

[17] Eustice R, Pizarro O, Singh H, et al. UWIT: Underwater image toolbox for optical image processing and mosaicking in MATLAB[C]. Proceedings of the 2002 International Symposium on Underwater Technology, IEEE, 2002:141-145.

[18] Buchsbaum G. A spatial processor model for object colour perception[J]. Journal of the Franklin institute, 1980, 310(1):1-26.

[19] van de Weijer J, Gevers T, Gijsenij A. Edge-based color constancy[J]. IEEE Transactions on image processing, 2007, 16(9):2207-2214.

[20] Zhu Q, Mai J, Shao L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE transactions on image processing, 2015, 24(11):3522-3533.

[21] Yang M, Sowmya A. An underwater color image quality evaluation metric[J]. IEEE Transactions on Image Processing, 2015, 24(12):6062-6071.

[22] Panetta K, Gao C, Agaian S. Human-visual-system- inspired underwater image quality measures[J]. IEEE Journal of Oceanic Engineering, 2015, 41(3):541-551.

[23] Wang S, Ma K, Yeganeh H, et al. A patch-structure representation method for quality assessment of contrast changed images[J]. IEEE Signal Processing Letters, 2015, 22(12):2387-2390.

Underwater image enhancement based on color attenuation compensation and Retinex

YANG Fuhao, SHI Qichao, LAN Fangming, PENG Zongju*

( Faculty of Electrical Engineering and Computer Science, Ningbo University, Ningbo 315211, China )

To tackle the problems of color cast, foggy blur, low exposure and non-uniform illumination in underwater images, an underwater image enhancement algorithm is proposed based on attenuation compensation of color and the theory of Retinex. Firstly, in order to correct the color cast in underwater images, the red, green, and blue channel are adaptively compensated, which is achieved by using the different wavelengths of light attenuated accordingly. Then, the Retinex based on multi-scale guided filtering is used to remove foggy blur and improve contrast. Finally, the deblurred underwater image is normalized according to histogram distribution of the underwater image and the natural image, which enhances its texture and exposure on the premise of retaining the main information of images. The experimental results show that the proposed algorithm not only offers the best visual perception, but also achieves the highest score of image quality evaluation. The proposed algorithm features high adaptability, and may provide references for research in underwater target identification.

underwater image enhancement; color compensation; guided filtering; contrast

TP391

A

1001-5132（2020）01-0058-07

2019−07−06.

宁波大学学报（理工版）网址: http://journallg.nbu.edu.cn/

国家自然科学基金（61771269）; 浙江省自然科学基金（LY17F010005）.

杨福豪（1992－）, 男, 河南汝南人, 在读硕士研究生, 主要研究方向: 水下图像处理. E-mail: 306733695@qq.com

彭宗举（1973－）, 男, 四川南部人, 教授, 主要研究方向: 视频与图像信号处理. E-mail: pengzongju@nbu.edu.cn

（责任编辑 韩 超）