基于常散射假设和同态滤波的水下图像增强算法

王 丹, 张子玉, 赵金宝, 杨谢柳*, 范慧杰, 唐延东

基于常散射假设和同态滤波的水下图像增强算法

王 丹1, 张子玉1, 赵金宝1, 杨谢柳1*, 范慧杰2, 唐延东2

(1. 沈阳建筑大学 机械工程学院, 辽宁 沈阳, 110168; 2. 中国科学院沈阳自动化研究所 机器人学国家重点实验室, 辽宁 沈阳, 110016)

针对水下图像视觉增强技术存在低对比度和色偏的问题, 文中提出一种基于常散射假设和同态滤波的水下图像增强算法。首先, 假设整幅图像的后向散射为常量, 在图像的前景区域分别搜索红绿蓝三通道的最小像素值, 将各通道与其对应的最小像素值作差, 以实现去除后向散射的目的。然后, 将图像转为灰度图像并进行同态滤波处理, 以抑制图像低频信息和增强图像高频成分。最后, 采用颜色校正方法消除离群点对图像的干扰。实验结果表明, 文中方法可有效改善图像的对比度和亮度, 提升图像的整体视觉效果。

水下图像; 视觉增强; 散射; 同态滤波

0 引言

随着对深海资源的深入开发, 水下机器人越来越多地被应用于海洋生物跟踪和实时导航等领域[1-2]。图像作为获取信息的媒介, 在海底探索时发挥着重要的作用。由于水下环境与陆地之间的差异, 水体会对光产生散射和吸收效应[3]。散射是光与水中悬浮颗粒碰撞后方向发生改变的现象, 散射会导致图像的模糊和低对比度。吸收是指悬浮粒子吸收光的现象, 水对光的吸收取决于光束的波长[4], 在水下红光衰减得最快, 因此水下图像往往呈现出蓝绿色的特点, 获取正确的图像信息是探索海洋的必要前提, 为保证水下探索工作的顺利进行, 对水下图像的增强极为重要。

目前, 图像复原与图像增强广泛应用于水下图像处理[5-6], 以提高能见度、对比度和纠正由水体吸收所造成的颜色偏差。水下图像的复原常常利用相关退化函数和噪声特性并基于图像形成模型(image formation model, IFM)从观测图像中恢复原始图像[7]。图像复原的方法通常基于先验信息, 如暗通道先验[8](dark channel prior, DCP)方法通过估计大气透射率并结合成像模型, 实现单幅图像的去雾, 具有良好的去雾效果, 但将其直接应用于水下图像时效果不明显。对此, Wen等[9]提出了一种描述水下成像过程的水下成像模型; Yang等[10]提出一种基于DCP的低复杂度水下图像增强方法。此外, 还有基于景深信息的方法[11-12]和基于红通道先验的方法[13]等。

图像增强方法不考虑物理的成像模型, 而是通过主观和定性分析提高图像的整体质量, 如直方图均衡化[14](histogram equalization, HE)方法、对比度限制的自适应直方图均衡化[15](contrast li- mited adaptive histogram equalization, CLAHE)方法、对比度拉伸方法[16]、基于Retinex的方法[17]、基于融合的方法[18]以及概念简单且处理性能较好的白平衡(white balance, WB)方法等。同态滤波也是一种常见的图像增强方法, 通过对图像的高低频信息分别进行处理, 可实现照度不均、低照度和低对比度图像的视觉改善[19-22], 但目前同态滤波主要用于大气图像的增强, 在水下图像中的应用较少, 王永鑫等[23]利用同态滤波进行水下图像低频提取, 用于估计后向散射去除模糊, 并未直接增强图像高频信息。

基于先验信息的方法一般都有其局限性, 先验信息和目标场景间的不匹配可能导致显著的估计误差, 导致结果失真[3]。传统的图像增强方法对空气中拍摄的图像具有显著的增强效果, 而对水下图像并不能很好去除色偏等影响, 增强后的图像往往仍具有较低的对比度和存在色偏现象。

针对此, 文中提出一种基于常散射假设和同态滤波的水下图像增强方法。考虑到前景区域(即感兴趣区域)场景深度的变化幅度通常较小, 提出常散射假设; 基于DCP提出常散射估计方法, 通过差值运算去除后向散射; 将直接分量图像进行同态滤波处理以抑制光照增强前景细节; 对滤波后的图像进行异常点剔除, 扩大图像的动态范围, 提升图像对比度。在水下多个场景中对该方法进行了测试, 实验结果表明, 该方法可以有效地去除色偏对水下图像的干扰, 并改善图像的亮度和对比度, 凸显场景细节。

1 方法设计

1.1 后向散射去除

水下成像模型一般表达式为[24]

由于同一图像上不同场景点处的后向散射量主要取决于其场景深度(场景点与相机之间的距离), 而前景区域中场景深度的变化幅度通常较小, 因此, 前景区域的后向散射量近似为常量。背景部分并非关注重点, 所以可简单认为整幅图像上的后向散射是常量, 这对于场景深度变化不大的图像是一个合理的假设。而对于场景深度变化较大的图像, 主要关心的前景区域也满足这一假设。因此, 文中定义前景区域RGB各通道的最小值为叠加在零值上的后向散射量。

考虑到对于常规场景和拍摄角度, 前景区域往往出现在图像下部, 因此, 文中首先在图像的底部%的区域内搜索RGB各通道的最小像素值

在得到各通道最小像素值后, 将各通道分别减去对应的最小像素值, 即可实现后向散射去除

为验证该方法可行性, 对水下图像增强基准(underwater image enhancement benchmark, UIEB)数据集[25]中的图像进行处理, 示例结果如图1~图3所示。由图中可见, 无论是对于后向散射引起的模糊还是色偏, 使用该方法后都有较明显的改善。尤其是针对图3中场景深度变化不大、具有加性模糊或色偏的图像, 该方法效果显著。

图1 水下模糊图像去散结果

图2 蓝色调水下图像去散结果

图3 绿色调水下图像去散结果

1.2 同态滤波处理

图像中的高频信息对应于物体信息, 低频信息对应于光照信息, 同态滤波通过采用合适的滤波函数, 将高低频分别处理以达到高频增强、低频抑制的目的, 其主要流程如图4所示。

图4 同态滤波流程图

为实现低频抑制和高频增强, 将sigmoid函数引入同态滤波器, 得到如下高通滤波器

1.3 彩色图像校正

为进一步进行颜色校正和对比度拉伸, 进行如下计算[17]

2 实验结果与分析

在UIEB数据集[25]上将原图与利用CLAHE、DCP、水下暗通道先验(underwater dark channel prior, UDCP)[11]和同态滤波等方法处理后的图像进行对比。采用主、客观相结合的评价方法, 对以上方法处理后得到的图像进行横向比较, 并以UIEB的数据集为参考进行定性和定量评估。所有的算法均在MATLAB R2018b环境下编程实现, 算法执行的PC平台配置为: Inter(R) Core(TM) i5- 4210H CPU@2.90 GHz 2.90 GHz, 12 GB。

2.1 实验参数

图5 sigmoid高通滤波器频率响应图

实验中, CLAHE、DCP和UDCP采用了Wang等[26]提供的源程序, 参数未做改变。同态滤波方法即为文中的同态滤波部分, 参数同文中方法。

2.2 客观评价算法

进行客观分析时, 采用峰值信噪比(peak sig- nal to noise ratio, PSNR)和结构相似度(structural similarity index, SSIM)2种指标[27]。其均方误差为

PSNR计算公式

SSIM计算公式

2.3 实验结果分析

为了更好地验证所提算法的有效性和稳定性, 对UIEB数据库中的5类图像分别进行处理, 包括蓝色调图像、绿色调图像、俯视图像、前视图像和存在阴影区域的图像。结果的主、客观比较如图6~图10和表1~表3所示。

图6 蓝色调水下图像主观比较

图7 绿色调水下图像主观比较

图8 水下俯视图像主观比较

图9 水下前视图像主观比较

图10 亮度不均水下图像主观比较

表1 蓝/绿色调水下图像PSNR和SSIM结果比较

表2 水下俯视/前视图像PSNR和SSIM结果比较

从图中可看出, DCP方法的去除雾样模糊效果良好(见图8和图9), 但其对色彩偏差和亮度不均问题无效(见图5、图6和图10), 这是由于其主要针对的是不存在波长消光差异的雾天图像, 而对水下图像适用性差。UDCP方法能够有效减弱散射提高对比度(见图8), 但其色偏校正不充分(见图7)、对亮度不均问题无效(见图10)且易产生伪影(见图10场景2)。CLAHE方法在去除雾样模糊、改善亮度不均方面表现良好(见图6和图8), 但在颜色校正方面效果不佳(见图7的场景1), 且结果图偏亮致使色彩略有丢失(见图8和图10的场景1)。直接对水下图像应用同态滤波, 可增强图像细节, 改善亮度不均(见图10), 但其色偏校正效果不明显且易引起色彩丢失(见图6、图8和图9)。文中提出的基于常散射假设和同态滤波的水下图像增强算法, 不仅能够增强图像细节, 改善亮度不均, 而且能够有效去除雾样模糊和色偏, 对于相机设置和波长消光差异引起的加性均匀色偏和深度变化较小场景图像中的均匀模糊均表现良好(见图7)。这主要由于其常散射假设在此类图像中基本成立, 去除常散射即可去除主要模糊和色偏。文中方法在前视图像远景部分的模糊和色偏校正并不理想(见图9的场景2), 但如前所述, 大多数情况下近景部分是感兴趣区域, 对远景的关注度较低。

表3 亮度不均水下图像PSNR和SSIM结果比较

客观比较方面, 如前所述, PSNR值越高或SSIM值越接近于1, 表明增强图像与参考图像越接近。由表1和表2可看出, 文中方法在蓝色调场景1图像和水下前视图像上的PSNR和SSIM值最优。但在蓝色调场景2和水下俯视场景上的PSNR和SSIM值略逊于CLAHE方法。从图6和图8可看出, 蓝色调场景2和水下俯视场景的参考图像和CLAHE方法的结果图亮度较高, 但在高亮部分有色彩丢失现象; 文中方法结果图亮度偏低且略带土黄色, 但图像色彩更丰富, 可推断亮度差异是PSNR和SSIM值偏低的主要原因。由表1可看出, 绿色调场景中文中方法的PSNR值最优, 但SSIM稍逊于CLAHE方法, 这表明此2种指标也并非总会出现完全一致的结果。同时, 由图7的场景1可看出, 文中方法的结果明显优于CLAHE方法, 故可推测PSNR的可靠度更高。由表3可看知, 文中方法在亮度不均水下图像中的PSNR和SSIM值最优, 且远优于CLAHE方法, 这主要归功于同态滤波。总的来讲, PSNR和SSIM基本能够反映图像的相似程度, 但对图像亮度敏感, 应结合主、客观综合评价。

3 结束语

针对水下图像的色偏和低对比度问题, 提出了一种基于常散射假设和同态滤波的水下图像增强算法。通过常散射假设简化散射估计模型, 避免复杂先验与实际情形不符引起的伪影; 通过同态滤波增强直射分量图像中的高频物体信息, 抑制低频分量; 通过异常点剔除进行动态范围扩展和对比度增强。主、客观比较均显示文中算法在对水下图像进行增强时具有良好的性能。该算法简单稳定、计算量小, 适用于实时处理的应用场合。然而, 若图像中存在背光面、背光洞穴等不能接收散射光的暗区域, 由于散射光被低估, 并未得到有效去除, 该算法效果不明显, 这是未来研究的关注点之一。

[1] Lee D J, Redd S, Schoenberger R, et al. An Automated Fish Species Classification and Migration Monitoring System[C]//IECON’03 29th Annual Conference of the IEEE Industrial Electronics Society. Roanoke, VA, USA: IEEE, 2003.

[2] Chen C L P, Zhou J, Zhao W. A Real-time Vehicle Navigation Algorithm in Sensor Network Environments[J]. IEEE Transactions on Intelligent Transportation Systems, 2012, 13(4): 1657-1666.

[3] Schettini R, Corchs S. Underwater Image Processing; State of the Art of Restoration and Image Enhancement Methods[J]. EURASIP Journal on Advances in Signal Processing, 2010, 746052: 1-14.

[4] Galdran, Adrian P, David P, et al. Automatic Red-channel Underwater Image Restoration[J]. Journal of Visual Com- munication and Image Representation, 2015, 26(1): 132- 145.

[5] Mangeruga M, Bruno F, Cozza M, et al. Guidelines for Underwater Image Enhancement Based on Benchmarking of Different methods[J]. Remote Sensing, 2018, 10(10): 1652.

[6] Han M, Lyu Z, Qiu T, et al. A Review on Intelligence Dehazing and Color Restoration for Underwater Images[J]. IEEE Transactions on Systems, Man, and Cybernetics; Systems, 2020, 50(5): 1820-1832.

[7] Wang N, Zheng H Y, Zheng B. Underwater Image Restoration Via Maximum Attenuation Identification[J]. IEEE Access, 2017, 5: 18941-18952.

[8] He K M, Sun J, Tang X O. Single Image Haze Removal Using Dark Channel Prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353.

[9] Wen H C, Tian Y H, Huang T J, et al. Single Underwater Image Enhancement with a New Optical Model[C]//2013 IEEE International Symposium on Circuits and Systems (ISCA-S2013). Peking University, Beijing, China: IEEE, 2013: 753- 756.

[10] Yang H Y, Chen P Y, Huang C C, et al. Low Complexity Underwater Image Enhancement Based on Dark Channel Prior[C]//2011 Second International Conference on Innovations in Bio-inspired Computing and Applications. Guangdong, China: IEEE, 2011: 17-20.

[11] Drews Jr P, do Nascimento E, Moraes F, et al. Transm- ission Estimation in Underwater Single Images[C]//Pr- oceedings of the IEEE International Conference on Co- mputer Vision Workshops. Sydney, Australia: IEEE, 2013: 825-830.

[12] Peng Y T, Cosman P C. Underwater Image Restoration Based on Image Blurriness and Light Absorption[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1579-1594.

[13] Cheng C Y, Sung C C, Chang H H. Underwater Image Restoration by Red-dark Channel Prior and Point Spread Function Deconvolution[C]//2015 IEEE International Co- nference on Signal and Image Processing Applications (ICSIPA). Kuala Lumpur, Malaysia: IEEE, 2015: 110-115.

[14] Singhai J, Rawat P. Image Enhancement Method for Underwater, Ground and Satellite Images Using Brightness Preserving Histogram Equalization with Maximum Entropy[C]//7th International Conference on Computational Intelligence and Multimedia Applications. Piscataway, USA: IEEE, 2007: 507-512.

[15] Hitam M S, Yussof WNJHW, Awalludin, E A, et al. Mi- xture Contrast Limited Adaptive Histogram Equalization for Underwater Image Enhancement[C]//2013 Interna- tional Conference on Computer Applications Technology (ICCAT), Kuala Lumpur, Malaysia: IEEE, 2013: 1-5.

[16] IQBAL, Kashif, et al. Enhancing the Low Quality Images Using Unsupervised Colour Correction Method[C]//2010 IEEE International Conference on Systems, Man and Cybernetics. Istanbul, TURKEY: IEEE, 2010: 1703-1709.

[17] Fu X, Zhuang P, Yue H, et al. A Retinex-based Enhancing Approach for Single Underwater Image[C]//2014 IEEE International Conference on Image Processing(ICIP). Paris, French: IEEE, 2014: 4572-4576.

[18] Ancuti C O, Ancuti C, Philippe B. Effective Single Image Dehazing by Fusion[C]//2010 IEEE International Conference on Image Processing. Atlanta, USA: IEEE, 2010: 3541-3544.

[19] 蔡秀梅, 马今璐, 吴成茂, 等. 基于模糊同态滤波的彩色图像增强算法[J]. 计算机仿真, 2020, 37(6): 342-346.

Cai Xiu-mei, Ma Jin-lu, Wu Cheng-mao, et al. Color Image Enhancement Algorithm Based on Fuzzy Homomorphic Filtering[J]. Computer Simulation, 2020, 37(6): 342-346.

[20] 陶胜. 光照不均匀图像的频域增强方法[J]. 新余学院学报, 2020, 25(1): 12-15.

Tao Sheng. Enhancement and Adjustment for Non-unif- orm Illumination Image Based on Frequency Domain[J]. 2020, 25(1): 12-15.

[21] Suganthi K, Zaheeruddin S. Image Contrast Enhancement by Homomorphic Filtering Based Parametric Fuzzy Tran- sform[J]. Procedia Computer Science, 2019, 165: 166- 172.

[22] 邬才斌, 王爱平, 宗辉, 等. 基于小波变换和模糊隶属度的红外图像增强算法[J]. 电气自动化, 2019, 41(5): 115-118.

Wu Cai-bin, Wang Ai-ping, Zong Hui, et al. Infrared Image Enhancement Algorithm Based on Wavelet Transform and Fuzzy Membership[J]. Electrical Automation, 2019, 41(5): 115-118.

[23] 王永鑫, 刁鸣, 韩闯. 基于同态滤波的水下图像增强与色彩校正模型[J]. 计算机工程与应用, 2018, 54(11): 30- 34, 80.

Wang Yong-xin, Diao Ming, Han Chuang, et al. Underwater Image Enhancement and Color Correction Model Based on Homomorphic Filter[J]. Computer Engineering and Applications, 2018, 54(11): 30-34, 80.

[24] Akkaynak D, Treibitz T. Sea-thru: A Method for Removing Water from Underwater Images[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Long Beach,USA: IEEE, 2019: 1682-1691.

[25] Li C, Guo C, Ren W, et al. An Underwater Image En- hancement Benchmark Dataset and Beyond[J]. IEEE Transactions on Image Processing, 2019, 29: 4376-4389.

[26] Wang Y, Song W, Fortino G, et al. An Experimental-based Review of Image Enhancement and Image Restoration Methods for Underwater Imaging[J]. IEEE Access, 2019, 7: 140233-140251.

[27] Wang Z. Image Quality Assessment from Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

Underwater Image Enhancement Algorithm Based on Constant Scattering Assumption and Homomorphic Filtering

WANG Dan1, ZHANG Zi-yu1, ZHAO Jin-bao1, YANG Xie-liu1*, FAN Hui-jie2, TANG Yan-dong2

(1. School of Mechanical Engineering, Shenyang Jianzhu University, Shenyang 110168, China; 2. State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China)

Aiming at the problem of low contrast and color deviation in underwater image visual enhancement technology, an image enhancement algorithm based on constant scattering assumption and homomorphic filtering is proposed. Firstly, assuming the backscattering of the whole image is constant, the minimum pixel value of red, green and blue (RGB) three channels is searched in the foreground area of the image, and the difference between each channel and its corresponding minimum pixel value is determined to avoid backscattering. Subsequently, the image is transformed into a gray image and homomorphic filtering is performed to suppress the low-frequency information and enhance the high-frequency component of the image. Finally, color correction method is used to eliminated the interference of outliers to the image. Experimental results show that the proposed method can effectively improve the contrast and brightness of the image, and enhance the overall visual effect of the image.

underwater image; visual enhancement; scattering; homomorphic filtering

TJ630; TP391

A

2096-3920(2021)02-0210-08

; 10.11993/j.issn.2096-3920.2021.02.012

王丹, 张子玉, 赵金宝, 等. 基于常散射假设和同态滤波的水下图像增强算法[J]. 水下无人系统学报, 2021, 29(2); 210-217.

2020-07-01;

2020-08-04.

国家自然科学基金(61991413, 61973224); 道路施工技术与装备教育部重点实验室开放基金(300102259506); 辽宁省重点研发计划(2019JH2/10100014); 辽宁省自然科学基金(2019-ZD-0673, 2019-ZD-0655, 2019-KF-01-15).

杨谢柳(1985-), 女, 博士, 副教授, 主要研究方向为计算机视觉、图像处理及机器学习.

(责任编辑 杨力军)