基于视觉质量驱动的无监督水下图像复原

杨爱萍，邵明福，王金斌，王 前，张腾飞

基于视觉质量驱动的无监督水下图像复原

杨爱萍，邵明福，王金斌，王 前，张腾飞

(天津大学电气自动化与信息工程学院，天津 300072)

基于深度学习的水下图像复原方法已经取得了较大进展，但大多数是有监督学习方法，其通常需要大量高质量的清晰图像作为参考，难以应用于实际水下场景．因此，从水下图像降质机理和视觉质量提升等角度出发，提出一种基于视觉质量驱动且无需任何参考图像的无监督水下图像复原方法．网络主体采用基于小波变换的编解码结构，包含一些对称的卷积层和反卷积层，学习端到端的数据映射；为了实现特征复用，在编解码对应层加入跳层连接，增强特征提取能力；使用小波变换取代传统上采样和下采样，保证特征提取过程中较好地保持图像细节；设计残差增强模块，有效缓解梯度消失和过拟合现象．更为重要的是，从图像视觉质量改善角度出发，设计一系列无参考损失函数，包括感知损失、全变差正则化损失、颜色损失、对比度损失等，网络可实现由水下降质图像到清晰图像的直接输出．实验结果表明，所提无监督水下图像复原方法优于部分监督式方法，无参考评价指标Entropy、UIQM分别取得最高值7.38、3.31，且复原图像细节丰富、色彩自然，具有较强的泛化能力，可较好用于实际水下场景．

水下图像增强；无监督；视觉质量驱动；小波变换

在复杂的水下环境中，由于可见光受到水体的吸收和介质的散射等影响，水下图像通常存在对比度低、图像模糊及色彩失真等降质特点，直接影响水下目标识别与跟踪等视觉任务，因此水下图像增强与复原研究具有重要的现实意义．

目前，在水下图像清晰化方面已经提出了很多方法，包括基于图像增强的方法、基于图像复原的方法和基于深度学习的方法．基于图像增强的方法不依赖于水下成像物理模型，主要通过直接调整图像的像素值，提高图像对比度等属性改善视觉效果[1-5]．基于图像复原的方法通过估计模型参数构建水下成 像物理模型，反演其退化过程从而得到清晰的水下图像[6-9]．

近年来，随着深度学习的发展，基于深度学习的水下图像增强方法成为领域内新的研究热点，根据其在训练过程中使用参考图像的方式可分为有监督学习方法、半(弱)监督学习方法以及无监督学习方法．有监督学习方法中，Wang等[10]首次提出了一种基于卷积神经网络的端到端水下图像增强框架，但该模型参数量较大，计算成本较高；Naik等[11]提出了一种浅层神经网络，该网络模型具有较少的参数，可有效缓解过拟合问题，但图像细节特征缺失较为明显，视觉效果较差；Li等[12]提出了一种基于门控融合的网络并构建水下图像增强基准(underwater image enhancement benchmark，UIEB)数据集，该方法将输入图像与预处理图像相融合，可充分挖掘图像细节特征，由于数据集规模较小，模型泛化能力不足；Fabbri等[13]提出基于CycleGAN[14]的水下图像增强算法(UGAN)，该方法严重依赖合成数据集，增强图像与真实图像风格迥异，实用性较差；Hashisho等[15]提出了基于U-net的水下去噪自编码器(UDAE)网络，但由于采用传统上、下采样方式，导致增强图像纹理细节缺失、对比度下降、色彩失真等．

由于实际应用中难以获取水下图像对应的参考图像，因此基于有监督学习的水下图像增强方法应用严重受限．基于此，有些研究者提出了基于半(弱)监督学习的水下图像增强方法．Islam等[16]提出了基于CGAN的快速水下图像增强模型(FUnIE-GAN)，并构建了增强水下视觉感知(enhancing underwater visual perception，EUVP)数据集，该模型通过配对和未配对的图像进行训练，增强了模型的泛化能力，但对于质量退化严重和纹理缺乏的水下图像增强效果不佳．Li等[17]提出一个半监督水下图像校正模型(UCycleGAN)，使用未配对的水下图像训练，学习清晰参考图像的颜色风格，并设计多种损失函数保留原始图像的内容和结构．半(弱)监督学习方法减少了对水下图像真实数据集的依赖，在一定程度上增强了模型的泛化能力．

到目前为止，有少量基于无监督学习的水下图像方法出现．Barbosa等[18]提出一种使用一组图像质量指标指导优化过程的无监督学习方法，但是，由于该方法基于水下成像物理模型得到复原图像，存在先验估计不准确的问题，复原图像视觉质量有待提高，且模型泛化能力较差．为此，本文考虑水下图像降质特点及图像视觉质量改善，提出一种基于视觉质量驱动的无监督水下图像复原框架，通过构建端到端的网络直接学习水下降质图像到清晰图像的数据映射．网络主体采用对称的编解码网络结构，通过跳层连接，将浅层特征与深层特征相融合，保留更多的纹理细节特征，实现特征复用；设计残差增强模块，有效缓解梯度消失现象．从视觉质量改善方面设计感知损失、全变差正则化损失、颜色损失、对比度损失等一系列无参考损失函数驱动网络训练．所提方法无需任何参考图像，具有较好的泛化能力，可较好用于实际水下场景．

1 本文方法

本文设计的无监督水下图像复原框架如图1所示．网络主体采用编码器-解码器结构，编码器采用离散小波变换(discrete wavelet transform，DWT)代替传统的下采样，可避免传统池化或卷积操作导致的细节丢失；为了克服因特征图通道数过多而导致的梯度消失和过拟合现象，设计残差增强模块进行特征提取，其包含两个普通卷积层和一次跳跃连接．解码器采用逆离散小波变换(inverse discrete wavelet transform，IDWT)代替传统的上采样，可有效保留特征图细节和边缘特征；通过与编码器对应层之间的跳层连接，将浅层特征与深层特征相融合，实现特征复用．

1.1 编码器结构

图1 网络结构

对于输入图像，通过特征提取层提取特征，学习水下图像到增强图像之间的非线性映射关系，得到输出特征；经过３次特征映射后，输出特征代入残差增强层，可降低网络计算成本，避免梯度消失和过拟合现象，最终得到编码器输出特征．

1.2 解码器结构

解码器由特征还原层、特征映射层和跳层连接3部分组成．特征还原层使用逆离散小波变换，有效地避免因不均匀重叠[19]而造成的人工效应，将输出通道数变为原来的1/4，特征图大小变为原来的4倍．特征映射层由一个卷积核大小为3×3、步长为1、填充为1的卷积层和一个ReLu激活函数组成，不同的特征映射层卷积核的数目不同．跳层连接将解码器上一级特征还原层的输出与相对应编码器的特征映射层的输出通过concat操作融合，实现特征复用，可表示为

1.3 损失函数

1.3.1 内容感知损失函数

从改善人类视觉感知角度出发，防止生成图像与输入图像在语义上产生较大差异，设计感知损失衡量增强图像和水下图像之间的语义差异．具体地，利用VGG-16网络的conv2-2、conv3-3、conv4-2 3个卷积层，分别提取增强图像与输入图像的特征，通过缩小增强图像与输入图像特征之间的欧氏距离，使得增强图像与输入图像在语义特征上保持一致，具体可表 示为

1.3.2 全变差正则化损失函数

全变差正则化损失函数普遍用于图像复原[20]、超分辨率重建[21]等应用中．由于无监督学习会产生随机噪声，易造成突兀的直观感受．通过设计全变差正则化损失函数，降低相邻像素点之间的差异，减少训练过程中产生的随机噪声，增加图像的平滑度，改善视觉效果．具体可表示为

1.3.3 颜色损失函数

由于无监督学习方法无法通过参考图像学习真实水下图像的颜色信息，根据灰度世界假设算法[2]设计颜色损失函数，消除水下图像存在的色偏，改善视觉效果．该损失函数可以使图像各通道像素平均值趋近于全局像素平均值，实现颜色校正，同时增大各通道像素值之间的差异，防止像素值均匀化，具体可表示为

1.3.4 对比度损失函数

设计对比度损失函数，增大各通道像素值与其平均值之间的差异，进而增强水下图像的对比度，提升视觉质量，表示为

综上，设计总损失函数为

2 实验结果与分析

2.1 数据集及实验设置

2.2 实验与结果分析

为了验证本文算法的有效性，从客观评价指标和主观视觉效果两个方面与近年来先进的水下图像增强算法进行对比．对比的算法包括传统方法CLAHE[1]、GW[2]、UDCP[7]和基于深度学习的方法UGAN[13]、UCycleGAN[17]、FUnIE-GAN[16]、Water-Net[12]、UDAE[15]．

采用信息熵(Entropy)、UCIQE、UIQM 3种无参考客观评价指标对增强效果进行定量分析．信息熵表示图像包含信息量的大小，其值越大代表图像包含信息量越多．UCIQE利用图像色彩浓度、饱和度及对比度的线性组合来量化水下图像的非均匀色差、模糊和对比度，其值越高，增强图像的总体质量越高. UIQM由UICM(色彩测量指标)、UIConM(对比度测量指标)、UISM(清晰度测量指标)3部分组成，其值越大，表示图像的颜色平衡度、对比度、清晰度越佳．本文从测试数据集中随机选取100张图片作为测试输入，计算增强图像的客观指标，并取平均值作为最终的结果，表1给出了各增强方法的评价结果．

表1 无参考评价指标比较

Tab.1 Comparison among unsupervised evaluation indicators

注：带*数值表示该结果取得对应指标的最高值.

由表1可以看出，本文方法在Entropy、UISM、UIConM以及UIQM等指标均取得了最好的结果．Entropy指标取得最高值，说明本文方法相比于其他方法保留了最多的图像信息；UIQM指标取得最高值，说明本文方法增强图像视觉效果要优于其他方法．其中，UISM、UIConM分量指标取得最高值，说明本文方法在改善图像清晰度、提高对比度方面取得最显著效果；UICM分量主要通过计算图像通道的均值和方差评判图像色彩质量，而传统方法如CLAHE、GW等通过调整图像像素强度实现图像增强，通常具有较高的UICM值．而基于深度学习的方法在训练过程中，由于多次卷积和上、下采样操作，丢失了大量的像素信息，导致基于深度学习的方法UICM分量指标普遍低于传统方法．相对而言，由于本文算法采用小波变换代替传统的卷积和上、下采样操作，训练过程损失的信息较少，因此本文方法在深度学习方法中取得最高的UICM值4.92．FUnIE-GAN方法的UCIQE指标取得最高值，但是该方法使用配对的和未配对的数据集进行训练，与本文方法相比，泛化能力不足．总体而言，本文方法有效地实现了水下图像颜色、对比度、清晰度改善，同时具有良好的模型泛化能力．

进一步，为了更加直观地说明本文方法的性能，在ImageNet、UIEB、RUIE测试数据集中分别选取3张图像与主流方法进行主观视觉效果对比，各种方法增强效果如图3～图5所示．

图3 ImageNet数据集上对比结果

图4 UIEB数据集上对比结果

图5 RUIE数据集上对比结果

基于CLAHE方法的增强图像锐度过高，改变了原始图像的纹理信息(如图3(b)第1张图海底生物和图4(b)第2张图)．GW方法增强得到的水下图像过度补偿红通道，视觉效果差(如图3(c)第2张图，图4(c)第1张图，图5(c)第1、3张图像整体颜色偏向红色)．UDCP方法由于不考虑红通道信息，导致增强图像偏色严重(如图4(d)第2张图像整体色彩偏蓝，第3张图像偏绿)．

基于深度学习的方法中，UCycleGAN方法由于受到合成数据集风格的限制，增强图像风格与真实图像风格产生较大差异，且会导致细节模糊(如图3(e)中的第1张图像水草纹理模糊，图5(e)中第2张图像整体颜色风格改变)．UGAN、FUnIE-GAN和Water-Net是基于有监督学习的方法，基于UGAN方法的增强图像存在对比度较低和细节模糊的现象(如图4(f)第3张图像整体对比度低，海底物体边缘特征不明显)．FUnIE-GAN方法不能有效解决色偏问题(如图3(g)中的第3张图和图4(g)第2张图整体色调偏红)．Water-Net方法与本文方法皆可有效增强图像视觉效果，恢复图像细节．通过图3和图4特征对比发现，本文方法相比Water-Net方法，其图像对比度增强效果显著，图像细节特征增强明显；图4(j)第2张图像和图5(j)第1张图像显示，本文方法相比Water-Net方法亮度更高，视觉效果更好；图5(j)第2张图像表明，本文方法恢复图像颜色更自然．UDAE方法采用传统的上、下采样方式，复原图像细节损失严重(如图3(i)中的第1张图，图4(i)第3张图和图5(i)的第1张图存在细节模糊现象)．综上所述，本文方法增强了图像对比度，完善了图像细节，改善了色偏，图像亮度得到较大提升，视觉效果理想．

为了进一步验证各方法的性能，本文对增强后的水下图像进行边缘检测．采用Canny算子[23]对增强图像进行边缘检测，各方法检测结果如图6所示．由图6可知，CLAHE方法增强图像锐度过高，海底的水草和生物表面的细小纹理过于密集；GW、UDCP以及Water-Net方法保留图像边缘信息能力较差，图像细节较少；UCycleGAN、UGAN以及FUnIE-GAN可以有效保持图像边缘，但与本文方法相比，缺少局部细节纹理．本文方法复原的水下图像边缘细节清晰，取得理想的边缘检测效果．

图6 不同方法的边缘检测

2.3 消融实验

表2 消融实验的无参考评价指标

Tab.2 Unsupervised evaluation indicators of ablation experiments

注：带*数值表示该结果取得对应指标的最高值.

图7 消融实验

3 结 语

本文提出一种基于视觉质量驱动的无监督水下图像复原框架．网络主体采用编解码结构，通过跳层连接将浅层特征与深层特征融合，实现特征复用；设计残差增强模块，有效防止梯度消失和过拟合现象的产生；使用小波变换替代传统的上、下采样，保留更多的细节特征和边缘信息．基于EUVP、UIEB和RUIE数据集的实验结果表明，本文方法泛化能力强，且无需任何参考图像，复原图像主观效果优于部分有监督复原方法，可实际应用于水下场景；基于损失函数的消融实验结果表明，从改善视觉质量角度出发所设计的损失函数，有效恢复了水下图像细节特征，改善了颜色、提高了对比度和清晰度；基于小波变换的消融实验结果表明，本文方法的Entropy、UCIQE和UIQM指标分别提高了3.0%、4.7%和8.5%，充分验证了小波变换的有效性.

未来工作中，将进一步改进基于视觉质量改善角度设计的无参考损失函数，增强网络的泛化能力，提高网络的性能．

［1］Ghani A S A，Isa N A M. Enhancement of low quality underwater image through integrated global and local contrast correction[J]. Applied Soft Computing，2015，37：332-344.

［2］Buchsbaum G. A spatial processor model for object colour perception[J]. Journal of the Franklin Institute，1980，310(1)：1-26.

［3］Fu X，Zhuang P，Huang Y，et al. A retinex-based enhancing approach for single underwater image[C]//2014 IEEE International Conference on Image Processing(ICIP). Paris，France，2014：4572-4576.

［4］Li S，Li H，Xin G. Underwater image enhancement algorithm based on improved retinex method[J]. Comput Sci Appl，2018，8：9-15.

［5］Ancuti C O，Ancuti C，de Vleeschouwer C，et al. Color balance and fusion for underwater image enhancement[J]. IEEE Transactions on Image Processing (TIP)，2018，27(1)：379-393.

［6］He K，Sun J，Tang X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI)，2010，33(12)：2341-2353.

［7］Drews P L J，Nascimento E R，Botelho S S C，et al. Underwater depth estimation and image restoration based on single images[J]. IEEE Computer Graphics and Applications，2016，36(2)：24-35.

［8］Peng Y T，Cao K，Cosman P C. Generalization of the dark channel prior for single image restoration[J]. IEEE Transactions on Image Processing(TIP)，2018，27(6)：2856-2868.

［9］杨爱萍，杨炳旺，曲 畅，等. 基于透射率融合与优化的水下图像复原[J]. 天津大学学报(自然科学与工程技术版)，2019，52(10)：1033-1044.

Yang Aiping，Yang Bingwang，Qu Chang，et al. Transmission fusion and optimization for single underwater image restoration[J]. Journal of Tianjin University(Science and Technology)，2019，52(10)：1033-1044(in Chinese).

［10］Wang Y，Zhang J，Cao Y，et al. A deep CNN method for underwater image enhancement[C]//2017 IEEE International Conference on Image Processing(ICIP). Beijing，China，2017：1382-1386.

［11］Naik A，Swarnakar A，Mittal K. Shallow-UWnet：Compressed model for underwater image enhancement(student abstract)[C]//Proceedings of the AAAI Conference on Artificial Intelligence. California，USA，2021：15853-15854.

［12］Li C，Guo C，Ren W，et al. An underwater image enhancement benchmark dataset and beyond[J]. IEEE Transactions on Image Processing(TIP)，2020，29：4376-4389.

［13］Fabbri C，Islam M J，Sattar J. Enhancing underwater imagery using generative adversarial networks[C]//2018 IEEE International Conference on Robotics and Automation(ICRA). Brisbane，Australia，2018：7159-7165.

［14］Zhu J Y，Park T，Isola P，et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE International Conference on Computer Vision(ICCV). Venice，Italy，2017：2223-2232.

［15］Hashisho Y，Albadawi M，Krause T，et al. Underwater color restoration using U-Net denoising autoencoder [C]//2019 11th International Symposium on Image and Signal Processing and Analysis(ISPA). Dubrovnik，Croatia，2019：117-122.

［16］Islam M J，Xia Y，Sattar J. Fast underwater image enhancement for improved visual perception[J]. IEEE Robotics and Automation Letters(RAL)，2020，5(2)：3227-3234.

［17］Li C，Guo J，Guo C. Emerging from water：Underwater image color correction based on weakly supervised color transfer[J]. IEEE Signal Processing Letters(SPL)，2018，25(3)：323-327.

［18］Barbosa W V，Amaral H G B，Rocha T L，et al. Visual-quality-driven learning for underwater vision enhancement[C]//2018 25th IEEE International Conference on Image Processing(ICIP). Athens，Greece，2018：3933-3937.

［19］Odena A，Dumoulin V，Olah C. Deconvolution and checkerboard artifacts[EB/OL]. http：//distill. pub/2016/ deconv-checkerboard，2016-10-17.

［20］Mahendran A，Vedaldi A. Understanding deep image representations by inverting them[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Boston，USA，2015：5188-5196.

［21］Aly H A，Dubois E. Image up-sampling using total-variation regularization with a new observation model [J]. IEEE Transactions on Image Processing(TIP)，2005，14(10)：1647-1659.

［22］Liu R，Fan X，Zhu M，et al. Real-world underwater enhancement：Challenges，benchmarks，and solutions under natural light[J]. IEEE Transactions on Circuits and Systems for Video Technology(TCSVT)，2020，30(12)：4861-4875.

［23］Canny J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI)，1986(6)：679-698.

UnsupervisedUnderwater Image Restoration Based on Visual-Quality-Driven

Yang Aiping，Shao Mingfu，Wang Jinbin，Wang Qian，Zhang Tengfei

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

Deep learning has achieved quite promising results in underwater image restoration. However，most of them are supervised learning methods，which typically require massive high-quality images as reference images and cannot be applied to practical underwater settings. Therefore，we proposed a visual-quality-driven unsupervised underwater image restoration method from the perspectives of underwater image degradation mechanism and visual quality improvement. The backbone network adopts the encoder-decoder structure based on a wavelet transform and learns an end-to-end data map，which includes some symmetric convolutional and deconvolutional layers. To enable feature reuse，a skip connection was added to the corresponding layers of the codec to enhance the feature extraction capability. We used wavelet transform to replace traditional up-sampling and down-sampling to preserve more details in the feature extraction process. In addition，the residual enhancement module was designed to effectively relieve gradient disappearance and overfitting phenomena. More importantly，we designed a series of no-reference loss functions，including perceptual loss，total variation regularization loss，color loss，and contrast loss，to restore the visual quality of underwater images. The network can realize the direct output from the degraded images to sharp ones. The experimental results show that the proposed unsupervised underwater image restoration method outperforms partially supervised methods. The no-reference evaluation indices Entropy and UIQM achieve the highest values of 7.38 and 3.31，respectively，and the restored image has rich details and natural colors. It has a strong generalization capability and can be better used in real underwater scenarios.

underwater image enhancement；unsupervised；visual-quality-driven；wavelet transform

10.11784/tdxbz202206039

TN911.73

A

0493-2137(2023)11-1217-09

2022-06-30；

2022-11-05.

杨爱萍（1977—  ），女，博士，副教授.Email：m_bigm@tju.edu.cn

杨爱萍，yangaiping@tju.edu.cn.

国家自然科学基金资助项目(62071323，62176178).

the National Natural Science Foundation of China(No.62071323，No.62176178).

(责任编辑：孙立华)