水下图像基于GAN 去模糊的增强技术

王宏妫史先鹏*

(1.国家深海基地管理中心,山东 青岛 266237;2.杭州电子科技大学 自动化学院,浙江 杭州 310018)

海洋是一个巨大的自然资源宝库,蕴藏着丰富的生物资源和矿产资源[1]。水下图像处理技术可极大地帮助人类观察和探索水下世界,在海底考古、海底地形调查和海底矿物勘探等活动中起着重要的作用,是载人潜水器、遥控水下机器人(Remotely Operated Vehicles,ROV)和自治水下机器人(Autonomous Underwater Vehicles,AUV)等水下载体应用中的必要技术[2-4]。

水下图像增强方法大致可分为有光学模型[5]和无光学模型[6-8]的方法。基于光学模型的方法有暗通道先验(Dark Channel Prior,DCP)[9]、水下暗通道先验(Underwater Dark Channel Prior,UDCP)以及基于图像模糊和光吸收的恢复(Image Blurriness and Light Absorption,IBLA)方法。这几种方法经历了一个发展过程。起先,考虑到雾天成像与水下成像的物理过程具有相似性,DCP被广泛应用于水下图像[10-11]。但在超过30 m 深的水域下红光衰减严重,使用DCP的效果受到限制[12]。因此,在2013年Drews等[13]结合水下图像特点,提出了UDCP方法。后来,Peng和Cosman[14]提出了IBLA 方法,此方法虽然耗时,但恢复效果优于UDCP。基于无光学模型的方法包含传统图像增强和神经网络增强两大类方法。其中,传统图像增强方法基于图像的像素提高退化图像的可见性,例如直方图均衡化(Histogram Equalization,HE)、自适应直方图均衡化(Adaptive Histogram Equalization,AHE)、对比度限制的自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)[15]和灰度世界(Gray World)[16]等方法。然而,基于深度学习的方法并不依赖于任何实验或经验参数,它具有计算效率高的特点,例如:Chen等[17]提出的恢复模型(GAN-based Restoration Scheme,GAN-RS)在特征提取中有很好的效果;Li等[18]提出了一个密集连接的FCNN(Fourier Convolutional Neural Networks)的UWCNN(Underwater Convolutional Neural Network)模型,这既能保留原始结构和纹理,又能重建清晰的水下图像轻量级网络。但是,这些方法在分析退化图像时都忽略了水下图像运动模糊的问题。

随着神经网络算法的兴起,利用深度学习的方法改进水下图像处理技术已成大势所趋。考虑到现有方法的局限性,本文提出基于生成对抗网络(Generative Adversarial Networks,GAN)的水下图像去模糊技术,先根据水下图像颜色像素均值获得主颜色通道自适应恢复图像色彩,然后利用含有残差块的Deblur GAN网络[19-20]去除水下图像中的模糊现象,使水下图像处理后能够达到良好的视觉效果。

1 水下图像颜色恢复

水下图像颜色的恢复阶段需要考虑4个问题:①不能过度补偿,使图像产生红色的伪影;②注意图像曝光区域的颜色是否发生畸变;③最好能自适应地补偿被高度衰减的通道;④在颜色校正后不应丢失图中的细节特征,以保证一定的图像质量。因此,本文在恢复水下图像颜色过程中,先锐化增强图像的轮廓和细节,然后通过自适应的颜色补偿恢复水下图像颜色,最后采取线性校正的方法消除图像中像素分布不均匀的情况。

1.1 锐化过程

高斯滤波[21]有增强轮廓的效果,均值漂移算法[22]有平滑色彩细节的作用,因此,将原始的水下图像I依次进行高斯滤波和均值漂移,可得到平滑图像B:

式中:λ∈{b,g,r},其为图像中BGR 3个通道;x为图像在λ通道时的像素点。

基于图像I和B,可获得锐化后的图像D:

式中,α为原始的水下图像I的权重,用于调节图像D的明暗度。

1.2 自适应颜色校正过程

Ancuti等[23]考虑到水下绿色通道的衰减程度最小,所以将绿色通道固定为图像的主导通道,并对剩余通道进行补偿。然而,这并不能保证所有水下图像都由绿色通道主导,在颜色校正过程中有局限性。为了达到自适应颜色校正的效果,每个图像动态选择均值最大的通道作为主导通道k:

然后,基于主导k通道对剩余通道进行补偿,得到校正后的图像Ic:

式中,β为用于调节图像D补偿程度权重为补偿项,1-D(λ,x)为度量值。当图像D在λ通道位于x的像素值D(λ,x)很小时,度量值反而会增大,此时像素点x获得的补偿也增大。

1.3 图像线性拉伸过程

在颜色恢复的最后一步,将图像Ic通过线性拉伸改善图像对比度,得到最终的图像M:

式中,参数min和max分别设置为图像中前2%和后1%的像素值大小,将图像中的像素值均匀地分布到[min,max]内。

2 基于GAN 去模糊

2.1 GAN 网络结构

生成对抗网络(GAN)由生成器网络和判别器网络两个网络构成。生成器网络可以将原始图像转化为高质量的图像[19],而判别器网络用于判别图像的真伪性[19]。由于GAN 网络具有高效的建模能力,因此,本文采用DeblurGAN的方法将模糊图像重建为清晰图像,GAN整体网络结构如图1所示。生成器首先经过2个下采样,然后进入由残差网络思想构造的特征增强提取模块[24],最后通过2个上采样得到最终的结果图像。而判别器将生成的图像和真实图像作为输入,经过4次下采样后进入全连接层获得判别结果。

图1 GAN 网络结构Fig.1 GAN network structure

2.2 GAN 网络细节

生成器和判别器的卷积块如图2a和图2b所示。由于生成器网络复杂,其卷积块的激活函数选择简单快速的Relu函数,尽可能减少网络中繁冗的信息;而简单的判别器网络则采用Leaky Relu 激活函数保留仅有的信息[25]。

另外,在生成器中,特征增强模块通过残差思想解决网络退化问题,其由9个残差卷积块组合而成,能够保留更多的图像特征。残差卷积块如图2c所示,可表示为:

图2 3种卷积块结构Fig.2 Three convolutional block structures

式中,Z k为生成器第k层网络的输出,Z k下一层输出Z k+1的则是由直接映射Z k和间接映射ι(Z k)两部分构成。为了避免模型的过拟合,在间接映射时将使用Dropout正则化,以减少模型的训练参数[26]。

3 结果与分析

本实验共选取了UIEB数据集[27]中的70张原始水下图像,并对其进行增强处理。在训练GAN 时,采用了GOPRO_Large数据集[28]。实验所用的计算机处理器为AMD R7-4800 H(16G),显卡为RTX 2060(6G)。

为分析本文方法的有效性,通过与现有的水下图像处理方法进行对比,从视觉颜色、视觉清晰度、图像特征提取和图像质量指标这4个维度来分析实验结果。

3.1 视觉色彩分析

在测试图像视觉颜色效果时,选取5张带有蓝绿偏色的图像[27],分别基于CLAHE[15]、Gray World[16]、简单白平衡[29]和本文方法进行对比,结果(图3)显示,采用CLAHE和简单白平衡方法的图像依旧有蓝绿偏色(图3b和图3d),而采用Gray World方法的图像整体色调偏红(图3c)。这些方法获得的图像都有缺陷,究其原因是没有充分考虑到水下图像颜色分布的特殊性。其中,CLAHE 和简单白平衡方法是对图像像素的重新分布,仅能够提高图像的对比度,但无法进一步解决图像偏色的问题。Gray World方法假设图像RGB 3个分量有相同均值,这会过度补偿红色通道,使得水下图像呈现出红色伪影的问题。本文提出的方法充分利用水下图像的特点,利用自适应补偿通道的手段来校正图像,能够较好地恢复水下图像颜色,完全消除偏色并且没有红色伪影现象的产生,如图3d所示。

图3 基于CLAHE、Gray World、简单白平衡和本文方法对图像颜色恢复效果的比较Fig.3 Comparison of image color restoration effects based on CLAHE,Gray World,White Balance and the method of this study

3.2 视觉清晰度分析

为验证本文方法对非模糊图像的处理效果,选取3张无运动模糊的水下图像[27]进行实验(图4)。观察图4a和图4b中珊瑚的颗粒、船上泥垢的纹路和鱼的鳞片,发现本文方法得到的图像清晰度更高,物体的轮廓特征更明显。但图4只能说明本文方法有提高图像清晰度的能力,无法展现其去模糊能力。因此,本文根据不同的模糊参数生成7张不同的模糊图像进行实验(图5),以证明本文去模糊方法的有效性。与图5a中的图像相比,图5b中图像的模糊程度更小、清晰度更高。虽然本文方法的去模糊效果随着模糊长度的增加而相对减弱(对比图5b中:Ⅱ、Ⅲ、Ⅳ;Ⅴ、Ⅵ、Ⅶ),但具有相同模糊长度的图像去模糊效果不会随着模糊角度的变化而减弱(对比图5a中:Ⅱ、Ⅴ;Ⅲ、Ⅵ;Ⅳ、Ⅶ)。由此可知,本文方法具有稳定的去模糊能力,且适用于模糊现象不同的图像。

图4 本文方法对非模糊水下图像的处理结果Fig.4 The processing results of the unblurred underwater image

图5 本文方法对模糊图像的处理结果Fig.5 The processing result of the blurred images

3.3 特征提取分析

SIFT(Scale-Invariant Feature Transform)[21]常被用于描述图像的局部特征,特征越多,图像包含的信息就越丰富。为进一步验证本文算法对水下图像特征的增强效果,采用SIFT 分别对原图和基于UDCP[13]、IBLA[14]、DCP[9-10]和本文方法获得的结果来计算特征点数量,结果如图6所示。由图6可以看出,经过本文方法处理后的3个图像获得的特征点个数都是最多的,即得到的图像特征最多,更有利于图像信息的提取。所以,在后续进行目标识别等工作中,本文方法比UDCP、IBLA 和DCP更有优越性。

图6 基于UDCP、IBLA、DCP和本文方法对图像特征点个数的比较Fig.6 Comparison of the number of image feature points based on UDCP,IBLA,DCP and the method in this paper

3.4 质量指标分析

为客观地评价本文方法,选取2种指标对水下图像的质量进行评价,即水下图像质量度量(Underwater Image Quality Measures,UIQM)[30]和水下彩色图像质量评估(Underwater Color Image Quality Evaluation,UCIQE)[31]。其中,UIQM 是从图像的对比度、清晰度和色彩三方面评价图像质量的指标,而UCIQE是从图像的亮度、色度和饱和度三方面评价图像质量的指标。这2个指标都是无参考评价指标,即通过评价图像自身信息来评估图像的优劣,UIQM 和UCIQE值越大,说明图像的视觉效果越好。

选取70张水下图像,将本文算法与UDCP[13]、IBLA[14]和DCP[9]三种增强方法进行对比,并记录图像的质量指标平均值,如表1 所示。由表1 可知,本文方法相比其他3 种方法得到的UIQM 值最高。但将UCIQE作为图像质量评价指标时,基于UDCP方法获得的UCIQE 值最高,本文方法获得的UCIQE 值仅次于UDCP方法。综合2个质量评价指标的结果,可得本文方法具有颜色保真度高和图像质量好的特点。

表1 基于不同方法的图像质量评估Table 1 Image quality evaluation based on different methods

4 结语

针对部分水下图像存在运动模糊的问题,本文提出了基于自适应颜色校正和GAN 去模糊的水下图像增强方法。实验结果表明,本文所提出的算法无论是在水下图像视觉评估中还是在质量指标分析中都表现出很好的效果,具体体现在4个方面:①校正了水下图像的偏色,使得图像具有良好的视觉效果;②解决了水下图像对比度低和运动模糊的问题;③具有良好的泛化能力,可以应对各种模糊的水下图像;④增强了图像中的轮廓特征,为后续的水下目标识别工作奠定了基础。