基于色彩均衡和多权重融合的水下图像增强算法

孙昊宇，牛宏侠

(1.兰州交通大学 光电技术与智能控制教育部重点实验室，甘肃 兰州 730070；2.甘肃省高原交通信息工程及控制重点实验室，甘肃 兰州 730070；3.兰州交通大学 自动化与电气工程学院，甘肃 兰州 730070)

0 引言

21世纪以来,人类对陆地的勘探已经大部分完成,未知的海洋成为了人们新的目标。随着陆地资源的紧缺与能源危机的产生,海洋是接下来人类的重要资源来源。作为水下探测中的最基础的图像信息,能够在受到较少干扰的情况下直观地反映水下的状况。在水下,由水中包含的杂质、附着在水中物体表面的沉积物以及水体中的漂浮物造成的不正常散射,以及水对阳光的反射与折射相互作用,多种因素的叠加造成了水下图像较为复杂的成像以及严重低下的清晰度和完整度。尽管目前的图像增强得到了很大的提高,但由于水下环境的特殊性和非线性使得一些算法对细节不能达到很好的增强效果,且由于环境的不确定性导致神经网络的泛化性低且效果不明显,主要表现为水中的图像噪声较大、图片模糊不清、像素聚焦困难、颜色色调偏离严重、边缘与整体细节的退化等问题。因此,对现有的水下图像进行清晰化,具有很高的研究价值。

目前水下图像处理算法主要分为以下3种:基于物理模型的增强算法、基于非物理模型的增强算法和基于数据驱动的增强方法。基于物理模型的增强方法一般通过建立水下成像的物理模型,再采用假设估计与直接测量的方法得到模型内水体性质参数,经过反演推断获得未退化的水下清晰图像,在数据缺乏或受限的情况下,仍然能够进行模型预测和控制,对于已知的物理系统,模型的参数可以根据实验或理论进行准确估计。如Li等[1]扩展暗通道先验(Dark Channel Prior,DCP)算法通过去雾算法恢复蓝绿信道,并按照灰色世界理论进行红通道校正,减少光吸收和散射的影响,对于浅水图像的色偏去除效果较好。文献[2]融合双透射率成像模型与Retinex方法,使用多尺度融合的方法获得清晰化水下图像,环境适应性较强。文献[3]提出一种水下图像形成模型的无监督和未训练的水下图像复原方法,将水下图像分解为场景辐射图、直接传输图、反向散射传输图和全球背景光4个组成部分,以自监督的方式重建水下图像,对于光照还原效果更真实。但此类方法目前通常需要较多的领域专业知识和数学能力,建立精确的物理模型也需要耗费大量的时间和资源,在实际应用中,无法完全精确地演化水下退化模型,需要进行模型简化和适当的近似。

基于非物理模型的方法通过调整给定的图像像素值来增强图像,通常可以通过优化算法和机器学习技术来提高预测和控制的精度和鲁棒性,可以应用于各种不同环境水下图像的处理,不受物理特性的限制。文献[4]利用LAB颜色空间并使用K均值聚类的双直方图增强算法增强拆分图像基础层的对比度,对于处理图像集合,该算法非常高效。文献[5]将水下图像分解光照层进行亮度补偿和反射层进行对比度提升,具有较高的灵活性,细节损失较小。文献[6]通过多级小波变换拆分图像的高低频,组成了多级小波变换增强网络并基于二阶龙格库塔模块的细化子网络,去除水下图像噪声,表现出较好的去噪能力。但此类方法缺少物理基础,难以提供系统的深入分析;对于数据缺乏或受限的情况,预测和控制的精度会受到影响。

基于数据驱动的方法一般利用神经网络来学习退化图像到清晰图像的映射,可以从海量数据中自动学习系统的特征和行为,不需要对系统进行先验知识的建模;通过模型优化和深度学习等技术来提高预测和控制的精度。如Li等[7]创建了水下图像数据集UIEB,并结合数据集提出了waternet网络,针对不同光照和深浅的水下图像都展现出了较好的泛化能力。文献[8]针对针对水下深水环境利用卷积神经网络提出了 DUIENet网络,对水下图像颜色的校正与背景特征的保留和光照都有很好的主观效果。文献[9]提出了使用残余密集学习的FloodNet,从退化的水下图像中提取特征的低级特征提取,通过跳跃连接密集连接的残差密集块进行分层特征融合,自适应利用局部和全局残差学习获得恢复的水下图像,对细节保留效果较为优秀。但数据驱动的方法目前仍需大量的图像数据来进行训练,这对于一些特殊场景的图像增强可能会比较困难,且需要大量的计算和模型训练,十分耗费计算资源和时间。

图像增强算法可以提高图像处理和分析的准确性和效率,有助于更好地识别和提取图像特征,从而更好地实现各种应用,且方法更便捷。基于此,本文提出了基于色彩均衡和多权重融合的水下图像增强算法,针对水下图像的低清晰度、低信息度和高色偏分别处理,相比于其他算法,本文算法在保证图像无色偏的基础上,还具有更好的饱和度提升效果和更好的明暗对比细节能力,且针对不同程度的水下浑浊图像都有很好的增强效果,适用环境较广。经过主客观实验对比后,验证了本文算法对水下图像整体清晰度恢复效果,为后续水下图像目标识别等领域提供更优的处理图像。

1 本文算法

本文提出的基于色彩均衡和多权重融合的水下图像增强算法主要分为3个部分处理:第一部分是针对水下图像模糊影响,利用DCP算法进行去模糊处理;第二部分是偏色校正处理,本文采取基于动态阈值法的白平衡算法解决偏色影响,并利用灰度世界算法进行校正后处理,以均衡处理后存在的过度曝光问题;第三部分对于图像边缘和图像细节增强采取多权重融合的方式处理,主要是分为2个图谱,利用伽马校正和基于直方图均衡化的边缘增强算法分别处理,然后单独计算显著性权重和饱和度权重,最后线性加权融合后得到输出图像。

本文算法流程如图1所示。

图1 本文算法流程Fig.1 Flowchart of the proposed algorithm

1.1 DCP去模糊

由于水下图像在光照下部分光波会衰减消失,导致获取到的图像会产生模糊效果[10],再加上存在水域浑浊影响,会产生类似雾气干扰的问题,DCP算法是经典去雾算法,在保证时间效率的同时,能有效去除雾气效果,进而提升图像清晰度。因此本文利用DCP算法进行预处理,消除水下图像模糊问题,有利于后续的增强算法进一步处理。该算法的具体实现如下。

水下模糊图像的表达式为:

I(x)=J(x)t(x)+A(1-t(x)),

(1)

式中:I(x)为初始水下图像,t(x)为透射率,J(x)为需要逆推得到的清晰图像,A为水中的背景光值。

设定水下图像对应的暗通道图像Jdark为:

Jdark=miny∈Ω(x)(minC∈{R,G,B}JC(y)),

(2)

式中:JC(y)表示暗通道图像在C通道下的像素值,Ω(x)表示像素值为x的邻域窗口。

在暗通道图像基础上进行去模糊处理,首先获取到Jdark前0.1%最亮的灰度值,在初始水下图像中进行对比,将大于这些像素点的灰度值设为水下的背景光值A,为了保留较好的水下图像景深保留效果,设定修正参数ω,求得的透射率为:

(3)

据此逆向反推可求得清晰的去雾图像J(x)。获取到的图像结果为:

(4)

式中:为了防止透射率为零导致表达式无法正常执行,t0一般设为0.1。

通过DCP处理后的结果如图2所示。

图2 暗通道算法处理结果Fig.2 Processing results of dark channel algorithm

从图2可看出经DCP算法处理后,图像清晰度明显提升,具有较好的去模糊效果,但是处理后的图像整体偏暗,色彩丰富度较差,而且无法有效解决图像偏色问题,仍需设计算法进一步处理。

1.2 色彩均衡算法

1.2.1 基于动态阈值白平衡色彩校正

由于水下光波红色波长最先衰减消失,绿波和蓝波波长较短,受衰减较少,因此水下图像会呈现偏绿或偏蓝色调[11]。文献[12]对水下图像先进行全局光照补偿,再采用灰度世界算法校正水下图像颜色,该算法对于偏色不严重的图像具有一定的色彩校正效果,但是对于光波衰减严重的水域图像,并不能完全去除偏色影响。文献[13]利用白平衡算法对水下图像的蓝(绿)色偏进行预处理,再进行灰度世界算法补偿,但是由于传统白平衡算法的限制,无法有效均衡调节色差,偏色校正效果仍有待提升。

经DCP算法预处理后图像整体偏暗,本文在偏色校正基础上进行动态范围调节图像整体灰度值,来提升图像整体的细节表现能力。本文在传统白平衡算法的基础上引入动态阈值调整,该算法步骤主要分为两部分,分别是白色参考点检测和白色参考点校正,具体算法步骤为:

① 颜色空间转换。由于在YCrCb颜色空间能方便提取Cr和Cb色度信号,更有利于色彩分量调节,所以需要将RGB空间的水下图像转到YCrCb空间进行处理,转换过程如下:

(5)

② 计算Cr和Cb各分量均值,并据此计算出其均方差。设各分量均值分别为Mb、Mr,对应均方差分别为Db、Dr,求解过程为:

(6)

③ 检测白色参考点,每个分量以1.5倍的均方差为参考值,当符合该范围内的值确定为参考点,并取筛选后的前10%灰度值最大的像素点为需要处理的校正值。处理规则如下:

(7)

④ 计算上述步骤所获取的各通道白色参考值的均值,并利用Y分量的最大值确定各通道所需的增益常量。

Cgain=Ymax/Cm,

(8)

式中:C⊂{R,G,B},Ymax表示Y分量的最大值,最终可求得各通道的增益值Cgain。

⑤ 利用上述求得的各通道增益确定校正后的灰度值。

C′=C×Cgain,

(9)

式中:C⊂{R,G,B},C′为最终调整后的各通道像素值。

通过该算法处理后的结果如图3所示。

图3 动态阈值白平衡算法调整结果Fig.3 Adjustment results of dynamic threshold white balance algorithm

图3结果表明,经动态阈值白平衡算法处理后图像整体偏色问题已基本解决,但是由于在动态阈值确定选取的灰度值为前10%最亮像素值,导致处理结果存在过度曝光,整体亮度并不符合预期校正后的视觉效果。所以在该算法处理的基础上,仍需进行整体亮度重新分布调整。

1.2.2 灰度世界算法色彩均衡

对于上述算法存在的问题,引入灰度世界理论解决亮度不均匀的问题。该算法的主要思想是假设图像中所有颜色的亮度值都相等,即假设整幅图像处于“灰度世界”中,因此可以通过调整每个像素的RGB值,来使图像整体的色彩达到均衡。由于灰度世界理论认为在正常情况下获取的彩色图像,RGB三通道灰度值分布趋于某一确定值,通常取三通道像素均值,然后可根据该确定值求取增益常量,进而调整各通道灰度值[14]。具体实现如下:

(10)

图4 灰度世界算法处理后图像Fig.4 Image processed by gray world algorithm

(a)初始校正图像直方图

本次实验选取水下图像数据集 (Underwater Image Enhancement Benchmark Dataset,UIEB)的部分不同的场景进行实验验证,由于篇幅限制,选取的部分图像。图5的直方图表明经整体均衡算法处理后,水下图像偏色问题得到了很好的处理,三通道分布更均匀,本文所提出的色彩均衡算法对于不同色偏程度的水下图像均具有较好的处理效果,表现出优良的鲁棒性。

1.3 多权重融合算法

水下图像经偏色校正算法处理后已具有较好的视觉效果,但是对于图像整体对比度和饱和度的提升效果仍有待提高。因此,本文提出了一种多权重融合算法,以提高水下图像的整体细节表现能力。该算法分为两部分,旨在进一步提高水下图像的整体对比度和饱和度,并增强图像的边缘细节。在校正图像的基础上分为两部分进行算法处理:第一部分经过伽马校正,获取处理后的显著性权重和饱和度权重;第二部分是将校正图像提取边缘后再获取显著性权重和饱和度权重,然后将两部分权重图谱进行合并,与伽马校正处理后的图像融合得到最终的输出图像。具体过程如图6所示。

图6 多权重融合算法流程Fig.6 Flowchart of multi-weight fusion algorithm

1.3.1 边缘增强算法

为了更好地体现图像细节表现能力,本文在伽马校正提升图像整体对比度的同时,将边缘保留特征也考虑在内,图像边缘可以更好地体现物体的形状信息,去除其他非关键信息的干扰。本文所采用的边缘增强算法流程为:

① 先利用高斯滤波平滑输入图像,去除部分噪声的影响。

② 将输入图像与高斯滤波后的图像做差分运算,得到图像边缘特征图谱,再进行直方图均衡化操作。

③ 根据上述步骤均衡化后的差分图像得到锐化结果,如图7所示。具体实现为:

图7 差分运算结果图像Fig.7 Image of differential operation result

Isharp=(Ih+Iin)/2,

(11)

式中:Ih表示均衡化后的差分图像,Iin表示初始颜色校正后的输入图像,Isharp表示输出的边缘增强图像。

④ 由于锐化后的差分图像受直方图均衡影响,整体会存在模糊效应,再将其进行DCP去模糊处理,可得到增强后的边缘图像Jsharp:

(12)

边缘增强算法实现结果如图8所示。

图8 边缘增强算法实现结果Fig.8 Results achieved by edge enhancement algorithm

从图8边缘检测结果对比可以看出,经过本文边缘增强算法锐化处理后,图像的细节表现更为突出,相比校正后的输入图像,边缘特征有明显提升。

1.3.2 显著性权重

为了更好地突出水下图像显著性对象的特征,本文将输入图像转至LAB颜色空间,进而提取其分量图谱,具体实现如下:

(13)

1.3.3 饱和度权重

饱和度分量能反映图像的色度信息,突出图像前景的物体细节信息,避免图像画面的苍白感[15]。由于原始的水下图像受到偏色影响饱和度明显不足,同时经校正算法处理后,饱和度分量也会有相应损失,所以在考虑提升图像对比度的同时,也需要相应提升饱和度分量,以更好地恢复图像质量和色彩丰富度。

传统提升图像饱和度的方式一般为在饱和度均值的基础上进行饱和度增益调节,但是增益常量的求取具有很大的不确定性,不利于算法的自适应调节,也有不少算法转换颜色空间,单独对饱和度分量进行调整,但是由于上下限的调节范围有限,不能较好地改善整体饱和度,本文采用的调整算法是转换到HSL颜色空间进行处理,并利用S和L双分量进行限制饱和度动态范围,从而能更大范围地提升图像饱和度。具体算法步骤为:

① 将RGB颜色空间转到HSL颜色空间,由于色调分量H对饱和度分量调整并不干扰,仅转换其余两通道分量即可。转换过程如下:

(14)

② 确定饱和度增益常量,该取值归一化后为[-1,1]。确定该增益值后,和原始饱和度分量运算后可能已超过最大限定范围,因此做出条件限定如下:

(15)

式中:∂表示计算得到的调整参数,s表示初始饱和度分量,ins表示饱和度增益值,为了防止过饱和现象的出现,本文采用了增益中值0.5进行调节,以平衡饱和度参数的影响。

③ 通过上述参数对初始RGB图像进行饱和度调整,调整过程为:

(16)

式中:Ws2表示输出的饱和度权重图,IC表示RGB空间各通道的原始灰度值,即将三通道分别进行调整后合并得到最终的权重图谱。

1.3.4 加权融合

(17)

(18)

式中:δ表示正则化系数,当各权重为0时也能起到部分贡献。为了更好地平衡正则化系数对归一化权重图谱的影响,本文将正则化系数的默认值从0.1调整为0.2,以减少其对最终权重图谱的影响。

因伽马校正获取的图像已具有较高对比度,所以本文选取伽马校正后的图像,与上述计算得到的权重图谱进行融合,得到最终的输出图像,最终加权融合的实现过程如下:

(19)

2 实验结果与分析

为了验证本文算法的有效性和可行性,通过在典型数据集上进行大量实验测试,从主观视觉效果和客观参数进行评价,与主流不同算法进行对比分析,说明了本文算法在色彩校正和图像对比度提升方面具有较好的性能。本文实验使用Matlab编程语言,硬件环境为Intel(R)Core(TM)i7-6700H CPU,16.0 GB RAM。

本文在公开数据集UIEB中进行了大量实验验证,然后选取其中9张图像进行主客观分析,并按不同色偏程度进行分类对比。图9中前3组数据为色调偏蓝的水下图像,中间3组为色调偏绿的水下图像,最后3组为整体泛白的水下图像。通过实验观察本文算法对于不同程度色偏的图像的处理效果,并与目前主流的一些较为先进的处理算法进行对比,分别是 Underwater Light Attenuation Prior(ULAP)算法[16]、Ancuti算法[11]、 Statistical Model of Background Light and Optimization of Transmission Map(BL-TM)算法[17]及 Differential Attenuation Compensation(DAC)算法[18]。

图9 不同算法增强处理实验对比Fig.9 Comparison of enhanced processing experiments with different algorithms

2.1 主观分析

不同算法增强处理后的实验效果如图9所示。

从对比实验可以看出,ULAP算法和BL-TM算法对色调偏蓝和泛白的水下图像,清晰度提升效果较好,但是色偏校正的结果展现并不理想,尤其对于色调偏绿且降质严重的图像,如图像(4)、(5),色偏问题并未解决,处理后仍呈现不同程度的绿色色调。BL-TM算法对于亮度提升效果较好,处理泛白图像和降质不严重的图像(1)、(6)后整体灰度值均有所提升,但是会导致图像色彩体现不足,对于饱和度分量仍有待提高。相对而言,Ancuti算法 和DAC算法对于图像色偏校正效果较好,即使是偏色严重的图像,如偏蓝色调的图像(3)和偏绿色调的图像(4)、(5),处理后偏色影响已基本消除,但是DAC算法对于水下图像没有进行去模糊处理,虽经过对比度拉伸和降噪处理在一定程度上提升了图像细节的表现力,但是并没有完全解决由水下光线前向散射导致的图像颜色衰减;Ancuti算法在清晰度恢复方面具有优良的性能,但是在权重融合时采用锐化图像后的分量权重导致图像过度表现细节,出现了紫色边缘和噪声污染。综合对比来看,虽然其他方法能够增强图像亮度,但部分区域存在着增强不足或过度增强的现象,导致物体颜色无法被有效识别。和其他图像增强方法相比较,本文算法保留了目标物更多的细节,比如在低光照场景中可以看到明显的改进效果,证明本文算法在色偏校正方面具有不错的表现力,在不同程度的偏色环境下均能恢复色彩均衡的水下图像,而且在饱和度和色彩丰富度方面也具有一定的提升效果。

2.2 客观分析

本文选用4个客观评价指标对上述算法处理图像进行质量评估,分别是图像平均梯度、信息熵、水下图像色彩评价指标(Underwater Color Image Quality Evaluation, UCIQE)和水下图像的质量评价指标(Underwater Image Quality Measurement, UIQM)。其中,平均梯度反映了图像灰度层次,该值越大,表示图像越清晰;信息熵象征着图像细节的丰富度,信息熵越大,图像细节展现得越多。上述2个值是传统评价图像质量优劣的指标,此外,本文还利用2个无参考评价指标UCIQE和UIQM进行了对比。UCIQE是综合考量图像饱和度、色度和锐化对比度参数之间的平衡,值越大,表明图像整体恢复的质量更好;UIQM是将色彩指标、清晰度指标和对比度指标作为整体评价依据,该值也能很好评估图像综合质量的恢复效果,结果值越大越符合人类视觉效果。对3组不同色调偏色(偏蓝、偏绿、泛白)的图像进行参数评估,结果如表1～表3所示。

表1 基于不同算法处理第一组(偏蓝)图像评价指标对比

表2 基于不同算法处理第二组(偏绿)图像评价指标对比

表3 基于不同算法处理第三组(泛白)图像评价指标对比

由表1～表3可以看出,Ancuti算法和BL-TM算法在平均梯度评估参数上表现优异,如图像(6)、(8),说明其针对不同偏色场景的图像对比度都具有较好的提升作用,但是结合主观效果来看,由于Ancuti算法锐化过度,会加重图像噪声和边缘伪影,而BL-TM算法在偏色校正方面处理效果欠佳,图像光晕十分严重,如图像(4)、(6),无法完全体现图像对比度的展现效果;对于信息熵评估参数,本文算法在第一组偏蓝图像和第三组泛白图像中的表现均优于其他对比算法,在第二组偏绿图像中,参数表现稍逊一些,但是对比其他算法仍取得了次优的数值体现。就评估参数UCIQE和UIQM而言,本文算法基本都获得了最优值,说明综合考量饱和度、清晰度和色度方面的表现,本文算法具有更好的质量恢复效果。综上所述,本文所提算法对于不同偏色程度的水下图像均具有较好的调整效果,而且增强后的图像也更符合人类视觉系统的接受习惯。

各算法处理后UCIQE和UIQM平均值统计如图10和图11所示。根据图中上述不同算法的UCIQE和UIQM的平均指标值可知,经过本文算法处理后,UCIQE的平均指标值比其他算法提升了22.3%,UIQM的平均指标值提升了10.2%。这表明本文算法的参数表现更加优异,适用于不同场景的水下图像增强,并具有良好的图像质量恢复效果。

图11 各算法处理UIQM指标平均值统计Fig.11 The average statistics of UIQM indicators processed by different algorithms

3 结束语

本文针对水下图像存在的色彩偏移和对比度不足等问题,提出一种基于色彩平衡和多权重融合的水下图像增强算法。整体步骤主要包括图像去模糊处理、色偏校正及多权重融合提升色彩丰富度。实验验证结果表明本文算法对水下图像清晰度恢复和对比度提升具有较好的效果,而且相比其他主流算法,本文算法在保证图像无色偏的基础上,还具有更好的饱和度提升效果和细节表现能力。主客观实验对比后,验证了本文算法对水下图像整体清晰度恢复效果,对于对比度、信息量和图像色彩均有很大提升。但是本文算法在处理降质严重的偏绿色调水下图像时,会产生蓝色伪影现象,未来仍需对此进一步研究。