基于自适应色彩均衡及改进IBLA的水下图像增强

陈祖国, 李俊杰, 卢 明, 陈超洋, 邹 莹, 陈 娟

(1.湖南科技大学信息与电气工程学院,湖南 湘潭 411000; 2.中国科学院深圳先进技术研究院,广东 深圳 518000)

0 引言

太阳光通过水体之后会发生散射和折射,导致水下环境成像更加复杂;且水对光的吸收作用会导致红光及蓝绿光在传输过程中能量衰减,从而使得水下图像出现颜色失真与画质退化等现象[1-3]。上述现象将导致水下目标图像缺少有效的特征信息,从而降低水下目标检测的准确度。因此,水下图像增强仍是图像处理领域亟需解决的问题。

2010年,文献[4]基于暗通道先验(Dark Channel Prior,DCP)提出了一种图像去雾的DCP算法,该算法主要用于去除单一输入图像的雾霾特性信息,但该算法并没有用于水下图像增强。由于水下环境与雾霾环境相似,许多学者开始对DCP算法进行改进并逐步运用于水下图像处理。基于DCP的算法特性,文献[5]提出一种水下暗通道先验(Underwater Dark Channel Prior,UDCP)算法,该算法虽然提升了水下图像对比度,但缺乏可靠性和鲁棒性,容易受场景特征的影响;针对UDCP存在的问题,文献[6]通过对红色通道进行补偿和修改提高了图像对比度,恢复了水下图像的色彩,在可靠性和鲁棒性方面也有增强,但该算法不能恢复具有较大红色通道分量的水下图像,并且对于背景光数值也无法准确估计;文献[7]通过添加白平衡方法改善水下图像,进一步对UDCP进行拓展,却因计算成本高无法实现实时应用;文献[8]提出了图像预处理和暗通道先验算法相结合的方法,通过将两者进行融合,大大提高了水下图像增强效果;文献[9]根据图像形成模型(IFM),提出了一种基于图像模糊和光吸收(IBLA)的水下场景深度估计方法,该算法对图像色彩通道进行特征提取,通过场景亮度恢复模型进行特征融合得到水下增强图像,但对于严重色偏图像处理方面并不是很理想;文献[10-11]根据信号衰减系数不同提出了一种更准确的修正模型,该模型使用了RGBD图像进行处理,能够较好地恢复图像效果,同时也将算法向机器学习算法方向靠拢;文献[12]通过引入图像自适应权重因子,提出了一种具有最小红色伪影的连续颜色校正方法,并使用颜色平衡的水下图像进行基于超像素的恢复,但是该方法对于一些存在色偏的图像效果不是很好;文献[13]基于图像融合的思想,首先对同一幅图像分别进行颜色补偿方法和白平衡方法处理,得到两幅处理后的图像,之后对两幅图像进行多尺度融合,大大提高了图像效果,但该方法自适应较差。上述算法应用于水下图像增强时均存在不足。

本文针对以上问题提出了一种将自适应色彩均衡与水下场景深度估计融合的水下图像增强算法。首先,在原图的基础上取图像中最模糊的0.1%像素作为第1个背景光估计值;其次,采用自适应色彩均衡对色偏严重的图像进行色彩均衡化预处理,再基于预处理图像进行模糊处理,经过伽马校正和图像锐化增强图像的纹理细节信息,通过四叉树分解得到第2个背景光估计值;对原图进行灰度变换得到灰度图像,通过四叉树分解得到第3个背景光估计值;根据前面3个背景光估计值,通过最终背景光算式得到最终背景光估计值;之后,对红绿蓝(R-G-B) 通道的分布特性进行特征提取得到初步场景深度估计值,再结合最终背景光估计值和初步场景深度估计值得到最终场景深度估计值;通过传输系数算式得到传输系数映射估计;最后,经过场景亮度恢复公式进行特征融合并采用直方图均衡算法得到高质量的水下增强图像。

1 基本概念

PENG等[9]发现以往基于IFM的图像恢复方法都是基于暗通道先验或最大强度先验估计场景深度,由于水下图像中的光照条件,这些图像经常无效,导致恢复结果较差。于是将图像模糊度和场景光吸收方法相结合提出了一种新的恢复方法,其总体流程如图1所示。首先,从水下图像的模糊区域中选择背景光(BL),然后,基于BL获得深度图和传输系数映射(TM)以恢复场景辐射。但是该方法对海中获取的蓝绿色图像处理效果并不理想,因此,本文在IBLA算法基础上进行改进,添加了色彩均衡算法、直方图均衡算法和图像锐化算法用于突出图像纹理细节,以保证图像的增强效果。

图1 总体流程框架Fig.1 Overall process framework

1.1 自适应色彩均衡算法原理

水下图像的颜色校正主要有两种方法,一种是基于衰减补偿[13-16],另一种是基于动态拉伸[17-19]。本文针对衰减补偿进行改进。

文献[13]针对图像颜色通道的剧烈衰减对颜色通道进行选择性补偿,提出了用于处理水下图像颜色失真的色彩均衡算法,简称水下图像白平衡(UWB)。具体算法如下。

首先对图像进行红通道补偿,即

(1)

由于水体一般较为浑浊,水体中存在的有机物质对光吸收会导致蓝通道的显著衰减。文献[13]还提出对蓝通道进行补偿,即

(2)

色彩均衡算法中α为定值,导致处理不同图像时效果时好时坏,针对这一问题,本文提出一种自适应色彩均衡算法,由大量实验对公式进行修改并将红、蓝通道中参数α值分别替换为Isumg/Isumr与常数1两者中的最小值、Isumg/Isumb与常数1两者中的最小值,最终得出自适应色彩均衡算法为

(3)

(4)

其中,Isumg、Isumr、Isumb分别为绿、红、蓝通道像素总值。结果表明,该色彩均衡算法在处理不同图像时均具有较好的效果。

为了验证本文自适应色彩均衡算法的有效性,与文献[13]算法进行比较,比较结果如图2所示,可以看出文献[13]算法处理图像色彩过于饱和,此外,对于水下海胆、海参等黑色生物以及光线较暗的地方,文献[13]算法会产生严重的颜色失真现象,从而导致在后续的处理中很难提取到图像的一些纹理特征,造成信息丢失;针对这一问题,本文算法处理良好,没有出现颜色失真现象,较好地保留了图像的纹理细节;相较于原始图像,本文算法在对于沙地以及水下礁石的颜色处理上也能很好地还原本色。综上所述,本文的改进算法可以更好地对图像进行预处理,有效地改善图像色偏问题。

图2 色彩校正算法比较结果Fig.2 Comparison of color correction algorithms

1.2 改进的IBLA水下图像增强原理

原IBLA算法在处理背景光估计时采用收集的原图进行变换,由于原图具有严重的蓝绿色偏,在处理时会有较大的误差,经过后续的增强之后,图像仍然具有严重色偏,对此,本文也进行了改进。

1.2.1 改进图像模糊估计算法

文献[9]算法直接将采集图片进行模糊处理,导致在色偏严重图像处理时丢失很多纹理信息,从而造成图像信息提取不充分。本文针对这一问题进行改进,首先将送入模糊处理的图片进行色彩均衡,将输入的采集图片红、蓝通道经过式(3)～(4)进行通道补偿,之后引入一个r×r的空间高斯滤波器,将输入图像送入高斯滤波器进行处理,对于处理之后的图像进行顶帽变换,得到了水下图像的模糊估计,具体改进实现如伪代码算法1所示。

算法1:模糊估计算法

Data:图像R,G,B三通道数值

Result:图像模糊估计

fori=1 tondo

根据式(3)～(4)对初始化图像进行R,B通道色彩均衡

根据式(5)的初步模糊图函数计算修正数值

end for

根据式(5)将i≤n的图像各相同位置像素数值相加取平均

根据式(6)经过最大滤波器更新图像通道数值

根据式(7)对式(6)处理后的图像进行开运算、顶帽变换

return 图像模糊估计

其中,初始模糊度图Pinit的算式为

(5)

式中:Igrey是原始图像的灰度变换;Gk,σ是经过ri×ri滑动窗口方差为σ2的高斯模糊输出后的图像, 为了确保实验的严谨性,本文对窗口大小ri进行多次取值,并在最后将所得结果进行加权平均,ri=2in+1,i是为了让实验更加精确的重复次数,由实验效果将n设置为4。

经过最大滤波器计算粗略的模糊度图像为

(6)

式中,Ω(x)是以x为中心的k×k的一个区域,由实验效果将k设置为7。

通过对模糊度图像Pr的开运算和顶帽操作,得到最终的细化模糊度图像为

Pblr(x)=Fg(Cr(Pr(x)))

(7)

式中:Pr是对图像进行的开运算;Cr是对图像进行的顶帽变换操作;Fg为细化模糊度图像函数。最后得到改进之后的图像模糊估计。

1.2.2 改进背景光估计算法

本文对原BL候选处理进行了改进,在选择3个BL候选值时,第1个BL候选值从输入图像中最模糊的0.1%像素之中选取,方法同IBLA;本文选取第2和第3个BL候选值时对特征提取图进行改进。首先对模糊图像进行灰度变换,之后加入了图像的γ校正和图像锐化,得到第2个BL候选值;对于第3个BL候选值,本文则直接采用灰度变换图像得到。改进效果如图3所示。

图3 对模糊图像BL候选提取比较结果Fig.3 Comparison results of fuzzy image BL candidate extraction

改进后的BL估计更加突出了图像的纹理细节,如图3中红框标注所示,更好地保留了图像信息,之后对这2个区域使用四叉树分解确定,四叉树分解根据方差和模糊度将输入图像迭代划分为4个大小相等的块。输入图像中某个区域的模糊度是通过对模糊度图中相应区域的Pblr(x)进行平均来获得,具体实现如伪代码算法2所示。

算法2:背景光估计算法

Data:图像R,G,B三通道数值

Result:背景光估计数值

img1=对输入图像执行算法1得到模糊处理图像

img2=对img1进行灰度变换

img2=对img2进行γ校正、图像锐化

img3=对输入图像进行灰度变换

定义函数quadTree(imgi)

将图像分别以1/2高、1/2宽进行平均分割,得到4个区域Q1,Q2,Q3,Q4

Q1var=对Q1区域数值求方差

Q2var=对Q2区域数值求方差

Q3var=对Q3区域数值求方差

Q4var=对Q4区域数值求方差

Qvar_min=min(Q1var,Q2var,Q3var,Q4var)

fori=1 to 4 do

ifQivar≠Qvar_minthen

对下一区域进行最小值判定

else

取Qivar数值和所在区域

end if

更新背景光估计数值BL

end

return BL

对IBLA算法进行增强提取图像特征之后,采用原方法公式进行特征计算;在确定了3个BL候选值后,根据输入图像分别为每个颜色通道选择BL,算式为

S(α,v)=[1+e-s(α-v)]-1

(8)

式中:S为激活函数;s是一个经验常数,设置为32;α代表图像各个通道中亮度大于0.5×225的像素点在该通道所有像素点中所占的比例;v是经验值,取值0.2。

最终BL值为

(9)

图4 BL候选改进总体结果Fig.4 Overall result of improved BL candidate

图4展示了改进的BL估计,并比较了使用原BL候选获得的恢复结果,从对比图可以看出,通过改进的BL估计得出的结果在视觉效果上更好。

1.2.3 基于光吸收的深度估计和TM估计

假设保留更多红光的场景点距离摄像机更近,直接从红通道地图获得深度的第1个估计,即

(10)

(11)

(12)

第2个深度估计值为

(13)

式中,Dmip是红通道像素最大值与蓝绿通道像素最大值的差值。

第3个深度估计值为

(14)

式中,Cr(Pr)为图像进行的顶帽变换操作。

结合3个深度估计方法的最终深度估计值为

(15)

(16)

最终场景深度为

(17)

式中,D∞=8。

最终得到红通道的TM估计值为

(18)

式中,衰减系数β取1/7。

基于水中固有光学特性的不同,颜色通道的衰减系数之间的关系由BL计算得到,即

(19)

(20)

1.2.4 改进场景恢复算法

(21)

图5 总体流程细节图Fig.5 Details of the overall process

2 对比实验

为了说明本文算法的有效性,将本文算法与DCP算法[4]、UDCP算法[5]、HE算法[20]、UCM算法[21]、ULAP算法[22]和IBLA算法[9]几种传统图像增强算法进行对比实验。实验数据采用2022年某水下目标检测数据集,该数据集存在色偏较为严重、图像对比度低等问题。为了更加客观地体现改进方法的优势,实验采用水下图像质量评价指标(UIQM)[23]作为水下图像客观评价指标,算式为

MUIQM=C1MUICM×C2MUISM×C3MUIConM

(22)

式(22)由图像色彩度量指标(UICM)、图像清晰度度量指标(UISM)、图像对比度度量指标(UIConM)三者线性组合得到图像质量评价指标(UIQM),线性组合系数通过实验确定为C1=0.028 2,C2=0.295 3,C3= 3.575 3。UIQM得分越高,表明图像对比度、清晰度等越好,图像的视觉质量就越高。本文从某水下目标检测数据集中随机抽取对比度不高、颜色效果较差的水下图像进行处理,处理结果分别与几种传统的图像增强算法进行了客观的比较,结果如图6所示。

图6 多算法对比实验效果图Fig.6 Comparison test effects of multiple algorithms

从图6可以看出:HE算法在清晰度方面表现较好,并且在图像色偏处理方面表现出色,但是在恢复的图像中可以看出,HE算法处理后的图像颜色失真十分严重,并且带有严重的红色伪影;UDCP算法处理的图像整体偏暗,色彩处理效果不佳;其他算法在提升图像清晰度方面效果较好,但是在水下图像色偏处理方面效果并不是很好,增强后的图像仍然具有较为严重的色偏。相比之下,本文算法不仅解决了HE算法中图像颜色失真问题,而且还解决了其他算法对图像色偏处理效果较差、对比度较低等问题。为了能更加客观地对比本文与其他算法图像增强的效果,随机从数据集中抽取60幅图像进行处理,将各算法处理后的数据进行加权平均,增加实验说服力,结果如表1所示。

表1 几种算法对比实验Table 1 Comparison test of multiple algorithms

从表1可以看出,在UICM评分方面,本文算法仅次于HE算法,具有较高的分数,由于颜色过于饱和会导致太高的UICM分数,可以看出,在HE算法中图像色彩过于饱和,使得该算法具有很高的UICM分数,此外,HE算法还存在整体偏红现象,导致颜色失真;同时,本文算法的数据要比IBLA算法高出很多,达到了优化;在UISM评分方面,本文算法达到了最优,说明本文算法在清晰度上要高于其他几种算法,有着较高的清晰度;在UIConM评分方面也有不错的成绩。在综合水下图像质量评价指标UIQM评分方面,本文算法得到了最高的分数,说明本文算法在图像质量的综合提升方面要比上述其他算法更加出色,具有较高的图像质量。

3 消融实验

为验证本文算法的有效性,分别以图像预处理、改进BL候选、改进场景恢复算法对图像进行对比实验。使用相同的图像数据来测试这些算法,消融模型的定量结果如图 7和图8 所示,在原算法中分别对加入图像预处理、改进BL候选、改进场景恢复算法以及3种改进算法融合进行实验。客观评价指标选取了质量评价指标UIQM和对比图例。

从图7和图8质量评价指标UIQM可以看出,本文所用模型取得了最高的 UIQM值,这表明本文算法在处理水下色偏严重图像方面有着较好的效果。

图7 偏蓝图像消融实验效果图Fig.7 The effect of bluish image ablation test

4 结论

本文针对水下环境采集图像和视频存在对比度低、色彩不均衡等颜色失真问题,提出了基于IBLA算法的自适应色彩均衡与水下场景深度估计的水下图像增强算法。该算法首先对输入图像通过自适应色彩均衡进行颜色均衡化预处理;其次,对图像颜色通道分布特性进行特征提取,根据提取特征进行背景光估计、场景深度估计以及传输系数映射估计;最后,采用场景亮度恢复模型进行特征融合,并基于直方图均衡算法得到水下增强图像。相较于原来的IBLA算法、HE算法以及其他算法,在水下图像处理方面,本文算法处理过的图像具有更好的视觉效果,尤其是在处理水下色偏严重图像方面,本文算法有显著的质量提升。