基于Retinex和ADMM优化的水下光照不均匀图像增强算法

刘卫东, 李吉玉, 张文博, 李乐

(西北工业大学 航海学院, 陕西 西安 710072)

水下环境的未知性和复杂性是人类开发海洋资源的一大挑战。相比于声学探测设备，水下视觉传感器能够直观地获取丰富多彩、高分辨率的水下环境和目标特征信息，正被广泛应用于海洋技术开发和科学研究。然而，由于水对光的散射和吸收，水下图像常呈现可见度低、边缘模糊、颜色失真等现象[1]。此外，深海点光源的聚射效应、水面波纹对自然光的折射效应，都会导致水下图像呈现严重的光照不均匀现象。因此，如何解决光照不均匀引起的水下图像模糊和失真问题对实现高效的水下探测、识别和作业等至关重要。

目前对于光照不均匀及弱光照问题的研究多在大气环境中[2-6]， Wang等[7]提出一种“亮度顺序误差”的方法来保持图像的自然与细节并采用双对数变换的方法求取光照图。Lee等[8]提出了一种基于空间可变光照图(SVLM)的彩色图像增强方法，将二维伽马校正与SVLM相结合，在亮度域中提高暗区强度，降低亮区强度。Gao等[9]提出一种基于联合保边滤波器的自然保持光照估计算法并基于盒式滤波实现了对光照图的快速估计。这些方法对于空气中的光照不均匀或弱光照图像具有很好的增强效果，但受限于水下环境复杂及水对光的散射和吸收效应，上述算法无法处理水下图像的光照不均匀现象。针对水下图像的特性，国内外学者们提出了几种不同的水下图像增强方法。Fu等[10]根据Retinex理论提出了一种用于分解单幅水下图像的反射分量和光照分量的变分框架来增强水下图像，该算法增强效果较好，但较为复杂。Zhang等[11]针对水下图像色彩失真和光照不均匀的问题，提出一种通过计算R、G、B3个通道的特征值均值和方差对水下图像进行颜色校正并调整光照图的方法(VCIP)来进行水下图像增强。由于光在水下的吸收和散射效应，水下图像的清晰度相对较差，针对该问题，Drews等[12]提出了一种基于暗信道先验的水下传输估计方法(UDCP)对水下图像进行复原。但上述这几种算法对于水下图像中光照较弱部分的增强效果并不明显，常常会丢失图像暗区的细节。针对水下光照不均匀及弱光照引起的成像模糊及失真问题，本文提出了一种基于Retinex和ADMM(alternating direction method of multipliers)优化的水下图像增强方法。实验结果表明，相比于当前方法，本文所提的方法具有更好的定性和定量效果，在去除光照对水下图像的影响以及保留图像细节方面有更好的性能。

1 本文算法

本文基于Retinex理论，提出一种在交替方向乘子法基础上构造增广拉格朗日框架(ADMM-ALM)来求取光照图的算法。首先，估计初始光照图时，将图像从RGB颜色空间转换到Lab颜色空间，提取亮度分量L作为初始光照图 ；然后基于交替方向乘子法原理，构造一个增广拉格朗日框架的约束优化方程，通过迭代求解优化方程，得到精准光照图T；根据Retinex理论，将待处理图像与光照图转换到对数域求取对数域中的反射图像，再进行指数运算即可得到增强图像。最后，利用双边滤波器抑制水下噪声，获得更细致的增强图像。本文算法流程如图1所示。

图1 算法流程图

1.1 估计初始光照图

根据Retinex理论[13],一幅图像可以分解为2幅不同的图像,即反射图像R(x,y) 和亮度图像L(x,y)

S(x,y)=R(x,y)·L(x,y)

(1)

式中:S(x,y)为人眼所接收到的反射光图像,即原始图像;R(x,y)为反射图像,是图像的内在属性;L(x,y)为亮度图像,它决定了图像像素能到达的动态范围;“·”表示图像像素点乘。将亮度图像分离,求出反射图像,即为增强后的图像。为了进一步简化计算,将(1)式转换到对数域进行计算

log(S(x,y))=log(R(x,y))+log(L(x,y))

(2)

1.2 光照图优化

(3)

式中:‖·‖F表示Frobenious范数;‖·‖1表示L1范数;α是系数;W是权重矩阵;T是T的一阶微分。本文利用交替方向乘子法(ADMM)来求解上述问题,优化方程如下

(4)

(5)

式中:λ为增广拉格朗日乘子;ρ为增广拉格朗日参数(ρ>0),则它的迭代方式如(6)～(8)式所示

(6)

(7)

λk+1=λk+ρ(Tk+1-Zk+1)

(8)

(9)

迭代过程在满足(9)式时停止。

通过上述步骤即可得到优化过后的光照图。此外,采用Gamma校正[14]的方法对光照图在亮度域进行进一步校正,降低亮区像素点的亮度值,提高暗区像素点的亮度值

(10)

R(x,y)=exp(logS(x,y)-logTγ(x,y))

(11)

获得优化校正后光照图后,根据(2)式得到增强后的水下图像,如(11)式所示。然而,这时的增强图像往往存在着边缘模糊、噪声明显的问题。针对该问题,本文采用双边滤波[15]方法保边去噪

(12)

式中：R(m,n)是待处理图像的像素点;q是权重系数,取决于定义域核与值域核,如(13)式所示,式中,σd和σr分别为定义域方差和值域方差。

(13)

2 实验结果与对比分析

为了验证本文算法的有效性,针对人工点光源不均匀(见图2a))、弱光照(见图2b))、自然光照不均匀(见图2c))和自然弱光照且光照不均匀(见图2d))4种不同情况的水下图像,在MATLAB R2018b软件平台上进行实验验证,并与VCIP、UDCP、伽马校正(GC)[16]、SSR[17]及文献[10]算法进行对比。

图2 原始水下图像

2.1 图像处理效果评价分析

图2a)～2d)的处理结果如图3～6所示,图中3a)～3f)分别是VCIP、UDCP、GC、SSR、文献[10]中的算法及本文算法的图像处理结果。

针对人工光源较强的水下图像,5种算法的处理结果如图3所示。由图3的处理结果可看出:VCIP算法虽然减弱了光源的亮度,但在图像边缘暗区的亮度并未得到很好的增强;UDCP算法将水下图像的整体亮度降低,使边缘暗区更暗,丢失了该部分的信息;GC算法相较于原始水下图像并无大改善,增强效果并不明显;SSR算法在光源较强的情况下出现了曝光现象;文献[10]中的算法降低了强光照区域的亮度,但图像边缘弱光照区域并未得到改善;本文算法则较好地克服了人工光源的影响,降低了光照强度高的部分的亮度,提高了光照强度低的部分的亮度,有效解决了光照不均匀的问题并且水下图像各部分的细节也都得到了保留。

图3 图像1的增强结果

针对水下弱光照的情况,5种算法的处理结果如图4所示。由图4的处理结果可看出:VCIP算法提高了水下图像的亮度,但是图像的整体色调与原图差距较大,且图像的清晰度并不理想;UDCP算法和GC算法在弱光照情况下的增强效果较差,水下图像可见度较低;SSR算法虽然提高了水下图像的亮度,然而处理后的图像出现了“雾化”现象,图像的清晰度及对比度大大降低;文献[10]中的算法有效提高了水下图像的整体亮度,但弱光照区域的一些细节未得到较好保留,出现了部分噪声;相较于前5种算法,本文算法提高了弱光照水下图像的亮度,增强了弱光照水下图像的清晰度和对比度,更好地提高了弱光照水下图像质量。

图4 图像2的增强结果

针对水下自然光照不均匀的情况,5种算法的处理结果如图5所示。由图5的处理结果可看出:VCIP算法和SSR算法都能在一定程度上提高水下图像较暗的部分的亮度,但在亮度较高的部分出现了曝光现象,且处理后的水下图像的清晰度和对比度仍有待提高;UDCP算法降低了光照较强部分的亮度,但光照较暗部分的亮度同样降低了,使处理后图像整体亮度过低;GC算法的处理结果与原始图像差异不大,增强效果不明显;文献[10]中的算法提高了水下图像的亮度,但出现了少量色偏,图像的清晰度也有所降低;本文算法的处理结果提高了水下图像较暗部分的亮度,图像暗处的细节在处理后得到了更好的呈现,提高了图像的对比度。

图5 图像3的增强结果

针对水下自然弱光照且光照不均匀的情况,5种算法的处理结果如图6所示。由图6的处理结果可看出:VCIP算法一定程度上改善了水下图像光照不均匀的现象,但是处理后的图像的清晰度较低、对比度较差;UDCP算法使水下图像的整体亮度降低,对于整体亮度较低的水下图像增强效果并不明显,图像暗处的细节丢失较为严重;GC算法虽然在水下图像的光照均匀方面起到了一定的作用,但对水下图像的整体增强效果较之原始图像并无大的改善;SSR算法出现了过曝现象,增强算法在该情况下并不十分有效;文献[10]中的算法降低了强光照部分的亮度,但弱光照部分并无明显改善,且水下图像的对比度仍有待提高;本文算法处理后的水下图像在光照均匀和颜色校正方面的表现都较好,光照强度高的部分并未产生过曝现象,光照强度低的部分的亮度也得到了提高,图像的整体可见度得到了较大的改善,同时图像的清晰度和对比度也较高。

图6 图像4的增强结果

2.2 图像处理评价指标分析

为了定量地对水下图像增强效果进行评价,本文采用图像信息熵(information entropy)和图像自然统计特性[18](natural image quality evaluator,NIQE)作为指标对处理结果进行评价,如表1所示。同时,本文还通过计算平均运行时间对几种算法的计算复杂度进行了比较,如表2所示。

式中:S为图像信息熵;pi表示图像中灰度值为i的像素所占的比例;N是图像的NIQE值,v1,v2,Σ1,Σ2分别是增强图像与原始图像的多元高斯分布的均值和协方差。

从表1中的数据可知,由本文算法处理后的增强水下图像，信息熵都高于其他算法,说明相比于其他算法,本文算法处理后的图像质量更高、蕴含的信息量更大。在水下弱光照以及水下光照较弱且不均匀的情况下,文献[10]和GC算法处理结果的NIQE值优于本文算法处理结果。相较于本文算法,文献[10]中的算法的处理结果在颜色复原方面表现较好,但出现了部分噪声;GC算法的处理结果与原始水下图像更接近,但图像蕴含信息量较少。其他情况下本文算法处理结果的NIQE值均优于其他算法,更接近人眼视觉系统。从表2中的数据可知,VCIP算法和SSR算法的平均运行时间较短,但处理结果都有待提高;本文算法耗时较之其他3种算法都具有一定的优势,计算复杂度也相对较小。

表1 图像增强效果的评价指标

表2 平均运行时间

图像处理效果和评价指标表明,本文算法较之其他算法有更好的性能,在提高水下图像质量、改善水下图像光照不均匀及弱光照现象、增强水下图像对比度、有效保留水下图像细节等方面具有明显优势。

3 结 论

针对水下图像普遍存在的光照不均匀及光照较弱现象，本文基于Retinex颜色恒常性理论，提出一种在交替方向乘子法(ADMM)基础上构造增广拉格朗日框架的优化方法来求取精准光照图。该算法将亮度通道与颜色通道分离，只对光照图进行处理，保证了处理过程中水下图像的颜色不受影响，再对光照图进行优化和校正，进而去除光照对水下图像的影响，最后采用双边滤波的方法抑制图像中的噪声。实验结果表明，本文提出的方法有效地提高了水下光照不均匀图像的质量，相较于其他几种算法，在去除光照对水下图像的影响以及保留图像细节方面有更好的性能。