基于水体衰减系数反演的水下图像复原方法
2023-01-27庄子杰范之国金海红宫凯强
庄子杰,范之国,金海红,2,宫凯强
(1.合肥工业大学 计算机与信息学院,合肥 230601;2.安徽建筑大学 电子与信息工程学院,合肥 230601)
0 概述
海洋资源和海洋信息的开发利用是近年来的热点问题,清晰的水下场景对水下活动十分重要,但海洋环境十分复杂。目标辐射在成像过程中会受到严重的水体吸收和散射,造成图像模糊和颜色失真,这不利于水下视觉任务的进一步开展。因此研究能够去除水体干扰、提升图像质量的水下成像技术具有重要意义。
长期以来,国内外众多学者在恢复水下图像质量方面做了大量研究,提出一系列水下成像技术。现有成像技术总体上可分为两类:一类是基于图像处理的图像增强方法,如图像融合[1]、Retinex 理论[2]、直方图拉伸等[3-4],这类方法重点关注水下图像的“图像”属性,通过各种图像处理技术使水下图像的像素强度分布更符合自然无水图像的特点,提升图像视觉效果;另一类是基于物理模型的图像复原方法,这类方法通过研究光在水体中的传输过程构建水下成像模型,通过求解模型中的参数完成目标场景反演。现有水下成像模型认为传感器捕获的图像主要由直接衰减分量和后向散射分量组成。其中直接衰减分量由目标光经水体衰减后产生,后向散射分量主要源于环境光和水体间的弹性散射。在直接衰减分量和后向散射分量的构成中,传输率和背景光是关键部分,因此这2 个参数的求解[5-6]是水下图像复原的关键问题。
受大气去雾中暗通道先验[7]的启发,一些学者挖掘出水下图像的先验信息进行图像复原,提出了一系列基于暗通道的改进方法[8-10],通过获取更符合水下场景的先验规律来求解传输率。这类方法在估计背景光时通常直接选取图像中最亮像素值,或最大先验值像素位置的原图像强度,鲁棒性较低。除了直接求解传输率外,通过确定传输率中衰减系数和场景深度这两个组成因素间接获得传输率也是一种思路。SONG 等[11]基于水下光衰减先验得到场景深度,并使用固定的三通道归一化剩余能量比来确定传输率。PENG 等[12]基于图像的模糊估计和光吸收特性求解出场景深度,并利用模糊图估计出背景光。在求解传输率时,使用固定的红通道衰减系数先求得红通道传输率,并对三通道衰减系数均取固定的标准波长。之后基于固定标准波长和通道间衰减系数比例关系求解蓝绿通道传输率,完成图像复原。BERMAN 等[13]使用场景边缘图来估计背景光,并使用雾线先验方法先估计出蓝通道传输率,之后基于固定的波长,通过Jerlov 水体衰减系数[14]曲线先确定蓝红通道和蓝绿通道的衰减系数比例候选值,通过枚举方式获得使复原结果最符合灰度世界假设的衰减比例,以完成复原。
衰减系数的准确估计对求解传输率十分重要,衰减系数是水的固有光学特性,取决于水体类型和波长。本文提出一种基于衰减系数反演的水下图像复原方法,利用水下图像呈现的多种光传输特性得到场景深度的融合估计结果,并根据深度图和水下成像表达式,建立水下图像光强和场景深度间的指数关系模型。使用非线性拟合得到衰减系数的初步估计,完成后续优化。
1 水下成像模型
目标光在水中传输时强度变化主要取决于两个因素:目标光的直接能量衰减;散射介质将环境光引入传输路径形成干扰[15]。
根据Beer 定律,目标光I(λ)的直接能量衰减表示如式(1)所示:
其中:J(λ)为目标光强;β(λ)为水体衰减系数;z是传输距离。
目标光传输到距离z处时,周围环境光经水体微元dz的散射会产生散射光dL,dL传输距离z后到达传感器的强度为dB(z,λ),其表达式如式(2)所示:
其中:I*(λ,z,d)为路径函数,表示单位路径上由环境光散射引入的强度增加量,与深度d有关,同一深度d的路径函数可认为处处相等,因此路径函数可简化为I*(λ,d)。对距离z1=0 到z2=z的传输路径进行积分得到整个传输过程中引入的散射干扰强度B(z,λ),其表达式如式(3)所示:
路径函数计算式如式(4)所示:
其中:δ(λ,ϕ)是体散射函数[16];E(λ,d,ϕ)表示深度d处沿方向ϕ的环境光强,同一深度不同方向的环境光强近似相等,ϕ可忽略。综合目标光直接能量衰减和散射光干扰,到达距离目标z处传感器的总光强表达式如式(5)所示:
其中:B∞(λ,d)为无穷远处背景光。水下成像模型中,总图像强度可写成分通道形式,如下所示:
其中:c表示R、G、B 三个颜色通道,是一个波长范围。在红光、蓝光和绿光的波长范围内可分别选择标准波长λR、λG、λB,并假设图像对应水体的衰减特性可由这3 个波长的离散衰减系数充分表示[13,17-18],此时三通道衰减 系数均为固定 值:βR=β(λR)、βG=β(λG)、βB=β(λB)。
成像模型中环境光强Ec(d)的表达式为Ec(d)=,表示水面环境光E0经水体垂直传输深度d后的剩余能量,其中Kc是扩散衰减系数,用来描述光在水下垂直传播单位深度后的能量变化。不同通道的扩散衰减系数不同,这使得环境光垂直传输到目标后本身就存在一定色差,因此为完成水下图像复原,还需考虑环境光垂直传输衰减差异造成的垂直色差影响。
通过水下成像模型可知,为获得原始场景图像Jc,需要估计无穷远处背景光、场景深度z(x)、衰减系数βc等参数。接下来分别介绍这些参数的求解方法,图1 为本文方法的整体流程。
图1 本文方法的流程Fig.1 Procedure of method in this paper
为避免垂直色差对水平方向上光衰减先验造成干扰,本文首先进行垂直色差矫正,并根据背景区域光强特点估计全局背景光;接着基于图像模糊特征、红光衰减特征和通道间衰减差异特征这3 个传输特性完成场景深度融合估计;最后利用场景深度,基于不同深度区间中暗像素位置目标光强近似为定值的假设,使用非线性拟合完成衰减系数初步求解,并基于灰度世界理论进行衰减系数优化,完成图像复原。为进一步提高图像清晰度,使用非锐化掩膜进行图像增强,凸显细节信息。
2 本文方法
2.1 垂直色差消除与背景光估计
结合Retinex 理论[2],将水下成像模型表示如下:
其中:ρc(x)是目标表面反射率。水下图像的场景目标可近似认为处于同一深度,因此环境光垂直衰减色差可看作全局色差。使用代表照射到目标上的不同通道环境光强衰减差异,得到式(8):
式(8)表明水下场景图像由存在色差的环境光照射产生。为了使复原结果是无色差环境光照射下的目标图像,对整幅图像进行全局白平衡,将每个通道除以最大像素强度Ιcmax,消除引起的全局色差,色差消除后的图像强度可近似表示如下:
其中:E1是处理后照射到目标上的全局环境光常量,近似反映水面处无色差入射光强;为全局背景光。垂直色差消除保证了图像不同通道的强度特性主要由水平方向的衰减产生,降低了后续使用强度衰减先验规律估计参数的误差。
背景光强度对应着无穷远处像素强度。由于红光在水中衰减严重,背景区域红通道强度很小,绿光和蓝光波长较短,强散射使得背景区域蓝绿通道强度相对较大。因此通过确定图像中红通道强度较小且蓝绿通道强度较大的像素位置来估计背景光强,构建描述每个像素红通道和蓝绿通道间相对大小关系的表达式如式(10)所示:
其中:MinFilter(·)为最小值滤波,目的是避免场景中单一颜色物体影响,提高估计背景光的鲁棒性;p值大小与该像素红通道值成正比、蓝绿通道值成反比,因为较远区域存在噪声干扰,选择p值最小的0.1%~0.2%像素位置作为背景光所在位置,并取这些位置的原图像素均值作为背景光强,该过程表达式如式(11)所示:
其中:pfin表示p值最小的0.1%~0.2%像素位置。图2为消除垂直色差后的图像及背景光估计结果。
图2 垂直色差消除与背景光估计结果Fig.2 Results of the vertical color distortion and background light estimating
2.2 水下场景深度估计
水体对光的吸收和散射会使水下图像呈现出一些传输特性,如图像色差、雾化模糊等,这些传输特性反映了水下场景深度信息。本文利用不同的传输特性给出3 种场景深度估计方法,并通过融合方式得到最符合水下图像特征的深度估计结果。
后向散射光容易造成图像雾化模糊,且随着场景深度增加图像雾化越严重。水下图像不同区域的雾化程度反映了该区域的后向散射光强强度,可以描述图像相对深度。本文使用水下图像红通道先验(Red Channel Prior,RCP)[10]来反映图像雾化模糊程度。对水下图像Ι′(x)取红通道先验:
其中:N(x)表示以x为中心的像素邻域;S(·)表示图像饱和度。
图3 为水下图像的RCP 图及其最大滤波结果。对水下图像红通道先验图(图3(b))及式(12)~式(13)分析可得,在近距离区域,由于雾化模糊程度很低,三通道强度满足保留有一定的值,此时的值较小,RCP值较小[10],接近于0;随着传输距离的增加,图像雾化模糊程度变大,红光的衰减使得(y)的值逐渐减小,趋近于0,此时RCP 值取决于(y)和(y),这两个通道对散射较为敏感,随着散射增加,蓝绿通道强度逐渐变大,RCP 值也越来越大。
图3 水下图像的RCP 图及其最大值滤波结果Fig.3 RCP map of underwater image and its maximum filtering result
水下图像的RCP 值反映了图像不同区域的雾化模糊程度。对模糊图进行最大值滤波优化,得到最终的雾化模糊程度,其描述如图3(c)所示,表达式如式(14)所示:
其中:MaxFilter(·)表示最大值滤波。
为得到场景相对深度,归一化雾化模糊图得到相对深度的第1 个估计:
其中:Fs(·)表示图像归一化处理。
红通道相比其他通道受水体衰减影响最严重,强度变化对传输距离最敏感。直接使用红通道强度得到场景深度的第2 个估计:
最后根据不同通道的衰减差异估计场景深度,这里使用文献[11]的方法,将场景深度表示为描述之间差值的线性函数:
其中:θa=0.53 214829;θb=0.51 309827;θc=0.910 066 194。
依据水下图像的不同传输特性,确定了3 个场景预估计深度。接下来通过融合获取最符合图像退化特征的深度估计结果,融合表达式如下:
当图像十分模糊时,背景光干扰很强,当红通道值很小时,基于通道衰减特性的估计方法误差较大,此时选择基于雾化模糊估计深度。当图像保留有一定的红通道值,雾化模糊偏弱时,选择基于通道衰减特性来估计,如果背景光较亮,说明仍存在一定程度的散射光,只使用红通道传输特性容易受到干扰,因此选择基于通道衰减差异来估计深度;如果此时背景光较弱,说明图像相对清晰,可直接使用红通道传输特性估计深度。在这3 种极端情况之间,可得任意类型水下图像的融合深度表达。
使用引导滤波[20]去除块效应,得到最终的归一化相对深度图DRela,其表达式如下:
3 种场景深度估计值及相对深度融合估计结果如图4 所示。
图4 3 种场景深度预估计值及相对深度融合估计结果Fig.4 Three depth pre-estimation values and the relative depth fusion estimation results of the scenarios
为复原水下图像,要得到水下场景的绝对深度。在相对深度基础上,得到距离相机最近的场景点深度其表达式如下:
结合式(21)计算出场景绝对深度表达DFinal如下:
2.3 水体衰减系数的反演
实际的水下图像对应不同的水体类型,不同水体类型所含杂质在成分和数量上存在差异,衰减系数存在区别。Jerlov 基于水的透明度开发了一种常用的水域分类方案,根据文献[21],得到不同Jerlov水体类型的衰减系数变化曲线如图5 所示。本文主要针对开阔海洋水域的图像,因此主要列出I、IA、IB、II、III 这5 种开阔海洋水体类型的衰减系数分布。衰减系数值随着水体类型和波长的变化而变化,蓝光系数随波长变化较为平缓,绿光系数随波长变化稍快一些,红光系数随波长变化最为急促。这些典型衰减系数分布提供了其随水体类型和波长的分布趋势参考。需要指出,这些取值分布在离散曲线上不能直接反映任意水下图像的衰减系数。衰减系数与标准波长有关,需要考虑传感器灵敏度影响,不同水下图像标准波长会有所不同。衰减系数分布范围较大,直接对整个系数分布进行迭代寻优,效率低且误差较大。因此为提高衰减系数估计的准确性,本文不事先预设水体类型和波长值,以Jerlov 衰减系数分布为参考,从水下图像本身去反演衰减系数,获得符合图像本身特征的值。
图5 不同水体类型的衰减系数曲线Fig.5 Attenuation coefficient curves of different water types
利用水下图像场景深度图DFinal,在最大深度和最小深度数值范围内依据像素深度值将深度图9 等分,得到9 个深度区间Di(i=1,2,…,9)。根据每个深度区间Di的像素位置得到一一对应的9 个水下图像强度区间(i=1,2,…,9),c∈{R,G,B}。由于整体深度大小被9 等分,每个深度区间内深度值变化范围较小,且整幅图像的背景光和衰减系数βc是定值,因此单个图像区间内的后向散射光强变化范围也比较小,此时图像区间内总光强的变化主要取决于目标光强的变化。
在每个图像区间,c∈{R,G,B}内选择强度最小的1%像素位置,由于取决于,这些位置的目标光强普遍较低,一般对应场景中较暗物体、阴影区域等。假设这些较低的目标光强可近似看作定值,即在所有内像素强度最小的1%位置处的目标光强是一个相同的定值。
在内选择的强度最小1%像素位置,可将成像模型表达如下:
其中:ac为固定的目标光强为衰减系数。在这些像素位置,总光强(x)和场景深度D(x)之间是一种指数变换关系,ac和bc是指数曲线的两个参数。通过获取数值对进行曲线拟合,可得到该指数变换表达式及其参数值。为使拟合结果更准确,参考Jerlov 衰减系数分布,三通道ac取值界限均为[0.001,1],bR、bG、bB取值界限分别 为[0.04,3]、[0.02,3]、[0.02,3]。曲线拟合方程如式(24)所示:
由于背景处像素强度容易受到噪声干扰,同时在较远背景区域红通道值很小,在这些区域选取拟合点会由于大量的yc=0 带来拟合误差,所以对R通道由近到远选取等4 个强度区间,G、B 通道选 取等7 个强度区间(其中K∈{G,B})。拟合点是在图像子区间像素强度最小的1%像素位置选取的,这些像素位置处图像强度变化范围不大,实验也表明单个区间的拟合点个数对于复原结果的影响不大。为避免拟合点过于聚集,同时考虑到一些尺寸偏小图像的像素点总个数有限,拟合点不宜设置过多,因此根据经验取值,在每个强度区间的最小1%像素位置等间隔选取120 个点,最终得到480 个R 通道拟合点(xRn,yRn)[n=1,2,…,480],840个G、B通道拟合点(xKn,yKn)[K∈{G,B},n=1,2,…,840]。
2.4 品质分析 由表5可知,9个供试品种含油量在40.65%~48.83%,玉油5号最高,玉红油2号最低;芥酸含量在0~0.40%,玉油1号、玉红油2号、云油杂2号及云油杂15号均为检出;硫甙含量在20.30%~29.89%,玉油4号最低,花油8号最低;供试品种均符合“双低油菜”(芥酸含量低于3%,硫甙含量低于30 μmol/g)标准。
分通道对拟合点进行非线性最小二乘拟合,依据拟合结果得到参数bc,即水下图像衰减系数的初步估计值βcpre。图6 为衰减系数优化前后的后向散射强度曲线,图6(b)给出了基于βcpre得到的后向散射光强曲线。整个拟合过程基于目标光强为定值的假设进行,这会引入一定误差,为提高衰减系数估计的准确性,本文在βcpre的基础上通过迭代寻优来优化βc值。
图6 衰减系数优化前后的后向散射强度曲线Fig.6 Backscattering intensity curves before and after optimizing attenuation coefficient
βcpre能够初步反映出图像水体类型和标准波长,这缩小了迭代区间。以初步确定的水体类型和波长为基准,参考Jerlov曲线,在较小的波长变化范围内,选择R通道的衰减系数变化区间近似为0.20;G、B 通道的衰减系数变化区间偏小,近似为0.10。因此分别选取三通道衰减系数的迭代区间为 [max(βRpre-0.10,0.04),βRpre+0.10]、[max(βGpre-0.05,0.02),βGpre+0.05]、[max(βBpre-0.05,0.02),βBpre+0.05],迭代步长为0.01。
对每一组衰减系数[βR,βG,βB],求解相应复原结果,计算式如式(25)所示:
对每一个,通过灰度世界假设[22]判断其图像质量。经灰度世界算法处理后的图像表达式如(26)所示:
其中:aver(·)表示取图像强度均值;c∈{R,G,B}。
灰度世界处理前后图像的变化程度反映了对灰度世界假设的符合程度,变化程度越低,越符合灰度世界假设,图像质量越高。因此变化程度最低时的衰减系数就是最终衰减系数取值,对应复原结果即为最终的复原图像。本文使用图像间欧式距离反映灰度世界处理前后图像的变化程度,表达式如式(27)所示:
最终衰减系数和复原图像结果如式(28)所示:
基于优化后衰减系数βc求解的后向散射分布曲线如图6(c)所示。图7 给出了最终得到的R、G、B 三通道传输率图以及衰减系数优化前后的复原结果,由图7 可以看到衰减系数的优化使复原图像的质量有了一定提升。
图7 三通道传输率图及衰减系数优化前后的复原结果Fig.7 Three channel transmission rate map and restoration results before and after optimization of attenuation coefficient
2.4 图像细节增强
为提升图像细节,使用非锐化掩膜对复原结果进行增强。本文方法的基本思想是先对整幅图像进行滤波模糊,在原图像中去除模糊区域得到高频部分即图像细节信息,对细节信息进行调节再加回原图像,得到细节增强后的复原结果,其表达式如式(29)所示:
图8 所示为复原图像经非锐化掩膜增强前后的细节提升效果,由图8 可知增强图像的清晰度和纹理细节相比初步复原的图像均有提升。
图8 非锐化掩膜前后的图像细节提升效果对比Fig.8 Comparison of image detail enhancement effects before and after unsharp mask enhancement
3 实验结果与分析
为验证本文所提方法的有效性和鲁棒性,对本文方法的复原效果进行实验分析,分析内容包括方法参数分析、中间结果分析、主观评价、客观评价。将本文方法与背景光统计模型与传输率优化(SMBOT)[9]、图像模糊与光吸收(IBLA)[12]、水下光衰减先验(ULAP)[11]、水下暗通道先验(UDCP)[8]等现有方法进行对比。本节用于比较的水下图像复原方法的复原结果均为原作者共享代码或网络代码以默认参数直接运行的结果。为充分分析,对2 个常用的水下图像增强基准(UIEB)数据集[23]和真实世界水下图像增强(RUIE)数据集[24]进行了实验处理。
3.1 参数对本文方法的影响
2.3 节对场景深度图DFinal进行了9 等分,深度等分是为了使等分后的深度子区间Di内数值变化很小,使对应图像子区间内总光强Ii的变化主要取决于目标光强Ji的变化,保证在总光强最小1%像素位置的目标光强可看作定值的假设成立。因此深度区间个数需保证等分后的深度子区间内数值范围较小。
本文探究了区间划分个数对图像信息熵的影响,为保证等分后深度数值范围较小,以6 等分为起点,保持总拟合点个数基本不变,固定迭代区间,依次得到深度图6、9、12、15 等分后的图像复原结果,复原图像信息熵随区间个数变化的折线图如图9 所示。由图9(d)可以看出图像信息熵变化较小,区间在由6 等分变为9 等分后信息熵有小幅提升,之后该值趋于平稳,本文最终选择深度区间等分为9 等分。
图9 信息熵随区间个数的变化曲线Fig.9 Curve of information entropy changing with the number of interval
本文使用迭代寻优来修正假设目标光强为定值带来的误差,这里将分析迭代区间对复原结果的影响。根据文献[21]中的数据,单个水体类型下单通道衰减系数数值最大变化范围为0.5 左右,此外水体G 通道和B 通道的光衰减特性较为接近,相同水体类型R 通道衰减系数整体上要大于G、B 通道衰减系数,因此设置R 通道迭代区间增加值Num_R 依次为0.05、0.10、0.15、0.20、0.25;相应地G、B 通道迭代区间增加值Num_G 和Num_B 依次取区间[0.05,Num_R];内的值,步长为0.05。最终依次得到三通道的15 个迭代区间:[max(βRpre-Num_R,0.04),βRpre+Num_R];[max(βKpre-Num_K,0.02),βKpre+Num_K](K∈G、B)。利用每个迭代区间进行衰减系数迭代优化,并分析优化后复原结果的图像质量。
使用信息熵作为复原结果质量的评价指标,图10 所示为3 个复原图像的信息熵变化曲线,横坐标为0 处代表迭代优化前的复原图像,横坐标1~15 依次代表选取的迭代区间。由图10 可以看出,相比迭代优化前,图像信息熵有了一定的提升,之后随着迭代区间的变化,信息熵的极大值变化不大。图10(b)在第2 个迭代区间后信息熵的极大值在7.55 左右波动,图10(a)、图10(c)在第1 个迭代区间后信息熵整体分别稳定在7.63 和7.46 左右。选取指标极大值处对应的迭代区间,为保证复原图像质量,同时考虑到算法效率等影响因素,本文最终选取迭代区间为Num_R=0.10,Num_G=Num_B=0.05。
图10 信息熵随迭代区间变化的曲线Fig.10 Curve of information entropy changing with iteration interval
3.2 中间结果分析
为分析本文方法中每个步骤的影响和作用,本节对中间结果进行分析,实验结果如图11 和图12 所示。图11 依次给出了原图像垂直色差消除的结果、场景深度、衰减系数迭代优化前和优化后的复原结果、非锐化掩膜增强结果。图12 依次给出了原图、色差消除后、优化前、优化后以及非锐化掩膜增强后结果的平均梯度值变化趋势。综合主客观分析结果,可以看出随着方法步骤的进行,图像整体质量在不断提高。
图11 中第1 行图像(图像1)具有一定景深,包含场景范围较大,水平方向的光吸收和散射是导致图像色差与模糊的主要原因,本文方法中的垂直色差消除步骤提高了场景深度估计的准确性,场景深度估计结果能够反映图像的特征。而经衰减系数反演得到的优化前复原结果,其整体质量相比垂直色差消除后的结果有明显提升,这符合该图像具有一定景深、图像退化主要发生在水平方向上的特点。优化后的复原图像进一步提升了视觉效果和清晰度,证明了优化方法的有效性。相比于图像1,图11第2 行所示图像(图像2)的场景深度较小,图像色差主要由垂直方向光衰减产生,垂直色差消除矫正了颜色失真,后续处理结果进一步去除了散射模糊。图12 中的平均梯度折线图呈现出明显的逐步骤上升趋势,图像清晰度不断提高,最终复原结果的平均梯度接近于原水下图像平均梯度的5 倍。
图11 本文方法的中间结果Fig.11 Results in process of the method in this paper
图12 本文方法的平均梯度值变化趋势Fig.12 Variation trend of the mean gradient value of method in this paper
3.3 主观评价
散射光带来的成像模糊是水下成像质量不佳的主要原因,为评估所提算法的有效性,首先对图像细节纹理的提升效果进行对比分析,实验结果如图13 所示。本文选取了UIEB 数据集中的两幅图像,将图9(a)中场景中间位置和图9(b)中场景近处的岩石部分进行放大,选取位置如图13 中白色方框所示。可以看出本文方法和SMBOT 方法的细节提升效果明显好于其他方法,岩石的纹理均清晰可见,对比度和清晰度明显提高。通过放大区域可以看出,IBLA 方法和ULAP 方法并不能有效地去除散射影响,图像依然存在色差,细节纹理不够清晰,而UDCP 方法的复原结果则存在严重的失真现象,复原效果并不好。相比于SMBOT 方法,本文方法去除散射更加彻底,也更好地消除了色差影响,整体视觉感受更加自然,这说明本文方法在细节提升上具有较好的效果。
图13 水下图像细节提升效果对比Fig.13 Comparison of the effect of details-enhancing of the underwater images
为更全面地分析本文方法的有效性,本文选择UIEB 数据集中6 幅不同场景的水下图像进行复原实验,选取的处理图像包含偏绿色调、偏蓝色调的图像,也包括场景中含有背景区域、目标充满整个场景等类型的水下图像。4 种对比方法及本文方法的复原结果如图14 所示。可以看出,本文方法在各种主观视觉感受上均取得了较好效果。对于不同类型的图像,本文方法均能提升图像清晰度,复原结果的细节纹理更加明显,这证明了本文方法在去散射方面的有效性。通过整体的复原结果可以看出本文方法和SMBOT 方法明显好于其他方法,IBLA 方法的散射去除不够彻底,ULAP 和UDCP 方法的复原结果仍存在色差。本文方法的恢复结果相比SMBOT 方法而言,恢复纹理更清晰,色彩更自然,这说明本文方法对不同类型的水下图像均能提升其整体质量。
图14 不同方法在UIEB 数据集下的图像复原效果对比Fig.14 Comparison of image restoration effects of different methods under UIEB dataset
为验证本文方法的普遍有效性,额外使用RUIE 数据集进行复原实验和对比分析,本文选取了5 幅图像,涵盖绿色调和蓝绿色调,实验结果如图15 所示。通过对比分析可以发现,本文方法对RUIE 数据集中的图像依然取得了较好的复原结果。从图15 可以看出,本文方法和SMBOT 方法处理效果仍是最优的,UDCP 方法的处理结果整体偏暗且颜色失真比较严重,IBLA 和ULAP 方法虽然在一定程度上提高了清晰度,但并没有消除图像色差。本文方法有效提升了图像的细节纹理信息,图像颜色也更自然,相比于SMBOT 方法,本文方法的去散射程度更彻底,这表明本文方法对RUIE 数据集的图像的处理效果较好。
图15 不同方法在RUIE 数据集下的图像复原效果对比Fig.15 Comparison of image restoration effects of different methods under RUIE dataset
3.4 客观评价
在进行主观视觉感受分析后,使用客观评价指标进一步分析本文的图像复原效果。采用的评价指标包括无参考的水下彩色图像质量评估(Underwater Color Image Quality Evaluation,UCIQE)[25]、基于人眼视觉系统激励的无参考水下图像质量评价(Underwater Image Quality Measure,UIQM)指标、图像信息熵(Entropy)、图像的平均梯度(Mean Gradient,MG)。其中UCIQE 和UIQM 用来评价图像整体质量,包括色彩、清晰度、对比度等;信息熵和平均梯度用来描述图像清晰度和细节信息,可以反映图像去散射效果。使用以上指标对3.3节2 个数据集的复原结果进行评估。UIEB 数据集中8 幅复原图像的指标平均值如表1 所示,RUIE 数据集中5 幅复原图像的指标平均值如表2 所示。
表1 不同方法在UIEB 数据集下的复原结果评价指标平均值Table 1 Average value of restoration results evaluation indicators of different methods under UIEB dataset
表2 不同方法在RUIE 数据集下的复原结果评价指标平均值Table 2 Average value of restoration results evaluation indicators of different methods under RUIE dataset
通过表1 可以看出,本文方法对UIEB 数据集中图像处理结果的评价指标整体表现较好,其中信息熵和平均梯度的平均值好于其他对比方法,这表明本文方法有效去除了图像散射,使图像清晰度明显提升,图像细节信息更加凸显。本文方法的UCIQE 和UIQM 指标值也好于其他对比方法,其中UCIQE 指标为最佳值,UIQM 指标值排第2,这表明本文方法在恢复图像整体质量上取得了很好的效果,复原结果的色彩较均衡、对比度更高、视觉效果较好。
通过表2 可以看出,与其他对比方法相比,本文方法的指标平均值均较好,与SMBOT、IBLA、ULAP、UDCP 方法相比,本文方法在RUIE 数据集上的Entropy 值分别提升了4.9%、5.4%、9.2%、17.9%,这说明本文方法对RUIE 数据集中的水下图像同样具有很好的复原效果。
综上可知,不论是在主观视觉感受上,还是客观指标评价上,本文方法均表现较佳,既能够去除水下图像的散射影响,提升图像清晰度,凸显细节信息,也能够减弱图像色彩失真,提升图像整体视觉效果。
4 结束语
本文提出一种基于水体衰减系数直接反演的水下图像复原方法,不基于固定的水下图像水体类型和标准波长,而是通过反演的方式从图像中求解出最适合图像本身的衰减系数并完成复原。通过对图像去除垂直衰减色差,使描述水下图像强度规律的先验信息能更准确地反映水平方向的光传输特性,提升背景光估计和场景深度估计的准确性。基于在单个颜色通道的图像强度区间内,像素值最小的1%像素位置处目标光强可近似为定值的假设,使用非线性拟合完成衰减系数求解,并进行衰减系数值的优化,成功复原图像质量。实验结果表明,与SMBOT、IBLA、ULAP 等方法相比,本文方法能更好地提升水下图像复原质量。下一步将通过寻找更准确的水下图像强度先验规律,降低衰减系数的估计误差,提升复原效果。