基于颜色衰减先验和白平衡的水下图像复原

韩 辉，周 妍,2，蔡晨东

(1.河海大学物联网工程学院，江苏 常州 213022; 2.常州市传感网与环境感知重点实验室，江苏 常州 213022)

0 引 言

随着人们对海洋探索的不断深入，水下成像技术得到了迅速发展。研究水下成像技术对于水下环境勘测、海洋生态研究、海洋资源开发以及国防军事等领域均具有重要意义[1-2]。由于光在水下传播时水介质与其中的悬浮颗粒对光的吸收和散射作用，导致采集到的水下图像具有细节模糊、对比度低、表面呈蓝绿色雾化效果等特点，给后续图像的人工判读以及水下目标的检测识别带来了极大的挑战。因此，获得清晰且符合人类视觉特性的水下图像仍然是当今技术发展的一大难题。

目前，水下图像清晰化方法大致分为图像增强与图像复原2大类。水下图像增强主要有空域法[3]、变换域法[4-5]、综合型方法[6]等，以上方法虽然都使水下图像获得了较好的视觉效果，但是由于未依据水下成像的物理模型来消除光的散射与吸收，增强结果依然存在不同层面的失真。水下图像复原主要分为基于图像去雾模型的改进方法[7-8]与基于水下光学成像模型的方法[9-11]。前者主要是基于He等人[12]提出的一种暗通道先验模型，虽然取得了一定的进展，但是忽视了水介质对不同波长光吸收的选择性；后者考虑到水下图像红通道衰减严重的特性，但是在颜色修正方面效果不佳。

针对现有方法存在的不足，本文提出一种基于颜色衰减先验和改进白平衡的水下图像复原方法。该方法依据颜色衰减先验[13]高效地计算出水下图像对应的场景深度图，结合水下光学成像模型与水下光学衰减特性较为准确地估算出RGB三通道对应的背景光强度与水下透射率，并利用改进的白平衡方法有效地消除颜色失真，使得复原的水下图像更符合人类视觉特性，在细节清晰度、颜色保真度、整体亮度和对比度等方面获得显著提升。

1 水下光学成像模型

当光线在水下传播时，由于不同波长的光线在水体中的衰减程度存在差异，使得水下图像偏蓝绿色。另外，水介质自身及其中大量的悬浮颗粒也对光线产生吸收与散射作用，导致拍摄得到的水下图像具有颜色失真、细节模糊、整体亮度和对比度较低的特点。依据Jaffe-McGlamery水下光学成像模型[14]，水下成像系统所接收到的总光强ET由目标物体反射的直接分量Ed、目标物体反射发生小角度散射的前向散射分量Ef、周围环境光被悬浮颗粒等散射所造成的后向散射分量Eb这3部分线性叠加组成，如式(1)所示，对应的水下光学成像模型示意图如图1所示。

ET=Ed+Ef+Eb

(1)

图1 水下光学成像模型

上述各部分光线分量从目标物体传播到摄像设备过程中能量会发生指数级的衰减，由此3个光线分量可分别表示为：

Ed(x,λ)=Eo(x,λ)e-c(λ)d(x)

(2)

Ef(x,λ)=[Eo(x,λ)e-c(λ)d(x)]*g(x,λ)

(3)

Eb(x,λ)=B(λ)(1-e-c(λ)d(x))

(4)

其中，x为图像中的像素点坐标，λ∈{R,G,B}表示RGB三通道，Eo(x,λ)表示物体所在位置的光强，c(λ)为光线被吸收与散射所造成的总衰减系数，d(x)是物体与摄像机之间的距离，也可看作为场景深度，e-c(λ)d(x)表示水下透射率tu(x,λ)。*表示卷积运算，g(x,λ)为点扩散函数，B(λ)为λ通道的背景光。

综合式(1)～式(4)，摄像机接收到的总光强可表示为：

ET(x,λ)=(Eo(x,λ)+Eo(x,λ)*g(x,λ))e-c(λ)d(x)+

(5)

将目标物体反射图像J(x,λ)定义为：

J(x,λ)=Eo(x,λ)+Eo(x,λ)*g(x,λ)

(6)

则式(5)可化简为：

ET(x,λ)=J(x,λ)tu(x,λ)+B(λ)(1-tu(x,λ))

(7)

其中，摄像机接收到的总光强ET(x,λ)相当于拍摄得到的模糊偏色的水下图像，因此需要计算出水下透射率tu(x,λ)与背景光B(λ)，恢复出清晰的图像J(x,λ)，再进行颜色校正，最终得到视觉效果良好的水下复原图像。

2 本文方法

为了恢复出清晰的水下图像，水下透射率tu(x,λ)与背景光B(λ)的求取至关重要。如式(7)所示，由于水下光学成像模型在原理与形式上与经典的雾天成像模型类似，因此可以借鉴应用雾天复原的颜色衰减先验估计出图像的场景深度d(x)，再利用水下光学衰减特性计算出不同通道的背景光B(λ)与衰减系数c(λ)，最后利用改进的白平衡算法进行颜色校正，得到复原后的水下图像。总体算法流程如图2所示。

图2 水下图像复原算法流程图

2.1 颜色衰减先验

Zhu等人[13]通过对大量有雾图像进行实验发现：图像中雾天浓度h(x)与图像在HSV颜色空间中的像素亮度v(x)与饱和度s(x)之差呈正相关。基于场景深度d(x)与雾天浓度h(x)呈正相关的假设，颜色衰减先验可用式(8)表示。同时，假设场景深度、像素亮度与饱和度三者为线性相关，则可建立场景深度线性模型。为了更加精准地表达它们三者之间的线性关系，将像素亮度v(x)与饱和度s(x)两者对应的线性系数分别设置为2个不同的参数，由此该模型可利用式(9)表示。

d(x)∝h(x)∝(v(x)-s(x))

(8)

d(x)=θ0+θ1v(x)+θ2s(x)+ε(x)

(9)

其中，θ0,θ1,θ2为相应的影响因子，ε(x)为表示该模型随机误差的一个随机变量，并符合高斯分布N(0,σ2)，这些参数均通过有监督的学习方法[13]得到。收集500幅无雾图像，针对每一幅无雾图像生成随机场景深度图以及随机大气光，从而得到对应的有雾图像，将这些有雾图像作为有监督学习的训练样本。基于这些训练样本，通过求解最大似然估计来获得场景深度线性模型中涉及的各个参数θ0,θ1,θ2及σ的最优值。

本文针对大量水下模糊图像进行了同样的统计分析，如图3所示，得出区域模糊程度和亮度与饱和度的差异也遵循相同的正相关统计关系，因此将该场景深度线性模型应用于水下图像复原中。然而，由于无法获得大量的清晰水下图像作为文献[13]中有监督学习的训练样本，因此本文通过借鉴该文献中去雾的监督学习结果进行大量水下图像复原实验，发现获得较好的复原效果，因此沿用了相应的参数取值，分别为θ0=0.121779, θ1=0.959710, θ2=-0.780245, σ=0.041337。

(a) 水下图像 (b) 严重模糊区域特写及其柱状图 (c) 中度模糊区域特写及其柱状图 (d) 清晰区域特写及其柱状图

图3 区域模糊程度和亮度与饱和度的差异正相关

然而，针对一些包含人工照明或者白色物体的特殊水下图像，通过线性模型获得的水下图像场景深度图在对应区域中可能与实际不符。为克服上述问题，将计算得到的场景深度图进行最小滤波操作，来避免图像中白色区域对场景深度估算的影响。

(10)

其中，Ωr(x)是一个以x为中心的r×r大小的邻域，dr为单位尺度为r的场景深度图。

为了消除利用区域为单位估计出的场景深度所产生的块状效应，采用文献[15]的导向滤波对场景深度dr(x)进行细化来获得最终的场景深度图dg。结果如图4所示，越白代表场景深度越大，越黑代表场景深度越小。

(a) dr结果图 (b) 细化后的dr图图4 场景深度图区域化及细化结果图

2.2 背景光和透射率估计

考虑到不同波长的光在水介质中的衰减程度不同，因此在求取水下透射率tu(x,λ)时，需要依据水下光学衰减特性分别针对图像的RGB三通道计算相应的背景光B(λ)与衰减系数c(λ)。参照不同波长光λ的衰减系数c(λ)与对应背景光B(λ)成反比，与对应散射系数b(λ)成正比的关系[16]，不同颜色通道的c(λ)存在如下的比值关系：

(11)

(12)

(13)

其中背景光B(λ)的选取方法为：对细化后的水下图像场景深度图中的值按顺序从小到大排列，挑选出数值最大的0.2%的像素点，然后从这些候选点中统计出在原图对应位置上每个λ通道内的强度值，为了避免水体中白色物体或者人工照明对背景光估计的干扰，将这些候选点对应每个通道的强度值进行递减排序，分别取前1/5处的值作为各自通道的背景光值B(λ)。

大量实验表明，不同波长的光在水下的散射系数b(λ)与其波长λ之间近似某种线性关系[17]，其表达式为：

b(λ)=(-0.00113λ+1.62517)b(λr)

(14)

其中，λr为参考光的波长，光的波长λ的单位为纳米。由于只需要求得各通道散射系数之间的比值，因此不用获知b(λr)的具体数值。本文选取的RGB三通道的对应波长分别为620 nm, 540 nm, 450 nm。

通过计算出的散射系数b(λ)之间的比值与背景光B(λ)，可以获得各通道衰减系数c(λ)之间的比值。而一般情况下，水体中蓝光的衰减程度最低，结合蓝通道的水下透射率tu(x,B)仅由场景深度d(x)决定的假设，就可以求得各颜色通道的水下透射率tu(x,λ)为：

tu(x,B)=e-d(x)

(15)

tu(x,R)=(e-c(B)d(x))c(R)/c(B)=tu(x,B)c(R)/c(B)

(16)

tu(x,G)=(e-c(B)d(x))c(G)/c(B)=tu(x,B)c(G)/c(B)

(17)

式(7)可以改写为：

(18)

为了避免生成太多的噪声，将水下透射率tu(x,λ)的值限制在[0.1,0.9]的区间范围内。最终，通过式(19)来获得清晰的水下光学图像J(x,λ)。

(19)

2.3 改进的白平衡方法

不同波长光线在水体中衰减程度的差异，使得拍摄的水下图像一般存在偏蓝绿色的颜色失真问题。同时，去除散射分量之后的水下图像虽然在清晰程度上具有显著提高，但是仍存在整体亮度偏暗、对比度不高的问题。针对上述问题，采用一种改进的白平衡方法对清晰化后的水下图像进一步处理，从而在实现图像颜色校正的同时提高对比度，改善复原后水下图像的视觉效果。

该白平衡方法主要依据一个假设[18]：图像RGB三通道中的最大值像素对应白色区域而最小值像素对应暗黑区域。因此通过对输入图像各通道的像素值进行仿射变换，分别将整幅图像RGB三通道的像素值进行拉伸，尽可能地占据[0,255]整个区间。由于拉伸了各颜色通道的值，因此图像的整体亮度与对比度均有所提升。此外，针对水下图像中R通道衰减严重的情况，也利用上述的仿射变换提高对应R通道的像素值而达到颜色平衡的目的。

需要注意的是，对于一种包含少量像素值已经达到区间极值0或255的异常点的特殊图像，难以通过该白平衡方法实现颜色平衡。为提高算法的通用性，在进行上述仿射变换之前对这些异常点进行“裁剪”操作，通过裁剪掉部分像素值接近于0和255的像素点来统计出剩余像素的最小值Vmin和最大值Vmax，进而将在区间[Vmin,Vmax]范围内的像素值经仿射变换拉伸至[0,255]，具体步骤如下：

1)将图像λ通道内的像素值进行累积直方图统计，其中该累积直方图每个柱状图对应的标签i对应不低于相应像素值的像素个数。

2)若图像共有N个像素，需要“裁剪”掉像素值最低的N×s1%个像素与最高的N×s2%个像素，统计得到Vmin的值为柱状图标签i大于N×s1%的最小值；Vmax的值为柱状图标签i不大于N×(1-s2%)的最大值；其中，本文选取s1=1, s2=5。

3)仿射变换，对图像利用式(20)进行仿射变换，将像素值区间拉伸至[min,max]，通常为[0,255]。

f(x)=(x-Vmin)/(Vmax-Vmin)×(max -min )+min

(20)

3 实验结果与分析

为验证本文算法的有效性，对大量水下彩色光学图像进行了图像复原实验，并将本文算法的复原结果分别与采用暗通道先验的去雾算法(DCP)[12]、基于红通道的水下复原算法(RCP)[9]、估算水下场景深度的水下暗通道先验算法(UDCP)[10]以及基于改进暗原色先验和颜色校正的复水下增强算法(IDCPCC)[11]得到的复原结果进行对比。这里仅选取其中6幅典型的水下图像进行图像复原效果展示，选取的实验图像分别为从海洋环境中拍摄的Fishes, Debris, Divers, Statue, Effigy, Coral图像，它们都存在明显的细节模糊、颜色失真、亮度对比度较低的现象。在实验过程中，为保证实验的可信度与有效度，所有的实验结果均在相同的实验环境下进行，具体为：基于Windows 7操作系统，采用Matlab(R2013a)作为软件平台，计算机配置为Intel(R) Core(TM) i5-2450M CPU @ 2.50 GHz，4.00 GB内存。图5～图10分别为采用本文方法与其他4种当前主流方法的水下图像复原结果对比图。

(a) 原始图像 (b) DCP算法 (c) RCP算法

(d) UDCP算法 (e) IDCPCC算法 (f) 本文算法图5 Fishes图像复原结果对比图

(a) 原始图像 (b) DCP算法 (c) RCP算法

(d) UDCP算法 (e) IDCPCC算法 (f) 本文算法图6 Debris图像复原结果对比图

(a) 原始图像 (b) DCP算法 (c) RCP算法

(d) UDCP算法 (e) IDCPCC算法 (f) 本文算法图7 Divers图像复原结果对比图

(a) 原始图像 (b) DCP算法 (c) RCP算法

(d) UDCP算法 (e) IDCPCC算法 (f) 本文算法 图8 Statue图像复原结果对比图

(a) 原始图像 (b) DCP算法 (c) RCP算法

(d) UDCP算法 (e) IDCPCC算法 (f) 本文算法图9 Effigy图像复原结果对比图

(a) 原始图像 (b) DCP算法 (c) RCP算法

(d) UDCP算法 (e) IDCPCC算法 (f) 本文算法图10 Coral图像复原结果对比图

由图5～图10的(b)组图可以看出，单纯的DCP算法虽然能够在一定程度上消除后向散射引起的雾化现象，但是由于未考虑到水体对不同波长光的衰减差异，对各颜色通道的透射率估算得不准确，导致对水下图像去模糊的效果不够理想，且未解决图像的偏色问题。由图5～图10的(c)组图可以看出，红通道(RCP)算法依据水下光在红通道衰减程度最高的特性，结合暗通道理论较好地估算出水下透射率，达到对水下图像去模糊和颜色校正的效果。但是对一些偏色特别严重的水下图像，如图8(a)，复原出的图像依然存在较大的颜色失真。由图5～图10的(d)组图可以看出，UDCP算法有效地实现了水下图像的清晰化，使得图像整体的细节比较清晰，但是由于复原后的图像整体亮度与对比度较低，且未进行颜色平衡，因此视觉效果仍然不太理想。由图5～图10的(e)组图可以看出，IDCPCC算法由于利用基于灰度世界的白平衡算法对图像进行颜色校正，在平衡色彩时对于一些偏色严重的图像会出现整体泛白、对比度下降的现象，导致图像二次雾化。相比之下，本文算法的复原效果在清晰度、颜色保真度、亮度对比度方面综合考虑均优于其他算法，较好地消除了水介质对光的吸收散射作用，提高了水下图像的视觉效果。

为了进一步验证本文算法的性能，本文采用客观评价指标BRISQUE[19]和UIQM[20]对各算法进行定量分析。BRISQUE是一种基于空间自然场景统计模型的无参考图像整体质量评价指标，主要用来衡量图像是否接近自然场景下的图像。将其应用于水下图像时，BRISQUE值越小，表明图像的视觉效果越接近自然场景下的图像。表1为对应图5～图10中6组图像的BRISQUE指标对比结果。此外，UIQM是一种基于人眼视觉系统激励的无参考水下图像质量评价指标。其针对水下图像的退化机理与成像特点，采用色彩测量(UICM)、清晰度测量(UISM)、对比度测量(UIConM)这3个分量作为评价依据，将UIQM表示为它们三者的线性组合。UIQM值越大，表明图像的颜色平衡、清晰度、对比度越佳。表2为对应图5～图10中6组图像的UIQM指标对比结果。其中表1、表2中每组图像对应客观评价指标的最优值加粗表示。

表1 6组水下图像的BRISQUE指标对比

原图DCPRCPUDCPIDCPCC本文算法Fishes32.29528.05324.26322.78223.30117.313Debris24.52420.84216.30414.94722.19815.095Divers21.38215.29013.52716.07117.08912.948Statue28.21024.13920.65620.03122.25718.011Effigy33.68628.34819.39125.49723.53217.492Coral19.88617.91715.43614.18116.03810.128

表2 6组水下图像的UIQM指标对比

原图DCPRCPUDCPIDCPCC本文算法Fishes2.2012.3763.5403.7463.0723.814Debris0.5821.1372.8771.3621.5833.004Divers0.9621.1472.8963.3483.0363.425Statue1.5511.7023.7263.1042.9624.318Effigy0.1870.5282.8491.2202.4243.385Coral1.0251.3123.6382.9743.7313.785

从表1中可以看出，本文算法除了在Debris一组图像中的BRISQUE指标为次优值外，在其余组中的指标均为5种算法中最优。这是由于Debris图中右上角是一片光照区，本文算法复原后所得到的图像由于右上角曝光比较强烈使得图像整体光照不均匀，而UDCP算法得到的图像整体亮度比较均匀昏暗，因而更加符合自然场景下图像的统计分布。但从整体而言，本文算法的水下图像复原结果相较其他算法更接近自然场景下的视觉效果。从表2中的数据分布可以得出，经本文算法复原后的水下图像UIQM指标均为最大，表明本文复原方法所恢复的图像在颜色保真度、细节清晰度、整体对比度等方面综合考量都有显著提升。

通过对水下复原图像进行定性和定量分析可知，本文算法不但能够更好地消除由于光线在水体传播中被吸收散射所造成的细节模糊、颜色失真等现象，而且能够很好地提高图像的整体亮度与对比度，使得图像在清晰化的同时视觉效果更加接近于自然场景下的图像，具有良好的适用性和有效性。

4 结束语

针对水下图像通常存在细节模糊、对比度低、颜色失真等问题，本文利用基于颜色衰减先验获得的场景深度图结合水下光学衰减特性消除水下图像中的雾化效果，并通过改进的白平衡方法对图像进行颜色校正的同时提高整体亮度与对比度，以实现水下图像的复原。实验结果表明，相较于其他主流方法，本文方法能更好地复原水下图像，使视觉效果更接近自然场景下的图像，进而为水下环境感知奠定良好的基础。但是对于一些含有大量人工照明或者严重光照不均的水下图像，本文算法的复原效果还不太理想，这也是未来的研究重点。

参考文献：

[1] Ludvigsen M, Sortland B, Johnsen G, et al. Applications of geo-referenced underwater photo mosaics in marine biology and archaeology[J]. Oceanography, 2007,20(4):140-149.

[2] 张颢,范新南,李敏,等. 基于光学成像模型的水下图像超分辨率重构[J]. 计算机与现代化, 2017(4):7-13.

[3] Ancuti C, Ancuti C O, Haber T, et al. Enhancing underwater images and videos by fusion[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. 2012:81-88.

[4] 张凯,金伟其,裘溯,等. 水下彩色图像的亮度通道多尺度Retinex增强算法[J]. 红外技术, 2011,33(11):630-634.

[5] 沈瑜,党建武,王阳萍,等. 基于Tetrolet变换的彩色水下图像清晰化算法[J]. 光学学报, 2017,37(9):82-93.

[6] 杨淼,纪志成. 基于模糊形态筛和四元数的水下彩色图像增强[J]. 仪器仪表学报, 2012,33(7):1601-1605.

[7] 杨爱萍,郑佳,王建,等. 基于颜色失真去除与暗通道先验的水下图像复原[J]. 电子与信息学报, 2015,37(11):2541-2547.

[8] 倪锦艳,李庆武,周亚琴,等. 基于透射率优化和色温调节的水下图像复原[J]. 激光与光电子学进展, 2017,54(1):90-97.

[9] Galdran A, Pardo D, Picon A, et al. Automatic red-channel underwater image restoration[J]. Journal of Visual Communication and Image Representation, 2015,26:132-145.

[10] Drews P L J, Nascimento E R, Botelho S S C, et al. Underwater depth estimation and image restoration based on single images[J]. IEEE Computer Graphics and Applications, 2016,36(2):24-35.

[11] 李黎,王惠刚,刘星. 基于改进暗原色先验和颜色校正的水下图像增强[J]. 光学学报, 2017,37(12):176-184.

[12] He Kaiming, Sun Jian, Tang Xiaoou. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011,33(12):2341-2353.

[13] Zhu Qingsong, Mai Jiaming, Shao Ling. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015,24(11):3522-3533.

[14] Jaffe J S. Computer modeling and the design of optimal underwater imaging systems[J]. IEEE Journal of Oceanic Engineering, 1990,15(2):101-111.

[15] He Kaiming, Sun Jian, Tang Xiaoou. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013,35(6):1397-1409.

[16] Zhao Xinwei, Jin Tao, Qu Song. Deriving inherent optical properties from background color and underwater image enhancement[J]. Ocean Engineering, 2015,94:163-172.

[17] Jr G R, Arnone R A, Martinolich P M. Spectral dependence of the scattering coefficient in case 1 and case 2 waters[J]. Applied Optics, 1999,38(12):2377-2383.

[18] Limare N, Lisani J L, Morel J M, et al. Simplest color balance[J]. Image Processing on Line, 2011,1:297-315.

[19] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing, 2012,21(12):4695-4708.

[20] Panetta K, Gao Chen, Agaian S. Human-visual-system-inspired underwater image quality measures[J]. IEEE Journal of Oceanic Engineering, 2016,41(3):541-551.