利用偏振图像加权融合及CLAHE算法的水下成像方法*

王佳节，万敏杰，张晓杰，龚 晟，徐秀钰，顾国华，陈 钱

(1.南京理工大学 电子工程与光电技术学院·南京·210094；2. 南京理工大学 江苏省光谱成像与智能感知重点实验室· 南京·210094；3.上海航天控制技术研究所·上海·201109；4.中国航天科技集团有限公司 红外探测技术研发中心·上海·201109)

0 引 言

随着人类对海洋资源的不断探索与开发，水下光学成像技术逐渐成为研究者的研究重点[1]。与一般空气环境中的传统成像方法不同，要获得清晰的水下图像，必须克服水分子对光波的吸收和散射等效应的影响[2]。此外，水中的大分子颗粒和悬浮微生物等也会吸收或散射水下目标的反射光，这些吸收和散射效应会导致水中目标成像质量的下降。常见的水下图像一般表现为较低的清晰度和对比度[3]。因此，水下光学成像的主要研究内容就是如何解决图像模糊和信噪比下降等问题[4]。

为解决上述问题，近年来，国内外许多研究者开展水下成像技术的研究[5]。根据技术路线的不同，可以将目前的研究工作分为基于图像处理的水下成像技术[6]以及基于光学成像模型的水下成像技术[7]两类。其中，基于图像处理的水下成像技术利用数字图像处理理论对原始的水下图像进行处理，以期能够提升成像质量和效果。这类技术的优点是不需要复杂的光学成像系统，成本较低，且处理简单，速度较快；缺点是场景适应性差，且对图像效果的提升有限。另外一种基于光学成像模型的水下成像技术可以一定程度弥补图像处理技术在效果提升上的不足，但这一类技术多存在成像系统复杂、成本高等问题，如距离选通成像技术[8]、结构光成像技术[9]和同步扫描成像技术[10]等。

相较于以上两类成像技术，基于目标偏振特性的水下偏振成像技术，由于具有成像系统结构、操作简单且提升效果明显等优点，成为近年来的研究热点。T.Treibitz和Y.Y.Schechner[11]、Huang B.J.等[12]、Hu H.F.等[13]和Shao等[14]利用主动偏振光源照射水下目标，并控制偏振图像采集系统，采集两幅处于正交偏振态的水下目标图像。结合Jaffe-McGlamery模型[15]，分析水下成像过程中目标直接反射光分量和水体散射光分量的偏振特性，利用两者差异，从探测器接收光强中分离出目标直接反射光，实现水下目标的清晰成像。可以看出，这种方法对于主动光源的偏振特性调制要求较高，并且不同材质目标的反射光偏振特性往往也会存在较大差异。因此，本文提出了一种利用水下偏振成像原理和数字图像处理技术的水下成像技术。利用偏振差分成像原理将原始水下图像分解为偏振光图像和非偏振光图像，再根据水下成像模型中各分量偏振度特性，设计合适的权重因子，将两幅图像进行加权融合得到融合的水下图像，再利用限制对比度自适应直方图均衡(Contrast Limited Adaptive Histo-gram Equalization，CLAHE)算法对融合图像进行进一步增强，最终可以获得清晰的水下目标图像。

1 偏振图像加权融合

当目标处于水中时，水体颗粒对于光的散射会导致水下目标成像质量降低，主要表现为对比度和清晰度的降低。而水下偏振差分成像可以利用反射光和散射光偏振特性的差异，从水下目标图像中分离出目标反射光和水体散射光，用公式可以表示为

ITotal=B+T

(1)

式中，ITotal为探测器接收到的总光强度；B为水体散射光强度；T为水下目标的直接反射光强度。由于ITotal一般表现为部分线偏振性，为了实现偏振差分图像的采集，在探测器前放置线偏振片，随着偏振片的转动，探测其接收到的光强度也呈现周期性变化。令Imax和Imin表示偏振片转动过程中探测器接收到的最大和最小光强度，则可以得到

Imax=Bmax+Tmax
Imin=Bmin+Tmin

(2)

式中，Bmax和Tmax分别表示水体散射光和目标反射光经过线偏振片后的最大光强；Bmin和Tmin分别表示水体散射光和目标反射光最小光强。一般情况下认为水体散射光为非偏振光，则

(3)

将式(2)中Imax和Imin相减，即可获得不包含水体散射光部分的偏振差分图像

Imax-Imin=Tmax-Tmin+(Bmax-Bmin)

=Tmax-Tmin

(4)

然而，在实际水下场景中，由于不同目标表面粗糙程度不同，其对于反射光的退偏振效应也不同。因此，传统偏振差分成像在消除非偏振光的同时，具有较高退偏振特性的目标反射光也会被消除，从而导致这部分目标在偏振差分图像中的亮度较低。基于此，本文利用加权融合的方式，利用线偏振片将原始光强图像分解为偏振光图像和非偏振光图像，即

ITotal=IP+IN

(5)

式中，IP为探测器接收光强的偏振部分；IN为探测器接收光强的非偏振部分。一般情况下，将目标反射光和水体散射光均看作部分偏振光，则IP和IN均包含部分的水体散射光和目标反射光，用公式可以表示为

IP=BP+TP
IN=BN+TN

(6)

式中，BP和BN分别为水体散射光的偏振部分和非偏振部分光强；TP和TN分别为目标反射光的偏振部分和非偏振部分光强。

由于探测器只能通过线偏振片的旋转采集水下偏振图像。因此，仅通过式(5)和式(6)，无法直接计算出目标反射光和水体散射光。对于式(6)，在大多数情况下，IP包含目标反射光的偏振部分和水体散射光的偏振部分，而IN包含水体散射光的非偏振部分和目标反射光的非偏振部分。因此，为了尽可能保留目标反射光，同时最大程度地压缩水体散射光。本文利用加权融合的方式，将式(6)中IP和IN分别乘上权重因子后进行融合。则对于采集到的水下目标图像，融合后的图像可以表示为

Ie(x,y)=a(x,y)IP(x,y)+b(x,y)IN(x,y)

(7)

式中，Ie(x，y)表示融合后图像的灰度值，(x，y)表示图像中的像素坐标；a(x，y)和b(x，y)分别表示偏振光强图像和非偏振光强图像的权重值。从式(7)可以看出，权重因子a和b的取值会直接影响融合图像的像素灰度值。因此，选取合适的权重因子是本文算法的重点。

为了选取合适的权重值，根据偏振度的不同，可以将原始水下图像光强分为三部分，具有高偏振度的光滑目标直接反射光、具有低偏振度的粗糙目标直接反射光以及具有适中偏振度的水体散射光。针对权重值a，由于IP包含了原始图像中偏振光强部分，因此，当原始图像中某个像素偏振度较大时，可以认为其包含较多目标反射光强度，a的值也相应地需要较大；而对于权重值b，由于非偏振光图像本身包含较高的灰度值，且图像整体对比度较低，为了保证融合图像的整体亮度水平且不损失融合图像对比度，因此b需要取大于0而小于1的值。为满足以上条件，权重的取值可以表示为

(8)

式中，P(x，y)为像素(x，y)对应的偏振度，其取值在[0，1]范围内。可以看出，在一般情况下，a的取值大于1，而b的取值则位于0～1之间。则通过式(7)和式(8)，即可得到融合的水下目标图像。

2 CLAHE

第1章介绍了利用加权融合的方法获得水下目标融合图像。而通过加权融合后，融合图像的原始灰度分布也受到压缩和重构。因此，利用CLAHE算法处理融合图像以进一步提升图像对比度。如图1所示，CLAHE同普通的自适应直方图均衡算法不同的地方主要是其对于增强后图像的对比度限幅，使其能够克服传统直方图均衡过程中图像噪声放大的问题。

图1 直方图限制及剪切图Fig.1 Chart of histogram restriction and cut

CLAHE算法主要包含5个步骤[16]：

1)将图像分割为大小一致的局部图像块(本文采用8×8的分割模式)；

2)获取每个图像块的直方图，并按照每个图像块的直方图分布，设置直方图限定阈值；

3)根据各图像块的限定阈值，对原始直方图中超过阈值部分进行剪切，并将剪切部分分配到整幅图像直方图的最底层，如图1所示；

4)在剪切后的直方图基础上，对各图像块进行直方图均衡化处理；

5)根据图像块所处的位置进行像素灰度值重构，如图2所示。其中，位于图中阴影部分蓝色点的像素采用双线性插值，而位于边缘的绿色点部分采用线性插值，红色点则直接使用局部区域所在的变换函数获得。

图2 图像像素插值重构Fig.2 Reconstruction of image pixel interpolation

3 本文算法流程

本文根据水下偏振差分成像原理，首先利用图像加权融合理论，并结合不同目标退偏振特性，设计不同偏振特性分量的权重因子，从而获得对比度提升的融合水下目标图像；然后通过CLAHE算法实现融合图像对比度的进一步增强，获得理想的水下成像效果图。本文主要流程如图3所示。

图3 算法流程图Fig.3 Flow chart of the proposed algorithm

为了更好地说明本文方法对水下图像的增强流程，图4给出了完整的图像处理流程以及各个步骤的中间处理结果。首先，将最亮图像和最暗图像相加，可以得到总光强图像，而偏振度图像可以利用最亮和最暗图像的差分相除获得；在获得总光强图像和偏振度图像后，将两者相乘，可以得到偏振光图像，再利用总光强图像减去偏振光图像，即可得到非偏振光图像；然后，根据式(7)和式(8)，计算出偏振光图像和非偏振光图像的权重因子，并与对应的图像相乘，即可获得加权偏振光图像和加权非偏振光图像；最后，将两幅加权图像融合，并利用CLAHE算法进行增强，即可获得最终的增强融合图像。

图4 图像处理流程及各部分效果图Fig.4 Image processing flow and result image of each operation

4 实验及结果分析

为验证本文方法的有效性，搭建如图5所示的模拟水下成像实验环境。通过向清水中添加牛奶，模拟真实水下环境中水分子和水中悬浮颗粒对于光波的散射和吸收。实验采用Basler acA640-90gm黑白相机作为图像采集设备，相机图像分辨率为658×492像素，白光LED作为主动光源，并在相机和光源前放置Thorlabs LPVISC100-MP2线偏振片，以调制入射光偏振态以及采集反射光偏振图像。为对比本文算法与独立的偏振差分算法以及CLAHE算法的水下成像效果，分别利用偏振差分算法、CLAHE算法和本文算法处理采集的水下目标图像，并进行主观效果和客观指标的对比。

图5 模拟实验设备Fig.5 Simulation experimental setup

实验结果如图6、图7以及图8所示，其中图6为无散射的清晰目标图像，实验目标场景包含1块聚乙烯塑料圆片、4枚硬币和放在底部的金属棋盘格，其中金属棋盘格和硬币表面较为光滑，而塑料圆片表面较为粗糙。图7和图8为不同浑浊度的水下原始图像以及复原结果，其中图7为低浑浊度(水和牛奶比例为5000∶1)水下实验结果，图8为高浑浊度(水和牛奶比例为5000∶5)水下实验结果。

图6 无散射的清晰目标图像Fig.6 Clear target image without scattering

图7(a)为原始低浑浊度水下目标的图像，图7(b)为图7(a)经过CLAHE算法处理后的效果图像，图7(c)为偏振差分图像，图7(d)为本文算法获得的水下成像效果图像。可以看出，原始水下图像由于水中颗粒对主动光的散射，探测器接收到的图像较为模糊，对比度较低。而对比利用CLAHE算法直接处理水下图像的结果和原始水下图像可以看出，处理后的图像对比度有一定的提升，但效果有限。图7(c)为偏振差分图像，与原始水下图像相比，偏振图像整体的图像对比度和清晰度都有明显的提升，水下目标表面纹理的清晰度也有显著改善，如图中黄色方框标记的区域。这说明，探测器接收到的水下成像的反射和散射光中，大部分区域的目标直接反射光偏振度要明显大于水体散射光；然而正如前文分析，由于具有粗糙表面的塑料圆片退偏振效应较强，其光强损失也较为明显，如图中红色方框标记的区域。图7(d)为本文算法的处理效果，可以看出，与图7(c)相比，图7(d)的图像整体对比度和清晰度有进一步的提高，如黄色方框标记的区域，并且对于图像中具有高退偏振特性的区域，图7(d)能够明显保留更多的目标反射光强。

(a)原始水下图像

图8(a)为高浑浊度水下目标的图像，与图7(a)相比，随着水体浑浊度的加深，原始水下图像降质也更加明显，图像清晰度和对比度均有明显的下降。图8(b)、图8(c)和图8(d)为不同方法获得的水下图像复原与增强效果。可以看出，与CLAHE算法以及偏振差分获得的结果相比，本文提出的方法仍能够获得更好的水下复原与增强图像。值得注意的是，对比图7和图8可以发现，随着介质浑浊度的提升，本文采用的三种水下增强算法的效果均受到一定的限制。

(a)原始水下图像

(b)CLAHE算法处理结果

为了更好地对比不同方法的水下成像效果，本文选取2个常用的图像质量评价指标，图像增强评价指标(Enhancement Measure Evaluation，EME)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)。其中EME与图像的局部对比度直接相关，可以定量描述图像的对比度[17]；PSNR与图像的噪声水平相关，可以定量描述图像噪声水平[18]。EME的计算方法为

(9)

其中，M和N分别为图像高度和宽度方向划分的块数量；k和l分别为每个图像块在宽度和高度方向上的编号；Imax；k，l和Imin；k，l分别表示对应编号图像块中像素最大和最小灰度值。根据式(9)的计算方法，EME的值与每个图像块中灰度值最大和最小的像素有关。而PSNR的计算方法为

(10)

其中，n为图像像素位宽，即最大灰度的比特数，本实验中图像均为8bit，因此n的取值为8；MSE为待测噪声图像与参考无噪声图像的均方误差。一般均方误差的计算方法为

(11)

其中，H和W分别为待测图像的高度和宽度；i和j表示图像每个像素的编号；X(i，j)和Y(i，j)分别表示像素坐标(i，j)待测图像和参考图像的灰度值。由于PSNR在计算过程中需要参考无噪声图像，在本实验中将图5中原始无散射图像作为参考图像，分别计算图中4幅图像的EME指标和PSNR指标，结果如表1所示。

表1 水下图像及增强结果的定量指标

可以看出，受水体散射光的影响，图7(a)和图8(a)的EME指标和PSNR指标均较低，且高浑浊度水下图像的EME指标相较于低浑浊度环境也有着明显的下降。对于低浑浊度场景，经过处理后的3幅图像图7(b)、图7(c)和图7(d)的对应指标均高于图7(a)。这表明本文对比的三种方法均能够在一定程度上提升水下成像效果。进一步对比这3幅图像的对应指标可以发现，图7(b)对应的EME值相较于图7(a)提升并不大，而图7(c)对应的EME值相较于图7(b)有较大幅度的提升；同时，本文提出的方法所获得的图像EME指标要明显优于图7(b)和图7(c)，这也与不同水下成像方法获得的图像整体对比度表现相对应。另外，对比图7中4幅图像的PSNR值，与EME指标类似，图7(b)对应的PSNR值相较于图7(a)也只有小幅提升，而图7(d)相较于图7(b)和图7(c)均有较大幅度的提升。因此，相较于另外两种方法，本文提出的水下成像方法获得的图像能够取得最佳的PSNR值。这表明，在低浑浊度环境下，本文提出的方法相较于传统CLAHE算法和偏振差分算法在噪声抑制方面具有一定的优势。

对于高浑浊度场景，由于原始水下图像的清晰度和对比度均较低，因此图8(b)的EME值相较于图8(a)也有明显的提升。对比三种不同方法获得的图像的EME值，本文提出的方法仍能获得最优结果。而对于PSNR值，本文提出的方法对于信噪比的提升略弱于偏振差分算法，这主要是因为在高浑浊度环境下，后向散射光偏振度要高于目标反射光，这导致本文算法对于不同退偏振目标的区分效果弱化，使得融合图像的不同退偏振特性区域的亮度差异也进一步被消除。因此，在以原始清晰水下图像作为参考图像计算信噪比时，本文方法要略低于偏振差分算法。但综合图像对比度和清晰度，本文方法获得的增强图像的直观效果要优于另外两种对比算法。

综合以上实验结果，可以说明相较于单独的偏振差分成像效果[19]和CLAHE增强算法效果[20]，本文提出的方法能够显著降低目标退偏振特性差异对水下成像效果的影响，提升水下成像质量和效果。

5 结 论

本文研究了利用偏振图像加权融合算法和CLAHE算法的水下目标成像方法，分析了一般水下目标偏振成像过程中目标退偏振特性对于传统偏振差分成像的影响。利用加权融合方式将水下偏振光图像和非偏振光图像进行融合，实现在保留更多目标反射光的同时，压缩水体散射光部分在融合图像中所占的比例；同时利用CLAHE算法对融合图像进行处理，从而进一步提升水下成像效果，实验结果验证了该算法在水下成像效果方面具有明显优势。后续将基于更接近实际应用环境的水下目标场景，设计更具有普遍适用性的加权因子，进一步提高算法的场景适应性，最终实现在真实水下场景中应用。