多参数最优重构水下偏振成像复原方法

陈雄锋, 阮驰

(1.中国科学院西安光学精密机械研究所 瞬态光学与光子技术国家重点实验室, 陕西 西安 710119;2.中国科学院大学, 北京 100049)

0 引言

水下光学成像在水下航行器上具有良好的应用前景[1]。但水下成像系统往往由于水体浑浊度、水体吸收等问题导致无法得到清晰的水下成像结果,所获取的图像不是带有很高的噪声,就是图像的灰度不足,无法给予很好的目标信息展示,因此现有的水下目标检测以声纳等方法为主[2]。对水下降质光学图像进行恢复后,可以有效辅助目标识别。因此,有学者提出了水下图像处理方法,以实现水下图像增强与复原。在水下图像处理研究过程中,各种各样的方法应用在了不同状况下的水下图像复原[3-4]。当前的水下光学成像技术主要使用两种方法来提高图像质量,分别为基于非物理模型的方法和基于物理模型的方法[5]。

基于非物理模型的方法通过使用图像处理的手段以改善水下图像的质量问题,提高水下图像质量,经典的水下图像处理方法有白平衡调整、直方图均衡化、图像融合等[6-8]。其中在直方图均衡化上进行改进的对比度自适应直方图均衡化(CLAHE)方法是简单有效的图像增强方法[9],其他基于CLAHE的改进方法也对水下图像进行了有效处理[10]。

基于物理模型的方法依赖于建立一个水下图像退化过程的物理模型,通过对水下成像物理模型中的关键参数进行估算,反演得到退化前的图像,以获得更加接近于原始无噪声状态下的图像。水下成像物理模型最早由McGlamery提出[11],并被后来的研究人员不断改进,提出了暗通道先验、红通道去雾、最小化信息损失[12-14]等方法。偏振差分成像是水下成像中极为有用的基于上述物理模型的方法之一。2001年,Schechner等针对偏振特性在水下成像中的应用进行了深入、系统的研究,认为水下环境中偏振与后向散射光有关[15]。之后,Schechner等[16-17]提出经典水下偏振成像方法,认为光在水中传播时会具有不同的偏振特性,而偏振特性不同,可以在水下图像处理中提供比光强度值更多的信息,更加有利于实现水下图像复原。此后,也有许多基于偏振的水下图像复原方法对图像进行了有效处理[18-20]。

以上基于物理模型的方法多依赖于透射率估计,随着水下浑浊度加大,算法处理效果迅速下降,并且算法的精确度还不够高。而且对于传统偏振算法,需要通过选取亮度最高的像素点估算无穷远处背景光值[5],会导致主观误差的出现,也会使方法的自适应能力不够强,适用范围具有局限性。

针对上述问题,本文通过主动照明获取四方向偏振图像,引入吸收系数与后向散射系数,分析成像原理,建立反射率、吸收系数与后向散射系数之间的关系,避免估算无穷远处背景光。通过复原图像最优化获取多参数最优值,实现后向散射光的去除以及吸收信号光的恢复。在不同浑浊度与不同目标的情况下进行水下图像复原,以检验算法的鲁棒性。实验结果表明,本文方法不需要选取背景点,可以提升水下降质图像的对比度,增强目标可见性,特别是在高浑浊度情况下,可以用于不同浑浊度下及不同目标下的水下图像。该方法为提升水下航行器目标监测能力提供了一种思路,有望提高水下目标检测准确率。

1 经典水下成像物理模型

在至今为止的大部分基于水下物理模型的水下图像复原系统中,基本上以Jaffe-McGlamery 模型作为基础模型[11],在此基础上进行改进提升[21-22]。光照在经过水体中的介质散射后,其中一部分形成后向散射光、被接收器接收。而另一部分光照射到了目标上,被目标光反射形成了目标光。该目标光也分为两部分,其中一部分直接被接收器所接收,成为无干扰的目标光,而另一部分则被水中介质前向散射,形成前向散射光。

因此,接收器接收到的光照强度信息可以用式(1)表示:

I(x,y)=S(x,y)+B(x,y)+F(x,y)

(1)

式中:S(x,y)表示目标信息光;B(x,y)表示后向散射光;F(x,y)表示前向散射光。在接收器接收到的光照强度中,后向散射光为完全的噪声光强,不带有任何的目标信息,而前向散射光带有部分的目标信息,但由于前向散射发生的角度偏移、强度变化乃至偏振度变化等因素,导致其在接收器接收到时也成为了噪声光。在许多水下拍摄中,由于这些噪声光的干扰,导致获取的图像清晰度、对比度下降,图像无法给予其应有的信息。因此,需要对后向散射光与前向散射光进行去除,仅保留目标光强,以实现对水下图像目标信息的恢复。

在多数基于物理模型的水下图像复原方法中,认为后向散射光是影响水下图像质量降低的主要因素,而前向散射光可以忽略。因此,式(1)可以简化为

I(x,y)=S(x,y)+B(x,y)

(2)

并且认为初始的光照在经过吸收和散射作用后衰减,而衰减率为t(x,y),初始光强为J(x,y),目标光就可以表示为

S(x,y)=J(x,y)t(x,y)

(3)

又认为后向散射光是由水中环境光在经过衰减后进入接收器中,水体环境光表示为B∞,后向散射光可以表示为

B(x,y)=B∞[1-t(x,y)]

(4)

在式(3)、式(4)的基础上,接收器接收光强就可以表示为

I(x,y)=J(x,y)t(x,y)+B∞[1-t(x,y)]

(5)

多数依靠此模型的水下成像方法对透射率与环境光进行估计,实现水下图像的复原。

2 多参数最优重构水下图像复原原理

2.1 水下成像物理模型改进

为了避免环境光估计导致的误差以及更好地对光强的衰减进行估计,加入吸收系数与后向散射系数,将吸收和散射作用相区分,可以得到光强随距离的变化:

I=I0e-(α+f)L

(6)

式中:I为经过水体衰减后的光强;I0为初始光强;α为水体吸收系数;f为水体后向散射系数;L为光在水中传播经过的距离。接收器接收到的光强主要由两部分组成;从目标反射回来的目标光强以及从水体后向散射回来的杂散光。

I=Ieff+Iobject

(7)

式中:Ieff为接收器接收到的后向散射光光强;Iobject为接收器接收到的目标光光强。忽略被目标反射后的后向散射部分,目标光强可以表示为

Iobject=I0e-(α+f)LR0e-αLobject

(8)

式中:R0为目标在该方向上的反射率;Lobject为光在经过目标反射后被接收器接收时所经过的距离。至于杂散光,则可以认为是多个后向散射光之和,如图1所示,而每个后向散射光则与距离有关。图1中,将距离分为n段,后向散射光为n段之和,Ln为第n段时的距离。

图1 改进后的水下成像物理模型示意图

当光在水中经过的距离为L1时,后向散射光可以表示为

IeffL1=I0e-αL1(1-e-fL1)e-αL1

(9)

式中:第1个e-αL1为光开始进入水体、在水体中传播直至被水中杂质后向散射时所经过距离的吸收衰减;第2个e-αL1为光经过水中杂质后向散射后直至离开水体时所经过距离的吸收衰减,两者的距离均为L1;(1-e-fL1)为光在经过水中杂质后向散射后被接收器接收的光强。

当光在水中经过的距离为L1+L2时,后向散射光则可用距离为L1以及距离为L1+L2两段的后向散射光之和来表示,根据式(9),距离为L1+L2的后向散射光可以表示为

IeffL2=I0e-α(L1+L2)e-fL1(1-e-fL2)e-α(L1+L2)

(10)

同理,当距离增加到L1+L2+…+Ln时,水中杂质散射的后向散射光可以表示为

IeffLn=I0e-(α+f)(L1+…+Ln-1)e-αLn(1-e-fLn)e-α(L1+…+Ln)

(11)

目标与光源的总距离为L,将其分为k段,令每一段的距离为定值。在实际处理过程中可将每一段距离设置为一个较小值,如1 mm。因此,总后向散射光光强为

(12)

根据式(7)和式(12),将后向散射光从接收器接收到的总光强中去除,即可得到目标信息,实现图像质量提升。

2.2 多参数最优重构方法

在实际测试中,利用不同方向光强度值以计算斯托克斯矩阵。在本文中使用的四方向偏振相机每个角度差值为45°,得到的光强度分别为I(0°)、I(45°)、I(90°)、I(135°)。因此,Stokes矩阵可以表示为

(13)

式中:I、Q、U、V分别为光的总强度、水平和垂直线偏振的光强差、±45°线偏振的光强差、右旋和左旋圆偏振的光强差;I(λ/4,45°)为经过1/4波片后45°方向的光强,λ为波长。

根据得到的Stokes矩阵,忽略圆偏振光的作用,可以求得偏振度P与偏振角θ为

(14)

为提升图像质量,去除后向散射光,使用多参数最优重构的方法。方法流程如图2所示。

图2 基于多参数最优重构的水下偏振成像复原方法流程

首先依靠偏振信息选取图像中具有代表性的两个点S1与S2,变量为吸收系数α、后向散射系数f、S1的反射率R1以及S2的反射率R2。根据偏振信息给予R1、R2一个初始值,求解得到吸收系数α与后向散射系数f。代入4个参数值,可以计算得到后向散射参数F与初始光强I0。对原图像逐像素去除后向散射光并恢复吸收光,得到复原后的目标光光强Itarget。依靠图像细节增强测量评价(EME)标准对复原后图像进行评价后,改变反射率R1、R2的值,联立S1与S2的光强,获取新的复原图像,将其EME信息与之前相比较,保留EME获得提升时反射率R1、R2的参数值。多次改变反射率,直至EME无法提升时,获取4个参数的最优值。

此时获取的复原后图像即为多参数最优重构后的水下目标复原图像。目标点先选取具有最小偏振度的像素点,通常拥有最小偏振度的像素点不止一个,选取其中光强最大的像素点作为目标点S1。另外选取同一偏振角最多的像素点,选取其中光强最大的像素点作为目标点S2。当目标为镜面反射时,目标光的偏振态不会发生改变,而由于后向散射光也不具有偏振态,可以认为最小偏振度所对应的目标为镜面反射偏向的目标,而目标所对应的反射率则较大,因此S1的反射率R1较大。偏振角相同的像素点所对应的目标偏振特性相同,通常为背景目标,可设S2的反射率R2相对较小。则有

IS1=Ieff1+Iobject1

(15)

IS2=Ieff2+Iobject2

(16)

式中:IS1为S1光强;IS2为S2光强。当目标与光源的距离为L时,设置目标点的后向散射参数F以简化公式,F可表示为

F=e-(α+f)(L1+…+Ln-1)(1-e-fLn)e-αLne-(α+f)(L1+…+Ln)

(17)

式中:吸收系数α、后向散射系数f、S1的反射率R1、S2的反射率R2均为可变参数。联立式(15)、式(16),可得

(18)

式中:FS1、FS2分别为S1、S2的后向散射系数;Lobject为目标反射光强度信息;变量I0可以被消去。令R1、R2初始值为R1=1,R2=0,可以求解得到吸收系数α和后向散射系数f。

根据光源与目标点的距离可以求出目标点的后向散射参数F。因此,可以得到光源光强I0为

(19)

再对图像进行逐像素求取后向散射参数F(x,y),可求得每个像素点所对应的后向散射光光强,将其从原始图像光强I(x,y)中去除,即可得到各像素点经过复原后的目标反射光强度信息Iobject(x,y)。

(20)

将获取的参数代入式(8),恢复目标反射光被吸收损失的光强,即可得到复原后的水下目标图像Itarget(x,y)为

(21)

式中:Itarget(x,y)是对目标光被吸收以及后向散射的衰减进行恢复后的复原光强;L(x,y)为光源与目标点的距离;Lobject(x,y)可由相机视场角、相机到目标的距离以及目标点在图像上的位置求得。当光源与相机处于同一位置、正入射目标时L(x,y)与Lobject(x,y)相同。当相机视场角较小时,Lobject(x,y)基本相同,可以近似为相机到目标的距离Lobject。

计算EME信息。它是对图像上的区块进行的评价,首先以一定的矩阵大小,将整个图像分为一个个区块,然后对分割后的各个区块进行单独处理,得到每个区块的评价值,最后进行一个总合,获得整个图像的评价数值,计算方式为

(22)

改变反射率R1、R2的值,分别令R1减小、R2增大,获取新的复原图像,将其EME信息与之前相比较,当R1减小、EME获得提升或R2增大、EME获得提升时,保留R1、R2变化后的参数值,当EME无提升时保留R1、R2变化前的参数值,直至R1、R2均获取到最优参数值,此时的吸收系数α、后向散射系数f即为图像最优复原所需参数。代入式(21),逐像素求取此时复原后的目标光强,即可得到多参数最优重构后的水下偏振复原图像。

3 实验结果与分析

3.1 实验设计

首先搭建实验平台。用蓝光LED作光源,因为蓝光波段下水体对光的吸收最低,可以有效地增加目标光光强,有利于后续图像处理。用尺寸为40 cm×40 cm×40 cm的透明玻璃缸作为水下环境的模拟载体,利用脱脂牛奶改变水体浑浊度,通过改变加入脱脂牛奶的量来改变水体对光的吸收及散射影响。目标物则采用光学分辨率检测板正反片以及钥匙扣这些具有不同特性的目标,以检验不同目标下的方法适用性。最终通过四方向偏振相机作为接收器来接收返回光,可以避免人工选择导致的误差,传输到工控机后依靠与偏振相机所匹配的软件实现模数转换,获得需要的水下图像。光源到目标与目标到相机的距离均为40 cm,即L与Lobject均为40 cm,k为400。在实际情况下,可以结合声纳定位、激光雷达等方式获取距离信息。

3.2 不同浑浊度下的结果对比

为了比较本文方法在不同浑浊度下的表现,本节分析在不同浑浊度下的水下图像处理结果。图3为在不同浑浊度下的目标灰度图像,通过滴入脱脂牛奶以改变水体浑浊度,所加入的牛奶量分别为3 mL、6 mL、8 mL、10 mL。

图3 不同浑浊度下光强度原图

由图3可以看出,随着水体浑浊度的提高,目标的可见性逐渐降低,图像的整体灰度值也随着水体浑浊度的上升急剧下降。表明随着水体浑浊度的提高,水中杂质对于光的吸收和散射作用逐渐增加,导致水下图像噪声增强、照度降低,相机无法直接获取较好的原图像。将本文处理方法与CLAHE方法以及Schechner方法的偏振方法进行对比,3种方法对水下图像的处理结果如表1所示。从表1中可以看出,3种处理方法均对水下图像质量有一定程度的提升,但是本文方法提升更加明显,图像目标更清晰。

表1 不同浑浊度下3种方法的处理结果

在对实验结果进行主观视觉质量评价的同时,采用无参评价指标对比度以及EME进行评价。选取无参评价指标是因为在实际情况下,往往无法获取目标在清水中的原图像进行图像质量评价。图像对比度主要描述了相邻两个点之间的明暗变化关系。它们的明暗变化越剧烈,说明图像对比度越高,可以提供的信息就越多。对于一幅灰度图像,对比度就是每一个相邻点的方差之和,计算方式为

(23)

式中:δ(i,j)为两个相邻像素点之间的灰度差值,δ(i,j)=abs(i-j);Pδ(i,j)为这两个像素点的差值在整个图像上的概率分布。

图4显示了不同浑浊度下各个算法的评价结果。从不同方法处理结果图的对比度以及EME中可以看出,本文方法对图像的对比度以及EME都有巨大提升,比其他方法提升更加明显。当浑浊度上升至7 mL以上时,本文方法处理图像的对比度超过了CLAHE方法所处理图像的对比度;在所有的浑浊度下,本文方法处理图像的对比度均要高于Schechner方法所处理图像的对比度。另外,本文方法处理图像的EME值一直高于CLAHE方法与Schechner方法处理图像的EME值。相对于Schechner方法处理的图像,本文方法处理图像的对比度与EME值均更高,对于水下图像处理的质量更好。由于图像中没有无目标的背景光,Schechner方法对背景光的估算导致了误差的出现,而本文方法不需要估算背景光,不会受到这种误差的影响。表明当目标物为分辨率板时,本文方法可以有效地对水下图像进行复原,提升水下图像质量。同时,从恢复图像上可以看出,本文方法对图像的整体复原效果较佳,特别是对图像中部的复原效果极佳,但是对于图像的边缘复原效果相对较差,图像边缘的信息恢复没有中部的信息恢复多。

图4 不同浑浊度下对比度(上)与EME(下)评价结果

总之,相对于CLAHE方法与Schechner方法,本文方法对水下图像处理效果有较大提升;浑浊度越高,处理效果提升越大。不同浑浊度下的对比显示,本文方法可以实现水下图像质量的明显提升,并且在高浊度条件下,相对于CLAHE方法与Schechner方法尤为有效。

3.3 不同目标下的结果对比

为比较本文方法对于不同目标的适用性,分析不同目标下的水下图像处理结果。在水体浑浊度变化与3.2节相同的情况下,改变拍摄目标,获取在不同目标下的水下原图像。目标分别为分辨率板反片以及钥匙扣。当目标为分辨率板反片时,原图与处理结果如表2所示。当目标为钥匙扣时,原图与处理结果如表3所示。由表2和表3可以看出,随着浑浊度上升,本文方法依然实现了目标的可见性复原,可以有效地还原不同目标下的水下图像,不同目标下的水下图像处理图比原图更加清晰,目标显示更加明显。

表2 不同浑浊度下处理结果(光学分辨率板反片)

表3 不同浑浊度下处理结果(钥匙扣)

同时对图像进行了两种无参评价,结果分别如图5、图6所示。

图5 不同浑浊度下对比度(上)与EME(下)评价结果(光学分辨率板反片)

由图5、图6可以看出,在不同目标情况下,本文方法都对水下图像的质量做到了一定程度的提升,目标的改变并未导致方法的不可用。当水体浑浊度较低时,无论目标为光学分辨率板反片还是钥匙扣,本文方法处理图像的对比度不如CLAHE方法处理图像的对比度高,但是当浑浊度增加时,本文方法处理图像的对比度就超过了CLAHE方法处理图像的对比度。并且本文方法处理图像的EME值要一直高于Schechner方法,当滴入牛奶溶液超过 4 mL以后,两种目标下的EME也超过了CLAHE方法,表明本文方法在这两种目标下也实现了图像质量的提升。

由此可见,不同目标的水下图像处理结果对比显示,本文方法不会受到目标的制约,在不同目标下均能实现水下图像质量的提升。

3.4 距离误差的影响

为阐明距离误差对本文方法水下图像复原效果的影响,以8 mL浑浊度下的钥匙扣为目标,图7分别为不同距离误差下的水下复原图像。此时目标的实际距离依然为40 cm,水下图像复原过程中使用的距离参量分别为10 cm、20 cm、30 cm、40 cm。

图7 不同距离误差下复原结果图(8 mL浑浊度下的钥匙扣)

不同距离误差下的对比度分别如表4所示。由表4可以看出:当L=10 cm和L=40 cm时,尽管距离误差为75%,复原后的水下图像对比度只降低了19.3%,依然可以实现较好的水下图像复原效果;当L=30 cm和L=40 cm时,距离误差为25%,对比度只降低5.6%,水下图像复原效果相差并不大。这是因为当距离误差较大时,尽管无法获取准确的原始信息,但是仍然可以实现大部分后向散射光的去除,提升图像对比度。而较小的距离误差可以求解得到较精确的原始信息(如吸收系数、后向散射系数等),进一步提升图像的对比度,增强图像复原效果。

表4 不同距离误差下的对比度

总之,距离误差会影响本文方法的图像复原效果:距离误差较小时,复原效果较好;距离误差较大时,复原图像对比度会有所降低;但距离误差并不会对水下图像复原造成较大的影响。

4 结论

本文提出了一种水下偏振图像复原方法,通过引入吸收系数与后向散射系数,利用Stokes矩阵结合偏振信息,以EME为图像优化评价指标获取最优重构参数,实现图像复原。通过对不同浑浊度、不同目标下的水下图像进行处理,并与其他图像处理方法进行比对,结果显示本文方法在不同环境下均可有效提升水下图像质量。得出主要结论如下:

1) 本文方法不需要刻意选取无目标点进行环境光估算,能够避免引入人为误差。

2) 相对于传统方法,本文方法更能提高水下图像的处理效果,并且鲁棒性较强,特别是高浑浊度条件下图像复原效果提升更佳。