基于结构光的水下对空成像图像恢复

马春波，秦芳利，简必建，敖 珺

(桂林电子科技大学信息与通信学院，广西 桂林 541004)

1 引言

自然条件下，水的无规则波动和气候干扰，会导致经过水-空气界面的图像扭曲变形，使得图像无法辨认。这极大的制约了水下平台的应用范围，因此针对水下对空成像的图像恢复具有重要的意义。

以往研究水下对空成像图像恢复[1]，主要分为两类：一是对波动的水面建模，从而对扭曲的图像进行补偿和修复。Arete[4]公司在假设天空为亮度均匀，无多余饰物的情况下，利用Snell定律和Fresnel公式估计水面波形。Marina Alterman[5]等人提出使用Shack-Hartmann波前传感器来复原瞬时波面等。该类方法对环境的要求较高，且非常依赖建模的准确性；二是利用统计学，对一段时间内的图片序列进行处理，以期刨除掉波动的水面对图像造成的影响。Efros[6]等提出了选择视频中最优图像块的方法来获得几何失真最小的图像。该方法先将图像分成一个个子区域，再从一系列图像中选择每一个子区域失真最小、最清晰的图像，然后将所有子区域拼接起来获得失真较小的结果。李磊[7]等先使用B样条图像迭代配准消除视频图像中的严重扭曲畸变，然后使用幸运区融合算法从处理之后的图像序列中合成失真较小的图像等。此类方法需要获取一段视频流并且对每一帧图像都做处理，时间复杂度高，数据量大，无法保证实时性。

传统的非接触测量方法往往因为被测物体的特征点不够多而导致结果不准确，或者由于扫描速度慢而耗费大量的时间，结构光的出现弥补了传统测量方法的缺陷。结构光三维测量具有精度高，速度快，适应性较强等优点，近年来，基于结构光的三维测量获得了大量的关注，已经有不少公司推出了一系列的产品，比较有名的有微软的Kinect和Inter公司的实感深度摄像头系列。

本算法在传统图像迭代配准的基础上使用了结构光，针对传统图像迭代配准耗时长，需要一系列图片等问题，提出了基于结构光的水下对空图像恢复算法。利用主被动结合的方法，在保证复原效果的同时，又保证了处理速度。为水下对空成像图像复原提供一种新的思路与尝试。

2 迭代配准

图像配准是指同一目标的不同图像向参考图像在空间位置上对准的方法。图像配准技术主要包括以下四个部分：变换模型、特征空间、相似度测度、优化策略。根据这四个部分，一般图像配准可以分为以下五步：

1) 根据实际的应用场合选择适合的变换模型。变换模型大致可以分为：刚性变换和非刚性变换；

2) 选择合适的特征空间，可以是基于特征的也可以是基于灰度的；

3) 根据选取的变换模型的参数以及所选用的特征空间，确定参数的变换范围，并使用最优搜索策略去搜索；

4) 以相似度测度为依据在搜索空间按照最优化准则进行搜索，寻找极大值，从而求解变换模型中的其余参数；

5) 将待配准图像按照变换模型将像素逐一对应到参考图像中，实现图像的配准。

图像配准首先使用在医学领域，之后成为了跨介质成像扭曲图像复原领域的主要应用方法。在水下对空成像中，它主要用于将严重的几何失真图像的几何空间转换到低失真图像的几何空间(标准图像)。实际上，在跨介质水下对空成像中，无法得到标准图像，因为标准图像就是期望得到的图像，只能通过取一段时间内拍摄图片的平均值来近似标准图像。

2.1 双三次B样条插值

线性插值是一种简单的插值方法，其原理是根据待插值点左右邻近的两个数据点来进行数值的估计，并根据到点的距离来分配权重，如图1 所示，具体公式见式(1)。

图1 线性插值

其中，y0，y1表示坐标为x0，x1时所对应的函数值，y表示坐标为x时，通过线性插值得到的函数值。

线性插值的值只由附近的两个特征点所决定，双三次插值则是指对待插值像素周围最邻近的16个特征点进行加权运算，从而得到待插值像素点的灰度值的方法。该方法对于二维图像来说是对图像在x方向和y方向分别进行三次插值。

定义如图2所示的4*4控制点网格。

图2 双三次插值

设点a11(x，y)，待插值点P相对于点a11的坐标为(u，v)，控制点之间间隔距离sx，sy为1，即点P到点a00的水平距离为1+u，竖直距离为1+v，从而点a00对点P处灰度强度的影响系数为

k00=W(1+u)*W(1+v)

(2)

式(2)中，W为权重函数，k00表示控制点a00对待求点P的影响程度。同理，可知周围最邻近的16个控制点{a00，a01，…，a33}的灰度值对于待插值点P的影响程度，点P处的像素强度为周围16个控制点影响程度与灰度值乘积的加权，具体可表示如下

(3)

kij表示控制点aij对点P的影响程度，Aij表示控制点aij的灰度值。

在图像配准中，B样条由于自身具有几何不变性、凸包性、保凸性、对局部形变良好的支撑性等优点，在医学图像和遥感图像配准领域中一直都是首选的方法。同时，B样条曲面重建也是工程应用中的关键技术与研究热点，并且，B样条在水下图像处理方面也获得了不错的成效。双三次B样条插值即将(3)式中权重函数换作B样条基函数

B0(t)=(1-t)3/6

(4)

B1(t)=(3t3-6t2+4)/6

(5)

B2(t)=(-3t3+3t2+1)/6

(6)

B3(t)=t3/6

(7)

其中0≤t≤1。综上，B样条插值公式可以写成如下

(8)

aij表示控制点aij的坐标，sx，sy为控制点之间的距离。图像配准的流程如图3所示。

图3 图像配准流程图

在图像配准过程中，需要使用最优化算法去寻找控制点的坐标，直到找到最优控制点。控制点的变化情况如图4所示。

图4 控制点位置变化

2.2 迭代配准算法

传统的迭代配准方法将一系列的扭曲变形帧的均值图像作为图像配准中的标准图像，通过扭曲图像序列的每一帧向参考图像配准得到变形较小的扭曲图像，再将得到的该图像作为输入图像序列，再次进行处理，直到达到迭代次数。该方法的处理流程图如图5所示。

图5 迭代配准流程图

其步骤可以总结如下：

1) 输入扭曲图像序列I，设定迭代总次数N，记迭代次数K=0；

2) 求输入图像序列的均值图像M，将M作为参考图像，遍历序列对单帧扭曲图像与M进行B样条配准；

3) 更新输入序列I，令K=K+1，判断是否已迭代完成，若没有则转到1)，否则输出矫正后畸形失真较小的帧序列及均值图像。

该方法能较好的将扭曲的图像序列进行校正，但是其存在获取图像序列耗时长，数据处理速度慢等问题，无法进行实时处理，使用性不高。

3 基于结构光的图像配准算法

为了弥补迭代配准算法的不足，提出了一种基于结构光的图像配准算法。记投射出去的结构光标准图像为A，投射到波面的结构光光图像为A′，空中景物I在A′上的投影为I′，摄像机拍摄的图像为C，其中A，A′，I，I′，C皆用矩阵表示。则它们之间有着如下关系

I′=I×H

(9)

I′=I×H

(10)

C=(αA′+βB′)

(11)

H代表水-空气界面对图像造成的影响，α，β为权重系数。将A′ 与A进行配准，得到校正矩阵T。

A≈A′*T

(12)

在将得到的校正矩阵与拍摄图像C进行配准，可得

R=C*T

(13)

将式(11)代入式(13)有

R≈(αA′+βB′)*T

(14)

由于结构光与图像经过同一个波面的扭曲，可得

R≈αA+βB

(15)

自此，可近似得到未扭曲的图像与未扭曲结构光的叠加。算法流程图如图6。

图6 基于结构光的配准流程图

具体步骤可以总结如下：

1) 输入扭曲图像C，标准结构光图像A；

2) 对C进行图像处理得到扭曲的结构光图像A′；

3)将扭曲的结构光图像与标准的结构光图像A进行配准得到校正矩阵T；

4) 将校正矩阵T与输入图像C进行配准，得到校正后的图像R。

4 实验结果与分析

为了验证本文算法的可行性与有效性，在同样的硬件条件下进行了仿真测试。迭代配准时使用的帧序列长度为61，图片大小为253*293，配准6次。本文算法使用的图片为图像序列中随机抽取的帧。仿真结果如图7所示。

图7 仿真结果对比

为了更加直观的区分两种方法的优劣，本文使用图像结构相似性(SSIM)来评价处理结果与原图的相似性，SSIM越高，则说明两张图片之间越相似，复原的效果越好；使用处理时间来评价处理速度，时间越少，说明处理速度越快，实时性越好。对比结果如表1所示。

表1 结果对比

为了证明本算法的有效性，避免随机干扰，仿真时从迭代配准算法的输入图像序列中随机抽取两帧作为本算法的输入，得到上表结果。由上表可知，本文方法无论是在复原效果还是在时间效率上，都比迭代配准方法要好。特别是在时间效率上，耗费时间仅为迭代配准方法的1/220，极大的缩短了处理时间，离水下对空图像实时恢复又近了一步。

实践出真知，为了进一步验证本文算法的实际可行性，在亚克力水缸里面模拟了水面有浪的情况，对拍摄图像进行处理。实际处理结果如图8所示：

图8 实际处理效果图

上述图片大小皆为500*500，从拍摄图像到得到处理结果，一共花费了4.195 s。观察上图(b)，(c)中被红框标记出的区域，可以发现本文算法能够很好的恢复被扭曲的图像，与上文的仿真结果一致。

5 结束语

本文提出了一种基于结构光的水下对空成像恢复算法，本方法能够在单幅扭曲图像的情况下从图像中恢复被扭曲的图像，具有很强的适应性，且能在很短的时间内恢复出质量高的图像。与传统的迭代配准方法比较，本文算法具有更好的视觉效果，与更高的处理速度，更加接近实时处理。在接下来的工作中，拟对算法进行改进，使得处理过程更加趋近于实时处理。