水下对空成像中的波面复原

马春波　付小清　敖珺

摘要：在水下对空成像过程中，物体受海水波面折射作用的影响，会产生严重的畸变。为了快速有效地校正图像，对随机波动的波面进行重建就成为一个重要的课题。利用基于光线透过小孔形成的光斑变化，分析并计算得到波面的梯度信息，进而通过梯度算子的最小二乘法反演波面高度，最终实现波面的三维重建。实验表明该方法能有效的复原波面，为扭曲图像的矫正提供了条件。

关键词：对空成像;三维重建;波面复原

中图分类号：TP18 文献标识码：A

文章编号：1009-3044（2020）20-0013-04

Wave Restoration of Through-Surface Underwater Imaging

MA Chun-bo， FU Xiao-qing， AO Jun

（School of information and Communication. Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： In the proc：ess of underwater air-to-air imaging， objects are affected hy the wave surface refraction of the seawater. whichwill cause severe distortion. In order to quickly and effectively correct the image， it is an important suhject to reconstruct the wavesurface of random fluctuation. Based on the previous work， this paper analyzes and calculates the wave gradient information basedon the change of light spot formed by the light passing through the small holes， and then uses the least square method of the gradi-ent operator to invert the wave height to finally realize the 3D reconstruction of the wave. Experiments show that this method can ef-fectively restore the wave and provide ccmditicms for the correction of distorted images.

Key words： through-surface underwater imaging; 3D reconstruction; wave restoration

水下对空成像是利用摄像机从水下对空中目标成像的技术，但由于水面波动的影响，造成拍摄图像的扭曲和变形。如果能实时地恢复波面的三维形态，那么就可以根据波面信息对扭曲图像作补偿校正。

一直以来，水以及其他液体表面形态的重建吸引了大量研究者的兴趣，而基于光反射或折射的表面斜率测量是最为广泛和有效的方法。1958年，Cox[1]首次提出使用准直光束线性增加的强度编码测量一个斜率分量，从而得到光强和斜率的一一对应;1983年，Keller等人[2]使用散射光代替准直光简化光学装置，沿一个方向使用不同强度的光源，测量得到表面斜率和高度的组合;1990年，Kurata等人[3]首次讨论了一种图像编码方法，从结构化图案发射的散射光通过波面生成图像，通过图案的位移变化得到表面的梯度场;1996年，Zhang xin等人[4]采用带有颜色编码的准直光束系统测量表面的两个斜率分量，实现不同区域的折射光线标记与跟踪;2004年，Elwell等人[5]对浅水流中涡旋引起的表面变形进行定量测量，并利用测量到的梯度分量的累积进行表面高度重建;2007年，Howard Schultz等人[6]研究基于偏振成像的水面波紋形貌测量与重建，利用自然反射光或折射光的偏振状态与波纹抖度有关的特点，从测量光的偏振状态中进行抖度提取和波纹重建;2009年，F.Moisy等人[7]巧妙地设计了一种基于自由表面合成条纹照相法的透明液体表面形貌测量方案，通过相机透过液体对水槽底部的随机编码点纹成像和解码，实现对表面的三维重建。此外，光场校正法、光学标签法、相机阵列法等也有相关的报道[8]-[10]。

本文在前人的工作基础上，模拟水下针孔阵列，记录太阳光经过波面折射后形成的光斑，而光斑的位置信息反映了波面的表面梯度信息。基于梯度算子的最小二乘法反演得到曲面高度，从而得到波面的数值重建。这种低成本和多用途的光学方法提供了波面的定量测量，有助于扭曲图像校正等工作的开展。

1波面复原原理

基于光反射或折射的表面梯度的测量是波面恢复最为广泛且有效的方法之一[11][12][13]，其原理如图1所示。太阳光作为人射光线Sa在波面的q点发生折射，折射光线Sw经过小孔奥h在x轴所在平面位置p点生成光斑。根据折射定律，能够求出波面q点的表面梯度N。每个光斑对应波面上一个采样点，因此，得到系列光斑与波面梯度的一一对应关系。最后，基于波面梯度的最小二乘法反演出波面高度，实现波面的三维重建。

1.1波面表面梯度的计算

如图1所示，太阳光线平行地穿过波面区域，在波面下方放置带有均匀小孔h的挡板，经过波面的折射，光线在挡板下方zh高度的扩散面p点形成光斑。Sω为逆折射光线，Sω表示Sω的单位向量，方向由p指向h。

在空气中，逆入射光线单位向量为Sα。已知折射定律：

式中n，n'分别为空气和水的折射率，I，I分别为人射光线和折射光线与法线方向N的夹角，由折射定律的矢量表示法得到：

其中，×表示向量积。在直角坐标系中，水平坐标（x，y）对应于针孔阵列轴，z表示扩散面以上的垂直方向。向量Sα，Sω可以表示为：

式中，Sax，Say，Saz为向量Sa在x，y，z坐标轴上的投影长度，i，j，k表示m，y，z坐标轴方向的单位向量，Sω同理可得。所以，式（3）可以表示为：

Sa，Sω和N由其各坐标轴分量表示，得到：

进一步化简，向量积可表示为标量乘积，得到：

令上式左边矩阵为A，所以，式（6）写成如下表达式：AN=0

根据太阳的方位可知Sa，Sω由实验数据并根据公式（1）计算得到，因此，矩阵A是已知的，由公式（7），Sω与Sa在波面的交点q的梯度N可求，即矩阵A的非零子空间。每一个针孔对应波面上一个采样点，对于所有的点求N，得到一系列采样点的梯度向量{Nk}。因为波面未知，所以交点q是不确定的，为了解决这个问题，取波面静止高度Zfat为交点所在高度，对此得到：

也就是通过针孔hk的光线在波面qk处发生折射。

1.2波面高度的重建

表面高度重建的问题其本质就是由梯度到高度的积分问题[14][15]。因为对于已知的三维表面，其表面高度分别对x，y两个方向求偏导数即可得到表面的完整梯度信息，假设物体表面任意点坐标为（x，y），所在点的高度值为h（x，y），则有：

ξx ，ξy 为点（x，y）在z，y方向上的梯度分量，高度求偏导数即是梯度数据，因此基于梯度数据的三维表面重建就成了是积分运算。首先考虑沿着一条从参考点（O，0）到给定点（x，y）的任意路径的简单积分，可以得到点（x，y）的高度为：

由上式可知，在给定点上对斜率ξx或ξy 的错误测量会沿整个路径传播，造成严重的噪声积累效应。

一种更有效和准确的方法是使用线性代数方法处理梯度向量。将待恢复波面分成M*N个网格，每个网格内包含一个采样点。

在网格上所有采样点的高度h（x，y）组成一个长度为MN的向量H，则x，y方向上所有采样点的梯度向量可以表示为：

其中Gx和Gy大小为MN*MN，定义了H的线性组合以产生每个梯度。通过对边界元素的适当处理，Gx和Gy可以表示为H组合的二阶中心差分。

1）在x方向上，ξx与h的关系为：

式中G=（GX，Gy）T是大小为2MN*MN的稀疏矩阵，=（X，y）T是长度为2MN的向量。因此，方程组（13）具有MN个未知数和2MN个方程，被称之为超定线性方程组，不能直接计算得到方程解。然而，通过最小化残差，可以得到川拘估计：

该方法在最小二乘法意义上产生超定线性方程组的解

2实验仿真

根据第一节内容，在实验平台MATLAB下进行仿真。

2.1实验流程

实验围绕着原理1.1和1.2进行，实验流程如图2所示。

首先P-M谱模拟三维海浪，并在海浪下固定小孔阵列。太阳光线经过波面折射，穿过小孔在小孑L下方接收面生成光斑。对接收区光斑分离，与小孔一一对应，最后由1.1节求得波面区域得表面梯度，1.2节还原波面高度，最终实现波面重建。

2.2实验处理与结果分析

仿真过程中处理步骤如下：

（1） P-M谱描述海浪运动是模拟海浪的常用方法，其模型可以表示为：

其中，z是波面的波高，aij是各次谐波的振幅，ki是波数，θj是谐波方向的方位角，ωi是波频率，εij是各谐波的相位。波数和方位角随机产生，M，N分别是波数和方位角的采样区间总数。

参数设置：划分频段数M= 51，采样点数Ⅳ=100，方向角均匀划分，t= 10s，仿真波浪如图3所示。

（2）在波面下方固定小孔阵列，小孔行列数为m*n，孔间隔为d。由第二节，太阳光线经过波面折射，穿过小孔会在阵列下方的接收面形成光斑。理论上有无数条光线R透过波面，并有m*n条光线刚好穿过小孔形成光斑，且光斑与小孔相互对应。

（3）仿真过程中，为了从R条光线中选定m*n条光线，对于m*n个小孔，在每个小孔位置处做分块处理，并从块内选择最接近小孔位置的光线，最终在接收面得到m*n个光斑，如图4所示。参数设置：m*n=11*12.d=18mm，R=110*120。

（4）处理得到折射光斑位置序列{p}，光斑与小孔位置{h}一一对应，已知三维位置信息后我们可以根据1.1节求逆折射光线与波面交点的梯度{N}。

（5）最后根据原理1.2实现还原高度，实现波浪的三维重构。还原波面与模拟波面对比结果如图5所示。

实验结果表明该方法能有效地实现波面重建。

3结束语

本文依据前人工作，实现了一种波面复原的方法。在实验室条件下，将光线在波面折射作用下生成的光斑位移变化转换为波浪表面梯度的信息，进而还原三维波面，并验证了实验的可行性。这种低成本和高时效的复原方法为后续水下对空成像的图像矯正提供定量分析，以及为更多需要波面信息的工作提供了条件。

参考文献：

[1] Cox C S.Measurement of slopes of high frequency wind

waves. J Mar Res，1958（16）： 199-225.

[2] Keller W C， Gotwols B L.Two-dimensional optical measure-ment of wave slope[J].Applied Optics， 1983，22（22）：3476.

[3] Kurata J，Grattan K T V，Uchiyama H，et aI.Water surface mea-surement in a shallow channel using the transmitted image ofa grating[J]. Review of Scientific Instruments. 1990， 61（2）：736-739.

[4] Zhang X，Dabiri D.Charib M.Optical mapping of fluid densityinterfaces：Concepts and implementationsLJl.Review of Scientif-ic Instruments， 1996，67（5）： 1858-1868.

[5] Elwell F C.Flushing of emh ayments. PhD thesis[D].Universityof Cambridge，2004.

[6] H. Schultz and A. Corrada-Emmanuel. System and methodfor imaging through an irregular water surface. 2007.

[7] Moisy F，Rabaud M.Salsac K.A synthetic Schlieren method forthe measurement of the topography of a liquid interface[J].Ex-periments in Fluids，2009，46（6）： 1021-1036.

[8] A. Ashok and M. A. Neifeld. Compressive light field imaging.In SPIE Defense. Security， and Sensing， 2010.

[9] I.thrke，B.Goidluecke. and M. Magnor. Reconstructing thegeometry of flowing water. In IEEE ICCV， 2005（2）：1055-1060.

[10] Lumsdaine A.Georgiev T.The focused plenoptic camera. InIEEE ICCP. 2009：1-8.

[11] Alterman M， Swirski Y， Schechner Y Y.STELLA MARIS：Stellar marine refractive imaging sensor[C]/2014 IEEE Inter-national Conference on Computational Photography （ICCP）.IEEE. 2014.

[12]S.G.Narasimhan.S.K.Nayar，B.Sun. et al.Structuredlight in scattering media. In IEEE ICCV. volume 1，2005：420-427.

[13]I.Sato，T.Okabe.Y.Sato. Bispectral photometric stereoBased on fluorescence. In lEEE CVPR.2012：270-277.

[14]荊海龙，苏显渝，刘元坤，等.基于条纹反射的镜面测量及三维重建算法分析[J].光电工程，2008，35（10）：37-42.

[15]黄超.基于条纹反射术的高反射曲面三维重建算法研究[D].南昌：南昌航空大学，2017.

【通联编辑：唐一东】

收稿日期：2020-03-03

基金项目：广西自然科学基金资助（项目编号：2018GXNSFAA294056）

作者简介：马春波，男，教授，博士后，硕士研究生导师，主要从事光通信技术、通信系统安全技术、网络安全方面的研究工作;付小清，男，硕士研究生，研究方向：信号处理;敖珺，女，教授，博士生导师，研究方向：通信信号处理。