水下三维声纳目标在线运动监测与识别

李志华，李秋峦

（1杭州师范大学 信息科学与工程学院，杭州 311100；2浙江大学 数字技术及仪器研究所，杭州 310027）

水下三维声纳目标在线运动监测与识别

李志华1，2，李秋峦1

（1杭州师范大学 信息科学与工程学院，杭州 311100；2浙江大学 数字技术及仪器研究所，杭州 310027）

随着声学探测在海洋资源开发中的广泛应用，水声成像技术已成为水下目标监测的重要手段，文章提出了一种基于三维声纳技术的在线运动目标识别方法。通过对三维声学图像进行网格搜索和三角面片连接，进行单帧三维声学图像的多层实时重建，实现单帧图像内目标的重建、聚类与标示。结合GPS定位仪和姿态仪信息，修正位移和姿态变化引起的运动误差，利用反向投影和最近点搜索方法查找相邻图像帧之间两两匹配的控制点对，进行相邻图像帧的快速配准。根据配准矩阵将相邻图像帧的的各个目标转换到同一全局坐标系中，提取有效的声学目标特征变化相对值，并评估特征权重，实现相邻图像帧之间运动目标的在线检测与识别。通过室内水池和湖试实验，结果表明该方法能有效地实现三维声学图像在线运动目标实时识别。

三维声纳；运动监测；运动识别

0 引 言

随着海洋资源开发、海港建设与监视在国家资源竞争、国防安全等领域变得越来越重要，水下目标探测、跟踪与识别技术得到了广泛的应用。陈荣盛等[1]深入探讨了水下目标光视觉信息获取过程和图像处理的常用算法，并通过试验验证了目标识别的有效性。由于水下能见度极低，因此水下目标光视觉信息获得需要较好的光照条件，近年来三维水声成像技术已成为大规模水下目标监测的重要措施[2-6]。

张纯等[2]利用水下运动小目标的速度、加速度、速度波动率、运动方向波动率、威胁因子等运动特征，对水下目标蛙人、小型机器人和快艇进行分类识别。田杰等[4]针对水声图像中人工目标探测问题，提出一种基于分形特征的检测方法，根据分维分布图进行直方图分析，得到探测分割阈值，将水声图像标记为人造目标区域和非人造目标区域，实现水下目标的有效探测。晋朝勃等[5]采用舰船辐射噪声调制线谱特征，将支持向量机应用于水中目标识别，设计了一种水中目标分类器。

本文通过对三维声学图像进行网格搜索和三角面片连接，进行单帧三维声学图像的多层实时重建，实现单帧图像内目标的重建、聚类与标示。结合GPS定位仪和姿态仪信息，修正位移和姿态变化引起的运动误差，进行相邻图像帧的快速配准，然后提取有效的声学目标特征变化相对值，并评估特征权重，实现相邻图像帧之间运动目标的在线检测与识别。

1 三维声纳目标在线运动识别框架

三维声纳目标在线运动识别主要包括三维声学数据实时重建、目标聚类与标示、三维声学数据实时配准、目标特征提取和运动目标识别四个模块，系统总体结构如图1所示。

系统通过对三维声学图像索和三角面片连接，进行单帧三维声学图像的多层实时重建，利用数据点之间的表面连通性对目标进行聚类与标示，得到单帧图像中的各个独立目标。然后结合GPS定位仪和姿态仪信息，修正位移和姿态变化引起的运动误差，利用反向投影和最近点搜索方法查找相邻图像帧之间两两匹配的控制点对，进行相邻图像帧的快速配准，根据配准矩阵将相邻图像帧的的各个目标转换到同一全局坐标系中，提取有效的声学目标特征，包括目标总点数、目标质心、距离跨度和边界信息等。最后通过评估三维声学目标各个特征的相对权重，计算目标特征变化相对值，对相邻两帧中处于重叠区域的目标进行前后帧的特征匹配，实现相邻图像帧之间运动目标的有效检测与识别，下面将对各个部分逐一详述。

图1 三维声纳目标在线运动识别系统结构Fig.1 System structure of 3-D sonar motion recognition

2 声学图像单帧多层实时重建

图2 三维声学图像单帧多层实时重建流程Fig.2 Single multi-layer reconstruction of 3-D sonar image

在三维声纳目标在线运动识别过程中，需要首先检测出单帧三维声学图像中的各个目标。系统通过对三维声学图像进行网格搜索和三角面片连接，进行单帧三维声学图像的多层实时重建，利用数据点之间的表面连通性对目标进行聚类与标示，得到单帧图像中的各个独立目标。首先针对非空声学数据点进行2×2网格块搜索处理，然后对以空点为中心的3×3网格块进行搜索处理。为了进一步填充声学数据中的空洞，系统在3×3窗口内分别对声学阵列进行3×2水平网格块和2×3垂直网格块搜索处理，最后根据所获得的声学数据点连通性进行三角面片连接和重建，其流程如图2所示。

该声学系统采用48×48个声学换能器阵列发射单脉冲声波信号，接受阵内每个单元接收到不同距离、不同方向上的回波叠加而成的混合信号。根据48×48个混合信号进行128×128个波束形成[7]，得到一个横截面128×128个点的反射强度信息集合，如图3所示。

在三维声学图像单帧多层实时重建过程中，首先对声学点数据进行解析，确定三维声学点所在的扫描波束、层数信息以及反射强度信息，其格式表示为（i，j，k，I），i代表声学点所在的x方向上的声束位置，j代表声学点所在的y方向上的声束位置，k代表声学点所在的层数，I则是声学点强度。连接三角网格首先需要判断相邻两点的连接关系是否成立。在不同量程下，若采用相同的重建阈值，重建效果会受到影响。量程越大，相邻两束声束之间相同层数上的点的距离越大。由于大量程的重建阈值对于小量程来说太大，容易造成小量程单帧重建的误差，因此采用量程自适应阈值的方法，根据量程的不同，选择不同的重建阈值。在某个量程下，设该量程的最大层数为k层，则该量程下的重建阈值（余弦定理）为：

图3 声学接收阵128×128个数字波束Fig.3 128×128 digital beam of sonar receiver

其中θ为两个声束之间的夹角。判断两个结点能否连接的标准是两个点之间的距离是否小于重建阈值。由于反复进行距离运算会降低系统性能，影响系统实时性，因此预先生成一张阈值表，通过表格查询能快速地确定两个点之间的距离是否小于重建阈值，提高三维重建的实时性。

3 三维声学图像实时配准

为了使相邻帧图像的目标特征值具有可比性，需要对相邻图像帧进行快速配准，利用配准矩阵将相邻图像帧的的各个目标转换到同一全局坐标系中。为了实现相邻声学图像帧之间的快速配准，系统结合GPS定位仪和姿态仪，得到每帧声学数据采集时舰船所处的位移和姿态信息，对相邻帧声学数据进行初始配准，将每帧的声学数据点转换到预先设定的同一世界坐标系下，以修正位移和姿态信息引起的运动误差。通过获取相邻两帧声学数据重叠区域内的点集，利用反向投影将前帧投影到后帧，采用最近点搜索方法寻找相邻两帧中两两匹配的控制点对，根据配对的控制点计算得到相邻帧之间的配准矩阵，并对前帧的点集进行坐标变换，实现图像实时精确配准，下面详述各个步骤。

3.1 GPS仪/姿态仪信息获取与坐标变换

由于三维声学图像配准需要GPS定位仪和姿态仪获取采集每帧声学数据时舰船所处的位移和姿态信息，结合这些运动信息对相邻帧声学数据进行初始配准：

（1）GPS位移信息

采用差分GPS定位仪，主要用于获取舰船东西方向位移和南北方向位移信息，格式是统一的NEMA-0183格式，通过串口解析GPGLL语句，获得当前船体的经度和纬度信息，并进行如下的舰船位移相关信息转换：

纬度与南北方向位移转换关系：

纬度1度=60海里=60*1 852米；

经度与东西方向位移转换关系：

经度1度=60海里*cos（纬度）=60*1852米*cos（纬度）。

（2）姿态传感器

系统采用OCTANS系列姿态仪（罗经），感知船体的摇晃与转向，以修正声学图像数据采集时由于船只晃动、转向而引起的拍摄角度偏移。主要输出信息有北偏东航向角、纵摇和横摇，通过串口解析HEHDT和PHTRO开头的字符串语句。声学数据采集装置安装时应和姿态仪保持在较近的地方，以保证姿态仪感应船姿的三维变化数据—纵摇（pitching）、横摇（rolling）和偏航（yawing）能正确地反映出声学数据采集装置的摇晃与转向偏移。

通过将GPS位移信息转化为平移信息，将姿态传感器中的横摇、纵摇、航向角等信息转化为旋转矩阵，联合以下两式可以获得声学点在全局坐标系中的坐标。

3.2 反向投影与配准矩阵生成

在获取GPS定位仪和姿态仪信息对相邻帧声学数据进行初始配准之后，为了实现相邻声学图像帧之间的快速精确配准，系统通过获取相邻两帧声学数据重叠区域内的点集，利用反向投影将前帧投影到后帧，采用最近点搜索方法寻找相邻两帧中两两匹配的控制点对，根据配对的控制点计算得到相邻帧之间的配准矩阵，并对前帧的点集进行坐标变换，实现图像配准。

（1）反向投影

根据每帧声学数据采集时舰船所处的位移和姿态信息，对相邻帧声学数据进行初始配准，将后帧声学数据点转换到前帧声学数据坐标系下。根据新坐标系下后帧声学数据点p坐标（x，y，z）计算出该点在前帧声学坐标系下的球坐标（i，j，k）[8-10]：

在计算出该点在前帧声学坐标系下的球坐标（i，j，k）之后，若前帧在该（i，j，k）位置上有非空点q，则q为p的对应点；若前帧在该（i，j，k）位置上为空点，则在点p所处的（i，j，k）周围寻找距离最近的点作为p点的对应点，距离计算采用欧式距离。

（2）配准矩阵生成

通过前面的反向投影方法获得相邻两帧的控制点对之后，需要通过迭代求出相邻两帧控制点对之间的最佳配准矩阵，使得相邻两帧控制点对之间的距离之和最小，最优化问题为：

4 三维声学运动目标识别

4.1 目标聚类与标示

目标聚类依赖于声学数据单帧重建提供的三角面片连接信息，通过依次遍历单帧的三角面片，并根据每个三角面片的三个顶点的连接信息进行目标标示，确保同一目标上的各点具有连通性，而不同目标上的各点不具有连通性。系统为了改善目标聚类效果，将相距较近的初始目标聚类再合并成一个目标，其流程如图4所示。

4.2 特征提取与运动识别

首先提取相邻两帧的重叠区，对处于重叠区内的目标进行运动目标检测。通过对后帧的所有处于重叠区的目标组成的后帧目标集合在前帧目标集合中寻找特征相匹配的目标，实现运动目标的检测。如果后帧目标集合中的某个目标能够在前帧目标集合中寻找到相匹配的目标，则该目标将被标记为静目标并将与之相匹配的前帧中的目标从前帧目标集合中移除。反之，如果该目标未能在前帧中寻找到特征相匹配的目标，则该目标被标记为动目标。提取特征的类别包括：

特征匹配的参数值如下：

① ΔS/S：前后两帧中目标大小的绝对差值与后帧目标大小的比值；：前后两帧中目标质心坐标的距离；前后两帧中目标X轴、Y轴、Z轴三个方向距离跨度的绝对差与后帧目标距离跨度的比值；前后两帧中目标外接立方体中心坐标的距离；

通过对特征参数赋予归一化权重值，将特征参数值与权重乘积的累加和与设定阈值进行比较，判定是否能够匹配。

图4 目标聚类与标示流程Fig.4 Object clustering and labelling flowart

5 实验结果分析

本文研制的三维声学原型系统主要包括三维声学数据采集系统、三维声学数据传输子板和PC客户端三维声学图像处理系统三个部分，三维声学数据采集系统通过换能器组成的相控接收基阵，基于FPGA的超大规模实时电子聚焦形成波束，进行高速声学数据采集与上传。三维声学数据传输子板硬件采用嵌入式PowerPC处理器，软件基于嵌入式Linux操作系统，主要实现三维声学数据网络转发、命令控制、代码更新等功能。PC客户端三维声学图像处理系统主要实现三维声学数据网络接收、GPS/姿态仪串口信息获取、三维声学图像运动目标识别等功能，图5所示为设计完成的三维成像声学系统试验样机。

原型样机分别在富阳基地室内水池和千岛湖实验基地进行了水下实验，对软件功能的准确性和性能的实时性进行了大量测试与验证工作。图6为PC客户端运动目标识别系统软件界面，图中右下角白色长方体框展示了识别出的动态目标。系统在室内水池和千岛湖实验基地进行了连续的动态目标检测试验，目标为人工操作的铁棒，图7为声学系统与运动目标相距10m的识别结果，图8为声学系统与运动目标相距100 m的识别结果，系统检测时间间隔保持为1 s（秒），轴向运动速度为0.1 m/s，旋转角速度为2°/s，表1显示了相距10 m和100 m两种情况下轴向运动和旋转运动的检测次数。实验结果表明声学系统在移动扫描过程中能准确实时地识别出物体旋转、轴向等常规运动，当声学系统与目标较近时，轴向运动比旋转运动检测灵敏度高，更易识别；当声学系统与目标较远时，旋转运动比轴向运动检测灵敏度高，更易识别。

图5 声学系统试验样机示意图Fig.5 Sonar system hardware prototype

图6 PC客户端运动目标识别软件界面Fig.6 PC client software interface

图7 声学系统与运动目标相距10 m的识别结果 Fig.7 Motion recognition result of 10 m distance

图8 声学系统与运动目标相距100 m的识别结果Fig.8 Motion recognition result of 100 m distance

表1 相距10 m和100 m轴向和旋转运动检测结果Tab.1 Axis and rotation detection results of 10 m and 100 m distance

6 结 论

本文针对水下运动目标实时监测需求，研究了三维声纳目标在线运动检测与识别方法。系统利用单帧重建生成的声学数据点之间的连通性信息进行目标聚类，避免了聚类过程中的大量连通性计算，算法更加高效，更能满足系统实时性要求。结合GPS定位仪和姿态仪信息，修正位移和姿态变化引起的运动误差，利用反向投影和最近点搜索方法进行相邻图像帧的快速配准，根据配准矩阵将相邻图像帧的的各个目标转换到同一全局坐标系中，提取有效的声学目标特征变化相对值，并评估特征权重，具有较高的适应性和准确性。

[1]陈荣盛,袁小海,胡 震,刘培林,吴文伟.水下机器人光视觉信息获取及处理算法[J].船舶力学,1999,3(2):63-69.Chen Rongsheng,Yuan Xiaohai,Hu Zhen,Liu Peilin,Wu Wenwei.Underwater vehicle vision information capturing and Processing Algorithm[J].Journal of Ship Mechanics,1999,3(2):63-69.

[2]张 纯,许 枫.基于运动特征的水下蛙人目标识别方法[J].声学技术,2011,30(3):174-176. Zhang Chun,Xu Feng.Diver target identification based on motion feature[J].Technical Acoustics,2011,30(3):174-176.

[3]孙长瑜,李启虎,李伟昌,等.基于ADSP-21060 SHARC高速通用声呐信号处理系统[J].声学学报,2000,25(2):150-154. Sun Changyu,Li Qihu,Li Weichang,et al.The research and development of high speed general sonar signal processing system by ADSP-21060 SHARC[J].ACTA ACUSTICA,2000,25(2):150-154.

[4]田 杰,张春华.基于分形的水声图像目标探测[J].中国图象图形学报,2005,10(4):479-483. Tian Jie,Zhang Chunhua.Fractal-based detecton of objects in underwater images[J].Journal of Image and Graphics,2005, 10(4):479-483.

[5]晋朝勃,胡刚强,史广智,等.一种采用支持向量机的水中目标识别方法[J].声学技术,2011,30(3):186-188. Jin Zhaobo,Hu Gangqiang,Shi Guangzhi,et al.An underwater target recognition method using the support vector machines[J].Technical Acoustics,2011,30(3):186-188.

[6]Yu S C,Kim T W,Marani G,et al.Real-Time 3D sonar Image recognition for underwater vehicles[C].In Proc.Symposium on Underwater Technology and Workshop on Scientific Use of Submarine Cables and Related Technologies,2007:142-146.

[7]Repetto S,Palmese M,Trucco A.High-resolution 3-D imaging by a sparse array:Array optimization and image simulation [C].In Proc.Oceans,2005:763-768.

[8]Murino V,Trucco A.Three-dimensional image generation and processing in underwater acoustic vision[J].Proceedings of IEEE,2000,88(12):1903-1948.

[9]Papaleo L,Puppo E.Online Data Fusion for building 3D models from acoustical range images[R].University of Genova, Genova,Italy,2004.

[10]Castellani U,Fusiello A,Murino V.Object reconstruction and 3D mosaicing[R].University of Genova,Genova,Italy,2004.

[11]Ikeuchi K,Wheeler M D.Iterative estimation of rotation and tranlslation using quaternion[R].Technical Report CMU-SC-95-215,1995.

On-line motion recognition for underwater 3-D sonar object

LI Zhi-hua1，2,LI Qiu-luan1
(1 College of Information Science and Engineering,Hangzhou Normal University,Hangzhou 311100,China; 2 Institute of Advanced Digital Technology and Instrument,Zhejiang University,Hangzhou 310027,China)

Aiming at the real-time detection requirement of underwater moving object,an on-line motion recognition method for underwater 3-D sonar object is proposed.Multi-layer reconstruction and object clustering of single sonar frame are fulfilled by grid searching and triangle connection.Motion error is corrected by GPS and POSE instrument due to the change of displacement and pose.3-D sonar imaging registration is achieved by reverse projection and the closest point searching.According to the registration matrix, all sonar frames are translated into a global coordinate system,and sonar object features are extracted.Effective moving object detection is achieved by estimating feature weight.Experimental results in the indoor pool and lake show that the system can efficiently achieve 3-D sonar data on-line moving object recognition.

3-D sonar;motion detection;motion recognition

TB566

A

10.3969/j.issn.1007-7294.2015.10.014

1007-7294（2015）10-1282-07

2015-03-21

国家自然科学基金（61001170）

李志华（1981-），男，博士后，讲师，E-mail:zhihuali_e@163.com；李秋峦（1986-），男，硕士研究生。