基于背景建模的船舶参数估计方法∗

2019-06-06张桂荣顾宋华季建中

舰船电子工程 2019年5期

钱江张桂荣何平姚江顾宋华季建中

（江苏省泰州引江河管理处泰州 225300）

1 引言

随着内河航运的蓬勃发展，过闸船舶流量增大，稽查复核工作日益繁重。目前船舶稽查复核工作中需登记船名、船舶尺寸、船身吃水等参数，传统方法需要工作人员登船测量检查，此举耗费大量人力且拖慢了放闸速度。一种先进、高效的船舶参数估计方法亟待提出，目前船闸视频监控技术已逐渐普及，基于视频进行参数估计是一种成本低、安装方便的解决方案。

船舶目标检测是参数估计的关键技术，只有精准地检测到目标区域是否有船舶和船舶大致位置，才有进行参数估计的必要。国外目标检测领域研究起步较早，60年代，Papageorgiou等［1］提出了用于静态图像目标检测的一般框架；Lowe等［2］通过获取图像关键点附近的梯度信息来检测运动目标；Dalal等［3］提出了梯度直方图特征将其用于静态图像的行人检测。虽然目标检测算法在国外的研究较早，但在船舶检测领域的研究起步较晚。刘俊［4］提出了一种复杂内河背景下对红外运动船舶目标检测和跟踪的方法；柴东［5］通过两次检测运动图像区域以确认实际船舶目标的检测方法；熊木地等［6］研制了基于超声波传感器阵列的船舶动态吃水实时检测系统。对于船舶尺寸、吃水等参数的估计，陈星明［7］运用PCA方法分类图像点云数据，测量出运动船舶的三维尺寸；郭方［8］运用BP神经网络对船舶图像中分割特征进行识别，完成对吃水线值的求取；邱中亚［9］优化了矩阵逼近的尺寸计算方法，利用船舶的轮廓截取船舶的轨迹直线，将截取的线段作为船舶的长度大小。

本文提出一种基于背景建模的方法获取船舶目标，采用累积差分法获得船舶边缘，并通过转换关系估计船舶尺寸参数。

2 背景建模法检测船舶

船舶检测技术是船舶参数估计的第一步，本文基于视频分析技术提出一种背景建模船舶检测方法。基于视频的船舶检测技术算法流程图如图1，首先读入视频流，之后基于背景建模检测前景，背景建模包含初始化、前景判断和背景更新三个步骤，检测到前景二值图后进行连通域分析，根据先验条件去除非船舶目标，最后得到船舶的位置信息。

图1 基于视频的船舶检测技术算法流程图

2.1 背景建模

在传统的运动物体识别技术中，各像素都是特定光照射在特定表面的结果，考虑到采样噪声，大多采用单高斯建模；为了适应光照的变化，也会对每像素进行自适应单高斯建模。考虑到船舶所处的江面背景复杂，光照变化较大，本文采用改进的混合自适应高斯模型［10］（Gaussian Mixture Model，GMM）用于船舶检测。

该模型的原理为将特定像素q的像素值（灰度值时为标量，彩色图为矢量）在时间上的序列看作一个“像素过程”，在任何时刻 t，可将 q（x0，y0）的历史像素信息表示如式，其中I表示图像序列。

q（x0，y0）当前时刻像素值为 Xt的概率可表示如式，式中 K 为高斯分布的个数，ωi，t为第 i个高斯分量的权重且阵。η为高斯概率密度函数，可表示如式（3），其中n为Xt的维数。

K为高斯分布个数，取决于计算机的运算能力和可用内存，一般取3～5。另外，考虑到计算量，假定方差矩阵有着如下形式∑k,t=σ2kI，即认为R、G、B分量值相互独立且方差相等。这个假设以精度下降为代价，避免了耗费大量的资源去计算矩阵的逆。由此便建立了GMM模型。一个新的像素值可由模型中的一个主分量来表示，且该新值也被用来更新模型。

若像素的过程变化是平稳的，则可用采用最大期望法（Expectation Maximization，EM）估计数据概率。然而，在现实情况中像素值会随环境变化而变，故采用近似法。该方法本质上是将每个新观察值当作一个尺寸为1的样本集，然后使用标准的学习规则来将新数据进行整合。

由于每个像素都有一个GMM模型，所以利用EM算法对视频中一帧图像进行精确处理非常耗时。为提高计算速度，本方法使用在线K均值近似法［11］（On-Line K-means approximation）代替 EM 算法。将新值Xt与K个分布进行检查，直至匹配成功。匹配门限定义为分布的标准差的2.5倍，像素值小于阈值，则视为匹配成功。该模型的每个像素的每个分布都有一个门限，在图像各区域亮度不均匀的情形时极为有用，因为位于暗处的物体的噪声通常要比亮处物体的要小，单一门限通常会导致当物体进入暗处时无法被检测到。

若K个分布均与当前像素值失配，则以该值更新最小分量:均值为当前像素值，方差为初始方差值（一个较高的值），以及一个较低的权值。

t时刻K个分布的权值，更新方式如式（4），式中α为学习率，若当前像素值与该模型匹配，则Mk，t=1，否则为0。调整后，重新对权值进行归一化。1/α定义了时间常量，该常量决定了分布参数的更新快慢。ωk，t为后验概率均值（给定时刻1～t的观测值，该像素值与模型k匹配的后验概率）低通滤波的快速实现，等同于给过去像素值加指数窗的期望。

对于未配分布，μ、σ不变，对于匹配的分布，则按式（5）更新:

2.2 连通域分析

连通区域（Connected Component）一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域。连通区域分析是指将图像中的各个连通区域找出并标记的方法，该方法在计算机视觉和图像分析处理的众多应用领域中较为常用，例如在需要将前景目标提取出来以便后续进行处理的应用场景中可采用该法。连通区域分析处理的对象是二值图像。在本场景中，输入图像为背景建模后的二值图，分析二值图的连通状态，得到的连通域作为船舶候选目标。

连通域分析采用种子填充法［12］，种子填充方法源自于计算机图形学，常用于对某个图形进行填充。该算法思路:选取一个前景像素点作为种子，然后根据连通区域的两个基本条件（像素值相同且位置相邻）将与种子相邻的前景像素合并到同一个像素集合中，最后得到的该像素集合则为一个连通区域。

种子填充法算法流程如下:1）扫描图像，直到当前像素点B（x，y）=1，将该点作为种子，并赋予其Label值，然后将该种子相邻的所有前景像素都压入栈中；2）弹出栈顶像素，赋予其相同的Label，然后再将与该栈顶像素相邻的所有前景像素都压入栈中；3）重复步骤2），直到栈为空，此时便找到图像B的一个连通域，该区域内像素被标记为Label；4）重复步骤1）～3），直到扫描结束。

2.3 非目标去除

连通域分析结果中往往有多个连通域，除船舶目标之外，还可能存在水花、杂物、反射太阳光等噪声，因此如何将噪声去除得到目标船舶是本节研究重点。船舶目标相对其他噪声具有比较固定的形状和尺寸，因此将非目标去除可以通过分析各连通域的属性，对每个属性设定阈值范围，从而达到去除非目标的目的。

本节分析的连通域属性主要有前景点数、外接矩形宽高比和矩形度等。已知连通域是一个点集，包含连通域内每个像素点坐标。区域面积即为该区域内像素点个数；外接矩形宽高比即宽度高度之比；矩形度即为区域面积与外接矩形面积之比，该值越接近1，该区域外形越接近矩形。对以上属性设定阈值，可以去除非目标，进而得到符合先验知识的船舶目标。

表1 连通域属性说明

本文所用的连通域参数如表1所示。本文设定的船舶目标连通域应满足式（6）。式（6）中的wm、hm可利用 wp、hp根据像素与米的转换关系［13］计算而得。若不满足该式，则判定为非目标。

3 累积差分法检测船舶边缘

船舶的底边缘和左右边缘检测是船舶参数估计的关键。本文提出一种新的边缘检测方法，采用多点累积差分值作为边缘。

假设目标船舶位于某矩形ROI（感兴趣区域，Region of Interest）内，ROI灰度图高为 h、宽为 w，G（i，j）表示 ROI第 i行 j列像素的灰度值，0≤G(i,j)≤255。

垂直边缘检测步骤如下。

1）对ROI各列求均值，得到一个行向量R，如式（7）:

2）设船舶边缘宽度为b个像素，对R（j）进行差分，得到Diff1，如式（8）:

3）计算Diff1的累计值，如式（9）:

4）再次对DiffAcc做差分，得到Diff2，如式（10）:

5）求Diff2的最大值，及其索引。若最大值超过门限，则返回垂直边缘的列索引k，如此便得到垂直边缘。

水平边缘的检测方法与垂直边缘类似，在此不再赘述。

4 船舶参数估计

检测到船舶边缘之后，可以计算出船舶边缘点在图像中的行列位置，将像素位置转化成世界坐标系坐标是参数估计的关键。

4.1 非目标去除

在像素与米的转换中涉及到以下三个坐标系的转换与计算。

1）世界坐标系（XwYwZw）

它是客观世界的绝对坐标，是由用户任意定义的三维空间坐标系。下标w表示World。

2）摄像机坐标系（XcYcZc）

以小孔摄像机模型的聚焦中心为原点，以摄像机光轴为Zc轴建立的三维直角坐标系。Xc、Yc轴一般与图像像素坐标系的R、C轴平行。下标c表示Camera。

3）图像像素坐标系（ROiC）

以像素为单位的平面直角坐标系，下标i表示Image。其原点位于图像左上角，R表示Row（行）；C表示Col（列）。

图像坐标系与世界坐标系可以相互转换，例如已知P点空间坐标（xw，yw，zw），则可求得该点在图像上对应点Q的坐标（r，c），转换关系如式（11）。式中M为3×3矩阵，由摄像机的内部参数构成；W为3×4矩阵由摄像机的外部参数构成；M和W均可通过标定得到。

空间坐标系与像素坐标系投影关系如图2。若将Ow点与Oc点重合，Yw垂直向上，Zw指向光轴的水平正前方；摄像头离地高度为h（即yw=h），且只存在俯角pitch（用φ表示），偏角yaw=0，滚动角roll=0。此时给定图像上一点Q（r，c），其与江面上该点相对摄像头的前向距离zw与横向距离xw，存在关系如式（12）和式（13）。式中r0、c0为图像中心所在的行列，fp为摄像头的等效焦距（单位:像素，由摄像头厂家给出或通过标定得到）。

图2 空间坐标系与像素坐标系投影关系

4.2 船舶高度和长度估计

第3节中已提到，船舶的左右边缘和上下边缘可通过累积差分法检测到，由此便可得到边缘点坐标。结合式（13）将边缘点的图像坐标转换到空间坐标，便可计算船舶边缘在空间坐标的长度和宽度，至此完成船舶的高度和长度估计。

5 实验分析

5.1 实验背景

图3 船舶全景图（用于船舶检测）

本文实验所用视频和图像均为在高港船闸现场录制和拍摄，布设相机分为检测相机和抓拍相机，检测相机采用视野较大的全景枪机，分辨率为2560×520，抓拍相机采用普通枪机，分辨率为1920×1080。当检测相机检测到有船舶通过时，触发普通枪机进行抓拍。本文中，船舶检测部分采用全景枪机拍摄的视频流；参数估计部分采用普通枪机拍摄的船舶细节图像，图3为船舶全景图，图4为船舶细节图。本文算法在Visual Studio 2015环境中基于C++开发语言及OpenCV3.1.0开源机器视觉库进行。