无人艇视觉系统多类水面目标特征提取与识别
2014-01-16马忠丽梁秀梅陈虹丽赵新华
马忠丽,文 杰,梁秀梅,陈虹丽,赵新华
(哈尔滨工程大学自动化学院,150001,黑龙江哈尔滨)
水面无人艇(unmanned surface vehicle,USV)是 一种新型的海上智能体,可用来执行扫雷、反潜、反恐攻击等军事任务以及海上港口监视和搜救等民用任务。自主识别周围环境、目标以及障碍物是保证全自主式USV自主航行的先决条件。由于雷达存在近距离目标探测盲区,因此视觉系统就成为USV进行周围场景图像信息采集的主要设备之一。研究适合多类水面目标的特征提取和识别方法,对发挥视觉系统在USV目标探测和跟踪中的作用具有重要意义。
在离岸较远的情况下,水面目标一般包括礁石、岛屿、船只和大型鱼类等。针对水面船只的目标识别,汪成亮等通过定义轮船的4个几何特征,实现轮船的简单识别[1];刘新科等提取三维舰船在不同姿态下3个仿射不变矩特征,验证了仿射不变矩特征在舰船目标识别中的有效性[2];Zabidi等通过提取舰船Hu不变矩特征完成船舶目标识别[3],但识别率不稳定;Zhu等通过提取遥感图像中船舶的形状特征和纹理特征实现船舶检测[4]。然而,上述的目标识别方法,识别目标单一,没有考虑舰船艇实际运行中周围目标和障碍物的多样性。
针对上述问题,本文提出一种多类水面目标组合特征提取和识别方法。考虑到USV运行会引起图像视角上的畸变,如平移、缩放、仿射等[5],获得保持不变或者影响不大的的特征库是实现目标识别的关键。本文在进行图像预处理基础上,根据礁石、岛屿和船只这3类目标的外形轮廓、几何形状和纹理分布具有较明显差异的特点,提取它们的几何特征、不变矩特征以及纹理特征,形成组合特征,利用PCA降维处理,采用分级BP神经网络分别实现岛屿、礁石和船只多类目标的初级识别和多类船只的次级识别。仿真实验结果表明,本文提出的多类水面目标组合特征提取和识别方法能够很好地提高USV对水面感兴趣多类目标识别的正确性。
1 水面目标识别模型及前期预处理
1.1 水面目标识别模型
海上环境复杂,考虑到海雾、海浪等因素的影响,为增强目标识别系统的适应能力,建立了如图1所示的USV水面多类目标识别系统模型。
1.2 水面目标图像前期预处理
受海雾的影响,USV拍摄的图像会降质模糊;同时,水面波动和USV高速运行,会导致目标视频图像抖动模糊,影响后续处理。此外,图像中目标、背景的分割是目标特征准确提取的前提。因此,需要进行图像预处理,包括:图像增强、电子稳像和目标背景分割。
(1)图像增强去雾。图像去雾采用基于边缘检测的单尺度Retinex算法[6],在传统单尺度Retinex模型基础上,采用基于边缘信息的高斯滤波估计亮度分量,实现较好的图像去雾效果。
(2)电子稳像。采用尺度不变特征变换(scale invariant feature transform,SIFT)算法提取特征点,结合仿射模型和Kalman滤波求取补偿参数,采用相邻帧补偿法对每帧图像进行补偿[7]。
(3)图像目标背景分割。采用改进的自适应均值漂移算法进行目标图像分割[8]。结合贝叶斯准则自适应求取带宽参数,取得了较好的目标分割效果,便于后续目标特征提取。
图1 无人艇水面多类目标识别系统模型
2 水面多类目标特征提取
目标特征提取是正确识别目标的前提,这里需要提取的多类水面目标的特征包括:几何特征、不变矩特征以及纹理特征。
2.1 目标轮廓提取
目标轮廓提取是几何特征提取的前提,目标轮廓的提取方法为:先对目标背景分割后的图像进行二值化处理,得到目标区域,再提取目标区域的外围边界实现目标轮廓提取。对3类目标轮廓特征提取的结果如图2所示。
图2 3类目标轮廓提取的结果
2.2 几何特征提取
几何特征根据目标区域外围轮廓和其包含的像素点数量来定义。根据目标最小外接矩得到目标的5个几何特征[9]。
(1)面积特征(Fa):具有旋转、平移不变性。设分割后目标区域面积为A1,将目标区域中不连续部分填充后面积为A2,则归一化后的面积特征Fa=A1/A2。
(2)细长度特征(Ff,l):沿主轴方向的长度和与其垂直的宽度的比值,即最小外接矩形长、宽比。
(3)紧密度特征(Ft):目标周长与面积的比,可以表征目标形状的复杂度。
(4)凸包性特征(Fc,h):目标面积与最小外接矩形的面积之比。
(5)凸起度量(Mc):针对船只提出的特征参数,是船只上部建筑面积与下部船舱面积之比。确定最小外接矩形时的短轴为分割线,将目标区域分为上、下两部分,统计两部分的像素点分别为a1、a2,则Mc=a1/a2。
2.3 不变矩特征提取
考虑到仅使用Hu不变矩或仿射不变矩时不能获得目标准确特征,这里同时提取目标Hu不变矩与仿射不变矩特征用于目标识别。
2.3.1 Hu不变矩特征的提取 一幅尺寸为m×n的二维离散图像f(x,y),其p+q阶原点矩mpq、中心矩μpq分别表示为
对中心矩做归一化处理,即
当图像f(x,y)以比例因子ρ发生失真后,会对中心矩产生影响。为消除比例因子的影响,采用尺度归一化对原Hu不变矩进行处理,可得
2.3.2 仿射不变矩特征提取 仿射变换是指在欧式空间中,共直线的3个点通过一个映射仍然共直线,仿射变换方程为
式中:A为变换矩阵且行列式不为零;B为平移参数矩阵。
Jan Flusser等[11]推导出十个仿射不变矩,本文提取前3个仿射不变矩
式中:μpq为式(2)中所表示的中心距,仿射不变矩特征数值分布范围较广,需取其对数值。
2.4 纹理特征提取
由于船舶相对海上礁石、岛屿而言纹理平滑,因此可以提取纹理特征来进行识别。
2.4.1 目标图像子区域提取 本文纹理特征的提取是针对目标图像子区域,子区域提取步骤如下。
(1)对二值化后的目标区域进行孔洞填充,得到完整目标区域,计算目标区域的最小外接矩。
(2)将目标最小外接矩等分割为N个子区域,每个子区域的尺寸最大为16×16像素。
(3)搜索每个子区域,若全为亮点,则设置为单子区域;若有黑点,则设置为背景或边缘区域。
(4)绘制所有单子区域外围轮廓,形成目标多子区域,并在灰度图相应位置标注该区域。
2.4.2 纹理特征提取 灰度共生矩阵是纹理特征提取常用方法[12],对目标子区域图像f(x,y)中任一灰度值为(g1,g2)的点A(x,y),计算其出现的概率p(g1,g2),得到灰度共生矩阵[13],其中,纹理统计特征描述因子有4个。
(1)纹理能量Q1:灰度共生矩阵中元素平方和,反映图像纹理的均匀性,其计算公式为
(3)纹理梯度Q3:反映图像的层次内容以及清晰程度,其计算公式为
式中:k=|g1-g2|。
(4)纹理相关性Q4:衡量灰度共生矩阵行列之间元素的相似程度,其计算公式为
3 水面目标特征样本库的建立
本文图像数据有4个来源:
(1)水面艇实拍图像数据,摄像系统为800万像素CMOS摄像头,图像分辨力为1 280×1 024像素,帧率为30帧/s;
(2)网络图片数据,包括各种水面船只、礁石、岛屿图片;
(3)自制水面遥控艇的实测数据,摄像系统主要性能参数:600万像素CMOS摄像头,图像分辨力为480×320像素,帧率为60帧/s;
(4)3DMAX软件制作的各种船只3D模型。
根据以上图像数据建立水面目标特征样本库。
3.1 礁石、岛屿、遥控艇样本库建立
选取礁石、岛屿、水面遥控艇实际拍摄目标视频序列抽取的图像各100张,提取6个Hu不变矩、3个仿射不变矩和4个纹理特征。其中3类目标5个样本的部分纹理特征和不变矩特征对比曲线如图3所示。
由图3可以看到,船只的纹理特征和不变矩特征与礁石和岛屿的相比相差明显,利用它们作为船只与其他目标相区别的特征库具有较好的可分性。
图3 3类目标部分纹理特征和不变矩特征对比曲线
3.2 不同种类船只样本库建立
采用3D软件制作三维船舶模型,包括军舰、游艇、邮轮、集装箱船、航空母舰、汽油船、油轮7种船型,如图4所示。
每种3D船模以一定角度旋转、平移、放大或缩小形成样本。不同类型3D船模选取100个样本,每个样本提取5个几何特征,6个Hu不变矩,3个仿射不变矩特征。7类船旋转0°和90°得到的14个特征值的对比曲线如图5所示。
图4 不同类型船只的3D船型
图5 不同类型船舶特征对比
对比图5a和图5b可知:同一类船模从0°旋转到90°时,其特征参数的数值发生了较大变化;不同类型船模处于相同位置时,几何特征(除了凸包性)之间有明显的差别,除Hu高阶矩与仿射一阶矩稍显不足外,仿射不变矩与Hu不变矩特征在不同类型的船舶之间差别比较明显。
4 PCA降维的分级BP神经网络
主分量分析(PCA)是一种基于统计分析的降维处理技术,应用PCA对训练样本的特征进行分析,能够得到影响目标识别结果的主要特征,然后利用这些主要特征进行BP神经网络训练和识别,能有效降低处理时间[14]。
4.1 礁石、岛屿与船只初级分类识别
从目标图像样本库取300个样本,选择180个为训练样本,每类目标含有60个样本数据,含有13个特征,组成13×60维矩阵;测试样本120个,每类目标有40个样本数据。搭建礁石、岛屿与船只的多神经网络并联识别模型。模型中,BP神经网络为单输出型神经网络,共3层:输入层、隐藏层和输出层。
应用PCA对输入的训练样本库进行降维,选取贡献率大于80%的特征。分析可知,礁石目标特征量贡献率较大的是I1、H2、Q2、I2、H4,岛屿目标贡献率较大的是I1、H2、I2、Q1、H6,船只目标贡献率较大的是Q3、H1、I1、I3、H6,则输入样本维数由13×60降为5×60。
采用Matlab 7.9平台进行仿真研究,并行的3个神经网络输入层节点数均为5,隐层神经元数都为9,输出层节点数为2。测试过程重复循环10次,硬件环境为:酷睿2双核E7400处理器,主频为2.80GHz,内存为2GB。PCA降维前后,不同特征下网络训练时间和平均识别率对比如表1所示。
表1 PCA降维前后训练时间和平均识别率对比
由表1数据比较可以看出:采用纹理特征与不变矩特征组合进行识别得到的平均别率相对较高,且用PCA降维后,大大缩短了训练时间,但降维后识别率有所降低。每类目标基于组合特征的正确识别数统计结果如表2所示。
表2 基于组合特征目标识别
4.2 不同类型船只的次级分类识别
选取3D模型船只样本每类各120个,其中每类60个样本作为训练样本,其余60个为测试样本;在实际网络图像和水面艇实测图像形成的各类船只图像库中,每类目标船型选取120幅不同视角图像,其中每类60个作为训练样本,其余60个作为测试样本。每类测试样本和训练样本均含有14个特征,组成14×60维矩阵。
应用PCA对输入样本库进行优化,选取贡献率大于80%的特征,结果发现:9个不变矩特征中,H1、I1、I3、H6贡献率在不同船型中都较大。5个几何特征中,军舰目标特征量贡献率较大的是Fa、Ff,l、Ft;游艇目标贡献率较大的是 Fa、Ff,l、Mc;邮轮目标贡献率较大的是Fa、Fc,h、Mc;油船目标贡献率较大的是Fa、Ft、Fc,h;集装箱船目标贡献率较大的是Fa、Fc,h、Mc;汽油船目标贡献率较大的的是 Fa、Ff,l、Ft。上述6类船只PCA降维后的训练样本维数由14×60降为7×60。航空母舰目标贡献率较大的是Fa、Ff,l、Ft、Fc,h,维数由14×60降为8×60。
在同样硬件条件、不同特征组合下,表3给出了3种情况下平均识别率对比。情况1是训练样本和测试样本均为3D模型船只;情况2是训练样本和测试样本均为实际船只;情况3是训练样本为3D模型船只,测试样本为实际船只。
表3 各类船只目标3种情况下平均识别率
由表3得出,采用几何特征和组合矩形成的组合特征的识别率较高,而实际船只识别率相对较低,3D模型船只和实际船只相结合的识别率最低。分析原因如下:采用自动分割提取目标存在分割误差[8];3D模型船只背景清晰、无干扰,分割误差小,而实际图像背景复杂,分割误差较大,因此3D模型船只的识别率要高于实际船只的识别率。此外,实际图像中目标视角多变,且无规律,导致3D模型船只的训练样本与实际船只的测试样本差异较大,造成情况3的识别率最低。
5 结 论
本文在深入研究无人艇视觉系统采集到的水面目标图像特点的基础上,对水面礁石、岛屿与船只3类目标提取几何特征、不变矩特征和纹理特征,并建立水面目标特征库,然后采用基于主分量分析的分级BP神经网络进行多类水面目标识别,仿真实验结果证实了方法的有效性。但是,本文研究也存在局限性,主要有:目标没有考虑水面鸟类、鱼群等;已经建立的礁石、岛屿、船只数据库样本数量有限;神经网络识别的泛化能力没有深入讨论;如何解决同一场景中多个目标的特征提取和识别等。这些问题将是后续研究着重解决的问题。
[1] 汪成亮,汪连伟.基于特征的江面轮船识别算法 [J].计算机应用研究,2011,28(6):2352-2354.
WANG Chengliang,WANG Lianwei.Ship targets recognition algorithm based on features[J].Application Research of Computers,2011,28(6):2352-2354.
[2] 刘新科,于吉红,吕俊伟,等.基于仿射不变矩特征的舰船图像识别方法 [J].海军航空工程学院学报,2011,26(6):687-690.
LIU Xinke,YU Jihong,LV Junwei,et al.Ship image recognition method based on the affine invariant moments [J].Journal of Naval Aeronautical Engineering Institute,2011,26(6):687-690.
[3] ZABIDI M M A,MUSTAPA J,MOKJI M M,et al.Embedded vision systems for ship recognition [C]∥Proceedings of TENCON 2009,IEEE Region 10 International Conference.Los Alamitos,CA,USA:IEEE Computer Society,2009:1-5.
[4] ZHU Changren,ZHOU Hui,WANG Runsheng,et al.A novel hierarchical method of ship detection from spaceborne optical image based on shape and texture features[J].IEEE Transactions on Geoscience and Remote Sensing,2010,48(9):3446-3456.
[5] VELLA F.Digital image stabilization by adaptive block motion vectors filtering [J].IEEE Transactions on Consumer Electronics,2002,48(3):796-801.
[6] MA Z,WEN J,LIANG X.Video image clarity algorithm research of USV visual system under the sea fog [M]∥ Advances in Swarm Intelligence.Heidelberg,Germany:Springer,2013:436-444.
[7] 马忠丽,李慧凤,文杰,等.高速水面艇视觉系统电子稳像算法 [J].计算机应用研究,2014,31(2):633-636.
MA Zhongli,LI Huifeng,WEN Jie,et al.Electronic image stabilization algorithm for high speed surface vehicle vision system [J].Application Research of Computers,2014,31(2):633-636.
[8] 马忠丽,梁秀梅,文杰.无人水面艇目标图像自适应分割算法 [J].哈尔滨工业大学学报,2014,46(5):612-636.
MA Zhongli,LIANG Xiumei, WEN Jie.Image adaptive segmentation algorithm for unmanned surface vehicle targets [J].Journal of Harbin Institute of Technology,2014,46(5):612-636.
[9] 宋卫东.解析几何 [M].北京:高等教育出版社,2003:96-101.
[10]CHENG Y Z.Mean shift,mode seeking,and clustering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(8):790-799.
[11]FLUSSER J,SUK T.Pattern recognition by affine moment invariants[J].Pattern Recognition,1993,1(26):167-174.
[12]钟建华,齐乐华,李妙玲,等.利用人工神经网络的偏光下热解炭织构类型识别 [J].西安交通大学学报,2010,44(7):46-49.
ZHONG Jianhua,QI Lehua,LI Miaoling,et al.Automatic classification of pyrocarbon texture under polarized light microscope based on artificial neural network[J].Journal of Xi’an Jiaotong University,2010,44(7):46-49.
[13]苑丽红,付丽,杨勇,等.灰度共生矩阵提取纹理特征的实验结果分析 [J].计算机应用,2009,29(4):1018-1021.
YUAN Lihong,FU Li,YANG Yong,et al.Analysis of texture feature extracted by gray level co-occurrence matrix[J].Journal of Computer Applications,2009,29(4):1018-1021.
[14]张国英,王娜娜,张润生,等.基于主成分分析的BP神经网络在岩性识别中的应用 [J].北京石油化工学院学报,2008,16(3):43-46.
ZHANG Guoying,WANG Nana,ZHANG Runsheng,et al.Application of principal component analysis and BP neural network in identifying lithology[J].Journal of Beijing Institute of Petro-chemical Technology,2008,16(3):43-46.