基于BP神经网络的景象匹配算法

刘 刚1，周 珩2，梁晓庚2，王明静2

（1.河南科技大学信息工程学院，河南洛阳 471023；2.中国空空导弹研究院，河南洛阳 471009）

基于BP神经网络的景象匹配算法

刘 刚1，周 珩2，梁晓庚2，王明静2

（1.河南科技大学信息工程学院，河南洛阳 471023；2.中国空空导弹研究院，河南洛阳 471009）

针对以可见光图像为基准、红外图像为实测的景象匹配问题，提出了一种基于BP神经网络的景象匹配方法；该方法首先抽取满足平移、旋转、尺度不变性的Krawtchouk不变矩作为红外目标的特征描述并构造特征向量，随后，基于主分量分析法消除特征向量各个分量间的相关性，去掉多个对目标匹配识别贡献不大的特征的影响，形成描述目标的有效特征向量；接下来，构造三层BP神经网络，以有效匹配特征作为输入，匹配位置作为输出，按照经验公式确定隐层节点个数，基于样本集对红外目标在可见光基准图像中的匹配过程进行训练，最终形成智能化景象匹配识别器；实验结果表明，与常用的景象匹配算法相比，提出方法不仅具有更高的匹配精度和速度，而且鲁棒性好，能抵抗实测图像的旋转几何畸变。

景象匹配；红外与可见光；Krawtchouk不变矩；主分量分析法；BP神经网络

0 引言

景象匹配是一种依靠图像匹配技术对飞行器进行精确定位的辅助导航技术。虽然基准图和实时图都是可见光图像的下视景象匹配已在巡航导弹和末制导导弹得到了成功应用，但由于光学传感器容易受到恶劣天气条件的影响，在很多情况下无法得到理想的高质量图像。红外成像传感器则不受云雾、黑夜等自然因素影响，具有全天时成像能力。因此，发展基准图为可见光图像，实时图为红外图像的下视景象匹配精确制导武器已成为主流方向之一。

现有的景象匹配主要可分为两大类：基于区域的方法［1-4］和基于特征的方法［5 11］。基于区域的匹配方法主要利用模板内的灰度信息或者灰度信息的某种变换进行匹配。由于异源图像的灰度属性关联性不大，使得在同源图像匹配领域里被广泛采用的基于区域的匹配方法在异源图像匹配领域里应用不是很广。基于特征的匹配方法并不直接利用灰度信息，使得该类型方法成为异源图像匹配领域里非常热门的研究方向。目前，匹配过程所用到的特征主要集中在点特征［5-8］、线特征［9］、梯度方向直方图特征［10］和不变矩特征［11］。

一般说来，景象匹配过程由特征空间、搜索空间、相似性度量、搜索策略四要素组成。特征空间的选择决定了图像的哪些特性参与匹配，哪些特征将被忽略。景象匹配问题是一个参数的最优估计问题，待估计参数组成的空间即搜索空间。相似性度量衡量匹配图像特征之间的相似性。搜索策略在搜索空间中找到一个最优的变换，使得相似性度量达到最大值。因此，提高景象匹配效率可从上述四要素出发。

为提高匹配的精度和匹配过程的智能化程度，本文设计并实现了一种基于Krawtchouk不变矩和BP（Back Propagation）神经网络的智能化景象匹配识别器。该匹配器从特征空间的选择出发，应用Yap［12］等提出的新型正交矩-Krawtchouk矩，推导其不变矩参与匹配过程。通过设计三层BP神经网络结构，匹配特征作为输入，匹配位置作为输出，利用大样本离线对网络权值进行训练，最终形成智能化景象匹配识别器。在匹配特征向量作为输入进入BP网络前，采用主分量分析法（principal component analysis PCA）消除其冗余。实验结果验证了本文方法的有效性。

1 红外目标特征描述和主分量分析法

1.1 Krawtchouk不变矩理论

在景象匹配应用中，特征空间的选择是一个关键问题。图像矩作为图像的特征描述子，既可表达图像形状的全局特征，同时也可提供不同类型的几何特性信息。另外，图像矩经过简单的变换和重新组合，可得到若干个平移、尺度和旋转不变特征量，其在图像经过平移、缩放或旋转后，仍保持不变，因此可作为图像匹配的特征向量。传统正交矩难于同时表示图像的全局信息和局部信息，因此仅适用于分类具有显著差别的模式，而难以区分具有细微差别的相似模式。和传统正交矩相比，Krawtchouk正交矩具有可以从任何感兴趣的图像区域中提取局部特征的优点。作为一种性能更为优良的正交矩，由其构成的Krawtchouk矩不变量具有Krawtchouk矩的基本性质，并具有良好的平移、旋转和尺度不变性，作为特征向量完全满足图像目标特征描述的要求。图像f（x，y）的（n＋m）阶Krawtchouk矩可表示为：

其中：x，n＝0，1，2，…N，N＞0，p∈ （0，1）。2F1是超几何函数：

其中：（a）k是Pochhammer算子：

在图像Krawtchouk矩计算公式基础上，可进一步得到对平移、旋转和尺度变换具有不变性的Krawtchouk不变矩［13］：

利用Krawtchouk不变矩作为特征描述，目标识别率和运算时间都将随n＋m阶数的增加而增大。权衡识别率和运算时间因素，本文选择n＋m≤3。由于与图像内容无关，所以可采用的Krawtchouk不变矩特征向量如下：

1.2 主分量分析法理论

利用Krawtchouk不变矩描述红外目标特征，具有平移、旋转和放缩变换的不变性。但其各阶矩信息间具有冗余性，如不消除会降低匹配过程的识别率和实时性。主分量分析方法是从多个指标构造少数主要指标的一种统计方法。将主分量分析用于特征选取，可以去掉多个对目标匹配识别贡献不大的特征的影响，构造出能够真实反映目标的特征。

设Xk＝［x1，x2，...，xn］T为第k 个样本特征向量，n为向量维数。N个样本向量组成矩阵X，其协方差矩阵为R（X）。主分量提取的具体步骤为：

步骤1：求R的特征值及特征向量，所求得特征值按降序排列为λ1≥λ2≥…≥λn≥0，与其对应的特征向量分别记为β1，β2，…βn。

步骤2：确定前m个主分量y1，y2，…，ym：

式（11）中，B为由前m个特征向量βi构成的主特征向量矩阵。由q值确定主分量的个数m和前m个主分量向量yi。

R的主分量向量与原特征向量生成相同的空间。原特征向量空间中的任何向量均可表示为主分量向量的线性组合。通过主分量分析，可以消除原有向量X的各分量之间的相关性，从而去掉那些带有较少信息的特征。

本文针对红外目标的特征描述，利用主分量分析法对Krawtchouk不变矩各阶特征进行分析，去掉多个对目标匹配识别贡献不大的特征的影响，形成有效特征向量。

2 BP神经网络景象匹配识别器

采用误差反向传播算法进行训练的多层前馈网络称为BP网络。BP网络由输入层、隐含层、输出层及各层之间的节点连接权值组成。通过利用反向传播算法，对网络的权值和阀值进行反复的调整训练，使网络实际输出与期望输出尽可能地接近。使用训练好的神经网络即可对应用中的实际输入进行计算并得到输出结果。

在本文的设计中，BP神经网络采用单隐层的三层前向网络。利用公式（9）所描述的Krawtchouk不变矩作为描述目标的特征，经过主分量分析法消除冗余后，作为神经网络的输入。网络输出神经元个数由可见光基准图像的匹配位置决定。如果匹配位置为M×N，则输出层节点个数为log2（M ×N）。

隐层和输出层的激励函数选择logsig函数。隐层节点个数按照如下经验公式确定：

t和r分别是输入、输出层神经元个数，α一般为1～10的常数。

3 实验与分析

实验硬件平台为方正台式机，CPU主频3.4 Ghz，内存4 GB，软件平台为Matlab 2008a。

3.1 Krawtchouk不变矩的PCA分析

选取三组红外目标图像如图1，分别进行平移、旋转和放缩变换，计算得到的Krawtchouk不变矩如表1所示。平移变换向右上移动10个像素，旋转变换顺时针10度，放缩变换两个方向各缩小2倍。表中的数值是除以然后取对数得到。

图1 红外图像

表1 红外目标的Krawtchouk不变矩

对上述矩特征进行PCA分析，选择贡献率达到95%的前4个主分量构造新的目标特征，如表2所示。

表2 PCA构造的目标特征

从表2中看出，采用文中算法构造的红外目标特征，可以准确的描述红外目标的特性，有效区分不同类目标。构造的特征不仅可以反映不同目标，而且降低了可利用特征的维数。

3.2 本文算法的匹配结果

实验中基准图像为可见光图像，实测图像则采用红外图像。两组红外与可见光视频对儿，各400帧，大小分别为640像素×720像素和720像素×240像素。BP神经网络输入层节点个数为4，输出层节点个数为20，隐含层节点个数取8。BP网络各层的初始权值在0.1～0.4范围内随机取得，初始学习率取0.5。为克服BP网络训练过程中可能陷入局部最优的缺陷，采用动态学习率。训练目标误差为10－4。750帧用于训练，其余50帧用于匹配测试。从红外实测图像中提取目标样本，大小为128像素×128像素。BP神经网络训练曲线如图2所示。

将50帧测试样本图像目标输入训练好的神经网络匹配识别器，全部实现成功匹配。图3和图4是两个视频的两帧测试图像对儿匹配结果。红外目标1、2、3从图3（b）红外图像中提取，红外目标4来自于图4（b）中的红外图像。匹配位置如表3所示。

图2 BP神经网络训练曲线

图3 视频1图像对儿匹配

图4 视频2图像对儿匹配

表3 本文算法的匹配结果

实际应用中，几何畸变主要包括平移、尺度、旋转变换。对算法结果影响较大的是旋转几何畸变。对红外目标图像进行旋转变换如图5。对每个目标的每个旋转角度图像运行本文算法，列出匹配误差的结果数据如表4。表中度量与正确匹配位置偏移的匹配误差值向右、向下为正，反之为负。从中可看出，本文方法基本不受图像旋转角度的影响，具备抗旋转几何畸变能力。由于Krawtchouk不变矩的稳定性，即便旋转角度达到15度，本文方法仍然能够较精确定位。这进一步说明了Krawtchouk不变矩作为匹配特征的优越性。

图5 红外目标旋转

表4 算法的抗旋转几何畸变结果

本文与两种经典匹配方法进行比较：（a）文献4的梯度互信息法；（b）文献11的小波域多分辨率Hu不变矩法，结果如表5所示。位置坐标右上为正，左下为负。从中可看出：算法（a）耗时最长，这是因为互信息匹配法计算量最大；算法（b）速度明显提高，原因在于匹配空间变换到小波域后，压缩了搜索空间。本文算法由于引入Krawtchouk不变矩提取图像局部特征，匹配精确度大于其它2种方法，稳定性最好，且特征空间经过PCA方法压缩后进入训练好的BP神经网络进行匹配识别，因此匹配速度较算法（a）和（b）来得快。

表5 不同算法匹配结果比较

4 结论

针对以可见光图像为基准、红外图像为实测的景象匹配问题，本文提出了一种智能化的景象匹配方法。该方法利用Krawtchouk不变矩特征的优良特性，结合主分量分析法，构造出消除冗余的红外目标特征描述。接下来，基于样本集对红外目标在可见光基准图像中的匹配过程进行训练，形成智能化的BP神经网络景象匹配识别器。实验结果表明，相对一些经典方法，本文算法在匹配精度、匹配速度和抗几何畸变方面具有一定的优势。

［1］Stefano LD，Mattocia S，Tombari F.ZNCC－based template matching using bounded partial correlation［J］.Pattern Recognition Letter，2005，26（14）：2129-2134.

［2］李俊山，谭园园，张媛莉.SSDA的改进算法［J］.电光与控制，2007，14（2）：66-68.

［3］任三孩，常文革，刘向君.一种基于小波变换和变尺度圆模板融合的景象匹配算法［J］.电子学报，2011，39（9）：2200 -2203.

［4］柏连发，韩 静，张 毅，等.采用改进梯度互信息和粒子群优化算法的红外与可见光图像配准算法［J］.红外与激光工程，2012，41（1）：248-254.

［5］武建明，田 铮，刘向增，等.图像多尺度配准的小波域SIFT方法 ［J］.西北工业大学学报，2011，29（1）：17-21.

［6］Sima，A.Aleksandra，Buckley，et al.Optimizing SIFT for matching of short wave infrared and visible wavelength images［J］.Remote Sensing，2013，5（5）：2037-2056.

［7］朱英宏，李俊山，杨 威，等.红外与可见光图像特征点边缘描述与匹配算法［J］.计算机辅助设计与图形学学报，2013，25 （6）：857-864.

［8］吉 祥，韩军伟，梁 楠，等.基于景象匹配的无人飞行器定位方法 ［J］.系统仿真学报，2014，26（6）：1291-1296.

［9］高 峰，文贡坚，吕金建.基于干线对的红外与可见光最优图像配准算法［J］.计算机学报，2007，30（6）：1014-1021.

［10］Lee J H，Kim Y S，Lee D，et al.Robust CCD and IR image registration using gradient－based statistical information［J］.IEEE Signal Processing Letters，2010，17（4）：347-350.

［11］符艳军，程咏梅，潘 泉，等.基于不变矩的景象匹配辅助导航快速匹配算法［J］.系统工程与电子技术，2011，33（4）：847 -853.

［12］Yap P T，Paramesran R，Ong S H.Image Analysis by Krawtchouk Moments［J］.IEEE Trans Image Processing，2003，12 （11）：1367-1377.

［13］张 力，肖薇薇，钱恭斌，等.基于Krawtchouk不变矩的仿射攻击不变性局部水印算法［J］.电子学报，2007，35（7）：1403 -1408.

A Scene Matching Algorithm Based on BP Neutral Network

Liu Gang1，Zhou Heng2，Liang Xiaogeng2，Wang Mingjing2

（1.College of Information Engineering，Henan University of Science and Technology，Luoyang 471023，China；2.China Airborne Missile Academy，Luoyang 471009，China）

Aiming at the problem of scene matching which takes infrared image as the actual data and the visible image as the referenced data，a matching algorithm is presented based on Back Propagation（BP）neutral network.Firstly，the features of Krawtchouk invariant moment which has the changeless character of translation，rotation and scale for infrared target are abstracted.Then，the method of Principal Component Analysis（PCA）is used to remove the redundancy of the feature vector in order to form an effective description for target.Subsequently，taking the effective features as network input vector，matching position as network output and defining hidden layer node’s number according to the experienced formula，a scene matching recognizer based on BP neutral network which had three layers is constructed.The experimental results show that the method given by this paper，compared with some classic matching algorithms，can not only has the high matching accuracy and fast matching speed，but also has better robustness which can resist the rotating geometric distortion.

scene matching；infrared and visible light；Krawtchouk invariant moment；principal component analysis；BP neutral network

1671-4598（2016）08-0222-04

10.16526／j.cnki.11－4762／tp.2016.08.061

：TP391.41

：A

2016-02-02；

：2016-02-29。

航空科学基金（20130142004）；河南科技大学创新能力培育基金（2014ZCX010）；河南科技大学博士科研启动基金（0p001631）。

刘 刚（1974-），男，湖南临武人，副教授，博士后，主要从事图形图像处理、测控技术，嵌入式开发方向的研究。

周 珩（1972-），女，河南洛阳人，硕士，研究员，主要从事红外成像制导方向的研究。

梁晓庚（1960-），男，河南孟州人，博士，研究员，副总设计师，博士生导师，主要从事飞行器总体设计，导航、制导与控制方向的研究。