红外光与可见光的图像配准识别技术分析

赵晨+陈天华+李子伊王聪聪

摘要：随着科技水平的提升，对于红外光与可见光实现图像配准技术的优化是极为重要的，本文对于图像配准识别技术进行了概述，对于主流的基于几何特征、基于模型、基于统计方法、基于神经网络等图像识别配准方法进行了探讨，同时对于SIFT、ORB、Brief等几种图像配准的特征提取方法进行了分析，对于基于神经网络的自适应图像配准识别优化新技术进行了研究，对于图像配准技术的前景进行了展望。

关键词：红外光；可见光；图像配准；识别

1 引言

随着计算机技术和通信技术的飞速发展，以及信息技术和计算机技术在生活、军工等各个方面的广泛使用，我们越来越离不开计算机的相关技术，控制技术也是越来越得到了广泛认可和应用。如今，在航空方面，计算机视觉技术也得到了广泛使用。如今，在民航方面，计算机在飞行安全方面起到了至关重要的作用。红外与可见光图像配准是常见的多模态图像配准，它广泛应用于军事、遥感等领域，有必要对其进行更加深入的研究。红外与可见光图像配准是配准中比较常见的，由于红外反映景物的辐射信息，而可见光反映的是景物的反射信息，二者输出图像具有不同灰度特征，这些特征互为补充，可以融合在一起进行目标识别。

图像配准的基本问题是提出一种图像转换方法，用以校正图像的坐标和形变。比如，对同一场景，不同时在不同视点拍摄的图像，或多或少会存在平移、旋转的情况，它们是处于不同的坐标系内的，需要校正过来。而造成图像形变的原因多种多样，例如对于我们这里的红外与可见光图像而言，传感器噪声、由传感器视点变化或平台不稳定造成的透视变化、被拍摄物体的移动、变形或生长等变化，以及阴影和云层遮盖都使图像产生不同形式的形变。正是图像形变的原因和形式不同，决定了必须要有不同的图像配准技术与之对应。

正是由于上面的原因，我们对于红外与可见光图像配准的研究就十分有必要了。

2 图像配准识别技术分析

2.1 图像识别配准概述

图像配准是指对同一目标在不同条件下获得的两幅（或者两幅以上）图像进行匹配的图像处理过程，是图像处理中的一个基本问题。假设两幅待配准图像和，其中为参考图像，为待配准图像。图像配准的问题可以定义为这两幅图像像素坐标和灰度值上的双重映射。图像配准识别是人工智能领域的一个重要的分支，图像配准识别技术可以分为两大部分，第一类是基于机器学习的，第二类是基于统计方法的，根据实现的原理可以划分为基于几何特征、基于模型、基于统计方法、基于神经网络等。图像配准识别算法，采用主流的深度学习方法来进行特征值提取，通过卷积神经网络对图像进行识别，通过多层特征的融合来使得运算量降低，识别速度加快，通过基本的特征信息，从而反映出高级别的属性特征，同时可以对不清晰的图像、动态的图像进行较为精确的识别，其识别准确度较高，抗干扰性较强。基于深度学习的特征提取算法，通过较大规模的图像库进行训练，使得图像配准识别模型的准确度非常高，同时时间减小，可以达到万分之一秒。

2.2 主流图像配准识别方法

2.2.1 基于几何特征

基于几何特征的方法，主要是在图像中寻找特征，将特征点之间的距离和比例进行归纳，通过临近的方法来识别图像，这样的方法比较快，内存占用少，但是对于光照变化来说不敏感，同时对于动态变化的图像，它将无法识别。

2.2.2 基于模型

基于模型的方法，主要采用马尔科夫模型，这种模型的方法，主要是通过数学的統计性的问题。以人脸图像的监测识别为例， 马尔可夫的状态包括前额、眉毛、眼睛、鼻子、嘴和下巴，这些状态以相同的顺序从上到下出现，表现为隐马尔可夫模型的特性状态。这种方法对于样本的要求较高，需要建立较为可靠的模型。

2.2.3 基于统计

基于统计学的方法，主要是通过提取图像中光照、位置等特征向量，来进行图像的重构，来判断这些特征所表现的否是被识别的物体，优点在于识别速度较快，缺点在于对于动态的图像配准识别较差。

2.2.4 基于神经网络

基于神经网络的图像配准识别方法，主要是采用机器学习的方案，就是通过多张图像进行模型的训练，然后对其参数进行调整，然后对所要识别的图像进行分类，来判断它是否是被识别的图像，这样的算法识别成功率较高，但是运算时间较长。

2.2.5 基于深度学习

深度学习也是一种复杂的神经网络，主要是采用一些低层的特征来进行高层特征的表示，它对于计算性能要求较高，可以利用空间的相对关系来进行降维，使得训练性能提升，结合实际情况下的深度学习，效率非常高。

3 图像配准的特征提取方法分析

3.1 SIFT特征提取算法

对图像变化保持稳定的特征描述符称为不变量，比如对图像的旋转保持稳定的不变量称为旋转不变量，对尺度缩放保持稳定的不变量则称为尺度不变量。SIFT特征对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。SIFT算法的实质是检测图像的局部特征-SIFT特征点，然后根据匹配目标的需要进行特征的组合、变换，以形成易于匹配、稳定性好的特征向量—SIFT描述子，从而把图像匹配问题转化为SIFT描述子的匹配问题。SIFT特征提取方法是通过强化学习，来对传统的特征提取进行优化，然后可以有效的解决离散系统和非线性系统中出现的问题，主要包括特征迭代和值迭代两种形式，特征迭代主要是通过特征评价与改进的方法，对每一步的特征进行评估，来不断的寻找优化的特征，同时对其进行改良和优化，得到新的权值，生成新的优化函数进行计算，在这个过程当中，评估和改进是循环进行的，最后将会得到一个最优的特征。但是需要注意的是，在最好的运行模式下，相关的一些外部参数条件应当是稳定的，这是非常重要的，如果没有这个条件，就会导致整个特征评估，出现一些意外的情况。值迭代的算法主要是针对于一些方程式的计算，通过最优函数的寻找与控制计算，就能计算出最优的值，它不需要进行控制特征的稳定化，在我们的使用当中必须要注意，无论是迭代特征还是值迭代，都需要对于被控对象的相关特性，尤其是内部特性进行研究，这也是SIFT特征提取的核心特点。

3.2 Brief特征提取算法

Brief的特征提取算法步骤为：（1）给定一副图。（2）对图像做平滑处理。平滑处理，也就是高斯滤波，也就是blur operation，降低图像噪声。平滑处理在BRIEF中很重要。（3）在图像上，选择一个局部块区patch，用表示，它的大小是SxS像素，在p上面提取BREIF特征。一个BRIEF特征，就是若干个测试组成的字节（bit）串。构造特定的[x，y]对，做测试，就得到了BRIEF特征。Brief特征提取的构建模型是极为复杂的，通过中间层可以对于优化函数进行逼近，在对于图像识别配准进行最优化计算时采用的是单隐层的Brief特征提取网络，同时选择双极性的转移函数来进行计算，这样有利于将内部的关系进行提炼，权值的调整速度也会更快，这样就使得整个系统的数量速度变快，响应速度较高，但是对于节点数要进行控制，如果节点数过少的话，就可能会导致系统的信息分析能力较差，无法对于样本中的规律进行有效的提取，就会导致读取失败，如果节点足够多的话，就很可能会导致整个系统的收敛速度较慢，引起系统出现自身的稳定性误差，造成严重的干扰，所以我们应当综合性的进行评估，选取合适的节点数。Brief是以特征提取系统来进行操作的计算机运行模式，是面向操作层的，是特征提取初级阶段的产物，主要是进行数据运算而不是管理。能够快速的进行特征提取的高度集中和统一处理，重要标志是在其中有一个非常庞大的中央数据库，它可以进行分布式处理，对于快速性的识别，有着极为关键的作用。对于特征提取处理的系统优化要求更高，对于系统设计的结构性要求也较高，因此其可以方便工作人员使用，因其符合他们的思维习惯，同时强调自顶而下的设计，能够实现高效率的运转。

3.3 ORB特征提取算法

ORB算法其实就是在FAST算法加上BRIEF算法的基础上得到的，因此，我们在这里只需要了解到ORB算法的实现步骤即可。1.给定一幅图，先用oFAST算法，检测关键点的位置。所谓oFAST，就是orientation的FAST，增加了计算关键点的角点方向。2.对这个图，用FAST算法，找出关键点的位置。3.对于关键点，用Harris角点检测，选取前N个最好的点。4.如果处理的图像是多尺度图像，我们需要对原来的图像作金字塔，然后对每个图都进行步骤2和3的处理。5.对于每个角点，根据Intensity Centroid算法，计算角点的方向。ORB算法从经验中进行自学习，每一个自学习探索的过程就相当于一次训练，在训练中，ORB算法探索外界环境，并接受外界環境带来的奖励，直到达到目标状态。训练的目的是要强化ORB算法的“大脑”（就用Q来表示），训练的次数越多，则Q就可以被优化的更好。我们可以构建一个以状态为行，特征为列的关于“奖励”的矩阵R。类似地，也同时构建一个矩阵Q，用来表示ORB算法已经从经验中学到的知识，Q与R是同阶的，其行表示状态，列表示特征。由于刚开始时ORB算法对外界环境一无所知，因此矩阵Q应初始化为零矩阵，后采用Q学习算法的转移规则，逐步完成矩阵的。当Q被训练强化后，ORB算法便很容易找到达到目标状态的最快路径了。

通过SIFT和ORB的方法，都可以对于自适应的特征提取模式进行求解，同时它们应该通过对象的一些基本特性，来对其进行优化，得到一个符合实际的答案，其中SIFT主要是通过方程计算来进行最优化的，在得到最优化的结果之前，每一步可能只是部分的稳定，但并不一定是全局化的稳定，所以求出的答案也不一定是总体的优化方案，但是对于ORB来说，它主要是采用每一步特征提取优化的方式来进行最优化特征提取的，所以，在刚开始就对系统有一定的要求，自适应的特征提取，主要是在初始条件稳定的情况下，对于每一步的代价函数来进行计算，在这个算法进行计算的过程当中，对于初始条件进行选择是极为重要的，它对于整个算法能否在较短时间内得到正确的答案，收敛到稳定的区域内是起着关键性的作用的，因此这个算法主要困难在于需要在一开始就找到一个稳定的特征提取模式。

4 基于神经网络的自适应图像配准识别优化探讨

4.1 BP神经网络概述

BP神经网络主要包括输入层、中间层和输出层，主要通过梯度下降法来进行误差的快速下降，使得整个系统能够尽快的收敛，最终使得误差减小，得到最优化的识别配准结果。输入层的神经元负责对于输入的信息进行处理，同时把它们传递给了中间层内的神经元，中间层对于信息可以进行分析，根据权重情况和相应的函数来对信息进行处理，它们主要是采用隐藏式的结构，从外部是无法进行感知的，输出层可以将中间层计算好的信息进行输出，这样就实现了正向的学习，最后由总的输出层来把结果进行输出，在实际运行当中，输入层的权值不变，不断的对于中间层的权值进行更新，如果实际的输出和期望差距比较大的时候，就可以产生一定的误差，这样误差就会反向传播，按照原有的方式进行各层的修正，把每一层的权重都进行调整，调整使其更加满足实际的要求，信息经过正向的传递，然后误差进行反向运输，这样就可以对各层的权值进行不断的调整，这样就完成了神经网络的一次训练过程，最后将会使得误差越来越小，信息越来越准确，这个过程的完成，主要是将训练之后的误差达到使用的需求或者是达到一定的训练次数才停止。

4.2 自适应图像配准识别优化技术

自适应图像配准识别是极为重要的一个发展方向，自适应图像配准识别以图像配准识别为基础，同时实现了最优控制和自动控制的问题，它主要是根据贝尔曼的优化方式，来使得非线性系统和约束性较多的系统，都能够实现最优控制，不管初始状态是如何的，经过这样的优化都可以得到最优的策略。但是，对于实际的识别操作来说，图像配准识别可能会存在一些问题，在这样的情况下，就需要采用神经网络的方式对其进行学习与训练，使得图像配准识别能够实现强化学习，同时，可以近似的构造代价函数来进行规划，使得最后的结果更加满足于实际的需求。自适应的图像配准识别主要是用函数逼近的方式来进行，最优化控制的主要是采用神经网络的方法，主要由评判、模型和执行三个部分来组成，它们都是用神经网络来进行实现的，主要可以采用相关的函数来对于内部的权重进行调整，从而达到分类的目的，对于整体进行逐次的优化，最终得到全局的优化目标函数，通过神经网络建模的方法，可以有效的对于自适应问题进行图像配准识别，所以神经网络依然是当前很长一段时间内控制科学的发展方向。

當一个控制模型在进行作用之后，可能会受到环境的影响，同时对于自身的评判体制造成一定的影响与反馈，同时利用设定好的函数结构或神经网络，就可以对执行函数和平方函数之间的误差来进行计算，实现最终的误差减少逐渐逼近，如果是先进行判断后执行的话，就需要使得评判函数最小，主要是通过贝尔曼的优化原因来进行的，这样可以尽量的减少系统的计算时间，同时对于系统的不确定的变化进行有效的响应，对于一些权重与参数可以有效的进行调整，本文利用控制函数的神经网络优化，最终得到了自适应图像配准识别结果，这样就完成了一个控制执行和评判的过程。一般在这样的框架下，可以实现较好的优化功能，主要包括评价模型和执行三个部分，这三个部分主要在于能够实现完整的评价改善循环，评价模块可以评估执行模块的实际效能，对于代价函数进行优化与修正，执行模块可以产生实际的动作来对所改进的策略进行执行，同时也能有效的对于被控对象的情况进行反应，将其进行运行之后，可以通过不同的反馈，来对实际评价与运行的情况进行确定，同时，利用相关的神经网络、强化学习等算法，来实现函数的近似与优化，这样就能对于系统的内部参数进行实时的更新，这里主要是采用贝尔曼的优化方式来进行更新的。

5总结

随着计算速度和准确率的不断提升，红外光图像配准处理的应用越来越普遍，同时推动了图像识别技术的发展速度，图像处理虽然有很多无法克服的缺点，但是借助这一重要的科技发展趋势，也在一步一步推动各行业蓬勃发展，让生活更加智能化。图像处理大大的减少了人力的成本，提升了工作的效率，图像处理是重要的技术基础，它在工业生产领域有着深远的影响。

参考文献：

[1]田伟刚.基于点特征的多源遥感图像配准技术.西北工业大学硕士学位论文.2008年

[2]苑津莎.赵振兵.高强等.红外与可见光图像配准研究现状与展望.激光与红外.2009.39（7）：693-699

[3]C. Harris.M. Stephens.A combined corner and edge detector.In：Proceedings of the Fourth Alvey Vision Conference.Manchester：the University of Sheffield Printing Unit.1988.pp147～151

[4]S.M. Smith.J.M. Brady.SUSAN-A new approach to low level image processing.Journal of Computer Vision.1997.23：pp45～78

[5]S. Ranade.A. Rosenfeld.Point pattern matching by relaxation.Pattern Recognition.1980.12：pp269～275