基于分块信息熵和特征尺度的图像配准算法

高飞， 王聪， 矫东航

(北京理工大学 信息与电子学院，北京 100081)



基于分块信息熵和特征尺度的图像配准算法

高飞， 王聪， 矫东航

(北京理工大学 信息与电子学院，北京 100081)

针对当前图像配准技术中特征点的检测和匹配存在的问题，提出了一种基于分块信息熵和特征尺度的图像配准算法.通过对图像进行分块，结合每块图像的信息熵，改善了Harris-Laplace算子提取的特征点分布过于集中的问题.通过比较角点响应函数的值，剔除了特征点中的冗余点.通过结合特征点的尺度信息、Hu矩和双向匹配策略，提高了初始匹配点对的准确率.仿真结果表明，改进的配准算法可以实现高精度的图像配准，对图像的几何变换具有很强的鲁棒性.

图像配准；信息熵；Harris-Laplace算子；特征尺度；Hu矩

图像配准是指将不同传感器、时间、视角以及不同拍摄条件下获得的两幅或多幅图像进行配准，以确定图像间的相对位置的过程[1].当时间、视角、环境以及传感器的种类，有一个或多个发生变化时，对同一场景所拍摄的图像一般会存在不同的灰度失真和几何形变，因此需要使用图像配准技术对这些图像进行配准.

图像配准方法一般可以分为两大类：基于区域的配准方法和基于特征的配准方法[2].基于区域的方法通常存在抗噪性差、计算复杂度高、对图像的旋转和缩放比较敏感的问题，很难实现配准的稳定性、实时性、通用性.基于特征的方法可以很好的克服前者的缺点，其中应用最广泛的是基于特征点的配准方法.图像中的特征点比较少，因此能大大减少配准过程的计算量；而且特征点具有信息含量高、局部不变等特点，对灰度变化、噪声干扰和图像形变等都有较好的适应性.基于特征点的图像配准算法的流程图如图1所示.

基于特征点的配准算法主要有4个步骤[3]：特征点的检测、特征点的匹配、图像空间变换估计以及图像的重采样，其中特征点的检测和匹配是最关键的两部分.提取特征点的好坏及其分布是否合理，直接关系到后续特征点的匹配以及图像配准的精确性，而能否快速建立稳定的特征点对应关系，也关系到配准的速度以及准确度.

Harris-Laplace算子[4]是经典的特征点检测算子，然而其检测到的特征点分布过于集中且存在冗余点.为解决这些问题，本文结合图像的信息熵[5-6]及分块策略[5]，改进了Harris-Laplace算子.在特征点匹配方面，本文结合特征点的尺度信息、Hu矩[7]及双向匹配策略[8]，提高了初始匹配点对的准确率，同时有效的实现了抗图像的几何变换.

1 Harris-Laplace特征点检测算法

Mikolajczyk和Schmid结合Harris算子[9]、尺度空间理论[10]及高斯拉普拉斯函数(LoG)，提出了Harris-Laplace角点检测算法.该算法的步骤如下：

① 将灰度图像I(x，y)与微分尺度为sσn的二维高斯核做卷积建立图像尺度空间：

I(x,y,s σn)=I(x,y)＊G(x,y,s σn).

(1)

(2)

式中：＊表示卷积运算；G(x，y，sσn)表示微分尺度为sσn的二维高斯核函数；I(x，y，sσn)表示与微分尺度sσn相对应尺度空间中的图像；s为一常量，一般取经验值0.7；σn为积分尺度,n=1,2,…,N,σn=εσn-1；ε为尺度空间的步长，一般取1.4.

② 计算尺度空间中图像I(x,y,sσn)的自相关矩阵Mn及角点响应函数Rn：

(3)

Rn=det(Mn)-k(trace(Mn))2.

(4)

式中，k为一个经验值，通常取0.04～0.06；Lx和Ly如下所示：

Lx=I(x，y)*Gx(x，y，sσn).

(5)

Ly=I(x，y)*Gy(x，y，sσn).

(6)

式中Gx(x,y,sσn)、Gy(x,y,sσn)分别为G(x,y,sσn)在x、y方向上的偏导.

③ 当图像I(x,y,sσn)中某点的Rn(x,y)为局部极大值，且大于阈值Tn时，则该点就是图像I(x，y)在微分尺度sσn下的一个特征点. 若Rn的最大值为Rnmax，则Tn一般取值为0.05Rnmax.

④ 经上述步骤处理后，会出现位置和尺度差不多的特征点代表同一局部结构以及一个特征点代表不同的尺度的现象，即存在很多冗余点. 为剔除这些冗余点，引入了LoG算子：

(7)

验证图像在不同尺度下的特征点，若该点满足：

i∈{l-1，l+1}.

(8)

则将该点作为最终的特征点；否则，抛弃该点.

Harris-Laplace算子对平移、旋转、缩放、灰度变化及噪声干扰等具有较强的鲁棒性.因此，该算子可以很好的用于图像匹配中[11-13].

图2为采用Harris-Laplace算子检测到的图像的特征点. 图2(a)中白色的点表示特征点，可以看出该算法提取的特征点分布过于集中，一般只在图像特征特别明显的地方. 图2(b)中圆的中心点表示特征点，圆的大小表示其中心点所代表的尺度，由图可知该算法并不能完全去除冗余点.

2 结合信息熵改进的Harris-Laplace算法

图像所含信息量的大小可以利用图像的信息熵来衡量. 设灰度图像I(x,y)具有k个灰度级，其中第i(i=0～k-1)级灰度出现的概率为pi，则该图像的熵为

(9)

当pi=0时，可令pilgpi=0.

针对Harris-Laplace算子提取的特征点分布过于集中及存在冗余点的问题，本文结合信息熵理论及分块策略对Harris-Laplace算子进行了如下改进：

① 仿照Harris-Laplace算子建立了灰度图像I(x,y)的尺度空间，I(x,y,sσn)表示与微分尺度sσn相对应尺度空间中的图像，如式(1)所示.

② 将I(x,y)，I(x,y,sσn)以同样的分解方式分别分解成M块，与I(x,y)，I(x,y,sσn)对应的各子图像块分别记为Ii(x，y)，Ii(x,y,sσn)，i=1,2,…,M.

③ 计算Ii(x,y)的信息熵Hi及图像I(x,y)的信息熵H. 计算Ii(x,y,sσn)的角点响应函数Rin及I(x,y,sσn)的角点响应函数Rn，其中Rin的最大值为Rin,max，Rn的最大值为Rn,max.

④ 计算与Ii(x,y,sσn)相对应的局部阈值T1及全局阈值T2，T1和T2如下所示：

T2=0.005Rn,max.

(11)

若Ii(x,y,sσn)中某点的Rin(x,y)为局部极大值，且同时大于T1和T2，则认为该点为图像I(x,y)在微分尺度sσn下的一个特征点.

由于原Harris-Laplace算子只采用全局阈值来确定特征点，因此特征点的分布很集中.本文采用局部阈值可以使特征点分布比较均匀，再结合全局阈值又避免了在图像的平坦区域提取过多的特征点.

⑤ 在得到图像I(x,y)在各个尺度下的特征点后，可以先利用LoG算子剔除一些冗余的特征点，对残余的冗余点可以再分成如下两步进行剔除：

对于一个特征点代表不同的尺度的情况，比较不同尺度下该特征点角点响应函数的值，以其中最大的值所对应的尺度，作为该特征点的尺度；

3 改进的特征点匹配算法

M.K.Hu[7]在1962年提出了表征图像区域几何特征，具有旋转、平移和尺度不变性的不变矩. 一幅M×N的灰度图像I(x,y)，其(p+q) 阶标准矩和中心矩分别

(12)

(13)

归一化中心矩ηpq的定义为

ηpq=μpq/(μ00ρ).

(14)

式中ρ=(p+q)/2+1,p+q=2,3,….

Hu利用二阶和三阶归一化中心矩构造了具有平移、旋转和尺度不变性的7个不变矩M1～M7.

文献[14]中提出的基于特征点Hu矩的图像配准算法是将Hu矩扩充成10个不变矩；以特征点邻域窗口的扩充的Hu矩作为特征点的描述符；计算待配准图像上每个特征点与参考图像上某个特征点P的描述符的欧氏距离，取距离最小的点作为P点的对应点.据此找到参考图像中所有的特征点在待配准图像上的对应点，建立特征点之间的对应关系.

然而文献[14]在计算扩充的Hu矩时，所选窗口的大小是固定的，因此算法不能抗尺度变化.另外只找出参考图像上的每一点在待配准图像上的对应点，可能会出现参考图像上的多个特征点对应待配准图像上的同一个特征点的现象.针对这些问题，本文提出的改进方法如下：

① 采用本文改进的Harris-Laplace算法提取图像的特征点，同时记录各个特征点所在的微分尺度sσn. 计算特征点邻域窗口的扩充的Hu矩作为该特征点的描述符，为了保证结果的精确性，特征点T的邻域选为圆形区域：中心为T点，半径为6sσn.

② 实验发现上述步骤中所得T点的10个不变矩相互之间的数值相差很大，有些能达到几个数量级.为了使每个不变矩都有相同的权重，假设以参考图像上的特征点P作为参考点，其扩充的Hu矩为(M1,M2,…,M10)，则对于待配准图像上扩充的Hu矩为(N1,N2,…,N10)的特征点Q，这两个点描述符之间的距离可以表示为

通过此式计算出待配准图像上任意一个特征点与特征点P之间距离，若待配准图像中的特征点S与P点的距离最近，则点S就是P点在待配准图像上的对应点.据此找出参考图像中各个特征点在待配准图像上对应的特征点.

③ 为了提高特征点匹配的可靠性，采用双向匹配策略.即首先找到参考图像中每个特征点在待配准图像上对应的特征点，再找到待配准图像中每个特征点在参考图像上对应的特征点.假设参考图像上的特征点P在待配准图像上的对应点是S，待配准图像上的特征点S在参考图像上的对应点是P′，若P与P′是同一个点，则认为P点与S点是正确的匹配点对，否则将这对点舍弃.

按照以上步骤可以剔除大量的误匹配点对，提高了特征点匹配的可靠性.

4 实验结果与分析

综合上述在特征点检测和匹配中改进的算法，按照如下步骤实现图像配准.

① 采用改进的Harris-Laplace算法提取参考图像和待配准的图像的特征点.其中尺度空间为10个，微分尺度的向量为s(σ0,εσ0,…,ε9σ0)，s=0.7,σ0=1.4,ε=1.4；

② 采用改进的特征点匹配方法，建立参考图像与待配准图像特征点之间的对应关系；

③ 采用RANSAC算法[15]找到最终的匹配点集，再利用最小二乘法确定图像之间的空间变换参数，最后对待配准的图像进行重采样实现图像配准.

图3为本文改进的Harris-Laplace算子检测到的图像的特征点.实验测得图3(a)中的特征点数为162，图2(a)中的特征点数为158，对比两图可知本文算法提取的特征点分布更加均衡，也有效避免了在纹理信息不明显的地方提取到过多的特征点，从而有利于之后配准过程的进行；由图3(b)和图2(b)的对比可以看出，本文的算法能有效去除图像的特征冗余点，提高图像的配准速度.

文献[14]中的基于特征点Hu矩的配准算法与本文改进的特征点匹配算法可以通过匹配点对的准确率进行比较.匹配点对的准确率η[5]是指在利用特征点匹配算法得到初始匹配点对之后，再利用RANSAC算法剔除其中的外点得到的最终的匹配点对的数目Nr与原有的数目N0之间的比值为

η=Nr/N0.

(16)

图4显示了以20幅图像作为测试对象，在发生旋转、尺度变换及添加均值为0的高斯噪声时，利用文献[14]中的匹配算法和本文改进的匹配算法所得的匹配点对的准确率的比较结果. 由图4(a)、4(c)可知当图像发生旋转或加入高斯噪声时，本文匹配算法匹配点对的准确率要比文献[14]中的算法高，本文算法的性能更好. 由图4(b)可以看出，文献[14]中的算法完全不抗尺度变换，而本文的算法在图像发生尺度变化时，依然可以得到比较准确的匹配点对.

图5中左上角为参考图像，下面是待配准的图像，图中白色的连线表示采用RANSAC算法找到的参考图像与待配准图像的最终匹配点对.

在得到最终的匹配点对后，就可以求出图像之间的空间变换参数. 表1反应了图5中参考图像与待配准图像空间变换参数的实际值与测试值的比较结果，其中旋转量以逆时针为正，行偏移向下为正，列偏移向右为正.实验结果表明各个参量的误差都在0.5%之内. 图6显示了图5中两幅图的配准结果，可以看出本文的算法可以很好地实现图像的配准.

表1 空间变换参数的比较结果

5 结 论

针对图像特征点检测和匹配中一些存在的问题，提出了一种基于分块信息熵和特征尺度的图像配准算法.在检测特征点时改进了Harris-Laplace算法，提出了结合信息熵的分块处理算法，使特征点的分布更加均匀且避免在图像纹理不明显的地方提取过多的特征点，同时进一步剔除了冗余点；在进行特征点匹配时，依据特征点及其所在尺度，结合扩充的Hu矩和双向匹配策略，提高了初始匹配点对的准确率，同时对几何变换以及噪声干扰有着很强的鲁棒性.

实验表明文中改进的算法在特征点检测和匹配时都取得了良好的效果，对于实现图像的配准有着重要的意义.

[1] Brown L G. A survey of image registration techniques[J]. ACM Computing Surveys (CSUR)， 1992，24(4):325-376.

[2] 王鲲鹏，徐一丹，于起峰.红外与可见光图像配准方法分类及现状[J].红外技术，2009，31(5):270-274.

Wang K P， Xu Y D， Yu Q F. Classification and state of IR/visible image registration methods[J]. Infrared Technology， 2009，31(5):270-274. (in Chinese)

[3] 廖斌.基于特征点的图像配准技术研究[D].长沙:国防科学技术大学， 2008.

Liao Bin. The research of image registration technology based on feature points[D]. Changsha: National University of Defense Technology， 2008. (in Chinese)

[4] Mikolajczyk K， Schmid C. Scale & affine invariant interest point detectors[J]. International Journal of Computer Vision， 2004，60(1):63-86.

[5] 吴泽鹏，郭玲玲，朱明超，等.结合图像信息熵和特征点的图像配准方法[J].红外与激光工程，2013，42(10):2846-2852.

Wu Zepeng， Guo Lingling， Zhu Mingchao， et al. Improved image registration using feature points combined with image entropy[J]. Infrared and Laser Engineering， 2013，42(10):2846-2852. (in Chinese)

[6] Chuang Y C， Fan S K S. An image registration method based upon information theorem on overlapped region[J]. Applied Mechanics and Materials， 2011，58:1985-1989.

[7] Hu M K. Visual pattern recognition by moment invariants[J]. IEEE Transactions on Information Theory， 1962， 8(2): 179-187.

[8] 贺柏根，朱明.改进的抗全仿射尺度不变特征变换图像配准算法[J].光学精密工程，2011，19(10):2472-2477.

He B G， Zhu M. Improved fully affine invariant SIFT-based image matching algorithm[J]. Guangxue Jingmi Gongcheng(Optics and Precision Engineering)， 2011，19(10):2472-2477. (in Chinese)

[9] Harris C， Stephens M. A combined corner and edge detector[C]∥Proceedings of the Fourth Alvey Vision Conference. Manchester， UK:[s. n. ]， 1988:147-151.

[10] Lindeberg T. Scale-space theory: a basic tool for analyzing structures at different scales[J]. Journal of Applied Statistics， 1994，21(1-2):225-270.

[11] Wang W， Luo D， Li W. Algorithm for automatic image registration on Harris-Laplace features[J]. Journal of Applied Remote Sensing， 2009，3(1):033554.

[12] 李伟生，王卫星，罗代建.用Harris-Laplace特征进行遥感图像配准[J].四川大学学报:工程科学版，2011，43(4):89-94.

Li W S， Wang W X， Luo D J. Remote sensing image registration by using Harris-Laplace features[J]. Journal of Sichuan University: Engineering Science Edition， 2011，43(4):89-94. (in Chinese)

[13] Dai X， Zhang H， Shu H， et al. Blurred image registration by combined invariant of legendre moment and Harris-Laplace detector[C]∥Proceedings of the Fourth Pacific-Rim Symposium on Image and Video Technology (PSIVT2010). Singapore:[s. n. ]. 2010:300-305.

[14] 杨占龙，郭宝龙.基于特征点的图像配准与拼接技术研究[D].西安:西安电子科技大学，2008.

Yang Zhanlong， Guo Baolong. Research on image registration and mosaic based on feature point[D]. Xi’an: Xidian University， 2008. (in Chinese)

[15] Fischler M A， Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM， 1981，24(6):381-395.

(责任编辑：刘雨)

An Image Registration Algorithm Based on Block Information Entropy and Characteristic Scale

GAO Fei， WANG Cong， JIAO Dong-hang

(School of Information and Electronics， Beijing Institute of Technology， Beijing 100081， China)

To solve the problem of feature point detection and matching in the image registration techniques at present, an improved image registration algorithm was proposed based on block information entropy and characteristic scale. By dividing the image into blocks and combining the information entropy of each block, the concentrated distribution problem of feature points extracted by the Harris-Laplace operator was improved. By comparing the value of corner response function, redundant points in the feature points were eliminated. By combining the scale information of feature points with Hu moments and bidirectional matching strategy, the accuracy of the initial matching points was enhanced. Simulation shows that the improved registration algorithm can realize high-precision image registration and possesses strong robustness with the geometric transformation of image.

image registration; information entropy; Harris-Laplace operator; characteristic scale; Hu moments

2014-05-20

高飞(1959—)，女，教授，博士生导师，E-mail:gaofei@bit.edu.cn.

王聪(1992—)，男，硕士生，E-mail:caomujieming@163.com.

TN 919

A

1001-0645(2016)11-1194-06

10.15918/j.tbit1001-0645.2016.11.018