一种基于特征光流的角点匹配算法*

曹倩倩，蔡光程(.宿州学院数学与统计学院，安徽宿州34000; .昆明理工大学理学院，昆明650500)

一种基于特征光流的角点匹配算法*

曹倩倩1，蔡光程2
(1.宿州学院数学与统计学院，安徽宿州234000; 2.昆明理工大学理学院，昆明650500)

摘要:提出了一种基于特征光流的角点匹配算法.首先，获取经过均匀化处理的特征角点;然后，考虑角点处的局部光流，求解角点处的光流场，从而得到角点处的粗略光流失量，实现了图像角点间的近似匹配;最后，把特征光流作为约束条件，根据两帧图像角点集之间的坐标关系，排除非正常角点，从而完成对特征角点的精确匹配.仿真实验表明:算法在减少计算量的同时可以提高匹配精度，进而实现高精度运动目标跟踪.

关键词:角点匹配;光流估计;仿射变换;运动目标检测

所谓的特征点匹配［1］，指的是在两帧图像的特征点集之间建立某种几何映射和对应关系.由于在实际操作过程中噪声、非刚性映射等情况的存在，使得特征点匹配的难度加大.图像的光流场［2］反映了图像上每一点灰度的变化趋势，是带有灰度值的像素点在平面上运动而产生的瞬时速度场，是一种真实运动场的近似估计.但大多数光流法的计算过程复杂，无法满足实时性要求，且抗噪性差.算法同时弥补了光流法和特征点匹配法的不足，是一种精度较高且较为稳定的的运动目标检测算法.

1　光流法的计算

1.1经典的光流法

经典的Horn－Schunck光流法［3］基于亮度常数模型，亮度常数模型表示为

式(1)假设图像上的特征点当Δt→0时，亮度I保持恒定.其中，u(x，y)和v(x，y)表示特征点处光流的水平分量和垂直分量.根据图像连续变化假设，将式(1)左边进行一阶Taylor级数展开，得到了光流基本方程:

方程(2)不足以求解出u，v两个变量的光流场，即只能求出光流沿梯度方向的值.在此基础上，加上不同的附加约束条件就构成了不同的光流计算法.经典的Horn-Schunck光流法认为同一运动物体引起的光流应该是平滑的，即在给定邻域内▽2u+▽2v应该尽可能小，从而提出在光流场(u，v)T上的附加约束条件，

尽可能小，根据亮度常数模型:

也要尽可能小.

于是问题归结为求变分问题

其中，λ为权值.利用变分计算和高斯赛德尔迭代法，可以得到(u，v)T的估值.

1.2改进的光流法

Horn-Schunck光流法在整幅图像上都加了平滑约束条件，但在实际过程中该约束条件并不适用于垂直于边界的方向，会模糊运动物体的边界，但对于灰度变化不是很强烈的地方，则影响不大.因此，在图像灰度变化强烈的地方不应该加上平滑约束条件.设图像的梯度方向(即灰度变化最为强烈的方向)为▽I = (Ix，Iy)T，垂直于梯度的方向(即灰度变化不是很强烈的方向)为▽q=(Iy，－Ix)T.现只将平滑约束条件加在垂直于梯度的方向上.

令▽u=(ux，uy)T，▽v=(vx，vy)T，分别向垂直于梯度的方向做投影，得

则其范数的平方和

问题归结为求变分问题

将式(7)离散化

对式(8)求关于uk，l和vk，l的偏导数，并令其为零，有

由式(9)、(10)可以解出uk，l和vk，l，其递推形式如下:

改进的光流法与Horn-Schunck光流法的递推估计式相似.经典的光流法在整个图像上加平滑约束条件，在用四邻域表示平均速度时，权值都是0.25;改进的光流法则只在梯度的垂直方向上加平滑约束条件，故在用领域表示平均速度时与灰度值有关.

由于光流场的计算过程中使用了泰勒展开，忽略了二阶以上的高阶项，因此不可避免地会产生模型误差.此外，图像连续变化的假设限制了此算法只能计算运动量较小的序列图像，这与实际过程中的大多数场景不相符.采用图像金字塔［4］可以有效地解决这个问题.将图像分解到低分辨层后，序列帧图像之间的运动量将变得足够小，从而满足光流计算的约束条件，实现对变化较快的序列图像进行检测及跟踪.

2　角点检测算法

2.1Harris角点检测算法

Harris角点检测算法［5，6］是由Chris Harris和Mike Stephens在1988年提出的.算法是在Moravec算法的基础上发展起来的，是一种常用的点特征提取算法.算法只用了灰度的一阶差分及滤波，因此对于图像旋转、灰度变化、噪声影响及视觉变换具有较高的稳定性及鲁棒性，且操作简单.

Harris角点检测算法的原理是将所处理的图像窗口w向任意方向移动微小位移(x，y)，则其灰度改变量可定义为

其中，X和Y是一阶灰度梯度，对图像求卷积得

为了提高算法的抗噪性，对图像窗口w进行高斯平滑，

此外定义A=X2w，B=Y2w，C=(XY)w及矩阵.

Harris认为，矩阵M的两个特征值λ1和λ2是自相关函数的主曲率［7］.即如果点(x，y)是角点，那么点的两个特征值都是正值，且是以(x，y)为中心的区域的局部最大值.特征点可用如下响应函数R表示:R = det(M)－k［trace(M)］2

(14)

其中，trace(M)是表示矩阵M的迹，trace(M) =λ1+λ2; det(M)表示矩阵M的行列式的值，det(M) =λ1×λ2; k为实验值，一般取0.04～0.06，δ的最佳取值区间为0.8～1.2.当点(x，y)的R值大于某一个阈值TR时，点所对应的位置点就是角点.

2.2角点的均匀化处理

为了保证角点的均匀分布，首先对图像进行分块，既避免了大面积越界分块的存在，又使得对较大面积图像处理时有同样的效果.然后将每一分块中被检测出的角点按其R值大小进行排序，保留R值相对较大的角点.从而，每一分块中特征显著的角点被检测出来并被保留，初步实现了角点分布的均匀性.但仍可能出现角点在局部区域聚簇的现象，故加入邻近点剔除策略.即选用一个模板对整幅图像进行处理，如果模板下存在不止一个的角点，只保留其R值最大的角点，从而剔除邻近点，避免角点聚簇.

3　基于特征光流的角点匹配算法

3.1初始匹配

为方便叙述，不妨将待匹配的两帧图像称为前一帧与当前帧(前一帧的后一帧).首先用Harris角点检测算法获得图像的角点，并对角点进行均匀化处理.然后利用改进的特征光流法，得到角点处的粗略光流失量［8］.由于光流场的解是建立在一定的附加约束上，具有一定程度的不精确性，所以光流u，v反映了图像在像素点(x，y)处相对于另一幅图像的粗略运动速度，依据u(x，y)和v(x，y)可以求出两帧图像角点集间的近似匹配，即R1(x+u，y+v)与R2(x，y).

3.2校对匹配

3.2.1排除异常光流

由于待匹配的两幅图像之间可能存在旋转，那么对应的角点集之间同样可能存在旋转.假设匹配图像之间的几何变换关系为仿射变换.根据仿射模型公式建立方程:

3.2.2角点的精确匹配

依次比对各角点对之间的距离差，尽可能地排除误匹配的角点，进而完成了角点的精确匹配.

4　实验结果与分析

为验证算法的有效性及稳定性，对摄像机获得的视频序列图像进行了实验，所采用的操作软件为MATLAB7.0，计算机的硬件配置为Pentium2.80主频，内存为DDRII2G.图1为视频序列的连续的两帧图像，第104帧(前一帧)和第105帧(当前帧)，图像大小为640×480.首先采用Harris角点算法对两帧图像进行角点检测，并采取均匀化处理，检测结果如图3、4所示，为计算局部角点出的光流做准备，此处角点数取11个;对检测过后的图像进行经典的光流场分析，得图4;再用改进后的光流法对检测过后的图像进行光流场分析，得图5;最后，仅在角点所在的小区域使用改进后的光流法，从而得到的光流场分析如图6所示.由于原始图像尺寸过大，为方便分析，图4、5、6均只显示了图像的主要部分，且光流场速度扩大了10倍.

由图像分析可知，改进后的光流法较好的保留了运动边界，减少了平滑约束的影响.通过考察连续5帧视频序列图像使用两种光流法的时间也可以看出算法的优势(表1).表1中的时间数据均为CPU时间.

图1　视频序列的第104帧和105帧

图2　第104帧中的角点结果

图3　第105帧中的角点结果

图4　经典的光流法

图5　改进后的光流法

图6　角点处的光流场(局部光流)

表1　连续5帧使用两种光流法的时间比较

5　结论

算法首先用Harris算子提取当前帧和参考帧的角点，并对角点进行均匀化处理;然后将改进后的局部光流法应用在角点所在的局部区域，从而完成了两帧图像角点集之间的粗略匹配;最后，把角点处的特征光流作为约束条件，由两帧图像角点集之间的坐标关系，排除异常角点，从而完成了角点的校对匹配.仿真实验说明，算法能够实现较准确的图像匹配，且提高了匹配的实时性，对于运动目标跟踪有一定的应用价值.

参考文献:

［1］黄波，杨勇，王桥，等.一种自适应的光流估计方法［J］.电路与系统学报，2001，6(4):92-96

［2］金辉，高文.基于特征流的面部表情运动分析及应用［J］.软件学报，2003，14(12):2098-2105

［3］HORN B K P，SCHUNCK B G.Determining Optical Flow［J］.Artificial Intelligence，1981(17):185-203

［4］卫保国，李晶.一种针对大尺寸运动的快速光流算法［J］.计算机应用研究，2012，29(9):3551-3557

［5］KIM J G，MITTRA S K.A Local Relahod for Optical Flow Estimation［J］.Signal Procssing:Image Communication，1997(11):21-38

［6］TISSAINAYAGAM P，SUTER D.Assessing the Performance of Corner detectors for Point Feature Tracking Applications［J］.Image and Vision Computing，2004(22):663-679

［7］王永明，王贵锦.图像局部不变性特征与描述［M］.北京:国防工业出版社，2010

［8］杨常清，王孝通，李博，等.基于特征光流的角点匹配快速算法［J］.光电工程，2006，33(4):85-88

Corner Matching Algorithm Based on Feature Optical Flow

CAO Qian-qian1，CAI Guang-cheng2
(1.School of Mathematics and Statistics，Suzhou University，Suzhou 234000，China;
2.Faculty of Science，Kunming University of Science and Technology，Kunming 650500，China)

Abstract:This paper presents a corner matching algorithm based on feature optical flow.Firstly，the homogenized corners are extracted.Secondly，judging from the improved approach of feature optical flow estimation，the local optical flow estimation on the corners can be calculated，rough optical flow vectors are gained and approximate matching of the corners is achieved.Finally，optical flow estimation of corners is acted as constraint condition.According to the coordinate relations between two corner-sets of images，abnormal corners are excluded.In this way，the corners of the two images can be accurately matched.The simulation experiment shows that the presented algorithm can reduce the computational complexity and raise matching precision so as to precisely track moving object.

Key words:corners matching; optical flow estimation; affine transformation; motion object detection

中图分类号:O151.21

文献标识码:A

文章编号:1672－058X(2015) 08－0028－06

doi:10.16055/j.issn.1672－058X.2015.0008.007

收稿日期:2015－01－02;修回日期:2015－03－21.

*基金项目:宿州学院科研平台开放课题(2013YKF04);宿州学院一般科研项目(2013yyb06);宿州学院一般科研项目(2013yyb07).

作者简介:曹倩倩(1987-)，女，安徽宿州市人，硕士研究生，从事数字图像处理研究.