基于特征匹配的视频稳像算法

吉淑娇，朱 明，胡汉平，2，邢笑雪

(1.中国科学院长春光学精密机械与物理研究所，长春130033;2.中国科学院研究生院，北京100039;3.长春大学电子信息工程学院，长春130022)

机载成像设备安装在军用侦察系统，无人车辆导航系统以及一些民用的监控系统上，由于工作环境恶劣使得这种摄像载体所摄取的视频存在不确定的抖动，因此有必要采用电子稳像技术去除抖动，获得高质量的稳定视频序列。

电子穏像技术关键是运动矢量的提取。精度高速度快的特征法是运动矢量估计算法中较常用的算法［1－2］。笔者采用基于特征点的匹配进行运动矢量估计。该算法主要采用分区Harris的特征点检测方法，将检测出的特征点利用距离准则剔除误匹配点。将正确匹配的特征点代入仿射模型求解出运动矢量，再进行运动滤波，分离出抖动分量和有意运动分量。最后进行逐帧运动补偿，实现图像的平移、旋转补偿。算法流程如图1所示。

图1 电子稳像系统的算法流程Fig.1 The algorithm process of Electronic stability system

1 运动矢量的提取

1.1 角点的提取和特征匹配

在基于特征的图像配准过程中，角点提取具有非常重要的意义。角点或点特征是图像的诸多特征如亮度、颜色信息、边缘、直线以及轮廓等直接特征中较能代表图像特点的特征。比较常用的角点提取算子有sift以及其升级的surf算子［2］、KLT算法［3］、Harris算子及其各种改进的算法［4－5］等。由于机载成像设备所摄取的视频序列噪声较多，因此笔者采用抗噪性能较强的Harris算子提取特征点。算子的核心为

当λ1，λ2都是较大的点时，该点视为特征点。为使特征点均匀分布，采用分区的角点检测方法。

特征匹配采用基于模板的思想，以参考帧图像的特征点为中心，构造一个大小合适的模板图像作为特征窗，利用SAD(最小像素差之和)准则，在当前帧中的一个较大搜索区域内进行搜索，得到匹配图像块中心点即为对应匹配点，搜索区域及特征窗大小要根据图像实际情况进行调整。

1.2 剔除误匹配点

由于受噪声干扰、被遮挡等原因，在特征点匹配过程中部分特征点不能正确匹配。随机抽样一次性RANSAC是较常用的剔除误匹配点的算法，但由于其计算量稍大，采用文献［1］的距离不变准则剔除误匹配特征点。

图2给出了一个距离准则的示意图，图2(a)在参考帧中选取6个特征点构成的特征点集，以点1为例，其余5个点到它的距离构成一个稳定的结构，在摄像机运动前后应该保持不变。图2中除了d15和d'15的距离不等，其余大部分特征点都满足距离准则，故可以判断点1和1'是正确匹配点对;而对于点5，它到其余各点的距离都不相等，故可判断5和5'为误匹配点对.

描述算法时，可设定距离差的阈值，当稳定结构中有半数以上距离小于阈值，就可认为是正确匹配点对，阈值越小所提取特征点对越准确。

图2 距离准则示意图Fig.2 Distance criterion schematic diagram

1.3 实验

实验以30帧/s的帧率采集到的236×32像素0的80帧航拍图像为研究对象，计算机采用酷睿2代E7500处理器，CPU主频2.93 GByts，内存2 GByts，Windows XP操作系统。首先对所采集图像做剪切处理，以免特征点匹配移除场景，无法进行正确匹配。

图3为该视频序列的参考帧序列提取的特征点以及匹配的特征点显示，正确匹配点标记“o”，错误匹配点标记“+”。

图3 参考帧的特征点显示Fig.3 Feature points of Reference frame

1.4 计算运动矢量

采用四参数仿射变换模型，对运动参数进行估计。确定参考帧和当前帧的正确匹配的特征点对的坐标后，分别代入如下仿射模型:

其中(Xi，Yi)和(Xi'，Yi')分别代表参考帧和当前帧的特征点坐标。参数s代表变焦系数，通常取1;θ为旋转角度;Δx，Δy分别代表水平和垂直位移。

每对特征点都可得到2个线性方程，N个特征点就会有2N个线性方程，而未知量就3个即:θ，Δx，Δy。系统为超定方程组，采用最小二乘法即可求得运动矢量的值。实验所求得的运动矢量为M1=［3.008 7;6.193 6;1.247 7］，通过以上方法，可求得该实验的80帧图片相邻帧的运动矢量79个。

2 运动滤波

对所求得的运动矢量直接用于运动补偿，会导致补偿过度等问题，因此出现了很多对运动矢量进行处理的方法。文献［6］采用一阶线性回归的方法分离出抖动矢量，文献［7］采用支持向量机的方法，将运动矢量分为可靠的和不可靠矢量，然后对可靠运动矢量进行处理。更多的运动矢量处理方法是采用各种运动滤波的方式。

运动滤波的目的就是分离出有意运动和频率较高的随机抖动。运动滤波比较常用的方法有均值滤波、Kalman滤波和粒子滤波等。笔者采用基于统计的Kalman滤波方法。

2.1 Kalm an滤波

Kalman滤波是能从被提取信号有关的量，测量中通过算法估计出所需要的信号，估计过程用到了状态方程、测量方程、系统噪声和两侧噪声的统计特性。这里，状态矢量为

测量矢量为

对上面的状态矢量和测量矢量列写出下述3种方程。

状态方程和量测方程:

预测方程:

A为状态矩阵，H为观测矩阵。其取值分别为

w(k)，v(k)都为均值为零、方差分别为Q和R的高斯噪声。

2.2 实验结果

该实验结果为Q=0.01，R=1以及Q= 0.001，R=1时的结果。对滤波前后的运动矢量进行对比，结果如图4所示:

图4 取值不同的滤波曲线Fig.4 Curve of filter w ith difference value

所取Q值不同，即所取过程噪声的方差不同，滤波效果有较大差别。Q值很大，会影响平滑运动矢量，补偿效果会很差;Q较小，滤波结果平滑，但补偿结果和真实扫描的结果之间存在差异。

3 运动补偿

3.1 传统补偿算法

补偿方法包括逐帧补偿和固定帧补偿。固定帧补偿容易产生边缘发散，因此采用逐帧补偿。传统的补偿方式可用滤波后得到比较平滑的运动矢量MVS对参考帧所有坐标进行仿射变换。

3.2 优化的运动补偿算法

参考帧坐标点取值为X1到行高，为Y1到列宽，而对所有坐标都进行的是一样的旋转平移变换比较耗时。即:

因此只对图像首行和首列的像素的旋转结果计算出来，其余行列的像素进行简单的加减运算就可以计算出运动矢量，节省了计算时间。

在补偿过程中，由于运动矢量都为浮点类型数值，变换后的坐标值一般不在整数格上。因此采用插值法将当前坐标的像素值赋给变换之后的坐标点上。考虑浮点数的计算比较耗时，因此采用最近邻域插值法。

对运动补偿后出现的黑边即“无定义区”，笔者采用简单的图像剪切方式。补偿后的参考帧如图5所示。

图5 补偿后的参考帧Fig.5 Compensation of reference frame

4 穏像效果评价

穏像效果可通过输入输出视频序列的前后两帧图像差值或峰值信噪比等评价。采用图像差值来验证效果。差值如图6所示。

图6 视频序列帧间差值Fig.6 Video sequence fidelity comparison between frames

5 结论

笔者采用基于特征匹配的视频稳像方法，通过分区的Harris算法提取特征点，并利用正确匹配的特征点坐标，求取帧间运动矢量。采用Kalman滤波方法对所提取的进行矢量进行滤波，去除了抖动分量。最后利用改进的逐帧补偿方法实现运动补偿。为了验证穏像的效果，对输入视频及输出视频的前后两帧进行减法运算，结果表明采用笔者算法所做的稳像算法，取得了一定的效果。

［1］朱娟娟，郭宝龙.一种鲁棒的电子稳像系统［J］.西安电子科技大学学报:自然科学版，2007，34(3):418－422.

ZHU Juan－juan，GUO Bao－long.Electronic image stabilization system based on global features tracking［J］. Journal of Xidian University:Science and Technology，2007，34(3):418－422.

［2］Huang JC.Automatic feature－based globalmotion estimation in video sequences［J］.IEEE，2004，50(3): 911－915.

［3］Marius Tico，Vehvilainen M.Constraintmotion filtering for video stabilization［C］//IEEE International Conference on Image.2005:569－572.

［4］GAO Peng－qi，YAN Lei，ZHAO Hong－ying.A newmethod for stabilization of video images with large moving object［C］//Proc SPIE 6833，68330H.2007:476－490.

［5］彭健，汪佩，贾彦茹.一种用于电子稳像的运动矢量处理方法［J］.电子测量与仪器学报，2010，24(6): 580－584.

PENG Jian，WANG Pei，JIA Yan－ru，Motion vector processing method for electronic image stabilization［J］. Journal of Electronic Measurement and Instrument，2010，24(6):580－584.

［6］陈正华，章毓晋.基于运动矢量可靠性分析的视频全局运动估计［J］.清华大学学报:自然科学版，2010，50(4):623－627.

CHEN Zheng－hua，ZHANG Yu－jin.Global motion estimation based on the reliability analysis ofmotion vectors［J］.Journal of Tsinghua University:Science and Technology，201050(4):623－627.

［7］王斌，赵跃进.基于电子穏像跟踪技术的运动滤波算法［J］.光学精密工程，2009，17(1):202－206.

WANG Bin，ZHAO Yue－jin.Motion filtering algorithm for tracking technology based on image stabilization［J］.Optics and Precision Engineering，2009，17(1): 202－206.