固定场景下快速电子稳像算法的实现

孙宇超，张　军

（天津职业技术师范大学电子工程学院，天津300222）



固定场景下快速电子稳像算法的实现

孙宇超，张军

（天津职业技术师范大学电子工程学院，天津300222）

摘要：提出一种可应用在固定场景条件下的快速电子稳像算法。通过检测参考图像与当前图像的ORB特征，利用汉明距离匹配特征，将匹配好的特征点代入仿射变换模型，求得2幅图像间的全局运动矢量并代入仿射变换模型，对当前图像进行变换，从而实现稳像目的。为达到更好的稳像效果，在图像预处理阶段对图像进行高斯滤波，滤除图像的噪声；同时对在求得全局运动矢量使用的特征点对的选择上采用点线法进行判定，保证求得全局运动矢量的精度。实验结果表明，该算法能够实现在固定场景下的稳像，并具有较好的实时性。

关键词：电子稳像；ORB特征；仿射变换模型；全局运动估计；固定场景

稳像技术是一种广泛应用的视频增强技术。稳像技术应用于存在随机抖动的拍摄环境下，能够解决拍摄画面不稳定造成的画面质量下降问题。稳像技术的发展经历了3个阶段：机械稳像、光学稳像和电子稳像。与传统的机械和光学稳像系统相比，电子稳像系统具有易于操作、稳像精度高、灵活性强、体积小、重量轻、能耗低以及高智能化的实时处理等优点[1]。此外，市场上针对视频和图像处理上的专用数字信号处理器，其优越的性能为视频和图像的实时处理提供了强有力的支持。目前，电子稳像已应用于航拍图像、目标检测与跟踪中[2-3]。ORB（oriented FAST and rotated BRIEF）特征是一种应用于图像匹配[4]、目标检测[5]、图像拼接[6]方面的图像特征检测方法。目前被广泛应用的还有SIFT（scale-invariant features）、SURF（speeded -up robust features）和BRISK（binary robust invariant scalable keypoints）等特征，但ORB特征相对于这些特征具有明显的计算速度优势。本文提出的稳像算法采用ORB特征检测和描述特征点，通过汉明距离对特征点进行匹配，利用匹配好的特征点对计算图像间的全局运动矢量，之后对待处理的图像应用全局运动矢量进行运动补偿，达到稳像的目的。

1　ORB特征检测算法

由于角点特征的检测容易受到图像噪声的干扰，因此在进行特征检测之前要对图像的噪声进行消除。高斯滤波是被广泛采用的消除图像噪声方法，其实质是对整幅图像进行加权平均，每一个像素点的值都由本身和其邻域内的其他像素经过加权平均后得到。本文采用高斯滤波对图像进行去噪，之后进行图像角点特征的检测。

ORB特征是由Rublee等[7]提出的，其最大的优势在于运行速度。ORB特征是FAST（features from accelerated segment test）和BRIEF（binary robust independent elementary features）的结合。下面对FAST、BRIEF和ORB特征作简要介绍。

1.1FAST角点检测算法

FAST是一种角点检测算法，其检测的角点定义为：如果在某一个像素的周围有n个连续像素的灰度值与该像素的差大于某一个阈值，则认为该像素为角点[8]。这里的周围通常是指以角点为圆心的某个半径大小的圆周，n的值可取9、12等。图像的角点检测如图1所示。

图1　角点检测

1.2BRIEF特征描述算法

角点特征检测完毕后，需要给予每一个角点一个描述符，描述符将作为2幅图像中进行角点特征匹配的依据。BRIEF[9]是一种特征描述方法，其主要思想是在特征点附近随机选取若干点对，将这些点对的灰度值组合成一个二进制串，并将这个二进制串作为该特征点的特征描符。BRIEF算法的过程如下。

定义S×S大小的图像邻域P的准则τ为：

式中：p（x）为平滑后的图像邻域P在x =（u，v）T处的像素灰度值。

如果nd有（x，y）个位置对，就可以唯一定义一个二进制比特串，即BRIEF描述符为：

需要在已经检测出的特征点对中选择nd对来计算其BRIEF描述符。作者提出5种方法对这nd对特征点位置进行选择，并对不同的选择方式做出比较。nd可以为128、256、512等；取值时，需要对速度、存储效率、识别率进行比较。

1.3FAST和BRIEF结合的ORB特征

ORB特征分别对FAST和BRIEF进行改进并结合，对FAST检测出的角点添加方向信息，并利用这个方向信息解决了BRIEF描述的特征点不具有旋转不变性的缺陷。改进之后的FAST和BRIEF可分别称oFAST（oriented FAST）和sBRIEF（steered BRIEF），具体做法如下。

ORB使用灰度质心法为角点加入方向信息，即用角点与质心之间的偏移构造一个方向。

定义邻域矩为：

式中：I（x，y）表示图像在（x，y）位置的像素值。

质心为：

特征点与质心的夹角定义为FAST特征点的方向，即

得到oFAST特征点之后，继续为BRIEF添加旋转信息。在位置（xi，yi）处，对于任意n个二进制准则特征集，定义一个2*n的矩阵为：

2　特征点匹配及优质特征点选取

在得到2幅图像的ORB特征点后，需要对特征点进行匹配。匹配时采用暴力搜索，距离度量采用汉明距离。由于BRIEF描述ORB特征时采用二进制串作为其描述方式，因而特征匹配采用汉明距离进行匹配能达到快速匹配的目的。此次匹配完成后，会出现误匹配的特征点对，因此可将此次匹配视为粗匹配。粗匹配中的误匹配点需要剔除。剔除方法是计算粗匹配好的特征点的最小汉明距离，并将小于2倍该距离的特征点对视为优质匹配的特征点对。

3　点线法选择匹配点

特征点对经过匹配后，需要从匹配出的优质特征点对中选择3对代入仿射变换模型，求出相邻帧之间的映射关系。选择的这3对特征点对在空间位置上应尽可能分散，使求出的相邻帧之间的映射关系更为准确。本文提出点线法作为特征点对的选择方法，方法的大体思路如下。

图像在计算机屏幕上显示的像素位置关系如图2所示。

图2　图像在计算机屏幕上的像素位置关系

图2中原点位于图像的左上角，向右和向下的方向为像素坐标x、y增大的方向，而主对角线方向上x、y均增大。点线法步骤如下：

（1）计算匹配好的特征点坐标x与y之和绝对值（|x+y|）的最大值和最小值。

（2）计算x与y之差绝对值（|x-y|）的最大值。

（3）找出这3个值对应的特征点。

如此选出的3对特征点对的分布会比较分散。其中2个点大致位于x、y都增大的主对角线的2端附近，另一个点位于副对角线的一端附近。

算法的仿真如图3所示，在300×250的区域内随机生成一些点来模拟已匹配好的特征点位置，图中的“+”表示通过算法得到的特征点位置，共有3个。

在得到点线法选择出来的3对匹配点之后，需要将这3对特征点代入仿射变换模型来估计出2幅图像之间的相对运动。

图3　点线法的Matlab仿真结果

4　仿射变换模型

2幅图像之间的变换关系可以用仿射变换来表示[10]。一个任意的仿射变换都能表示为乘以一个矩阵（线性变换）再加上一个向量（平移）。因此，仿射变换能够表示图像之间的旋转（线性变换）、平移（向量加）以及缩放（线性变换）。

仿射变换通常用2×3的矩阵M表示：

或

由矩阵A和矩阵B共包含6个元素可知，要计算出矩阵A和矩阵B需要6个方程。从式（9）可以看出，点线法挑选出来的每一对特征点代入式（9）可以得到2个方程，因此求解矩阵A和矩阵B需要3对特征点。这就是采用点线法选择3对特征点的原因。

5　实验结果

本文采用240×320的图像作为样本，图像来自于视频的分帧。该视频中，拍摄者在行驶中的汽车里拍摄前方不远处的行驶汽车。拍摄者所乘汽车的晃动使拍摄出来的视频存在抖动，视频分帧后，相邻2帧图像之间存在不同程度的相对运动情况，因此满足算法的适用条件。实验所用PC机操作系统为XP SP3，CPU 为Pentium（R）Dual-Core，主频为3.20 GHz，算法用OpenCV进行开发。

高斯滤波后的相邻2帧图像如图4所示，采用汉明距离匹配后的相邻2帧图像如图5所示。由图5可知，匹配后的特征点对包含正确的匹配和错误的匹配，经过挑选优质匹配的特征点对后，错误的匹配被去除。挑选优质匹配点对后的相邻2帧图像如图6所示。仿射变换后的图像与参考帧图像的对比如图7所示，稳像前后相邻2帧图像帧差对比如图8所示。由图7和图8可以看出，本文提出的算法能够很好地达到稳像目的。

图4　高斯滤波后的相邻2帧图像

图5　采用汉明距离匹配后的相邻2帧图像

图6　优质匹配后的相邻2帧图像

图7　仿射变换后的图像与参考帧图像的对比

图8　稳像前后相邻2帧图像帧差对比

稳像算法各个部分耗时及特征点匹配情况如表1所示，表1中第1列的序号（1～5）表示选取了5组相邻帧进行各指标的统计。

将表1里算法每一部分耗时的数据计算平均值并进行归一化，可以得到算法每一部分占算法总耗时的百分比，如图9所示。

图9　稳像算法各部分耗所占的百分比

由图9可知，稳像算法最耗时的部分是ORB特征描述部分，约占算法总耗时的43%；其次是ORB特征检测部分，约占算法总耗时的32%；ORB特征的检测、描述、匹配约占据整个算法耗时的90%。因此，采用何种特征点进行运动估计对稳像算法的耗时有决定性的影响。本文将主流的基于SIFT、SURF和BRISK特征的稳像算法与基于ORB特征的稳像算法进行比较，4种算法具体的耗时情况如图10所示。

图10　SIFT、SURF、BRISK和ORB的稳像算法耗时对比

在图10中，SIFT、SURF和BRISK特征稳像算法相对于ORB特征的稳像算法进行了归一化。由图10可知，基于ORB特征的稳像算法相对于SIFT、SURF 和BRISK具有明显的运算速度优势，其耗时分别约为SIFT的1/16、SURF的1/13的以及BRISK的1/41。

6　结束语

本文提出了一种电子稳像算法，算法提取2幅图像的ORB特征，并进行特征匹配，将匹配好的特征点代入仿射变换模型估计出全局运动矢量，通过对图像进行仿射变换来进行运动补偿，进而达到稳像的目的。为使得到的全局运动矢量更准确，算法采用一定的方法获得优质匹配的特征点对，并通过点线法选择出3对应用于仿射变换模型。算法适用于固定场景下，对图像间的平移、旋转和缩放具有较好的稳像效果。实验证明，该算法能够实现稳像的目的，并具有较好的实时性。

参考文献：

［1］王志民，徐晓刚.电子稳像技术综述[J].中国图像图形学报，2010，15（3）：470-479.

［2］雷宝权，赵春晖，花永强，等.基于SIFT算子和Kalman滤波器的航拍图像电子稳像算法[J].火力与指挥控制，2010，35（10）：47-50.

［3］邱家涛.电子稳像算法和视觉跟踪算法研究[D].西安：西安电子科技大学，2013.

［4］唐剑琪，谢林江，袁庆生，等.基于ORB的镜头边界检测算法[J].通信学报，2013，34（11）：184-190.

［5］李小红，谢成明，贾易臻，等.基于ORB特征的快速目标检测算法[J].电子测量与仪器学报，2013，27（5）：455-460.

［6］王国东，文鹏程，程岳.一种利用ORB特征进行航拍图像拼接的方法[J].内蒙古师范大学学报：自然科学汉文版，2014，43（4）：425-429.

［7］RUBLEE E，RABAUD V，KONOLIGE K，et al.ORB：An efficient alternative to SIFT or SURF[C]//IEEE International Conference on Computer Vision.NJ：Institute of Electrical and Electronics Engineers Inc.Barcelona：IEEE，2011：2564-2571.

［8］ROSTEN E，PORTER R，DRUMMOND T.Faster and better：A machine learning approach to corner detector[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（1）：105-119.

［9］CALONDER M，LEPETIT V，OZUYSAL M，et al.BRIEF：Computing a local binary descriptor very fast[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（7）：1281-1298.

［10］乔磊.复杂抖动的电子稳像概述[J].山西电子技术，2013 （3）：91-93.

Realization of a fast algorithm for electron image stabilization under stationary scenes

SUN Yu-chao，ZHANG Jun
（School of Electronic Engineering，Tianjin University of Technology and Education，Tianjin 300222，China）

Abstract：A fast algorithm for electron image stabilization is presented which can be applied to the stationary scene conditions.The algorithm first detects the ORB features in the reference image and the current image and then matches the features by hamming distance.The matched features points are substituted for transformation model，so that the global motion vector between the two images is figured out.Finally，the global vector is applied to the current image for a affine transformation，and the images are stabilized.In order to achieve a better image stabilization，the images are filtered by Gauss filter and the noise of the images are filtered.In addition，the accuracy of the global motion vector is obtained by using the point -line method in the selection of the feature points.Experiments show that the algorithm can achieve stable image in a stationary scene and had a good real-time performance.

Key words：electron image stabilization；ORB feature；affine transformation model；global motion estimation；stationary scenes

作者简介：孙宇超（1989—），男，硕士研究生；张军（1965—），男，教授，博士，硕士生导师，研究方向为遥测遥控技术、遥感图像信息处理技术.

基金项目：天津市科技特派员项目（14JCTPJC00537）.

收稿日期：2015-10-30

中图分类号：TP91.41

文献标识码：A

文章编号：2095－0926（2016）01－0022－05