高精度全景补偿电子稳像

2013-04-27许廷发王亚伟

中国光学 2013年3期

关键词：全景补偿特征

吴威，许廷发，王亚伟，闫辉，徐磊

（北京理工大学光电学院光电成像技术与系统教育部重点实验室，北京100081）

高精度全景补偿电子稳像

吴威，许廷发*，王亚伟，闫辉，徐磊

（北京理工大学光电学院光电成像技术与系统教育部重点实验室，北京100081）

针对摄像机拍摄目标过程中自身的随机抖动造成的视频序列不稳定，以及稳像补偿过程中边缘信息的丢失，提出了基于SURF（Speed-up Robust Feature）算法的全景电子稳像方法。首先，运用SURF算法提取当前帧图像和参考帧图像的兴趣点，将两幅图像的兴趣点进行匹配，建立两帧的对应关系。针对兴趣点数目较少及场景中部分区域特征相似的情况，引入了兴趣点位移一致性抑制策略，改进了RANSAC（RANdom SAmple Consensus）误匹配的剔除算法，使得运动矢量的精确度小于1 pixel。然后，判定参考帧的更新策略，获取平滑的运动变量。最后，进行运动补偿，运用图像镶嵌技术对丢失的边缘区域信息进行全景补偿，得到了高精度的全景稳像结果，实验得到的输出视频峰值信噪比（PSNR）提高了33.1%。

电子稳像；SURF算法；全景补偿；兴趣点位移；峰值信噪比

1 引言

运用稳像的手段来解决视频图像序列的不稳定问题已得到越来越多的应用，主要方法有：灰度投影法、块匹配法和特征匹配法。其中特征匹配法就是利用图像中的某些特征，如边缘、直线、角点和特征点等来进行稳像的方法［1-5］。

2004年，英国学者David Lowe提出了SIFT（Scale Invariant Feature Transform）［6］特征匹配算法，该算法可以对发生平移、旋转、仿射变换、视角变换、光照变化情况的图像进行匹配，故得到了广泛运用。2006年，Bay提出SURF（Speed-up Robust Features）算法［7］，该算法在SIFT算法思想的基础上，采用快速Hessian矩阵检测特征点，并运用积分图像方法减少计算时间，使得算法的效率得到了很大的提高。阳吉斌等人提出了运用GTM（Graph Transformation Matching）方法［8］对SURF算法进行改进后用于遥感图像配准，但通过迭代的方法来剔除误匹配，其复杂程度可想而知，速度自然会比较慢。因此，之后有人提出将特征匹配法运用到电子稳像中，在运动估计过程中高精度地计算出全局变量来提高电子稳像的效果［9-14］。

张坤等提出了高精度实时SURF的电子稳像算法［15］。王智慧等人提出了一种基于KLTRANSAC（KLT-RANdom SAmple Consensus）全局运动估计的电子稳像算法［16］，选择KLT快速匹配和RANSAC误匹配点剔除相结合的方法，消除场景中运动目标的影响。Yasuyuki等人提出了一种全屏幕视频稳定技术［17］，通过判断相邻几帧的光流变化，并利用光流法填补当前帧的丢失像素，有效地实现了相邻图像的自然模拟和镶嵌。

但是基于特征的电子稳像方法存在以下关键问题：（1）当场景中存在局部运动时，目标物体上的特征点容易带来误匹配，导致全局运动参数估计不准确;（2）当场景很复杂并且场景中部分区域中的特征相似时，特征点检测的精度及匹配的正确率会影响全局运动估计的精度;（3）补偿过程中边缘区域信息的丢失，会导致稳像后视频不能全屏显示。因此，基于特征点匹配的全局运动参数估计的关键问题更深一层就是如何快速而且精确地获得匹配正确的特征点对。

针对以上问题，本文采用SURF算法提取参考帧与当前帧的特征点及其匹配关系，并运用RANSAC算法剔除误匹配对，针对特征点数目较少时RANSAC误匹配剔除不准确的情况，提出了改进的RANSAC误匹配的剔除算法，以提高匹配结果的准确性，并获得准确的运动估计矢量。通过判定选择合适的参考帧，计算出精确的运动向量，并进行运动补偿及全景补偿，以实现全景补偿电子稳像。

2 基于SURF算法的运动估计

2.1 SURF算法的特征点检测

尺度空间的建立是通过图像与高斯函数进行卷积运算，得到不同阶的图像，从而形成图像金字塔。SURF算法利用不同尺度下的盒子滤波器（box filters）代替SIFT算法中的二阶高斯函数，而原始图像保持不变，由于盒子滤波器是简化的高斯滤波器，所以其计算更为简单。

尺度空间金字塔建立后，需要求取某一特定尺度下的图像中局部极值。为了简化，采用盒子滤波器近似代替高斯核函数，得到的Hessian矩阵如下：

式中，Dxx（x，σ），Dxy（x，σ），Dyx（x，σ），Dyy（x，σ）表示高斯二阶偏导在x处与图像I的卷积，H矩阵判别式可表示为：

式中，w为权重，一般取值为0.9。判别式Δ（H）值的正负，可以判定该点为极大值或者极小值。

为了获取图像中的兴趣点，用Hessian矩阵求出极值后，采用非极大值抑制方法，将该点的值在它的3×3×3的立体邻域内进行比较，当比26个邻域值都大或者都小时，即把这个点视为预选特征点。为了得到更加稳定的特征点，需要在尺度空间和图像空间中进行插值，剔除掉对比度较低的点。

2.2 特征点的主方向和描述符

确定特征点的主方向是为了保证算法的旋转不变性。首先选取需要确定主方向的特征点为中心，如图1所示，计算在检测半径为6σ（σ为特征点的尺度值）范围内的邻域点的Harr小波响应，这些响应值会被赋予高斯权重系数，得到大小不同的向量;遍历整个圆周，计算60°范围内的响应值之和，选择其中最大值的向量，该向量的方向即为该特征点的主方向。

图1 特征点的主方向确定Fig.1 Main direction of the features

特征点的主方向确定后，需要描述特征点的特征。以特征点为坐标原点，主方向为坐标轴，在特征点周围选取边长大小为20σ的正方形区域，在4×4个子区域中，计算边长为25σ的Harr小波响应。令水平于特征点主方向上的响应为d x，垂直于特征点主方向上的响应为d y，将这些响应赋予高斯权重系数。这样每个子区域的响应及响应的绝对值共同构成了描述符，如图2所示，用特征向量V表示：

图2 特征点的描述符Fig.2 Descriptor of the features

每个子区域的描述符是一个4维向量，4×4个子区域的描述符，构成了该特征点的64维向量的描述符。

2.3 RANSAC误匹配剔除

匹配产生的结果中，有些匹配点会对电子稳像的全局运动估计产生影响［18-19］，其中包括两种情况：（1）在匹配过程中产生的误匹配点，这是匹配过程中不可避免的，可以通过RANSAC算法将其剔除。对于场景比较简单，并且场景特征没有重复性，采用RANSAC剔除误匹配点会有很好的效果;但是对于特征点数目较少，或者场景中部分区域的特征相似的情况下，RANSAC不能够很好地剔除误匹配点;（2）场景中目标的运动产生的匹配点虽然是正确匹配的，但是会给全局变量的估计带来误差，所以需要剔除运动目标产生的误匹配点。

针对以上两点问题，本文提出了兴趣点位移一致性抑制的方法。假设当前帧t中的点PA和参考帧t′中的点PA′是一对经过预匹配后的匹配点，则兴趣点PA和点PA′在x和y方向上的位移Lx和Ly分别是：

设匹配点集C=｛｛P1，P1′｝，…，｛Pi，Pi′｝，…，｛Pn，Pn′｝｝，形成的x和y方向上的位移集合分别为｛LX1，…，LXn｝，｛LY1，…，LYn｝，则特征点的对齐误差为：

为了抑制匹配过程中产生的误匹配，同时能够抑制场景中的目标运动带来的全局运动变量的误差，需要将不必要的匹配结果剔除掉。由于经过RANSAC几乎剔除了所有的误匹配点，剩下的误匹配点已经很少了。同时目标上的特征点，相比于整个场景中的特征点也少很多。所以利用抑制的方法，将这些点剔除掉，是很合理的做法。根据公式（8），只有对齐误差满足一定的范围，则认定该点为我们需要的点。

式中，｛Pi，Pi′｝∈C，w为权重因子。利用兴趣点位移一致性抑制的方法能够快速地进一步剔除RANSAC算法未能完全剔除的误匹配点，提高了匹配的精度，且对整个算法的速度影响很小。

3 运动滤波和运动补偿

运动估计过程中得到的运动矢量往往并不是平滑的，所以需要进行平滑处理，以便于补偿。Kalman滤波方法采用的是统计估计的方法，跟踪运动矢量的整个变化过程，并对其进行滤波处理，消除变化剧烈的运动矢量。

在电子稳像中，摄像机的运动包括：摄像机的随机抖动，属于高频噪声，需要补偿;正常的扫描运动，是平滑稳定的，予以保留。因此，在运动补偿时，需要在稳像的过程中不断地更新参考帧。

图3 参考帧更新策略Fig.3 Strategy of updating reference frame

图3所示为参考帧的更新策略，令全局运动向量为v，判定阈值为S1、S2，且S1＜S2，更新标志为flag（flag的初始值为0），描述如下：

（1）当|v|≤S1时，判定为摄像机随机抖动，不更新参考帧。

（2）当|v|≥S2时，判定为摄像机的扫描运动，将参考帧更新为当前帧。

（3）当S1＜|v|＜S2时，判定为摄像机运动既包含随机抖动又包含扫描运动。是否更新参考帧需要进一步判定。

（4）当运动向量满足该条件（3）时，flag加1;当运动向量满足该条件（1）或（2）时，flag清零。

（5）当flag≥N（N为最大连续抖动帧数）时，认为摄像机的扫描运动占主要成分，则将参考帧设置为当前帧;当flag＜N时，不需要更新参考帧。

4 全景补偿

稳像后的图像会由于当前帧的位置变换丢失边缘信息，目前大多数稳像仪器采用两种处理方法：预留丢失区域为黑框，这种方法会产生较差的视觉效果;扩展补偿后的保留图像到整个屏幕，这种方法会带来图像分辨率的降低。本文利用图像镶嵌技术来对丢失区域进行补偿，从而输出全景图像，使得连接处的像素能够平滑地过渡，补偿后的图像没有明显的接隙，且能够观察到边缘丢失的信息。

当前帧t与参考帧t′连接的边缘区域L为预留区域，是需要进行平滑融合的部分，其中间列为l。采用高斯函数加权的方法，当像素在预留区域中间时，即x=l，渐变因子d=1/2;当像素处于预留区域的两端时，即x=l±L/2，渐变因子d=0，利用式（9）计算可以得σ2：

将当前帧和参考帧图像的平滑融合在列l的左和右边分别进行，这两部分的图像像素值分别通过式（10）和式（11）计算得到补偿后图像：

式中，l≤x≤l+L/2。

经过融合拼接补偿的图像，消除了当前帧和参考帧结合部分明显的分界线，使得补偿后的图像的边缘部分更加平滑。

5 实验结果及分析

5.1 改进SURF算法的特征点匹配验证

实验采用的视频中场景高度复杂，且有许多特征相似的区域，这就对SURF点的匹配带来了很多误匹配的结果。运用RANSAC剔除算法后，剔除了大部分错误的匹配点，但是由于样本本身太离散，所以RANSAC剔除以后，仍然有个别的误匹配点，如图4（a），其中的匹配点为112对，但从图中可以观察到个别误匹配点仍然没有被剔除掉。通过加入本文提出的兴趣点位移一致性抑制的方法，效果有了很大的提高，如图4（b）所示，其中的匹配点为94个，成功的剔除掉了所有的误匹配点。

图4 特征点匹配验证Fig.4 Verification of feature pointmatching

5.2 全局运动估计

运用SURF提取当前帧和参考帧中的特征点，并对提取到的特征点进行兴趣点位移一致性抑制方法的RANSAC算法剔除误匹配点，这样能够准确地提取到两帧图像中的特征点，从而提高了全局变量的计算精确度。实验中采用的是一段366 frame的视频，表1列出的是每隔50 frame，当前帧图像的SURF点（是相对与参考帧的）以及全局变量的估计。

表1 运动估计数据表格Tab.1 Results ofmotion estimation

由表1可以看出，匹配点数越少，运动矢量越小时，错误的匹配点对于结果的影响会越明显，因此，加入一致性抑制是很有必要的，保留的匹配点都是稳定性高、定位准确的特征点，保证了运动矢量计算的精度，运动矢量精度小于1 pixel。

5.3 全景补偿结果及分析

对图像进行稳像后的边缘信息补偿，使得补偿后的视频能够全屏显示，且不失真。当前帧通过补偿到参考帧的位置，并通过全景补偿的方法，将边缘区域的丢失信息补回来。

图5 全景补偿前后的图像（从左到右依次为参考帧图像、当前帧图像、全景补偿后的图像）Fig.5 Images before and after full-frame compensations Left to Right：reference frame，current frame，full-frame image

如图5所示，从左到右分别是参考帧、当前帧以及全景补偿后的图像，可以看到边缘信息已经很好地补偿到了稳像后的图像中，从而实现了全景稳像。

本文利用一种常见的稳像的评价标准PSNR来分析全景补偿的结果。公式定义如下：

式中：P1和P2分别表示当前帧和参考帧，MSE（P1，P2）表示当前帧图像与参考帧图像之间对应像素值的均方误差，对稳像而言，MSE的值越小越好，即PSNR越大，稳像的质量越好。图6为全景补偿前后的PSNR比较图，其中虚线是原始视频的PSNR，实线是经过全景稳像后的PSNR。

对全景补偿前后的PSNR进行对比后，可以发现PSNR有了明显的提高，说明全景补偿后图像序列的灰度差变小了，图像的稳定效果得到了改善。其中原始视频的PSNR的平均值为20.945 5 dB，而全景补偿稳像后的PSNR有所改善，其平均值变为27.879 3 dB，相对于稳像前提高了33.1%，即相比稳像前稳定了33.1%。

图6 全景补偿前后的PSNR比较Fig.6 PSNRs before and after stabilizations

6 结论

本文采用SURF算法检测了当前帧与参考帧中的特征点及其匹配关系，通过加入兴趣点位移一致性抑制方法的RANSAC算法剔除误匹配对，计算出了精确的运动矢量，确立了当前帧和参考帧之间的关系。通过全景补偿的方法对视频进行稳像，消除由于补偿导致的当前帧的边缘信息的丢失，并且所补偿的边缘部分平滑，峰值信噪比有了很大的提高，稳像后的视频序列较原始视频稳定了33.1%。实验结果表明：该算法具有较高的鲁棒性，针对不同场景均能够实现全景稳像，精确度小于1 pixel。

［1］赵红颖，金宏，熊经武.电子稳像技术概述［J］.光学精密工程，2001，9（4）：353-359. ZHAO H Y，JIN H，XIONG JW.Overview of the electronic image stabilization technology［J］.Opt.Precision Eng.，2001，9（4）：353-359.（in Chinese）

［2］KIM JH，BYUN K Y，KO S J.Highly precise digital image stabilization scheme for a hybrid stabilizing system［J］.Opt. Eng.，2010，49（7）：61-67.

［3］LIU J，SHIC CH.Image stabilization based on BM-EMD［C］//Communication Software and Networks（ICCSN），2011 IEEE 3rd International Conference on，May 27-29，2011，Xi′an，China，2011：591-593.

［4］孙辉，李志强，孙丽娜，等.基于相位相关的亚像素配准技术及其在电子稳像中的应［J〛.中国光学，2010，3（5）：480-485. SUN H，LIZH Q，SUN LN，etal..Sub-pixel registration based on phase correlation and its application to electronic image stabilization［J］.Chinese Optics，2010，3（5）：480-485.（in Chinese）

［5］王鹏，赵跃进，孔令琴，等.预测扫描提前跳转的电子稳像方法［J］.光学精密工程，2012，20（10）：2268-2274. WANG P，ZHAO Y J，KONG L Q，et al..Scanning image stabilizing algorithm：predicting scanningmotion and jumping in advance［J］.Opt.Precision Eng.，2012，20（10）：2268-2274.（in Chinese）

［6］DAVID G L.Distinctive image features from scale-Invariant keypoints［J］.International J.Computer Vision，2004，60（2）：91-110.

［7］BAY HE，TUYTELAARS T，GOOL L V.SURF：speeded up robust features［EB/OL］.（2010-05-06）［2013-02-13］.http：//www.computerrobotvision.org/2010/tutorial-day/tam-surf-rev3.pdf.

［8］阳吉斌，胡访宇，朱高.基于改进SURF算法的遥感图像配准［J］.电子测量技术，2012，35（3）：69-72. YANG JB，HU F Y，ZHU G.Remote sensing image registration based on improved SURF［J］.Electronic Measurement Technology，2012，35（3）：69-72.（in Chinese）

［9］张淼，郭成娇，李向阳，等.基于SIFT和卡尔曼滤波的电子稳像技术研究［J］.信息技术，2012，3：60-64. ZHANG M，GUO CH J，LIX Y，et al..Digital image stabilization based on SIFT and Kalman filtering［J］.Information Technology，2012，3：60-64.（in Chinese）

［10］丁南南，刘艳滢，朱明.尺度相互作用墨西哥帽小波提取图像特征点［J］.液晶与显示，2012，27（1）：125-129. DING N N，LIU Y Y，ZHUM.Extracting image feature points using scale-unteraction ofmexican-HatWavelets［J］.Chinese J.Liquid Crystals and Display，2012，27（1）：125-129.（in Chinese）.

［11］SONG CH H，ZHAO H，JINGW，etal..Robust video stabilization based on particle filteringwith weighted feature points［J］.IEEE T.Consum.Electr.，2012，58（2）：570-577.

［12］程明明，王贺，安平，等.基于特征点匹配的多视图像校正［J］.液晶与显示，2010，25（4）：593-597. CHENGM M，WANG H，AN P，et al..Multi-view images rectification based on feature pointsmatching［J］.Chinese J. Liquid Crystals and Display，2010，25（4）：593-597.

［13］PINTO B，ANURENJAN PR.Video stabilization using speeded up robust features［C］//Communications and Signal Processing（ICCSP），International Conference on，Feb.10-12，2011，Calicut，IND，2011：527-531.

［14］李英，李静宇，徐正平.结合SURF与聚类分析方法实现运动目标的快速跟踪［J］.液晶与显示，2011，26（4）：544-550. LIY，LIJY，Xu ZH P.Moving target fast tracking using SURF and cluster analysismethod［J］.Chinese J.Liquid Crystals and Display，2011，26（4）：544-550.（in Chinese）

［15］张坤，许廷发，王平，等.高精度实时全帧频SURF电子稳像方法［J］.光学精密工程，2011，8（19）：1964-1970. ZHANG K，XU TF，WANGP，etal..Real time full frame digital image stabilization system by SURF［J］.Opt.Precision Eng.，2011，8（19）：1964-1970.（in Chinese）

［16］王智慧，王敬东，李鹏，等.一种基于KLT-RANSAC全局运动估计的电子稳像算法研究［J］.光电子技术，2012，32（1）：46-51. WANG ZH H，WANG JD，LIP，et al..Research on electronic image stabilization based on KLT-RANSAC globalmotion estimation［J］.Optoelectronic Technology，2012，32（1）：46-51.

［17］MATSUSHITA Y，OFEK E，GEW N，et al..Full-frame video stabilization with motion inpainting［J］.IEEE T.Pattern Anal.，2006，7（28）：1150-1163.

［18］王思珺，赵建，韩希珍.基于仿射变换的快速全局运动估计算法［J］.液晶与显示，2012，27（2）：263-266. WANG S J，ZHAO J，HAN X ZH.Fast globalmotion estimation algorithm based on affine transformation［J］.Chinese J. Liquid Crystals and Display，2012，27（2）：263-266

［19］邱家涛，李玉山，初秀琴，等..稳定运动物体视频的特征方法［J］.光学精密工程，2012，20（10）：2300-2307. QIU JT，LIY SH，CHU X Q，et al..Feature-based approach for stabilizing videoswithmoving objects［J］.Opt.Precision Eng.，2012，20（10）：2300-2307.（in Chinese）

High precision digital image stabilization with full frame compensation

WUWei，XU Ting-fa*，WANG Ya-wei，YAN Hui，XU Lei
（Key Laboratory of Photo Electronic Imaging Technology and System of the Ministry of Education，School of Optics and Electronics，Beijing Institute of Technology，Beijing 100081，China）
*Corresponding author，E-mail：ciom_xtf1@bit.edu.cn

To overcome the instability of the video sequences caused by the undesirable shakes of a camera，and to reduce themissing of edge information in the process of compensation，a full-frame video stabilization system based on the Speed-Up Robust Feature（SURF）was proposed.Firstly，the SURF was employed to extract the features in the images of the current and the reference frames and tomatch the features between the two images，so that the correspondence could be established.As a few featureswere extracted and the features of some areas in the scenewere similar，amethod of consistency restrain of the features′displacementwas proposed to ameliorate the RANSAC.Themotion vector precision is less than 1 pixel.Secondly，by determining the reference frame update strategy，the smoothed inter-frame globalmotion vector was obtained.Finally，mosaic was used to implement themotion compensation，and the corresponding pixels of the reference framewere filled with a stabilized frame to compensate the unstablemotion and to outputa stabilized full frame video.The Peak Signal to Noise Ratio（PSNR）is improved by 33.1 percent.

digital image stabilization;SURF algorithm;full frame compensation;feature displacement;Peak Signal to Noise Ratio（PSNR）

TN941.1

10.3788/CO.20130603.0378