传感器电子稳像的块匹配提前中止方法

李 冰，张 超

(1.河北师范大学 信息技术学院，石家庄050018;2.河北环境工程学院 现代化教学中心，河北 秦皇岛066000)

传感器电子稳像的块匹配提前中止方法

李 冰1，张 超2

(1.河北师范大学 信息技术学院，石家庄050018;2.河北环境工程学院 现代化教学中心，河北 秦皇岛066000)

针对稳像系统中运算速度与运算精度受到奇异点干扰的问题，提出一种基于传感器电子稳像的块匹配提前中止方法。该方法利用陀螺传感器得到摄像系统的运动信息，根据陀螺输出估计出摄像系统的抖动方向。以该抖动方向为基础，设计提前中止判定准则对局部运动估计过程中的奇异点进行判定，同时中止奇异点的运动估计运算并将其滤除，此方法无需获得全部局部运动矢量就可以有效剔除奇异点。实验结果表明：稳像系统的运算速度提高79.50%，精度提高13.04%。

陀螺；传感器电子稳像；运算速度；稳像精度

0 引言

近些年来，数字摄像系统在各个领域得到广泛应用。但是，由于摄像系统载体的不稳定性导致图像序列发生不规则抖动，不利于长时间的观测，也影响到了视频图像的后续处理和分析，因此需要对视频图像进行稳像处理[1]。电子稳像是利用数字图像处理的方法对存在抖动的视频序列进行处理，达到输出稳定图像的目的。电子稳像的一个重要组成部分就是运动估计，为了提高估计精度，需要先将图像分割为若干个部分进行局部运动估计，再对局部运动矢量集合进行全局运动估计。然而，由于前景物体的遮挡干扰、误匹配、系统的抖动等原因会导致局部运动矢量的集合中存在与全局运动不一致的奇异点，这些奇异点对全局运动矢量的精度具有很大影响[2-4]。

为了解决此问题，北京理工大学的王鹏等人[5]将陀螺引入到稳像系统中，利用陀螺获得抖动的方位，然后对奇异点进行滤除得到了很好的稳像效果。然而，此种方法是建立在对已有的局部运动矢量样本统计分析基础上来进行奇异点滤除的，因此需要对包括奇异点在内的所有局部运动矢量求解，然后再进行滤除，最后通过最小二乘法解算全局运动参数。这种处理方式不仅计算复杂、难度大，而且对奇异点进行的运动估计大大增加了运算量与运算时间，影响稳像系统的实时性。

针对以上问题，本文在复合传感器电子稳像算法基础上，提出基于陀螺的块匹配提前中止技术。该方法利用陀螺仪传感器得到摄像系统的抖动信息，并以此为基础来构建中止判定准则，对块匹配局部运动估计过程进行奇异点判定，同时中止奇异点的宏块运动估计并将其滤除。该方法不依赖运动矢量的统计特性，因而无需解算出全部局部运动矢量即可有效的滤除奇异点，使得算法精度得到提高。此外由于提前中止了奇异点的运动估计过程，减少了块匹配的搜索步数，使得算法运算速度得到提升。

1 复合式传感器电子稳像方法

本文提出的提前中止方法是在复合式传感器电子稳像基础上研究的，该稳像方法是将陀螺传感信息与块匹配运动估计相结合。

1.1 块匹配

块匹配运动估计方法基本思想是将视频图像的每一帧分成互不重叠的规则的图像块，称为宏块[6]。然后通过一定的匹配准则对后一帧(当前帧)和前一帧(参考帧)中的搜索范围(搜索窗口)内的宏块进行比对，找出相似度最高的宏块，称为匹配块或预测块[7-8]。块匹配方法原理如图1所示，图中dx，dy即为所要估计的局部运动矢量。对图像中的每一个宏块都做上述匹配，即可实现当前帧相对参考帧的局部运动估计。

1.2 复合式传感器电子稳像

图1 块匹配原理示意图Fig.1Schematic of block matching algorithm

传感器电子稳像和块匹配相结的复合式传感器电子稳像[9-10]的基本流程如图2所示。利用陀螺传感摄像系统的抖动，将陀螺输出信息换算为像面上的位移量(下文简称陀螺位移)，以该位移指向位置作为初始搜索位置对图像进行块匹配，得到局部运动矢量。再通过最小二乘法等方法求解全局运动矢量，对图像进行运动补偿后，输出稳定的图像序列。

2 块匹配提前中止方法

图2 复合式传感器电子稳像示意图Fig.2Schematic of sensor electronic image stabilization(SEIS)

块匹配方法的运算速度与精度很容易受到前方景物遮挡与抖动的影响，并且遮挡物越大、抖动越大其影响也越大，因此需要对由遮挡与抖动所产生的奇异点进行处理。本文提出的块匹配局部运动矢量估计过程中的提前中止方法，简称提前中止，其原理如图3所示。

利用陀螺位移设置判定准则，在块匹配搜索过程每一步后，对得到的最佳匹配点进行奇异点判定，如不满足滤除条件则继续下一个步骤的块匹配运算，如果满足滤除条件则中止算法跳入下一个宏块的运算，

图3 提前中止技术流程示意图Fig.3Flow chart of early termination algorithm

重复以上过程直到图像序列中的奇异点被剔除或算法结束得到可靠局部运动矢量。

2.1 提前中止判定准则

本文根据向量性质提出一种公式简单的提前中止判定准则。首先，向量有如下性质：两个非零向量的数量积小于等于零时，向量夹角大于等于90°。因此与陀螺估计位移矢量夹角大于90°的搜索窗口内所有位置，可以通过对点坐标的简单计算公式来表示。

假设图像中某一宏块的搜索窗口中心为O(x，y)，陀螺位移为dx，dy，陀螺指向位置为A(x+dx，y+dy)第n步搜索的最佳匹配点为B(xn，yn)，则有：

设阈值T>0，将抖动分为大小两种范围分别处理，提前中止判定准则的具体描述如下：

当第n步最佳匹配点坐标满足判定准则时，认为该匹配点与陀螺位移指向方向相悖，判定为误匹配，立刻中止当前块的运动估计进行下个顺序宏块的运算。

2.2 仿真实验

选取原始图像和存在小范围遮挡和大范围遮挡的三幅图像做仿真实验，如图4所示。原始图像作为参考帧，将平移后的三幅图像作为当前帧。平移量作为陀螺估计位移量构造判定准则，不改变块匹配运动估计的初始位置，分别用复合传感器稳像算法不提前中止和本文的提前中止方法进行运动估计，得到局部运动矢量用最小二乘法解算全局运动矢量估计值。

图4 仿真所用图像Fig.4Images for simulation experiment

对于平移量的选择需要进行大量的实验与判定阈值进行比较。由于本文第一次提出了设置阈值来停止运动估计的运算，因此无论是在判定准则还是在阈值选择上目前并没有论文、资料在此方面进行参考比对，只能够通过最基本的方式逐次增加阈值的数值，然后比较图像的质量来实现取值。通过大量实验：当取值为2 pixel作为平移量时好，稳像效果最好。

由图5可以看出，无论是在原始图像，还是在小范围遮挡与大范围遮挡的情况，搜索步数均有所减少，最多减少了18步。同时，局部运动矢量准确比率有了明显的提高，从而提升了全局运动矢量的精度。其中，

图5 算法仿真验证结果Fig.5Simulation results

准确比率表达式：

式中：R为准确比率，N为与真实全局运动矢量吻合的局部运动矢量个数，M为有效局部运动矢量总数。

仿真实验表明提前中止算法有利于加快运算速度以及提升运算精度，与理论分析结果一致。

3 实验及分析

实验装置如图6所示，将陀螺仪固定在CCD摄像系统上，并将二者一起固定于三维振动平台上。CCD采集到的视频图像及同步的陀螺仪数据通过数据线传送至PC机(主频2.9 GHz，内存2 G)。最后通过MATLAB进行算法设计，来计算提前中止算法的运算时间以及稳像精度。实验中所使用的MEMS陀螺为ADI公司的ADXSRS150硅微机械陀螺仪，摄像系统为敏通MTV-1501CB商用CCD，像素为768×576。

图6 实验系统装置图(①摄像系统，MTV-1501CB,敏通；② 陀螺仪，ADXSRS150,ADI)Fig.6Schematic of the experimental apparatus(①Camera system,MTV-1501CB,MINTRON,②Gyro,ADXSRS150,ADI)

使用传感器电子稳像实验系统采集一段视频图像及陀螺仪数据，从中选取帧间运动量大和有明显前景物体运动干扰的15帧构成图像序列，如图7所示。在这15帧实验视频序列中，每帧都存在前景物体局部运动干扰，并且帧间抖动范围逐帧增大。

图7 实验图像序列Fig.7Frames of image sequence

分别使用块匹配菱形法、不提前中止的复合传感器稳像方法和本文的提前中止方法进行局部运动估计，得到局部运动矢量用最小二乘法解算全局运动矢量估计值。比较上述三种方法的运算时间和稳像后图像与参考帧图像的峰值信噪比。其计算公式：

φmax是视频信号的峰值强度，文中视频数据为8 bit，故φmax=255。EMS是平均绝对误差，其表达式为

式中：(i,j)为位移量，fk，fk-1分别为当前帧和参考帧的灰度值，M，N为图像的长、宽。

由图8可以看出，1～7帧图像中的抖动量与遮挡都比较小，在这种情况下，提前中止算法判定准则严格，中止存在奇异点宏块的运算，与另外两种方法相比运算时间加快了6～7倍。8～15帧图像抖动幅度增加、遮挡加大，中止判定范围为与陀螺偏移矢量夹角大于90°的1/2搜索窗口，因而运算时间增加，但由于中止了部分奇异点的运动估计运算，仍较其他两种方法速度快；在精度方面，提前中止方法由于滤除了奇异点，较其他两种方法有很大提升。在8～15帧图像中，其效果更为明显：块匹配菱形方法和不提前中止方法已经无法正确得到全局运动矢量，信噪比不超过25 dB，而提前中止方法仍能保持较高稳像精度，超过29 dB。

图8 图像序列实验结果Fig.8Result of image sequences experiment

本文提前中止方法较不提前中止方法的运算精度与运算速度分别如式(7)、(8)所示。

式中：A为精度提高百分比，S为速度提高百分比。

4 结论

本文提出一种基于普通精度陀螺的块匹配局部运动估计过程中的提前中止方法。该方法在局部运动估计过程中判定奇异点，同时中止奇异点的运动估计运算并将其滤除。该方法无需获得全部局部运动矢量即可有效滤除奇异点，获得一致性更好的局部运动矢量，从而提高了稳像算法的运算速度与稳像精度。实验及仿真结果与理论分析一致，本文提出的提前中止方法较不中止方法的运算速度提高79.50%，精度提高13.04%。然而，此算法在对平移量的选择上需要进行大量的实验比对工作，因此限制了提前中止算法的普遍适用性。接下来需要在平移量的选择上做更多研究，进行完善。

[1]王敬东，王智慧，张春，等.基于特征匹配的电子稳像优化技术[J].光子学报，2012，41(11)：1372-1376. WANG Jingdong，WANG Zhihui，ZHANG Chun，et al.Optimization Technique of Electronic Image Stabilization Based on Feature Matching[J].Opto-Electronic Engineering，2012，41(11)：1372-1376.

[2]Williams T L.Evaluation of the effect of image stabilisation in a digital camera on the quality of images[J].The Imaging Science Journal(S1368-2199)，2008，56(2)：104-106.

[3]LI Jing，WANG Junzheng，WANG Shoukun.A novel method of fast dynamic optical image stabilization precision measurement based on CCD[J].Optik-International Journal for Light and Electron Optics(S0030-4026)，2011，122(7)：582-585.

[4]石俊霞，薛旭成，郭永飞.卫星振动对TDICCD成像质量的影响及补偿方法[J].光电工程，2010，37(12)：11-16. SHI Junxia，XUE Xucheng，GUO Yongfei.Effect of Satellite Vibration on Imaging Quality of TDICCD Camera and Compensation Method[J].Opto-Electronic Engineering，2010，37(12)：11-16.

[5]王鹏，赵跃进，孔令琴，等.预测扫描提前跳转的电子稳像方法[J].光学 精密工程，2012，20(10)：2268-2274. WANG Peng，ZHAO Yuejin，KONG Lingqin，et al.Scanning image stabilizing algorithm：Predicting scanning motion and jumping in advance[J].Optics and Precision Engineering，2012，20(10)：2268-2274.

[6]陈晓露，戴明，葛明，等.快速平滑点特征轨迹电子稳像[J].红外与激光工程，2014，43(6)：1988-1993. CHEN Xiaolu，DAI Ming，GE Ming，et al.Fast smoothing point-feature trajectories for digital image stabilization[J].Infrared and Laser Engineering，2014，43(6)：1988-1993.

[7]杨光，王睿，崔玉柱.二维面阵的电子稳像与评价方法[J].红外与激光工程，2011，40(7)：1364-1369. YANG Guang，WANG Rui，CUI Yuzhu.Electronic image stabilization and video quality assessment in 2-dimension-array[J]. Infrared and Laser Engineering，2011，40(7)：1364-1369.

[8]赵志强，陈盈.一种基于灰度投影与块匹配的视频序列快速稳像算法[J].光电工程，2011，38(6)：146-150. ZHAO Zhiqiang，CHEN Ying.A Fast Electronic Image Stabilization Algorithm of Video Sequences Based on Gray Projection and Block Matching[J].Opto-Electronic Engineering，2011，38(6)：146-150.

[9]王斌，赵跃进，尹德森.基于电子稳像的特征跟踪算法[J].红外与激光工程，2008，37(4)：607-610. WANG Bin，ZHAO Yuejin，YIN Desen.Digital image tracking algorithm based on electronic image stabilization[J].Infrared and Laser Engineering，2008，37(4)：607-610.

[10]Shih Y Y，SU Shunfeng，Rudas I J.Fuzzy Based Compensation for Image Stabilization in a Camera Hand-Shake Emulation System[J].International Journal of Fuzzy Systems(S1562-2479)，2014，16(3)：350.

Block Matching Early Termination Method Based on Sensor Electronic Image Stabilization

LI Bing1，ZHANG Chao2
(1.College of Information Technology,Hebei Normal University,Shijiazhuang050018,China;2.Modernization Teaching Center,Hebei University of Environmental Engineering,Qinhuangdao066000,Hebei,China)

A novel block matching early termination method,based on sensor electronic image stabilization,was proposed to improve operation speed and stabilization precision.It used a gyro to detect the motion situation of camera system and estimated the motion direction.According to the information captured by gyro,the early termination method could find out the singular points of local motion estimation,and then break the operation and got rid of the singular points.The method could reject the singular points without acquiring all local motion vector information,so it reduced the operation and increases calculation speed.Moreover,the image stabilization precision was improved by better consistency of local motion vector set.The experiment result indicates that the operation speed is increased 79.50 percent,the precision is improved 13.04 percent.

gyro;sensor electronic image stabilization;operation speed;operation precision

TP212

A

10.3969/j.issn.1003-501X.2016.11.012

1003-501X(2016)11-0076-06

2016-04-05；

2016-07-04

河北省教育厅项目(QN2015212)；河北师范大学校内基金项目(L2015B18)

李冰(1984-)，男(汉族)，河北秦皇岛人。讲师，博士，主要从事电子稳像、THz成像技术。E-mail：libing0804@126.com。

张超(1982-)，男(汉族)，河北秦皇岛人。实验员，硕士，主要从事电子稳像。E-mail：82006507@qq.com。