分框统计特征匹配的SOC中电子稳像技术研究

沙宗也，尹治平

(合肥工业大学 光电技术研究所，安徽 合肥 230000)

分框统计特征匹配的SOC中电子稳像技术研究

沙宗也，尹治平

(合肥工业大学 光电技术研究所，安徽 合肥 230000)

在通过特征点做运动估计时,经常会出现特征点集中于图像部分区域的问题。通过分框统计MORAVEC特征点来计算各分块内的特征点的方法,对视频图像进行帧与帧间匹配,再结合RANSAC误匹配剔除的方法能有效解决该问题。通过对计算原始SENSOR图像中中间区域部分分块并预留原始图像的边缘部分，统计正确的匹配运动矢量，对运动矢量值加总并用惯性滤波的方法进行平滑拟合进而得到每帧图像的运动补偿值。通过该方法得到的特征点匹配对分布的区域明显比不采用该方法分布的区域广，而且该方法在SOC上能快速运算。

SURF;RANSAC;电子稳像;惯性滤波;运动估计

随着集成电路技术的发展，使得电子稳像技术能够得以在一个集成的SOC内实现，从而使得该技术得以广泛应用成为了可能。SOC方案是各种方案中最高效最经济的方式，通过外围设计的专用集成电路能够做大量的并行处理，所以计算速度快，而且和CPU的交互处理能够实现，既能够高效地并行处理多媒体视频图像文件，又能够通过CPU运算复杂的指令计算，比如乘法运算。并且其将所有的功能单元均集成于一个芯片内部，具有体积小、价格便等诸多优点，是目前国内外研究的主流。但与目前主流的电子稳像研究不同的是，在芯片上设计电子稳相系统时，必须考虑一些现实的约束条件，电子稳相的图像数据源来自于感光Sensor传输过来的Frame Buffer数据为一条一条的线，并持续不断的更新。由于在芯片上设计大量的缓存代价很高，因此结合实际应用中的成本问题，性能效果各方面的综合考虑，在尽量少的存储和计算单元的消耗下，完成最佳的功能，一直都是相关领域的研究人员追求的目标。许多在该领域的研究人员做的研究都难以直接在SOC上实现，如文献[1～11]等研究资料中提到的像块匹配法，文献[12]中提到的匹配方法在该技术中也难以直接运用。SURF特征匹配方法，Harris特征匹配方法等，都有各种局限性，存在诸如计算量过大，在实际实现中将占用更多的存储与带宽，以及计算资源。

在特征点运动估计时，经常会出现图像中部分区域细节远多于其余区域，这造成了MVE判定的对象仅是图像中某处近景或者远景，相邻两帧图像的远景和近景其运动矢量值经常会有较大的差别。因此特征点匹配对集中到部分区域得到的运动矢量，作为该相邻两帧的运动矢量值的判定方法，对于全幅图像的运动估计是不能正确反映实际运动状况的。

1 电子稳像技术的特点与流程

本文的SOC上商用电子稳像，其实现流程可分为以下步骤：

图1 本文方案的实现流程

Frame Buffer传输过来的图像数据是从感光Sensor获取的，传输到DIS模块时已经过了大量的包括AE，AWB等技术处理。这个数据在DIS的缓存中仅储存整张图像的几行，行数根据SOC中分配给该模块的缓存大小有关，行数越少，占用的缓存越小，越节约成本。传输过来的每行数据的点数大于经过最终输出的点的数量，因为最终要对稳像图像做补偿，必须对原来的Sensor传过来的图像做裁剪。在某些文献中提到的，对边缘超出的部分做平滑拼接之类的处理方法并不能够实现，因为考虑到帧间的差异和未知的未出现过的场景的存在，最终的稳像补偿只能通过图像裁剪来实现。

第1步计算当前缓存中的图像数据线得到的特征响应值，与上一帧图像保存下来的特征实时地计算分析比较，来做匹配；

第2步对得到的大量的匹配对采用RANSAC规律剔除误匹配。在图像分框后，可能会出现部分分框特征细节少的问题，某些分框的对应特征点的匹配对可能会有错误，RANSAC方法是一种经典的误匹配剔除方法，能够有效剔除误匹配对；

第3步曲线拟合与补偿。计算出帧与帧间的运动规律之后，需要将各帧之间的运动矢量加起来得到一个曲线，通过追踪拟合的方法得到较为平滑的曲线。由于运动方式的不确定性，不规律性，所以使用固定运动模型的Kalman滤波等方式并不能解决该问题，这里采用惯性滤波，结合自适应补偿校正的方式来得到平滑的补偿曲线，然后计算各帧需要补偿的运动量值，将图像在横纵方向上做移动，最后输出剪切掉边缘部分的图像。

2 具体的实现过程

先对图像分块处理，然后计算出当前分块的最优匹配特征，再通过对下帧图像的相邻及格分块分析匹配，验算最优匹配，得出该分块与下一帧图像的匹配，然后使用RANSAC原则做统计分析，对于不符合统计规律的匹配做误匹配的剔除再通过惯性滤波进行曲线拟合，并作出补偿。

2.1 图像分块

上述分析得到，电子稳像的稳像能力都会有一个界限值，超出界限将会失去稳像的能力，限定补偿的行数是因为Sensor的数据大小有限，不可能无限的补偿。为了大幅降低比对搜索的范围，在这里先对图像分块处理，图像分块分析避免了搜索整帧图像，也就是避免了搜索整帧图来与当前帧的匹配，从而大幅节省了计算量，分块的方法如图2所示。

另外，分块分析确保了匹配能保证在整张图像中的均匀分布，如果不做分块来做特征点匹配的话，就会导致可能出现特征匹配对大量出现在图像的某一部分区域，这在出现运动前景的情况下将会导致非常严重场景判断的错误，如图6所示。对于分块并找出最优特征点并进行匹配的特征点匹配如图7所示。

图2 图像分块，边缘部分为预留的补偿区域

2.2 网格内优选特征点及其匹配

传统的SURF特诊是通过几组高斯金字塔来做特诊点判断，特征信息中包含了特征点的不同尺度特征上的描述，还包括了特征点的主要方向，这样在图像缩放和旋转上有良好的鲁棒性。相对于SIFT特征来讲，SURF特征通过积分图像的转换，使用简单的代数运算代替了积分运算，更为实用，但是SURF特征的几个尺度的计算其实在连续图像中没有太大价值。现在的视频拍摄设备，图像更新速度快，这样在相邻帧间考虑尺度性意义不大，而且还会带来重大的计算开销。结合MORAVEC特征的求取具有一定的方向性，而且简单有效的特点，本文提出一种改进的经典MORAVEC算法。因为MORAVEC算法通过简单的梯度计算特征点信息，这样大幅降低计算量，几个方向的梯度计算在IC设计中可以使用几个并行器同时计算，提高了计算速度，也高效利用了计算资源，降低了成本。对于每个当帧图像，先计算其最大MORAVEC响应值，方法是通过不断比较当前计算的MORAVEC响应值是否大于当前最大值，如果大于则替换掉当前存储的特征向量。通过计算每相隔一定距离点的横纵向和对角方向的灰度差值的绝对值和作为特征点的描述子，本质是特征点结合了块匹配的匹配方式。为了在计算量和描述信息之间做一个折衷，采取相间点的方法，计算每相邻九点的最大MORAVEC值，这样做的目的是减少了不断的写入特征点描述子占用的带宽，在SOC中单独设计该模块时，这样的方法能够重复利用计算单元，节省了计算单元模块。相邻9点仅计算出一个最大的MORAVEC响应值，然后再提取其描述信息，用于和上帧相邻上下左右最远2个网格的特征点所在位置的特征块进行比较，这样能大幅降低计算量。图8(a)和图8(b)分别是采用相邻9点计算的点数和相邻3点计算的点数，由对比可见，采用相邻9点来做分析能大幅降低计算量和传输带宽。

图3 计算比较单元示意图

表1 不同算法所需要占用的存储带宽资源对比

图4 当前响应点需要匹配的相邻框最优特征点

本文的方法看似需要比较的点数很多，但是根据ISP中数据流的特点，数据不断地往下传输处理，本功能模块却直接并行计算MORAVEC特征点以及进行匹配，这样需要占用的计算单元并不是很多，而且能够及时处理。关于MORAVEC响应值的计算根据计算资源的多少，设定两种计算方式。文中的实验图像仅采用了第一种方式计算得到，第1种方式采用式(2)，第2种方式区别采用式(3)，两公式中k取-3～3之间7个整数。公式中Mora是该点的最终响应值，Mo是几个方向上的响应值在特征匹配后，使用RANSAC方法进行误匹配剔除，就能得到正确的匹配，并计算当帧x，y方向运动矢量值

Mora=max(Mo)

(1)

(2)

(3)

2.3 曲线的拟合

如何有效正确地拟合运动平滑曲线，这对正确的补偿是一个重要的问题。相关文献资料中提到的方法有很多，本文通过实验分析，最为可行的方法是将各相邻帧的运动矢量累积加起来，然后用一个平滑拟合的方法来做拟合。

在一些资料中提到的直接使用回归曲线来做曲线拟合。事实上在SOC中难以实现该方法，因为在SOC中缓存能力有限，不能对多帧图像进行储存，因此当帧过来的图像必须立刻进行处理，如果继续直接使用回归的方法来做，边缘会有较大的畸变，效果很差。由于缓存的存储空间大小的限定，这个曲线拟合的问题变成了一个实时追踪平滑滤波的问题。另外，有许多文献资料提到的使用Kalman滤波方法来做，但在运动方式不确定的情况下，根本不能完成运动平滑拟合，Kalman滤波需要有一个参考的模型，而实际中的运动是没有确定的模型可供参考，拍摄设备的运动规律可以讲是任意情况，Kalman滤波的方法仅适用固定的像监控摄像设备之类的电子稳像运动曲线滤波。通过实验和分析，在场景平移的时候，比如拍摄设备想前方移动或左右移动，那么累加的相邻帧间运动矢量就会呈现上升或下坡状曲线，在这种情况下，无论是使用惯性滤波还是其他的像回归多项式曲线的方法拟合出来的平滑曲线都会出现一个延滞现象，如果直接通过前面的运动规律做补偿又会出现在运动突然消失的时候的过补偿。本文采用了先通过惯性滤波的办法，然后根据时间相距远近做一个折中的权值补偿拟合平滑曲线如式(4)所示，其中∑δi=1。

C(i)=R(i)×δ1+R(i-1)×δ2+…+R(i-15)×
δ15+(R(i)-R(i-15))×θ

(4)

2.4 补偿

在上一步完成了曲线拟合的基础上，计算当前实际的叠加值曲线与拟合曲线运动量的差值，然后对图像位置进行调整，剪切掉图像边缘部分，得到稳像后的图像。这里有些文献提到的通过腐蚀的方法实现边缘部分的校正，由于可能会面临着上帧中完全没出现的物体的部分需要你做补偿出现。特别是一些高速运动的物体像车辆之类，即使仅相隔一帧图像，也会有较大的位置改变，无论是文献[14]中提到的通过小波的办法，以及文献[13]中提到的图像复原的方法，还是经典的腐蚀膨胀，都不能达到一个能够视觉上让人接受的效果。唯一能在实际应用中可行的方案只有通过用一个较大的Sensor来做，设定预留的行数，这样在最后的计算结果中自动剪切掉边缘部分，得到的就是处理后的稳定图像。

3 实验结果分析

实验设备:摄像设备如图5所示,采用的成像控制单元是自主研发的ISP。

通过图6和图7的对比，可以看出与相关文献中提到的方法对比，本文方法寻找到的特征点匹配对在全图中分布均衡，避免了仅追踪局部区域的问题。

本文采用一个熵值来判定匹配对在图像中分布的均衡性，具体方法是将每个匹配对对应当帧中的特征点截取其周围10×10的面积，如果与其他特征点叠加，叠加部分则合并不重复计算，再将这个面积值除以计算的图像区域的总面积，公式为

H= (5)

通过图8可以看出，本文采用的相隔9点取最优响应值再做比较的方法需要比较的点数远小于仅作3点的处理，更远胜过没做该处理的方法，图9可以看出本文的方法能够平滑的拟合实时运动曲线。

图5 自主研发的摄像控制单元

图6 没有进行分块的特诊点匹配

图7 使用分块的特诊点匹配

图8 采用相隔3点和相隔9点的计算点数的对比

4 结束语

本文提出的对图像分块特征匹配的方法，相较于传统的直接使用特征匹配的方法来说，在整张图的正确分析，场景的判定方面有较大的优势。但是本文的方法在场景切换时，特征点极少的情况下，该方法效果并不完美，当然这也是该项技术的一个瓶颈。如何能对极少特征点的图像进行准确分析，还需要进一步研究和探讨。

[1] 蒋建国,刘杰杰,齐美彬. 基于SURF和轨迹滤波的旋转视频稳像算法[J].仪器仪表学报,2014,35(3)：550-557.

[2] 余家林,孙季丰,宋治国. 基于优选特征轨迹的全分辨率视频稳定[J].电子与信息学报,2015,37(5)：1141-1148.

[3] Wang Y S,Liu F,Hsu P S,et al. Spatially and temporally optimized video stabilization[J]. IEEE Transactions on Visualization & Computer Graphics,2013,19(8):1354-1361.

[4] 陈丽莉. 基于SUSAN算法的角点检测[J]. 现代计算机:专业版,2009(5):75-77.

[5] 王硕. 基于运动估计和运动分离等技术的电子稳像算法研究[D]. 哈尔滨：哈尔滨工业大学,2014.

[6] 吴国楠,周超超,尹文波,等. 基于Harris角点与改进Hu矩的电子稳像算法[J]. 计算机工程,2013,39(3):300-305.

[7] 孙平,邹丽新. 基于改进特征点的电子稳像稳像算法研究[D].兰州:兰州大学,2008.

[8] Yin B,Duan H Ch. Image stabilizati-on by combining grayscal projection and block matching algorithm [C].Guangzhou:Proceedings of IEEE International Symposium on IT in Medicine & Education,2009.

[9] Herbert Bay,Tinne Tuytelaa-Rs,Luc Van Cool,et al. SURF: speed up robust features [C]. London:9th European Conference on Computer Vision,2006.

[10] 吴威,许廷发,王亚伟,等.高精度全景补偿电子稳像[J].中国光学,2013,6(3):378-385.

[11] 葛川,郭宝龙.基于自适应运动滤波的电子稳像技术研究[D].西安:西安电子科技大学,2011.

[12] 段炼,耿庆常.风云卫星云图自动识别追踪MCS的方法[J].电子科技,2016,29(4):116-126

[13] 郭姝言,刘桥,卢进.一种改进的医学图像深度信息恢复算法[J].电子科技,2016,29(1):48-55.

[14] 董佳鹏,何建忠. 基于冗余小波变换的灰度多聚焦图像融合方法[J].电子科技,2015,28(12):100-103.

[15] 李庆扬,易大义,王能超. 现代数值分析[M]. 北京：高等教育出版社,1995.

Research on Electronic Image Stabilization Technology in SOC based on Feature Matching with Multiple Boxes Statistics

SHA Zongye，YIN Zhiping

(Optoelectronic Technology Research Institute,Hefei University of Technology,Hefei 230000,China)

When the feature points are used to estimate the motion,the problem that the feature points will be concentrated in the region of the image often occurs. The method of calculating the feature points in each block by dividing the MORAVEC feature points to match the adjacent two frames of the video images,and then use the method of RANSAC mismatch elimination can effectively solve the problem. Based on the calculation of the middle area of the original SENSOR image grid and edge part reserved for the original image matching,statistics the right motion vector,the value of motion vector method and the total inertia filtering smoothing fitting and motion compensation values of each image. The distribution area of feature points matched by this method is obviously wider than that without the method. Moreover,this method used in SOC can be calculate fastly.

SURF; RANSAC; EIS; inertial filter; MVE

TN911.73;TP391.41

A

1007-7820(2017)11-048-05

2016- 12- 25

国家自然科学基金(61401140)

沙宗也(1986-),男，硕士研究生。研究方向：图像处理。尹治平(1980-),男，博士，副研究员。研究方向：微波图像。

10.16180/j.cnki.issn1007-7820.2017.11.014