基于光流法运动配准的覆冰图像超分辨率重建

杨 梅

(重庆三峡学院 重庆 404000)

基于光流法运动配准的覆冰图像超分辨率重建

杨 梅

(重庆三峡学院 重庆 404000)

针对电力监控系统中输电线路易晃动造成覆冰图像模糊，提出基于光流法运动配准的覆冰图像超分辨率重建算法。该算法首先利用基于光流法的图像配准算法估计图像间的亚像素级运动矢量，得到前向和后向配准图像；然后，利用迭代反投影(IBP)算法对估计出的图像分别进行超分辨率重建；最后，根据配准误差加权得到最终的输出图像。实验结果表明，相对于传统算法，该算法的重建结果无论是在峰值信噪比和标准差还是基于对比敏感度的无参考图像清晰度上，均有明显提高，具有较好的客观指标和视觉效果。

超分辨率重建 光流法 IBP算法 运动配准 覆冰图像

0 引 言

随着智能电网的发展，传统的接触式的检测技术已经不能完全满足电力发展的要求。基于图像的检测技术在电力系统在线监测中得到广泛应用，对输电线路的监测是图像处理技术在电力系统中应用之一。输电线路覆冰检测，一般处于比较恶劣的风雪环境下，并且环境颜色与覆冰颜色比较接近；采集到的覆冰图像可能存在运动模糊或者分辨率不足，不能很好地区分线路覆冰的边缘，导致覆冰检测的准确性不高。因此，为了提高覆冰图像的质量，覆冰图像的超分辨率重构技术成为一个值得研究的课题。

由于风雪原因，输电线路中间部分存在一定的局部运动情况。对于具有局部运动图像[1]超分辨率重建首先需要估计出相邻图像之间的亚像素运动信息，通过寻找最佳的变换使得图像之间的内容达到空间上的对齐[2]。目前，运动配准算法主要分为频域法、空域法和空频域法，其中最常用的是空域法[2]。空域的运动配准算法主要包括基于块匹配[3-4]、特征[5]、光流[6]、像素递归[7]、最大后验概率[8-9]和泰勒级数展开[10]等方法。空频域方法[11]能实现不同程度的运动估计，可以克服傅立叶变换域方法的空间局域性问题。其中，基于光流的运动配准算法[12]是一种非刚体的图像配准方法，对发生仿射变换的图像能够精确配准。

针对覆冰图像由于线路的抖动而存在局部运动的现象，在使用迭代反投影(IBP)算法进行覆冰图像超分辨率重建前。先用光流法进行图像配准，然后使用参考图像与前后相邻图像的超分辨率重建结果进行反向误差加权得到最终的图像。

1 运动配准算法

1.1 IBP超分辨率重建算法

IBP超分辨率重建是基于图像的降质模型，通过模拟图像在成像过程中带来的形变、模糊和噪声，得到模拟低分辨率图像。通过将模拟的低分辨率图像和真实的低分辨率图像之间的误差反投影到估计的高分辨率图像与真实的高分辨率图像之间的误差上。迭代过程中，低分辨率图像之间的误差会越来越小，那么，估计的高分辨率图像就会越来越接近真实的高分辨率图像。迭代到误差收敛时，就得到了重建的高分辨率图像。

假设原始的高分辨率图像为f，D为降采样矩阵，B为模糊矩阵，Mk为运动变形矩阵，nk是图像在采集、传输过程中产生的随机噪声，则原始的高分辨率图像为f的降质图像模型为：

gk=DBMkf+nkk=0,1,2,…,m

(1)

式中，m表示可以得到的低分辨率图像个数，gk表示第k幅图像。

(2)

从而得到：

(3)

(4)

则，第n+1次迭代得到的高分辨率图像为：

(5)

式中，λ是调节步长的迭代因子，迭代终止后得到的图像就是重建的高分辨率图像。

低分辨率图像序列间存在的亚像素偏移是序列图像超分辨率重建能够得以完成的关键因素，是图像序列具有互补信息的关键，也是实现超分辨率重建的信息来源。因此，序列图像超分辨率重建的首要步骤就是精确求解图像序列间的亚像素偏移。

设X=[x,y]T和X′=[x′,y′]T表示参考图像r(x′,y′)与待配准图像s(x,y)的坐标位置。图像配准的目标就是确定图像s(x,y)相对于图像r(x′,y′)的几何变换T(·)，即将图像s(x,y)中的坐标X映射到参考图像r(x′,y′)所在的坐标系X′下，可以表示为式(6)：

X′=T(x)

(6)

(7)

式中，ε为误差模型。

1.2 全局运动配准算法

参考图像r(x′,y′)与待配准图像s(x,y)中像素点之间的运动关系如图1所示。可以通过水平平移量a、垂直平移量b，旋转角度θ进行描述，具体变换模型如式(8)所示：

(8)

图1 平面平移及旋转运动示意图

基于上述运动模型，覃凤清等[13]提出了四参数运动配准算法，该算法在运动参数模型中考虑了水平和垂直平移量a、b。运动前后坐标点之间的变换模型用式(9)表示：

(9)

式中，a1、a2、a3及a4是刚体变换的四个参数。参考图像r(x′,y′)与待配准图像s(x,y)之间的数学关系如式(10)所示：

s(x,y)=r(x′,y′)=

r(x+a1x-a2y+a3,y+a2x+a1y+a4)

(10)

将上式在点(x,y)处进行二维泰勒级数展开，忽略高次项，可得式(11)：

(11)

E(a1,a2,a3,a4)=

(12)

(13)

则有：

X=C-1V

(14)

(15)

1.3 运动配准实现

实际中，待配准图像与参考图像之间的几何变换在图像的不同部分有时并不相同，参考文献[13]的变换模型不能准确表达两幅图像之间的位置关系。因此，需要寻求能够求解图像像素之间亚像素位移矢量的局部配准算法。形状上下文特征匹配[14]算法通过在参考图像中对待配准图像的任一图像块进行搜索，寻找最佳匹配图像区域。根据图像区域的匹配关系求解图像区域的运动矢量，可以较好地解决存在局部运动序列图像的配准。

形状上下文运动匹配算法的实现步骤为：

① 对于当前待配准图像I中的像素点(x,y)，选取图像I中的以像素点(x,y)为中心的M×N大小的图像区域作为待配准图像块；

② 选定当前图像区域与参考图像上图像区域之间的变换模型和配准准则，本文选用均方误差；

③ 采用菱形搜索算法，在搜索窗口内选取当前图像区域的最佳匹配区域；

④ 建立关于当前图像区域模型参数的代价函数，求解当前图像区域对应的模型参数，得到当前图像区域的运动矢量；

⑤ 对图像I中的每一个像素进行上述步骤①-步骤④的操作，完成整幅图像的配准。

1.4 基于光流法的图像配准

光流场表示了图像上像素亮度模式的变化，包含了真实场景中物体的运动信息[15]。一般情况下，可以假设图像的运动场和光流场相等价。序列图像的运动配准过程目的是求得运动物体的运动矢量，但在间隔时间很小的情况下，物体一般保持匀速运动。因此待求解的运动矢量可以通过光流场来描述。而光流场的一个重要特点是可以求得图像每一像素处的运动信息，适合于应用到包含局部运动的序列图像运动配准过程中，能够得到亚像素级的运动矢量。

设像素点(x,y)在时刻t的亮度为I(x,y,t)，假设在较小的时间间隔内，运动轨迹上的亮度不变，则对任意的x、y和t有：

I(x,y,t)=I(x+u,y+v,t+I)

(16)

对式(16)进行一阶泰勒级数展开，可得式(17)所示的光流方程：

Ixu+Iyv+It=0

(17)

Brox[6]在式(17)所示的光流方程的基础上，考虑了灰度信息的梯度和光流场的光滑特性，将数据项的能量函数定义为：

E(u,v)= ∫ΩΨ(|I(x+w)-I(x)|2+

r|▽I(x+w)-▽I(x)|2)dx+

α∫ΩΨ(|▽3u|2+|▽3v|2)dx

(18)

通过最小化该能量函数求得图像之间的光流场。

2 基于光流法的序列图像超分辨率重建

在包含局部运动图像的超分辨率重建中，只考虑运动及旋转的全局运动模型不能够精确的完成运动配准，需要局部配准算法完成运动估计过程。本文针对存在局部运动的序列图像，结合形状上下文特征，采用光流法完成序列图像的局部配准，然后使用IBP算法完成序列图像的超分辨率重建，算法的具体流程图如图2所示。

图2 本文算法流程

① 利用形状上下文特征分别对参考图像In及其前一帧图像In-1，参考图像In与其后一帧图像In+1进行初步运动配准；

② 采用光流估算分别前向、后向初步配准图像的光流场MV1、MV2；

(19)

式中，row、col分别表示图像的行数和列数。

⑥ 根据前后向的绝对差和SAD1和SAD2，进行线性重组得到最终的超分辨率结果。

3 实验结果及分析

为了验证本文方法的有效性，将本文方法与块匹配[16]和IBP重建算法(块匹配+IBP)、双三次插值的算法(双三次)、基于字典学习的算法[17]进行对比。选取在风雪情况下拍摄的视频图像进行测试，视频图像均为包含局部运动的序列图像，选择一帧比较清晰的图像，将其进行下采样操作得到低分辨率图像，再用几种方法对下采样得到的低分辨率图像进行重构，实验结果如图3所示。

图3 有参考图片下的实验

从图3可以看出，块匹配+IBP算法的结果因为未准确配准，比较模糊且具有伪影现象。双三次的插值结果虽不会引入重建伪影，但是整体较为模糊。基于学习的方法虽然比较清晰，但具有明显的伪影现象。本文算法的重建效果能够较为精确地对局部运动区域进行配准，重建效果可以克服重建伪影的影响，且重建效果较为清晰。

峰值信噪比(PSNR)，是一种全参考的图像质量评价指标，标准差能反映图像的整体对比度，局部标准差能反映图像的局部特征以及细节边缘等对比度信息。基于对比敏感度的无参考图像清晰度评价(NRSACS)[18]比较全面地反映了图像的各种结构信息，注重图像细节内容的完整性，对不同模糊类型图像的评价接近于人眼的视觉特性，因此本文采用上述几个评价指标对图像进行评价。各实验重建结果的评价指标如表1所示。

表1 各算法重建结果评价指标值

从表1中可以看出，本文算法重建结果的PSNR、局部标准差、NRSACS高于其他对比算法，基于字典学习的算法的标准差高于本文算法，但它重建的结果具有伪影现象。

上述实验效果表明，本文算法在客观指标和主观评价上优于块匹配算法、双三次插值和基于字典学习的结果。对于具有局部运动的图像，可以达到较为理想的重建效果。

工程实际中，没有可参考的高分辨率图像。因此，在重度和中度覆冰情况下，选取连续三帧图像完成序列图像的超分辨率重建实验，实验结果如图4、图5所示。

图5 中度覆冰无参考图片下的实验

从图4、图5可以看出，块匹配+IBP和基于字典学习的算法重建结果具有一定程度的伪影现象，双三次插值结果清晰度不够。而本文所使用的算法能够较好地克服前三种算法重建结果存在的问题，较好地实现了运动区域的超分辨率重建。

4 结 语

本文针对存在局部运动的覆冰图像，提出了基于光流法运动配准的图像超分辨率重建方法。根据覆冰图像的特点，在重建前先进行图像的运动配准，再利用参考图像的前后两帧图像进行前向、后向超分辨率重建，最后通过反向误差加权得到最后的输出图像，在一定程度上消除了伪影现象。实验结果表明，本文所使用的算法的重建结果具有较好的客观指标和视觉效果，能较好地对存在局部运动的序列图像进行超分辨率重建。

[1] 黄秀花.三维图像运动特征配准方法研究与仿真[J].计算机仿真,2015,32(12):205-209.

[2] 刘世瑛,黄峰,刘秉琦,等.复眼图像超分辨率重构中配准算法研究进展[J].激光与红外,2015,45(10):1164-1170.

[3] Rajagopalan R,Orchard M T,Brandt R D.Motion field modeling for video sequences[J].IEEE Tansactions on Image Processing,1997,6(11):1503-1516.

[4] 宋海英,王艳.基于块匹配和迭代反投影的车牌图像超分辨率重建[J].成都工业学院学报,2015,18(4):18-21.

[5] Chang M M,Tekalp A M,Sezan M I.Simultaneous motion estimation and segmentation[J].IEEE Tansactions on Image Processing,1997,6(9):1326-1333.

[6] Brox T,Malik J.Large displacement optical flow:descriptor matching in variational motion estimation[J].Pattern Analysis and Machine Intelligence,IEEE Transactions,2011,33(3):500-513.

[7] Kauff P,Schreer O,Ohm J R.An universal algorithm for real-time estimation of dense dispacement vector fields[C]//Proceedings of the International Conference on Media Futers.Florence,Italy,2001.

[8] Konrada J,Dubois E.Bayesian estimation of motion vector fields[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1992,14(9):910-927.

[9] Brailean J C,Katsaggelos A K.A recursive nonstationary map displacement vector field estimation algorithm[J].IEEE Tansactions on Image Processing,1995,4(4):416-429.

[10] Keren D,Peleg S,Brada R.Image sequence enhancement using sub-pixel displacements[C]//IEEE Conference on Computer Vision and Pattern Recongnition,1988:742-746.

[11] Mujica F A,Leduc J P,Murenzi R.A new motion parameter estimation algorithm based on the continuous wavelet transform[J].IEEE Tansactions on Image Processing,2000,9(5):837-888.

[12] 刘红刚,杜军平,梁美玉,等.基于Zernike矩的运动图像序列时空超分辨率重建[J].中南大学学报(自然科学版),2013,1(2):294-299.

[13] 覃凤清,何小海,陈为龙,等.一种基于子像素配准视频超分辨率重建方法[J].光电子·激光,2009,1(7):972-976.

[14] 张桂梅,蔡报丰.基于内距离形状上下文特征的形状匹配研究[J].南昌航空大学学报,2016,1(2):1-7.

[15] 柳士俊,张蕾.光流法及其在气象领域里的应用[J].气象科技进展,2016,5(4):16-21.

[16] Haan G D,Biezen P W A C.Sub-pixel motion estimation with 3-D recursive search block-matching[J].Signal Processing,1994,6(3):229-239.

[17] 毛兆华,万贤福,汪军.基于字典学习的机织物图像重构[J].东华大学学报,2016,42(1):35-39.

[18] Fan Yuanyuan,Shen Xiangheng,Sang Yingjun.No reference image sharpness assessment based on contrast sensitivity[J].Optics and Precision Ennineerinn,2011,10(19):2485-2493.

SUPER-RESOLUTION RECONSTRUCTION OF ICING IMAGE BASED ON OPTICAL FLOW MOTION REGISTRATION

Yang Mei

(ChongqingThreeGorgesUniversity,Chongqing404000,China)

Concerning the penumbra of icing image caused by transmission line shaking in power monitoring system, we propose a super-resolution image reconstruction algorithm based on optical flow motion registration. The algorithm firstly estimates the sub-pixel level motion vector between images based on optical flow method, and the forward and backward registration images are obtained. Secondly, the iterative back-projection (IBP) algorithm is used to reconstruct the estimated image respectively. Finally, the output image is obtained by weighting the registration error. Experimental results show that compared with the traditional algorithms, the reconstructed results of this algorithm have obvious improvement in both the PSNR and standard deviation or the no reference image sharpness assessment based on contrast sensitivity (NRSACS), and have better objective and visual effects.

Super-resolution reconstruction Optical flow method IBP algorithm Motion registration Icing image

2016-12-23。重庆市教委科学技术研究项目(KJ1501022)；重庆高校创新团队建设计划资助项目(CXTDX20 1601034)。杨梅，讲师，主研领域：信号处理。

TP3

A

10.3969/j.issn.1000-386x.2017.06.016