基于块匹配和迭代反投影的车牌图像超分辨率重建

宋海英，王 艳

(成都工业学院 通信工程学院，成都 611730)

基于块匹配和迭代反投影的车牌图像超分辨率重建

宋海英*，王 艳

(成都工业学院 通信工程学院，成都 611730)

利用超分辨率重建技术提高车牌图像的质量，以获取更好的识别效果。首先采用基于小波变换的块匹配方法对车牌图像进行配准，然后利用迭代反投影算法对配准后的图像进行重建获得高分辨率的图像。对模拟生成的多帧图像和标准测试视频序列进行了实验，实验结果表明：该算法能有效提高车牌图像的质量。

超分辨率；图像重建；块匹配；迭代反投影

车牌的识别率很大程度上取决于车牌图像质量的好坏。通常从拍摄的视频序列中截取的图像难以满足直接进行车牌识别的要求，所以在进行车牌识别之前首先要提高图像质量，以获得更好的识别效果。超分辨率重建技术是提高图像分辨率的重要技术，有利于对场景中的车牌进行辨识。它利用低分辨率图像间的相似性、冗余性以及图像的一些先验知识进行数据融合，得到高分辨率的图像或视频序列。目前常用的方法有凸集投影法(POCS)[1]、统计复原法[2]和迭代反投影法(IBP)[3]等，这些算法充分利用多幅图像之间相似的信息，其超分辨率重建能力通常高于单幅图像复原算法。其中IBP算法具有计算量小、算法简洁、收敛速度快等优点[3]。

超分辨率重建成功的关键除了需要高效的重建算法外，还在于精准的运动估计。运动估计算法即配准算法的精度将直接影响到超分辨率重建的质量。基于块匹配的图像配准最直观，也是最常用的一种运动估计方法，能够对存在局部运动的情况进行较好的估计。在块匹配算法中，全搜索(ES)算法精度最高，算法简单，但运算量很大，不适合实际应用。为此，国内外学者们相继提出了许多快速搜索算法，如新三步搜索法(NTSS)[4]，简单有效搜索法(SES)[5]，边形算法(HEXBS)[6]，定向菱形法(DDS)[7]，自适应十字搜索(ARPS)[8]等。文献[9]提出了一种改进的基于小波变换的自适应十字模式搜索算法(W-IARPS)，这种方法在小波变换域中完成匹配宏块的搜索，可以有效减少匹配点的搜索个数。

本文采用基于小波变换的块匹配算法[9]和迭代反投影重建算法[3]对车牌图像进行超分辨率重建。为了验证算法的有效性，实验中分别对模拟图像序列和标准测试视频序列进行了分析。

1 基于小波变换的块匹配图像配准

块匹配方法的基本思想是：将各图像分割为大小一样的子图像块，在参考图像内中找出搜索图像中每一个子块的最佳匹配块。搜索图像的子块与参考图像中与之对应的最佳匹配块之间的相对位移即为该子块中心像素点的运动向量。

设视频序列中的当前帧为第K帧，将图像划分为M×N的子块图像，对于当前帧中的每一个子块在第K-1帧内寻找一个大小相同的最佳匹配块，搜索窗口大小为(M+2dx,N+2dy)，从而得到该子块的运动向量(x,y)。块匹配模型如图1所示。

图1 块匹配运动估计

比较当前块与其他帧中相同大小块的像素差异，从而找到像素差异最小的块，即为最佳匹配块。

对图像进行小波变换，可以得到不同频带的子图像。由于图像的低频分量保留了原始图像的重要特性，因此通过对低频子带图像进行分析能够获得上一级图像的平均统计特性。所以经过小波变换后，只需要在图像的低频分量上进行最佳匹配块的搜索，有效减少了匹配点的搜索个数。设原始图像为I，经过小波分解后得到：

[IL,IH,IV,ID]=dwt2(I)

(1)

其中：IL为图像的低频信息；IH、IV和ID分别为图像的水平、垂直、对角线方向上的高频细节；dwt2为二维离散小波变换。将当前帧I和参考帧P进行二维离散小波变换后得到各自的低频图像IL和PL，将低频图像IL和PL按照IARPS方法[9]进行块匹配得到配准后的低频分量IL＊，再与参考帧P的3个高频细节PH、PV和PD进行小波逆变换，得到配准后的图像I＊。算法的实现框图如图2所示[9]。

图2 配准算法的实现框图

这样，在低频子图像M×M的搜索范围内进行搜索，就等效于在原图像2nM×2nM的范围内进行搜索，其中n为小波分解的层数。宏块的大小M×M视目标的运动程度和小波变换级数而定。

2 车牌图像超分辨率重建

超分辨率重建最早是在频域进行的，虽然频域方法运算简单快速，且容易实现并行处理，但是其运动模型只限于全局的平移运动和线性空间不变的降质模型，同时，包含的先验信息很少，也缺少很好的正则化处理。基于此，现在主流的重建方法都在空域进行。空域方法中的IBP算法克服了频域方法无法引入先验信息的缺点，自身具有计算复杂度低、收敛速度快、重建质量好等优点[10]。

IBP重建算法的基本思想是：如果超分辨率重建图像接近于原始高分辨率图像，则超分辨率重建得到的图像在低分辨率观察模型下仿真得到的图像应该与输入的(即实际观测的)低分辨率图像一致；将仿真得到的低分辨率图像与实际观测的低分辨率图像之间的差值投影到对应的高分辨率图像栅格上，对本次迭代所估计的高分辨率图像进行更新；随着迭代误差的收敛，最终可得到估计的高分辨率图像，即超分辨率重建图像。IBP超分辨率重建算法的数学描述可表述为[10]：

(2)

图3 IBP的重建框图

3 实验结果分析

为验证算法的有效性，分别对合成图像及真实车牌视频序列进行了仿真实验。

3.1 合成图像实验

实验利用模拟产生5幅低分辨率图像重建出1幅高分辨率图像，如图4所示。通过对原始高分辨率图像做不同大小的水平平移、垂直平移和旋转操作得到运动后的图像；然后选择高斯模板对其进行模拟光学系统的降质过程，模板大小选为5×5，方差为1；最后将模糊后的图像进行2倍下采样，生成5幅模拟的低分辨率图像序列。这样得到的图像序列之间的运动是全局运动，四参数配准法是一种有效的全局运动配准算法[10]，因此实验将分别采用四参数配准与本文基于小波的块匹配算法进行对比实验。

(a) 原始高分辨率图像

(b) 模拟生成的5幅低分辨率图像

(c) 各配准图像

图4 合成实验图像

实验以第1幅图像作为参考图像，利用小波块匹配算法进行运动配准的结果如图4(c)所示。

重建效果如图5所示，图5(a)是双三次插值结果，图5(b)是文献[10]四参数配准算法的重建结果，图5(c)是本文算法的重建结果，对图5(a)、5(b)和图5(c)采用相同的二值化算法进行二值化处理，其结果分别见图5(d)、5(e)及图5(f)。从图5可知，双三次插值图像比较模糊，采用四参数配准和块匹配算法后重建得到的图像都较为清晰，图5(b)图像中的边缘部分有很多毛刺，虽然本文算法得到的图像二值化后的边缘有少部分断裂，但是车牌数字边缘更清晰(例如数字8)，这将更有利于后续的车牌识别。

(a)双三次插值结果

(b) 四参数配准重建结果

(c)本文算法重建结果

(d)图(a)的二值化图像

(e)图(b)的二值化图像

(f)图(c)的二值化图像

图5 重建效果

3.2 真实图像实验

对“car”视频序列[11]进行实验的结果如图6所示，图6(a)是视频序列中第3帧的双三次插值结果及其二值化图像，图6(b)是视频序列中第14帧的双三次插值结果及其二值化图像，图6(c)是视频序列中第3帧的文献[9]算法重建结果及其二值化图像，图6(d)是视频序列中第14帧的文献[9]算法重建结果及其二值化图像。图6(e)是视频序列中第3帧的本文算法重建结果及其二值化图像，图6(f)是视频序列中第14帧的本文算法重建结果及其二值化图像。由图6可知，经过超分辨率重建后的图像跟双三次插值图像相比，车牌和车身更清晰，整体视觉效果更好。

(a)双三次插值结果及其二值图像(第3帧)

(b)双三次插值结果及其二值图像(第14帧)

(c)文献[9]算法结果及其二值图像(第3帧)

(d)文献[9]算法结果及其二值图像(第14帧)

(e)本文算法结果及其二值图像(第3帧)

(f)本文算法结果及其二值图像(第14帧)

图6 “car”视频实验结果

图6(c)、6(d)、6(e)、6(f)中的局部放大图像如图7(a)、7(b)、7(c)、7(d)所示。可以看出，文献[9]POC重建算法得到的图像具有更明显的振铃效应，本文算法的重建结果保持了较好的清晰度和视觉效果。

(a)文献[9]算法结果局部放大图(第3帧)

(b)文献[9]算法结果局部放大图(第14帧)

(c)本文算法结果局部放大图(第3帧)

(d)本文算法结果局部放大图(第14帧)

图7 局部放大图像

4 结语

为提高车牌图像的质量，本文对车牌图像的超分辨率重建进行了研究。实验结果表明：使用基于小波的块配准方法进行迭代反投影重建得到的超分辨率重建图像具有较好的分辨能力和视觉效果。

[1] STARK H,OSKOUI P.High-resolution image recovery from image-plane arrays, using convex projections[J].Journal of the Optical Society of America A,1989,6(11):1715-1726.

[2] SCHULTZ R R,STEVENSON R L.Extraction of high-resolution frames from video sequences[J].Image Processing IEEE Transactions on,1996,5(6):996-1011.

[3] IRANI M,PELEG S.Improving resolution by image registration[J].Cvgip Graphical Models & Image Processing,1991,53(91):231-239.

[4] LI R,ZENG B,LIOU M L.A new three-step search algorithm for block motion estimation[J]. Circuits & Systems for Video Technology IEEE Transactions on,1994,4(4):438-442.

[5] LU J,LIOU M L.A simple and efficient search algorithm for block-matching motion estimation[J].Circuits & Systems for Video Technology IEEE Transactions on,1997,7(2):429-433.

[6] ZHU C,LIN X,CHAU L P.Hexagon-based search pattern for fast block motion estimation[J]. Circuits & Systems for Video Technology IEEE Transactions on,2002,12(5):349-355.

[7] JIA H,ZHANG L.Directional diamond search pattern for fast block motion estimation[J].Electronics Letters,2003,39(22):1581-1583.

[8] WANG X Y,ZHENG J H.Adaptive rood pattern search for fast block-matching motion estimation[J].Journal of Electronics & Information Technology,2005,27(1):104-107.

[9] 孙琰玥,何小海,宋海英,等.一种用于视频超分辨率重建的块匹配图像配准方法[J].自动化学报,2011,37(1):37-43.

[10] 覃凤清,何小海,陈为龙,等．一种基于子像素配准的视频超分辨率重建方法[J].光电子:激光,2009,20(7):972-976.

[11] MDSP Super-Resolution And Demosaicing Datasets[DB/OL].[2015-08-10].http://users.soe.ucsc.edu/～milanfar/software/sr-datasets.html.

Super-resolution Reconstruction for Vehicle License Plate Image based on Block Matching and Iterative Back Projection

SONGHaiying*，WANGYan

(School of Communication Engineering, Chengdu Technological University, Chengdu 611730, China)

In order to improve the quality of a vehicle license plate image, the super-resolution reconstruction technology is used. Firstly, block matching method based on wavelet transform is applied to obtain the registration of the image. And then, iterative back projection algorithm is used to reconstruct a super-resolution image from the registered image. Reconstruction is performed on simulated image and standard test video respectively. Experimental results show that the algorithm can effectively improve the quality of a vehicle license plate image.

super-resolution; image reconstruction; block matching; iterative back projection

10.13542/j.cnki.51-1747/tn.2015.04.006

2015-11-24

四川省教育厅科研项目“基于目标分割的超分辨率重建研究”(14ZA0283)

宋海英(1974— )，女(土家族)，湖北恩施人，副教授，博士，研究方向：图像处理，通信作者邮箱：286024871@qq.com。 王艳(1986— )，女(汉族)，重庆人，讲师，硕士，研究方向：信号与信息处理。

TP391.4

A

2095-5383(2015)04-0018-04