一种用于车牌识别的图像超分辨率重建技术

刘芳华 倪 浩 阮若林 王建峰

1(湖北科技学院电子与信息工程学院 湖北 咸宁437100)2(湖北科技学院生物医学工程学院 湖北 咸宁437100)3(湖北科技学院网络管理中心 湖北 咸宁 437100)



一种用于车牌识别的图像超分辨率重建技术

刘芳华1倪 浩1阮若林2*王建峰3

1(湖北科技学院电子与信息工程学院 湖北 咸宁437100)2(湖北科技学院生物医学工程学院 湖北 咸宁437100)3(湖北科技学院网络管理中心 湖北 咸宁 437100)

获取的车牌图像因分辨率过低、过量模糊和噪声等原因会导致其图像质量较低，影响了车牌识别的准确率。为了提高车牌识别的准确率，采用基于学习的超分辨率重建算法增强低质车牌图像。引入在线字典学习方法训练超完备字典，并制作适合于车牌超分的训练图集，根据低质车牌图像重建高分辨率车牌，按照既定的模板匹配方法进行车牌识别。实验表明，超分方法的PSNR和SSIM比经典的SCSR(Sparse Coding Super-Resolution)法都有明显提升，车牌识别率也比SCSR提高了5.0%。可见，所提出的算法较好地增强了低质车牌的图像质量，有效地提高了识别率。

超分辨率 车牌识别 在线字典学习 稀疏编码

0 引 言

车牌识别技术主要采用数字图像处理技术对车辆进行分析，提取车辆牌照，确定车牌信息。实际应用中，受分辨率、环境光线、污损程度等因素的影响，一些交通视频监控设备拍摄到的车牌图像质量较低，无法满足车牌识别等后续处理的需要，影响车牌识别的准确率。可利用超分辨率算法对图像质量较低的车牌进行图像增强，提高车牌识别的准确率。

图像超分辨率重建技术主要有三种：基于插值的方法、基于重建的方法和基于学习的方法。基于插值的方法利用已知的离散样本点去估计未知的中间值，最典型的为双三次(Bicubic)插值方法。算法简单快速，但生成的高分图像过于平滑，振铃较严重。基于重建的方法通过数学模型来预测重构出高分图像，典型方法有迭代反向投影、最大后验概率、凸集投影等。操作简便，能较好地利用先验信息，效果比插值法好；但算法复杂，且解不够稳定，当放大倍数较大时，重构图像质量会快速下降。基于学习的方法通过一系列训练图像来学习低分图像和高分图像之间的关系，从输入的低分图像重建所需的高分图像。它充分运用了图像固有的先验知识，对图像细节恢复较好，能有效保持边缘的锐度；但训练样本的选择非常重要，重构图像边缘伪影较明显，且运算速度较慢。典型的算法有基于实例的方法[1]、邻域嵌入[2]法、稀疏编码超分方法SCSR[3]等。字典学习方法是基于学习的超分方法的关键，Marial提出的在线字典学习ODL方法生成的超完备字典比较精确，且适用于大规模、不确定的训练集，在图像复原中的应用效果较好[4]。

1 用于车牌识别的超分率重建

车牌识别中运用恰当的超分算法可以较好地抑制图像降质因素，增强车牌图像质量，提高车牌识别的准确率。

1.1 车牌识别流程

基于超分辨率重建的图像增强技术可以从原始含车牌图像或车牌检测后获取的低分车牌图像入手。超分放大原始含车牌图像时，较大面积的车体和背景区域图像也增强了，超分速度就大幅降低了。对于一些超分效果较好但速度相对较慢的基于学习的超分算法应用到实时车牌识别中时，识别速度难以达到要求。因此，同时考虑到超分速度和超分效果，文中只对有效区域即车牌检测后获取的低分车牌图像进行超分辨率重建[5](如图1所示)。由于所处理的车牌图像为低分辨率车牌，总像素数在1000左右，文中选择基于学习的超分算法来进行图像增强。一方面保证图像质量，另一方面在超分耗时上不会增加太多，不会影响车牌识别系统的实时性能。

图1 车牌识别流程图

将监控、相机拍摄到的彩色车牌图像转换为灰度图，用roberts算子进行边缘检测，确定车牌颜色后转换至HSV空间进行车牌定位和校正，获取彩色低分车牌图像[6]。再利用超分算法放大，获取高分彩色车牌图像后进行灰度转换、二值化、均值滤波、腐蚀、膨胀等预处理操作。然后对得到的车牌索引图像进行字符分割以从中分离出组成车牌号码的单个字符图像，对分割出来的字符进行预处理(二值化、归一化)。最后利用支持向量机[7]、小波变换[8]等方法，对分割出的字符图像进行分析提取，识别给出文本形式的车牌号码[9]。

1.2 基于学习的超分辨率重建

根据稀疏表示理论，不同信号可以表示为不同基元的线性组合；利用基元组合的结构，可以保持甚至增强原始信号的局部信息。单幅图像的超分辨率算法就是通过输入低分图像局部区域的低频信号找出恢复目标高分图像细节信息的一组基元的过程。而这些基元中，大多数基元的系数为0或接近于0，只有少数非0的系数在图像表示中起着关键作用[10]。基于稀疏表示的超分辨率重建模型将高分和低分图像在空间中分别划分为图像块后，假设高分辨率空间和低分辨率空间的稀疏表示相同：

xh≈Dhα xl≈Dlα

(1)

式中xh表示高分图像块，xl为相应的低分图像块。根据拉格朗日乘子式，图像超分问题可以描述为[3]:

(2)

根据给定的低分图像块yl和已解出的低分字典Dl，可以通过求解下式中的稀疏表示问题得到用于图像重建的稀疏系数α：

(3)

则重建的高分图像块可以表示为：

yh=Dhα

(4)

把这些图像块结合起来形成目标高分图像Yh0。为了得到较精确的超完备字典，文中引入Marial提出的ODL方法进行车牌超分辨率重建。

2 基于ODL的字典训练方法

低分车牌超分辨率重建算法包括字典训练和图像重建两部分，前者通过训练得到超完备字典，后者根据字典和低分车牌图像重建高分车牌图像[13]。

2.1 ODL字典学习算法流程

第一步，初始化。利用随机矩阵、离散余弦变换或标准稀疏编码方法训练得到初始字典D0∈Ru×k，将At和Bt的初始值设为A0←0，B0←0。

第二步，稀疏编码。用最小角回归法计算：

(5)

采用确定大小的训练集来训练生成稀疏字典。

第三步，更新At和Bt。为了加速算法的收敛，每次迭代选择了η>1个信号。因此，第t次迭代所选择的信号可以表示为xt,1,xt,2,…,xt,η，通过迭代更新At和Bt：

(6)

第四步，更新Dt。用Dt-1作为热启动，根据式(5)计算并更新Dt：

(7)

(8)

(9)

其中I为单位矩阵。矩阵At是对称的，所以：

D = BtAt-1

(10)

其中，t=1,2,…,T为迭代次数，总迭代次数T次迭代完成后返回DT，生成最终的稀疏字典。高分字典Dh和低分字典Dl均按照上述步骤分别生成。

2.2 字典更新方法

相对于传统的基于稀疏编码的字典学习方法，ODL方法的字典根据其上一数据更新，适用于不确定和大规模训练集[4]。由于式(10)中的全局求解不满足式(2)中的约束条件，因此必须对字典进行逐列更新。可采用牛顿迭代法来更新字典的每一列，则字典更新问题转化为：

(11)

将上式与牛顿迭代法结合起来得到：

(12)

再进行归一化处理，使其满足式(2)中的约束条件：

(13)

3 基于ODL的车牌超分辨率重建

根据上述ODL法生成超完备字典的方法，为得到更为准确的用于车牌识别的高分车牌图像，需选择合适的训练图集并设计更为精确的重建算法。

3.1 制作车牌训练图集

与普通的彩色自然图像相比，车牌具有特定的图像结构，如颜色构成相对较少、车牌字符边界等高频部分的频率范围相对较集中等。如果仍然利用自然图像作为训练图集，一方面会造成学习过程中的误差累积从而导致最终所学习到的超完备字典不够准确，另一方面也会增加计算量从而使字典训练过程耗时较长。

图2 部分车牌训练图集

因此，本文根据中国车牌标准图像制作了车牌训练图集(如图2所示)，其中中文字符36个，大小为43×73，英文字符26个，数字字符10个，大小均为24×46。另外，考虑到完整车牌结构，还制作了1副标准的车牌图像“京A·F0236”，大小为288×70。由于中国车牌图像为7位，前1位为中文字符，后6位为英文或数字，所有车牌都是这72个字符按不同顺序重复排列。因此，在训练过程中，为了得到足够多的训练图像块，提高字典学习的精度，文中将上述图集复制32份，形成一个足够大的训练集用于字典训练。训练过程中，根据既定的超分放大倍数，图集中所有图像均插值缩小相应倍数得到相应的低分训练集，形成训练图像对。字典训练的过程即找出训练集中高分、低分图像对之间对应关系的过程。

3.2 车牌重建算法

利用ODL方法生成超完备字典对(Dh,Dl)后，由空间邻域之间的关系，可以根据稀疏先验找到每个局部图像块的稀疏表示，即对输入的低分车牌图像由式(3)求解重建用的稀疏系数α，再由式(4)重建生成高分图像块yh[14]。这里引入包含4个滤波器的特征提取操作数F提取车图像中的高频部分特征。

(14)

重建后得到的高频图像块重叠一定像素，组合起来形成一副目标高分车牌图像的高频部分。重叠区域的重建像素值由几个预测值取平均值得到。目标图像的低频部分由低分输入车牌图像简单插值放大后划分得到，如Bicubic法、双线性插值法或最邻近区域法等。车牌图像的高频、低频部分相加后得到最终预测的超分车牌图像Yh0。

此外，由于存在噪声，上述稀疏表示方法得到的高分目标图像可能不会严格满足稀疏约束。因此，文中将Yh0投影到SHX=Y解的空间中来计算，并引入全局约束进行优化：

(15)

上式可以通过反向投影法求解，可转换为：

(16)

式中的两项分别为重建约束项和稀疏超分正则项。这个重建框架可以通过梯度递减的方式进行迭代计算：

(17)

重建算法中的这些正则项可以减少重建误差，使重建图像更接近原始高分图像。

4 实验结果及分析

车牌检测和识别对车牌识别的准确率都有非常大的影响，而本文引入的超分算法是在车牌检测之后进行的。因此，为了尽量把车牌检测的影响降到最低，只考虑超分算法对最终识别率产生的影响。文中的车牌检测算法由人工裁剪代替，实验所用的低分车牌图像是已裁剪好的车牌图像。车牌放大倍数取s=3，相应在训练时采用3×3的低分图像块和9×9的高分图像块。图像重建时重叠2像素，特征提取操作数F在Bicubic插值放大2倍后再提取特征；且只对彩色车牌图像中人眼较为敏感的的亮度部分使用超分算法。

4.1 训练集的影响及PSNR对比

实验中将输入低分车牌图像放大3倍，分别采用Bicubic、SCSR、ODL和本文改进算法ODL-Plate，输入的低分实验图像平均尺寸约为75×18。ODL法采用与SCSR相同的自然图像训练集，应用ODL进行字典训练后，超分效果较SCSR方法有小幅提升。这是因为SCSR法虽然对车牌字符边缘锐度恢复较好，但会产生较为明显的伪影，而ODL字典学习算法对伪影的抑制相对较好。ODL-Plate法采用文中制作的标准车牌训练集代替自然图像训练集，设置与SCSR法和ODL法相同的采样图像块数，n=50 000。从表1中可以看出，ODL-Plate超分法在绝大多数车牌超分中效果最好，PSNR值比SCSR法平均提升0.22 dB，比ODL法也平均提升了0.13 dB,同时SSIM值最高。虽然在“苏E·UK722”中PSNR值比ODL法低0.10 dB,但其SSIM却提高了0.022，表明其图像结构恢复较好，这有利于后期的识别操作。

表1 低分车牌超分放大结果对比

4.2 低质车牌识别结果

表1中的5幅低分车牌图像，经过ODL-Plate超分放大后的图像通过后续识别算法均能准确地识别出来。由于ODL法和SCSR法无法克服字符“H”右上方车牌铆钉的干扰，它们将“京H·G9175”中的“H”错误地识别为“R”。虽然Bicubic法插值得到的高分图像与原图差距较大，但其轮廓与字符模板匹配较好，5幅测试车牌中字符识别准确率与SCSR法相当。

图3 车牌识别结果对比

实验中除上述已知高分图像的低质车牌用作PSNR和SSIM对比外，还有部分只有低质车牌的测试图像。如图3中尺寸为47×11的“浙A·A9S87”，四行图像从上至下超分方法和识别结果依次为：Bicubic(浙AA95B7)；SCSR(津AA9SB7)；ODL(青AA9SB7)；ODL-Plate(浙AA9S87)。虽然Bicubic法插值的预处理图像“浙”字细节损失最大，但识别算法仍然可以根据其轮廓准确地识别出来；但它后面的“S”和“8”分别被错误地识别成形状相近的字符“5”和“B”。SCSR法和ODL法“浙”中恢复的细节较Bicubic更多，但受伪影等因素的影响，预处理后形成字符断点，导致识别错误。而ODL-Plate法超分后“浙”和“8”的预处理轮廓最接近原始字符，因此整幅车牌都能够准确识别。

4.3 识别准确率

为进一步统计超分算法对后续识别操作的影响，文中随机在网上选取了80幅车牌图像，共含560个字符。裁剪成待识别的低分车牌，其中大多数为模糊和含噪的低质图像，图像尺寸最小为47×11，最大为108×23。将表1和表2结合起来看，整体上超分效果越好，车牌识别率和字符识别率越高。SCSR法比Bicubic法稍高，但提升有限，其超分后虽然大部分PSNR有所提升，但超分图像中的伪影对车牌预处理算法中的滤波、形态学运算等处理产生了干扰，最终影响了识别率。应用ODL训练超完备字典后，抑制了超分图像的伪影，识别率有较大幅度的提升，车牌识别率约提高2.5%。文中ODL-Plate法的车牌识别率最高，比SCSR法提高了约5.0%，字符识别率也相应提高了2.1%。

表2 不同超分方法低质车牌识别准确率对比

5 结 语

以基于在线字典学习的超分辨率重建为基础，本文制作了适合于车牌超分的训练图集，并引入ODL训练超完备字典，由单幅低分车牌图像重建高分辨率车牌。按照既定的模板匹配方法进行车牌识别后，文中的超分算法能有效地增强低分车牌的图像质量，提高识别率。但文中所涉及到的低分车牌主要定量讨论了低分辨率因素，而对于其他的模糊、噪声等因素只在实验中与低分图像一起进行了定性的分析。因此，后续研究中将定量地分析多种降质因素对车牌识别算法的影响，结合图像去噪和去模糊处理，进一步改善用于低质车牌识别的图像增强算法。

[1] Freeman W T,Jones T R,Pasztor E C.Example-based Super-Resolution [J].IEEE Computer Graphics and Applications,2002,22(2):56-65.

[2] Chang H,Yeung D Y,Xiong Y M.Super-Resolution through Neighbor Embedding[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2004,1:275-282.

[3] Yang J C,Wright J,Huang T S,et al.Image Super-Resolution via Sparse Representation [J].IEEE Transactions on Image Processing,2010,19(11):2861-2873.

[4] Mairal J,Bach F,Ponce J,et al.Online Learning for Matrix Factorization and Sparse Coding [J].Journal of Machine Learning Research,2010,11(1):19-60.

[5] 姚振杰，易卫东.一种用于车牌识别的图像超分辨率算法[J].中国科学院研究生院学报，2013,30(1):137-143.

[6] 谢永祥，董兰芳.复杂背景下基于HSV空间和模板匹配的车牌识别方法研究[J].图学学报，2013,35(4):585-589.

[7] Aghaie M,Shokri F,Tabari M Y Z.Automatic Iranian Vehicle License Plate Recognition System Based on Support Vector Machine (SVM) Algorithms[J].Computer Applications in Engineering Education,2013,2(1):161-174.

[8] Yu S Y,Li BP,Zhang Q,et al.A Novel License Plate Location Method Based on Wavelet Transform and EMD Analysis [J].Pattern Recognition,2015,48(1):114-125.

[9] Uijlings J R,Sande K E,Gevers T,et al.Selective Search for Object Recognition [J].International Journal of Computer Vision,2013,104(2):154-171.

[10] Zeyde R,Elad M,Protter M.On Single Image Scale-Up Using Sparse-Representations [C]//Curves and Surfaces,the 7th International Conference on.Springer,2012:711-730.

[11] Lee H,Battle A,Raina R,et al.Efficient sparse coding algorithms[C]//Advances in neural information processing systems.Nips,2006:801-808.

[12] Michal Aharon,Michael Elad,Alfred Bruckstein.K-SVD:an algorithm for designing of overcomplete dictionaries for sparse representation [J].IEEE Transactions on signal processing,2006,54(11),4311-4322.

[13] Shuyuan Y,Min W,Yiguang C,et al.Single-Image Super-Resolution Reconstruction via Learned Geometric Dictionaries and Clustered Sparse Coding [J].IEEE Transactions on Image Processing,2012,21(9):4016-4028.

[14] Purkait P,Chanda B.Image Upscaling Using Multiple Dictionaries of Natural Image Patches [C]//Computer Vision-ACCV 2012. Springer,2013:284-295.

IMAGE SUPER-RESOLUTION RECONSTRUCTION FOR LICENCE PLATES RECOGNITION

Liu Fanghua1Ni Hao1Ruan Ruolin2*Wang Jianfeng3

1(School of Electronic and Information Engineering,Hubei University of Science and Technology,Xianning 437100,Hubei,China)2(School of Biomedical Engineering,Hubei University of Science and Technology,Xianning 437100,Hubei,China)3(Center of Network Management，Hubei University of Science and Technology,Xianning 437100,Hubei,China)

Some captured license plate images are low-quality because of the low-resolution,blur and noise which affects the recognition accuracy.In order to prove the recognition accuracy,the proposed method employs the sample-based super-resolution to enhance the low-quality licence plate images.It produces the training image set which is suitable for plate recognition and introduces Online Dictionary Learning to get the over complete dictionaries.After the reconstruction of the high-resolution plate image from a low-quality one,the defined template matching method recognizes the plate numbers well.The experiments show that the PSNRs and SSIMs of the proposed method are better than the classical SCSR.The percentage of the plate recognition accuracy is 5.0% higher than SCSR.So the proposed method can enhance the low-quality images and prove the recognition accuracy effectively.

Super-resolution License plate recognition Online dictionary learning Sparse coding

2015-09-05。国家自然科学基金项目(61271256);湖北省高等学校优秀中青年科技创新团队计划项目(T201513);湖北省自然科学基金项目(2015CFB452);湖北省教育厅科研计划指导性项目(B2015080);湖北科技学院校级科研项目(KY13048)。刘芳华，讲师，主研领域：计算机教育，图像处理。倪浩，讲师。阮若林，副教授。王建峰，高工。

TP391.9

A

10.3969/j.issn.1000-386x.2016.11.049