零散点停车位智能管理系统中的车牌图像超分辨率重建技术研究

孙文

（安徽理工大学电气与信息工程学院，淮南 232001）

0 引言

零散点停车位智能管理系统中车牌识别是一个关键的技术，而在管理系统视频监控下，由于成像设备性能的限制，加上环境恶劣、光线条件，和车辆和监控设备距离等诸多因素的影响，获取的车牌图像通常显示较低的分辨率，低分辨的车牌图像不利于准确地获取车牌信息。解决低分辨图像问题，从技术上分类，一种是从硬件上改变，但是硬件上改进成本太高，对于监控系统海量的摄像头来说，这是一个巨大的成本，所以在车牌识别领域不现实；一种是从软件来将LR图像重建为HR图像，这种技术也称作SR（超分辨率图像重建）。SR是利用单张或者多张低分辨率图像的先验信息或者图像序列的关联性重建为HR图像的一种技术。这种技术可以很好地将低像素车牌图像重建为高分辨率图像，提高识别的准确率。

超分辨率重建方法有很多种，从研究方法上基本分为三种：①基于插值法，主要是利用单帧的原有像素点，进过数值计算来扩充像素点，这样不能够引入除了原有图像的信息外的先验信息。重建出来的图像有一定的边缘效应和振铃效应。②基于重建法，重建法主要分为频域和空域两个角度。频域方面由于在复杂环境适应性太低，所以现在很少就使用该方法。空域方面有非均匀插值[9]，迭代反投影（IBP）[10]，投影到凸集（POCS）[11],还有基于后验概率的MAP法等一些混合方法。③基于学习法，基于学习法在图像重建过程中引入了从学习模型获得的先验信息。典型的算法有基于实例的方法、邻域嵌入法[12]（线性嵌入基于学习的超分辨率重建）、基于稀疏编码SR方法。

1 重建算法和流程

基于稀疏学习的方法是目前基于学习重建最常用的方法，也是效果最好的。稀疏编码的概念来自于神经生物学，动物在长期的进化中，生成了能够快速、准确、低代价地表示自然图像的视觉神经方面的能力,依照该理论，可以在在大量的数据集中，选取很小部分作为元素来重建新的数据，达到观察的效果。在LR图像中，高频分量比较少。根据稀疏编码的原理，利用图像先验信息建立出的字典，可以很好地恢复出LR图像中的高频信息。但是这种理论方式主要使用了图像先验信息，在一些特殊场合，图像序列间存在亚像素级别的位移，序列之间有着互补的冗余信息，基于学习重建的方法没有利用好图像序列间的关联信息。而基于重建的超分辨率重建方法主要是利用连续图像序列间先验信息来进行重建，实际结果表明，当重建到4倍以上的时候，图像就开始出现模糊，这主要是因为先验信息缺乏。

本文在经过以上分析，结合车牌图像的实际应用场景，提出了一种先利用图像序列间的关联性，使用块匹配的方法对图像帧序列进行运动估计，筛选出合适的帧序列，利用MAP法将筛选出的帧序列重建为合适的中分辨率的图像，然后再利用稀疏表示的方法，重建出高分辨率的图像。

本文算法整体思路如图1：

图1 算法流程图

2 图像退化模型

在图像序列中，车牌原始的高分辨率图像可以表示为Y，原始的图像经过几何变形、环境和采样噪音后，在原来的高分辨下，经过下采样得到一组低分辨率的观测序列 X{1,2···,k}，有：

其中，W为变形矩阵，H为模糊矩阵，S表示下采样，N为加性噪音。

2.1 利用先验信息初次提高分辨率

（1）基于运动估计的连续帧筛选

在实际场景中，车辆在行驶的时候，车牌连续图像序列之间存在位移偏差，如果连续帧之间存在大幅度的运动，直接进行重建会出现偏差。所以使用MAP法重建之前，首先要对连续帧做筛选，截取图像序列间位移偏差不大图像序列对于车牌图像块的确定可以使用边缘检测快速确定，假设车牌图像块占的像素大小为M×N，首先建立匹配准则，本文通过判断相邻帧的绝对平均误差SAD，寻找到最优匹配[13]。

其中：

其中，f（m,n）代表该点的灰度值，（i,j）代表相对位移量。

①三步搜索法

按一定步长取图像中心点及其周围8个点构成每次搜索的点群。

Step1:将中心作为原点，选取搜索步长为8，在周围8点内计算SAD，找到最合适的点。

Step2:将搜索步长变为上次的一半，以上次最优的SAD点作为中心点，在周围8点内计算SAD。

Step3:重复Step2的计算，直到步长为1，该点对应的位置矢量为最佳运动估计。

通过以上步骤，得到每帧之间的运动矢量为dxi,dyi，将帧间的距离记作。

设置阈值T，将Δd小于T作为一个分割点，筛选出作为图像重建的连续帧X{1,2···,k^}。

②MAP法重建中分辨率图像

根据最大后验概率的原理，有：

再根据贝叶斯原理，推导得：

对式两边取对数：

可以看出重建的图像和原始图像的先验概率P（y）模型、降质模型下LR图像成像的条件概率P（x/y）模型有关。

所以MAP法重建的好坏和先验模型选择有关，先验模型要满足是凸函数，可以选择MPF（马尔科夫随机场）模型。

求解出的最优ymap记作中分辨率的车牌图像Z。

2.2 基于稀疏表示的超分辨率重建

将利用连续序列得到的合适中分辨率图像经过稀疏表示方法继续重建为更高的分辨率。

根据稀疏表示理论，车牌LR（低分辨率）图像和对应HR（高分辨率）图像相对于它们自己的字典具有相同的稀疏系数。因此，可以通过组合训练的HR字典D和相应LR图像的稀疏系数a来重建高分辨率图像。

稀疏表示模型为：

其中，D的每一列id称为基或字典原子，a是稀疏系数，ε是重建误差。

得到的最优稀疏系数α*，高分辨图像块重建为：

可以理解为在重建图像前，首先要做的是构造超完备稀疏字典，稀疏字典的作用是建立起高分辨率和低分辨率之间的关系，然后通过稀疏编码融合过的图像进行重建。在构建完备字典后，再进行HR重建。

（1）建立完备的稀疏字典

稀疏表示算法首先要训练两个具有相同稀疏表示的词典高分辨率词典和低分辨率词典，这样词典表示代表的是图像特征而不是绝对强度，在重建过程中，每一个高分辨率图像块的均值是通过低分辨率图像块的均值预测。对每一幅低分辨率图像块；由低分辨率词典就总能找到一个稀疏表示，相应的高分辨率词典和稀疏表示的线性组合构成高分辨率图像块[4-6]。寻找稀疏表示的公式如下：

实现输入训练图片集X，输出最优字典D和稀疏表示系数A，学习字典的优化问题可以表示如下：

D,X=argmin{||X||0} s.t.||Y-DX||2≤ ε （9）

也可以表示为：

字典构造的过程中，本文采用MOD算法（最优方向算法）来训练字典，MOD算法更新字典的策略就是实现表征误差最小化。

具体构造步骤如下：

Step1:初始化

利用高斯随机矩阵，得到初始矩阵D0，将每一列单位化，

Step2:固定字典，更新系数

Step3:固定系数，更新字典

Step4:循环二三步骤，直至收敛。

（2）SR图像重建

有了超完备字典，将经过最大后验概率方法重建的中分辨率图像Z，利用稀疏表示来重建高分辨率图像[6-7]。

具体步骤如下：

Step1:取经过估计的图像中分辨率图像Z中3×3的图像块z，图像块之间重叠的部分为1；计算图像块的像素均值。

Step2:求解最优稀疏系数：

Step3:计算叠加均值后高分辨率图像块Zi=Dhαi+m，组合得到高分辨率图像Z0。

Step4:利用梯度下降法，求解：

来找到满足重建约束的最优图像Ζ*。最后,输出最终的重建的高分辨率图像。

3 实验结果和分析

在选用数据集的时候，考虑到稀疏编码本身就是原理利用自然界图像的统计信息。本文主要应用场景为超分辨率重建在车牌图像领域的应用。综合考虑后，采用自然图像和标准的车牌图像结合的数据集来作为训练样本。本文的实验环境是Intel Core i5 2.4GHz 2核CPU，仿真软件为MATLAB。

为了表明这种方式重建的图像有更好的效果，本文将和单独的MAP重建和稀疏重建做对比，仿真结果如图2所示。

从主观上可以看出在单一的MAP法重建的图像和利用单帧的稀疏表示后的高分辨率图像的重建效果没有本文所采用的结合方法的效果好。

表1 PSNR评估结果

图2

峰值信噪比PSNR提供了一个衡量图像失真或是噪声水平的客观标准表示。两个图像间，PSNR值越大，则越趋于无劣化。

从数值上看出，稀疏学习法的重建效果要比MAP法重建效果好，本文将两者结合的效果是最优的。也是证明该方法充分利用了图像的先验信息和图像序列的关联性。

4 结语

相比较针对单帧的基于学习的图像重建，和没有利用图像先验信息的MAP法，本文将两者结合，在车牌识别场景中，合理的筛选出图像关联性大，利用重建的图像序列，进行初次中分辨率重建，再利用稀疏学习的方法重建出高分辨率图像。实验结果表明，在车牌识别的场景下，该方法一定程度提高了图像超分辨重建的效果。