车牌图像色彩迁移与正则化约束去雾算法

王巧月，陈树越

常州大学 信息科学与工程学院，江苏 常州213164

近年来，随着环境的逐步恶化，雾霾现象变得更加严重，大雾天气的出现越来越频繁。雾霾和雾现象的形成是由于悬浮在大气中的小颗粒引起可见度降低，这些小颗粒会造成光的散射，从而导致获得的图像或视频的对比度和颜色质量下降[1]，限制场景中远区域的可见性，因此也阻碍了计算机视觉系统的性能。交通监控系统是城市交通系统的重要组成部分，交通监控的车牌识别环节在交通问题处理上起到至关重要的作用，如肇事车辆侦查、交通违规违法行为定责。受大雾天气影响，交通监控拍下的模糊图像无法获得有用的车牌信息，从而导致车牌识别率大大降低，甚至无法正常工作。

雾随着成像场景深度的增加而增加，由于二维图像中缺乏深度信息，所以早期的去雾方法依赖于外部信息[2]，但是通常情况下外部信息不可用，从而限制了方法的实用性。对此，单图像去雾方法应运而生，单图像去雾方法不需要外部信息，根据图像雾度与深度有关，雾图的清晰度是空间变化的[3]，因此得出雾图形成的物理模型，但是物理模型中还是需要深度信息，所以大多数现有的单图像去雾方法需要施加先验信息。如He 等人[4]提出的暗通道先验（DCP）、Tan[5]提出的对比度先验和颜色衰减先验[6]。利用图像增强技术的图像去雾方法不依赖于物理模型，比较常用的图像增强去雾方法包括直方图均衡化法、同态滤波法、小波变换法、曲波变换法和Retinex 算法[7]。以上是基于物理模型和非物理模型的一些传统去雾方法，此外还有近来比较流行的基于深度学习的图像去雾方法。基于学习的去雾方法不是直接估计透射传输图，而是通过给定的机器学习模型，从已知的模糊雾图和其对应的清晰无雾图数据集中学习将图像链接到合理的传输图的映射。可以从简单的线性技术到卷积神经网络[8-10]，学习到雾图与其传输图的映射关系。其中数据集的获取是一大难题，一般需要已知真实的场景深度信息[11]。并且由于需要多个输入图像和较差的计算速度，实时应用的可行性受到限制[12]。为解决大雾天气下车牌识别困难，很多研究将图像去雾算法加入车牌识别过程中。多数为单纯改进去雾算法，或者改进车牌识别算法。如将改进的Retinex算法应用于车牌识别中[13]，在车牌识别中使用全局直方图处理和Retinex 算法相结合的去雾方法，或者应用于车牌检测的改进暗通道去雾方法[14]，这些方法本质上只是改进的去雾算法在实际应用中的一例，并不是针对雾天车牌特点的特定去雾算法。

本文根据车牌的文本特征、配色简单的特点，给出了一种车牌图像色彩迁移和正则化约束去雾算法。设定清晰的车牌图像为目标图像，利用色彩迁移的方法恢复雾天车牌图像的色彩信息，实现去雾。为了更好地提高车牌识别率，除了恢复雾图的色彩信息，还需处理关键的字迹信息，所以依据车牌文字特征，利用文本像素的强度特征和梯度特征作为先验知识，对车牌图像进行正则化约束，在去除影响字符识别结果的干扰噪声时更好地保留车牌文字的边缘细节，有效提高车牌识别效果。

1 车牌图像色彩迁移和正则化约束去雾算法

针对雾天环境下拍摄到的车牌图像，车牌颜色变质、字迹模糊导致车牌识别困难这一问题，给出了一种车牌图像色彩迁移和正则化约束去雾算法。算法主要由色彩迁移去雾和文本修复两部分组成。色彩迁移去雾部分采用MKL 色彩迁移算法[15]，改变最少颜色数量有效将清晰车牌的颜色信息迁移至雾天模糊的车牌，恢复雾天车牌颜色信息，达到去雾效果。文本修复部分主要利用文本像素的强度特征和梯度特征作为先验知识，对车牌图像进行正则化约束，去除图像噪声，增强文本边缘和图像对比度，使图像更有利于车牌的识别。该去雾算法首先对雾天的车牌图像进行去雾处理恢复颜色信息，然后进行车牌图像文本的修复，算法总体示意图如图1所示。

图1 算法总体示意图

1.1 色彩迁移去雾

雾天拍摄到的图像变得模糊，图像整体偏白，且随着场景深度的增加而更加模糊，甚至会彻底丢失原始图像信息，为此需要进行图像去雾处理，恢复图像信息。雾天拍摄到的车牌图像，车牌底色及车牌号码颜色变得异常，导致识别困难，因此想到对车牌图像进行调色，使之颜色与清晰的车牌图像颜色一致，从而实现去雾的效果。所以该算法采用色彩迁移变换的方法实现车牌去雾恢复色彩信息。

色彩迁移方法有基于示例图像的颜色统计信息匹配的线性变换方式，结合图像纹理和颜色的图像表观迁移[16]，以及基于CNN的渐进式复杂照明图像外观传递[17]。该方法可有效实现参考图像到源图像的色彩迁移。针对雾图车牌图像的调色，这里采用F.Piti´e 等提出的Monge-Kantorovitch 线性变换（MKL）实现目标图像到原始图像色彩的迁移变换。该方法通过统计图像色彩信息得出原始图像到目标图像的线性映射关系，改变最少颜色数量实现色彩的迁移。由于处理的车牌图像色彩搭配简单且目标图像特征明确，所以采用该方法即可快速且有效地实现车牌色彩的恢复，达到去雾效果同时保证其处理速度。

彩色图像可以用该图像的RGB 颜色样本集(R(i),G(i),B(i))表示图像的颜色统计信息。u表示雾天模糊车牌图像，v表示清晰的车牌图像即目标图像，原始图像与目标图像的调色板对应于各自的概率密度分布f和g。色彩的迁移工作就是找到合适的映射，使得原始图像u映射后的新图像t(u)的分布与目标图像的分布g匹配。整个映射过程中传递函数t需满足式（1）：

其中，T为一N×N的3 维矩阵，μu和μv表示雾天模糊车牌图像u和清晰的目标车牌图像v的均值，Σu和Σv表示u和v的协方差矩阵。若想得出映射传递函数，主要任务就是求解矩阵T。令A、B分别表示u和v的协方差的平方根矩阵，Σu=AAT,Σv=BBT，则矩阵T的推导计算过程如下：

由式（4）可得TA=B，即T=BA-1。协方差矩阵的平方根求解方法较多，较为流行的方法是平方根分解法（SRD），将协方差矩阵分解为对称正定矩阵，具体分解公式为：

其中，f为u的概率密度函数，I(t)是关于传输函数t的变换位移最小化目标函数。该目标函数的求解方法被称为Monge-Kantorovitch（MK）解决方案[18]，利用该解决方案得出矩阵T为：

基于MK 解决方案求解的映射函数方法称为MKL变换，基于MKL 的色彩迁移变换处理雾天模糊的车牌图像处理结果如图2所示。

图2 车牌图像色彩迁移去雾效果图

图2 中第一排为模拟的不同程度雾情况下的车牌图像块，随着雾的增大，图像变得模糊，色彩变质，字迹不清晰。第二排是与第一排对应的，利用MKL 色彩迁移方法，以清晰图像为目标图像的色彩迁移后图像。从图中可以看出对于不同雾图，该方法可以有效恢复图像色彩信息，达到去雾效果。但当图像雾度特别大时，处理后的图像字迹边缘不清晰，所以需要进一步处理来修复文本信息。

1.2 文本修复

色彩迁移后的车牌图像包含较多噪声，且图像中文本边缘不清晰，针对此问题，设计车牌图像文本修复算法，采用文本像素的强度特征和梯度特征作为先验知识，构建车牌图像重建模型，有效平滑图像，保留文本边缘信息。

待修复车牌图像I(x)可以理解为由包含大部分信息的基础层S(x)和细节层D(x)组成，如式（9）所示，保留基础层去除包含细小纹理及噪声的细节层可达到平滑图像和去噪的效果。为求解基础层，需要构建式（10）所示代价函数：

其中，x表示像素点，由于需要得到的基础层图像S(x)需要保留重要的文本边缘信息，所以需要加入正则化约束项，构建下列正则化模型：

其中，λ为权重参数，ρT(S(x))为该模型的文本特征先验知识。

图像的梯度内容反映图像的边缘变化情况，在车牌图像中主要的边缘信息就是车牌字迹的边缘，所以车牌图像的梯度内容可以表示车牌文字的变化。利用已知的清晰文本图像的特征作为车牌图像恢复的先验知识，可以使得恢复后的图像拥有较好的文本边缘信息。分析文本图像的强度特征和梯度特征发现，清晰的文本图像的像素强度分布比较均匀，且在0 值处为峰值，而模糊的文本图像的像素强度分布不均匀，且几乎没有像素强度为0，所以可以将图像非零像素值作为先验知识之一，L0范数表示非0元素数量，所以定义：

ρ(x)表示图像x的非零值数量，以此为像素强度标准，作为文本图像强度先验。模糊文本图像的梯度非零值比清晰文本图像的梯度非零值更加集中，所以可定义ρ(∇x)作为文本图像梯度先验。结合文本图像的强度和梯度先验知识，可得恢复清晰车牌基础层的先验约束项ρT(S(x))如下：

其中，σ表示权重。则式（11）变为：

基于半二次分裂方法求解上式，引入中间变量u和g=(gh,gv)T代替S(x)和∇S(x)，则式（14）的最小化问题可变为：

上式可分解为如下3个子问题求解：

式（16）为最小二乘问题，求解得：

其中，F(⋅)和F-1(⋅)分别表示快速傅里叶变换和快速傅里叶逆变换，表示共轭矩阵，∇h和∇v分别表示水平和垂直方向微分。当已知S(x)时，式（17）和式（18）可求解得：

色彩迁移后的车牌图像，经过上述车牌图像文本修复算法处理后的效果如图3所示。

图3中展示了算法各部分处理效果图，从图中可以发现经过文字修复算法处理后的图像，有效解决了色彩迁移后的图像噪声大、文本边缘不清晰的问题，使得恢复的雾图更加接近原始清晰图像。

图3 去雾效果图

2 实验内容和结果分析

实验从主观和客观两方面来分析评价算法，以证明算法的有效性。主观上观察车牌图像去雾效果，客观上评价其对车牌识别的提升效果。实验数据由通过加雾处理模拟合成的雾天车牌图像和实际拍摄的雾天车牌图像组成。车牌雾图共1 100张，其中合成的雾图600张，清晰的交通监控拍下的车牌图像数据由OpenITS提供，选取其中600张车牌图像，利用雾图成像原理公式合成三组不同雾度的雾图各200 张，设置透射率为0.6 时合成第一组薄雾车牌雾图，透射率为0.4 时合成第二组中等雾车牌雾图，透射率为0.2 时合成第三组浓雾车牌雾图。实际拍摄的自然雾图500 张，根据雾图特征，雾越大雾图越模糊且越亮，所以利用图像亮度与对比度的差值决定雾图雾度。首先根据实验设定清晰图像与雾图亮度与对比度差值范围作为判定是否有雾的阈值范围，经过实验统计设定阈值范围为0.4～0.8；然后计算出图像中每个像素点亮度与对比度的差值，若该像素点差值在阈值范围内则判定该像素点为雾点；最后统计出图像中雾点所占比例，即为图像雾密度，以此作为图像分组依据。图像共450 张，被分成3 组；第一组图像雾度较轻，雾密度为10%～40%，共100 张；第二组图像雾度中等，雾密度为40%～70%，共150 张；第三组图像雾度较大，雾密度大于70%，共250张。

2.1 主观分析评价

设计算法的主要目的是恢复车牌色彩信息和文本边缘信息，使其更有利于车牌的识别。由于算法处理对象和目标的特殊性，缺少同类只针对车牌的去雾算法用来比较分析，所以利用几种主流的图像去雾算法，还有一些涉及到车牌或应用与车牌检测的去雾算法，对同样的雾天车牌图像进行去雾处理，比较去雾效果从而分析算法性能。用于对比的去雾算法包括一种应用于车牌检测的改进暗原色去雾算法（改进DCP）、颜色衰减先验算法（Color Attenuation Prior，CAP）、基于Retinex 的汽车牌照图像去雾算法（改进Retinex）、基于边界约束和上下文正则化去雾算法（Boundary Constraint and Contextual Regularization，BCCR）[19]和一种基于深度学习的端到端的去雾算法（DehazeNet，DNet）。针对加雾处理的合成的薄雾、中等雾、浓雾三组不同雾度的车牌图像，各方法去雾结果如图4所示。

图4 合成车牌雾图及各算法去雾效果图

根据图4所示的效果图可以看出，针对薄雾情况下的车牌图像，各算法都有一定的去雾效果，其中改进DCP和本文去雾效果良好；针对中等雾和浓雾情况下的车牌图像，大多算法去雾效果较差，BCCR 去雾后字迹变得明显但背景颜色失真整体对比度下降。总体而言本文算法去雾图恢复的信息最为完整，车牌文本清晰饱满，图像背景干净无噪声，更有利于后期车牌识别中的字符分割和识别。针对薄雾、中等雾、浓雾三组不同雾浓度的自然车牌雾图，各算法去雾效果如图5所示。

图5 自然车牌雾图及各算法去雾效果图

如图5 所示，CAP 和DNet 去雾算法对于自然车牌雾图的去雾效果较差，雾图几乎无明显变化，改进DCP去雾算法针对薄雾情况有一定的去雾效果，但对于中等雾和浓雾情况，车牌去雾效果变差。相比较而言，本文算法的车牌去雾效果明显，且去雾后的车牌图像清晰，前景的文本与背景对比度明显，突出重要的文本信息。

2.2 客观分析评价

车牌图像色彩迁移和正则化约束去雾算法的处理对象是有雾的车牌图像，对车牌图像进行去雾的根本目的在于提高车牌的识别率，所以为了检测算法的有效性，比较有雾车牌图像去雾前和去雾后的车牌识别率，观察算法对车牌识别率的影响。采用较为常用的车牌识别系统EasyPR[20]进行车牌的识别，比较不同去雾算法处理后的车牌识别率变化，从而评价车牌去雾算法性能。对于车牌识别效率的评价，设置0字符错误率（0-error），1字符错误率（1-error）和中文字符准确率（Chinese-precision）为评价指标，这些指标值越大表明识别效果越好，其中0字符错误即表示车牌字符全部正确识别。针对合成的车牌雾图，薄雾、中等雾和浓雾三组雾图及不同算法去雾后的车牌识别结果如表1所示。

从表1 中的识别结果可以看出，BCCR 算法去雾后的车牌图像对比度降低，车牌识别结果各项指标反而下降，不能达到提高车牌识别率的目的。对于薄雾和中等雾情况下的车牌图像，除了BCCR和MSR算法，其他去雾算法处理后的各项指标都有所提高，其中本文算法的各项指标最好；对于浓雾情况下的车牌，大部分算法去雾后的各项指标都有所下降，CAP算法去雾后的0-error提升效果很小，且1-error和Chinese-precision也有轻微下降，一直表现良好的改进DCP 算法的各项指标提升效果也有所降低。总体比较而言，改进DCP 和本文算法提升效果较为明显，本文算法在不同雾度情况下对于车牌识别率的提升效果更为稳定。针对自然车牌雾图，不同雾度下原始雾图及各算法去雾后的车牌识别结果如表2所示。

受拍摄环境、距离及亮度等因素的影响，拍摄的自然雾图要比合成的车牌雾图复杂许多，所以对于自然雾图的处理更加考验算法的性能。从表2 中可以看出除本文算法以外的大部分去雾算法对于自然车牌雾图识别率的提升效果大不如合成雾图，尤其是在浓雾情况下，所以较难满足复杂自然情况下的去雾需求。比较去雾算法对车牌识别率的影响可以看出变化趋势和表1大体一致，对于薄雾情况下较为有效，雾度较大时提升效果较差，而本文算法表现较好，尤其是1 字符错误率（1-error）和中文字符准确率（Chinese-precision）提高至80%左右，相比较原始雾图提升幅度较大。

表1 合成车牌雾图及去雾后车牌识别结果 %

表2 自然车牌雾图及去雾后车牌识别结果 %

车牌识别的0 字符错误率更能代表车牌识别率的好坏，所以以0 字符错误率为主要指标来进一步分析，绘制合成车牌雾图及自然车牌雾图在不同雾度情况下各算法去雾后车牌图像的车牌识别0 字符错误率曲线图如图6所示。

从图6可以看出，算法去雾后的识别率较去雾前有不同程度的提高，不同雾度下识别率的变化趋势较为一致，雾度越大识别率越低。但对于合成车牌雾图本文算法去雾后的车牌识别率一直维持在较高水平，且对于自然车牌雾图本文算法去雾后的车牌识别率提升幅度较大。从图中可知，不管是合成车牌雾图还是自然车牌雾图，本文算法去雾后的车牌图像识别率都表现良好，相比较原始雾图车牌识别率提升效果明显。各算法对于车牌识别0字符错误率的提升结果如表3、表4所示。

图6 车牌雾图及去雾后识别0-error曲线图

从表3、表4中可以看出，BCCR算法和改进Retinex算法并没有达到提高车牌识别率的效果，反而降低了识别率。除此之外，对于薄雾车牌图像，各算法都有一定的提升效果，但是对于中等雾和浓雾的车牌图像，车牌识别率的提升效果明显减弱，尤其对与浓雾车牌图像提升效果较差。相比之下，本文算法在不同雾度下都有较好的提升效果，对于浓雾车牌图像的识别率提升效果尤为明显。对于不同雾度下的合成车牌雾图，本文算法去雾后的车牌识别0 字符错误率相对于去雾前平均提高122.79%，对于自然车牌雾图，提高了208.57%。充分说明了算法对雾天车牌识别率的提升效果有效性和稳定性。

表3 合成车牌雾图识别0-error提升结果 %

表4 自然车牌雾图识别0-error提升结果 %

当雾度极高时，原始车牌图像的字迹与背景的区分非常弱，从而导致无法准确将对应的字迹颜色和背景颜色正确迁移，进而使得下一步文本修复部分的参数不适导致图像失真。但这种情况极少出现，总体而言，本文算法可以较大程度地满足去雾需求，提高车牌识别率。

3 结语

根据车牌图像配色简单及其文本特征，给出了包含恢复色彩信息和文本修复两个部分的一种车牌图像色彩迁移和正则化约束去雾算法，有效提高雾天车牌识别率。首先利用MKL 色彩迁移的方法，能够有效快速地恢复雾天车牌图像的色彩信息；利用文本像素的强度特征和梯度特征作为先验知识，对车牌图像进行正则化约束，更好地去除无用噪声、保留车牌文字边缘细节，从而更加有效地提高车牌识别效果。通过主客观分析评价算法对于合成的车牌雾图和自然的车牌雾图在薄雾、中等雾及浓雾情况下的去雾效果及去雾后车牌识别效果，结果表明算法去雾效果明显且适应不同雾度环境，去雾后的车牌图像车牌识别率明显提高且较为稳定。