融合多传感器与迁移学习的车牌识别方法研究

严 格

（浙江同济科技职业学院，杭州 311200）

车牌的准确定位和识别技术作为智能交通系统和车辆管理的关键技术之一，不仅有助于提高交通管理效率，还为智能驾驶和车辆安防提供了重要支持。然而，在复杂背景下，车牌定位存在很多问题。例如：光照条件变化，传统方法对于光照条件的变化较为敏感，容易造成车牌区域定位错误；复杂路况下（在弯道和交叉口），车牌定位及识别准确率降低；在夜间光线不好的情况下，也会限制其准确性和鲁棒性。激光雷达技术具有高精度，无需外部光源等优势，在光照变化和恶劣天气条件下仍然能够稳定工作，能够适应复杂的实际道路环境，为车牌定位提供更为稳健的解决方案。与此同时，迁移学习作为一种机器学习技术，可以在源领域和目标领域之间共享知识，从而在目标领域中实现较好的性能，减少数据需求和模型训练的复杂度。在车牌识别任务中，传统的深度学习方法需要大量的标注数据进行训练，但是在实际应用中获取大规模标注数据常常具有较高的成本。因此，利用迁移学习技术将在源领域（如一般场景下的车辆图像）训练得到的知识迁移到目标领域（复杂背景下的车牌图像）进行车牌识别，将成为提高车牌识别性能的有效途径。

本文旨在为车牌定位与识别技术的改进提供新思路和方法，促进智能交通系统的进一步发展。该方法的核心在于将激光雷达技术与图像传感器相融合，并辅以迁移学习，构成了一种新的车牌精准定位与识别方法。在这一方法中，激光雷达技术实现车牌的精准定位，克服了复杂背景下存在的问题，为车牌识别奠定了基础。同时，图像传感器获取丰富的视觉信息，为车牌识别提供了必要的特征。通过图像传感器获取的车牌图像，可以为后续的字符分割和识别提供重要的输入。对于车牌识别任务，迁移学习利用预训练模型，使得字符识别模型能够从源任务中学习到丰富的特征，再通过微调来适应目标任务，避免了从零开始训练模型所需的大量数据和计算资源。本文融合了激光雷达和图像传感器数据，辅以迁移学习技术，充分利用了多模态信息，改善了车牌定位与识别的综合性能，提高了车牌识别的准确性和鲁棒性。本文所述车牌定位识别策略整体流程如图1 所示。

图1 车牌定位识别策略整体流程

1 基于激光雷达技术的车牌定位

激光雷达具有较强的环境感知能力，可以获取到目标物体的距离和位置信息。在车牌定位中将激光雷达设置在车辆顶部，通过扫描周围环境，获取车辆及车牌的三维信息。与传统的图像处理方法相比，激光雷达能够克服复杂背景下的干扰，具有更高的鲁棒性和准确性。通过获取车辆和车牌的三维点云数据可精确定位车牌的位置，本文采用Velodyne VLP-16 激光雷达进行数据采集，完成车牌定位。

1.1 点云预处理

去除离群点。点云数据中常常包含一些异常点，这些点可能是因为激光测量误差、反射物体的干扰或传感器故障等原因导致的。这些离群点对后续的处理和分析会产生不利影响，采用中值滤波的方法，通过计算点云数据的统计特征来识别和去除离群点。

数据平滑处理。点云数据采集过程中可能存在噪声，这些噪声会导致点云数据的不平滑。为了提高数据的平滑度和连续性，采用高斯滤波算法，对点云数据进行平滑处理。

点云配准。激光雷达在车辆行驶过程中可能会发生姿态变化或传感器位置的微小变化，导致采集到的点云数据存在配准误差。本文采用ICP 算法进行数据配准将多个点云数据进行匹配和对齐，使其在同一个坐标系下表示同一场景。通过点云配准，可以消除点云数据之间的配准误差，提高数据的一致性和精确性。

点云滤波。首先根据车牌尺寸及激光雷达点云密度除去过于密集或过于稀疏的点云。然后由于车牌的位置是固定的，将背景中可能存在的交通标志牌、施工标志牌等复杂背景下的强反射点云滤除。

1.2 基于位置特征的点云聚类及车牌三维坐标获取

在车牌定位中，车牌通常位于车辆的前部或后部，这一特征可用作车牌区域的定位依据。本文采用基于位置特征的几何特征提取方法，将点云数据聚类成车牌区域和其他环境区域。具体步骤如下。

地面提取。首先，将地面点云数据从总体点云中提取出来。地面点云数据通常位于车辆周围平坦区域，通过计算点云数据的高度特征，可以将地面点云数据识别出来。

聚类分析。在地面点云的基础上，采用聚类分析方法将点云数据进行分组。聚类分析之所以能够实现车牌区域定位，是利用点云数据中的点，依据这些点的特征来进行分组。确定车牌区域选择使用基于密度的DBSCAN 聚类算法，该算法将具有足够密度的区域划分为簇，并在具有噪声的空间数据库中发现任意形状的簇，将簇定义为密度相连的点的最大集合。根据使用该算法得到的上述点云聚类的结果，确定可能包含车牌的聚类区域。然后通过计算车牌区域的形状特征，进一步筛选出车牌区域后，根据车牌区域的位置信息，得到车牌的三维坐标。

1.3 图像传感器的车牌图像采集与双重验证

为验证基于激光雷达技术的车牌定位策略的有效性，在激光雷达定位车牌的基础上，利用图像传感器（如摄像机）对车牌区域进行图像采集，获取车牌图像。通过激光雷达定位的车牌坐标和图像传感器采集的车牌图像进行双重验证，对比2 种信息的一致性，可以验证激光雷达定位的准确性，并排除可能存在的误差。本文采用Velodyne VLP-16 激光雷达，在实时复杂背景下进行车牌定位，并通过图像传感器进行双重验证。共生成了153 组点云数据，每组数据大约包含10 000 个点，通过计算准确率、召回率和F1-score 指标，对2 种方法的定位准确性进行了对比。车牌定位准确性对比，见表1。

表1 车牌定位准确性对比（%）

通过计算定位结果之间的欧式距离，在大多数情况下，2 种方法得到的车牌位置之间的欧式距离较小，说明定位结果相对一致。在实验中，当车辆遮挡、光照变化等复杂背景下，点云聚类方法相比图像传感器表现出更好的鲁棒性。

通过实验分析可得，在复杂背景下本文基于激光雷达的车牌定位方法有较高的准确性和鲁棒性。为后续车牌字符识别实现了提供精准的车牌定位和感兴趣区域，增强了鲁棒性，降低了后续字符分割的难度，是提高车牌字符识别的精度和准确度的基石。

2 基于迁移学习的车牌识别

2.1 基于连通域提取的车牌字符分割

图像传感器在车牌识别中起着关键作用，其能够捕捉车牌图像，并为后续的字符分割和识别提供重要的输入。本文通过图像传感器采集车辆图像信息，根据激光雷达定位车牌的结果，确定车牌在图像中的位置和大小，最终提取得到车牌区域图像。本文采用基于连通域提取的字符分割算法，该算法是一种用于图像分割的基础算法，其原理是寻找图像中具有相同像素值且相互连接的像素集合，将其看作是一个连通区域。具体可包括图像表示、像素连接、连通域标记及连通域提取分析等几个步骤。连通域提取算法在本文车牌字符分割中的实现过程如下。

图像预处理。首先，对车牌图像进行预处理。这包括将车牌图像转换为灰度图像、去噪和图像增强等操作。预处理有助于减少噪声的影响，提高后续处理的效果。

边缘检测。利用Canny 边缘检测算法提取车牌图像中的边缘信息。边缘检测能够确定图像中的目标边缘。

连通域提取。在边缘图像中，通过连通域提取算法寻找连通区域，在车牌字符分割中提取具有字符形状特征的连通域，即车牌字符区域。

连通域筛选。由于车牌图像可能包含多个连通域，需进行筛选，留下具有字符形状的区域，该区域的宽高比例是个固定值，且间隔较小。根据这些特征进行筛选，去除不符合要求的连通域。

字符区域提取。经过连通域筛选后得到图像中的字符区域。这些字符区域就是车牌图像中的字符部分。根据连通域的位置和大小信息可以将字符区域从原始图像中剪切出来，形成独立的字符图像。通车牌字符分割图像效果示例如图2 所示。

图2 车牌字符分割效果示例

2.2 构建VGGNet 车牌字符识别模型

2.2.1 构建字符数据集

针对复杂背景下的车牌字符识别，为了提高模型在车牌数据上的表现，本文在VGGNet 在预训练时使用的数据集的基础上构建一个在复杂背景下（光线变化、复杂路况等）小规模的车牌字符数据集。将经过上文提取得到的车牌字符作为训练样本，对于每个字符区域标注其对应字符序列，并对字符集数据进行旋转、平移、缩放等操作，以扩充训练数据量。部分字符分割数据集示例如图3 所示。

图3 部分字符分割数据集示例

2.2.2 模型训练

本文采用迁移学习策略，利用预训练的VGGNet网络，在数据集上进行预训练，并将学习到的特征迁移到车牌字符识别任务中。本文训练数据总共为21354张，其中训练集1 4947 个样本（70%），验证集3 203 个样本（15%），测试集3 203 个样本（15%）。

在车牌识别过程中，首先需要将经过字符分割的图像输入到VGGNet 网络，并利用前几层的卷积和池化技术提取出其中的特征，然后将这些特征输入到全连接层，进行精确的字符分类，从而实现准确的车牌识别。具体实现过程：将VGGNet 的卷积部分作为特征提取器，保持其权重不变，只对全连接层进行微调。这样做的目的是利用在ImageNet 数据集上预训练的VGGNet 学习到的通用特征，使其适应车牌字符识别任务。将数据集划分为训练集、验证集和测试集。将ImageNet数据集上的预训练的VGGNet 模型替换为一个新的全连接层，以便更有效地进行车牌字符的分类。该全连接层不仅可以提高模型的准确性，而且还可以更好地支持卷积分析。全连接层的输出节点数等于车牌字符类别的数量。在开展数据分析之前，首先要对相关参数进行精确的设定，然后使用Adam 算法对交叉熵损失函数进行优化，将学习率设定在0.000 1，最后使用学习率调节器对其进行实时校正，从而使其能够满足训练的要求。最后固定VGGNet 的卷积部分的参数，只训练新添加的全连接层。在训练过程中，根据验证集的表现来调整超参数和防止过拟合。当验证集上的性能达到最优时，将所有层的参数解除固定，继续训练整个网络。

2.3 实验结果与分析

为验证车牌识别算法模型的性能，实验采用了包含3 203 张车牌图像的测试数据集，该数据集图像包括复杂背景下（夜间道路、交叉口、光线变化等情况）1464张图像以及普通背景下的1 739 张图像，图4 为部分车牌识别示例，车牌识别结果见表2，在复杂背景下车牌识别的准确率约为89%，在普通背景下车牌识别准确约为94%，车牌识别平均准确率为91.5%。

图4 车牌识别示例

3 结束语

本文提出的融合多传感器与迁移学习的车牌识别策略，旨在为复杂背景下的车牌识别问题提供新的解决思路，力求提高复杂背景下车牌定位及识别精度。通过实验表明，使用本文提出的车牌识别方法充分利用了多传感器的融合，能够实现复杂背景下车牌的精准定位与识别。然而，本文提出的方法仍然存在一些挑战和改进空间。例如，可以进一步优化激光雷达的数据处理流程，以提高车牌定位的效率。此外，在实际应用中，不同环境条件和车牌样式可能会对识别性能产生影响，因此需要进一步考虑模型的泛化能力和鲁棒性。融合多传感器与迁移学习的车牌精准定位与识别方法为解决复杂背景下车牌识别问题提供了一种创新思路。未来，还可进一步探索不同传感器的组合、更高效的特征提取方法以及更强大的迁移学习策略，以进一步提升车牌识别的精准度和鲁棒性，为智能交通领域的发展作出更大的贡献。