基于车载图像的里程桩牌检测及桩牌号识别

彭 帝 雷雪芹

（1.陕西交通控股集团有限公司，陕西 西安 710038；2.西安财经大学，陕西 西安 710100）

0 引言

公路交通行业以里程桩作为路线、路段长度或某一地点的参照标准［1］，用路况采集车来采集路况数据，由车载GNSS来定位路面病害位置。

光电传感器只能检测车辆行驶里程，无法准确定位车辆位置和方向。付开宇等［2］借助ArcGIS软件对道路里程桩号进行推算，分别确定里程桩牌位置和里程桩牌号，但在构建道路线形时，将每一个转弯位作为新的路段起点，即道路曲线由无数折线构成，不符合实际道路特征，且里程桩间距离计算的投影算法对应用环境要求高。赵祥模等［3］借助GPS 建立起视频图像公路信息管理系统，并将公路里程桩位置的关键视频帧录入该系统，内插得到每一帧在道路中的位置，从而建立路产信息管理系统。由于需手动录入关键帧，该方法不适合大范围应用。马荣贵等［4］提出多传感器信息融合的里程桩定位法，通过视频来采集里程桩位置，并使用光电编码器、陀螺仪来精确定位桩牌位置，但行车图像为非连续的视频，若任意一个公里桩牌号出现错误，全段道路定位错误。田智雁等［5］建立基于公路里程桩的公路数据采集平台，通过现场测量、查阅资料等方式，获取该平台所涉及的公路基础数据，但该方法的工作量大，部门之间的衔接要求高。

已有的方法大多基于车辆里程计、GPS 数据或视频片段进行处理，从而推算出里程桩在道路中所处位置，并未结合连续视频帧。其中，部分研究依赖采集人员的主观行为，自动化程度低，不适合大范围应用。为实现在卫星拒止环境下，利用里程桩牌号来获取路面病害所在位置，本研究构建的路网信息库包含道路编号、公里桩号、百米桩号及GPS 信息。当道路检测车采集路面病害信息后，会及时捕获车载GPS数据，并检索路网信息库，从而确定路面病害在路段中所处位置。

路网信息库构建的关键是里程桩检测和桩牌号识别。车辆在高速道路行驶过程中，静态里程桩识别不符合实际场景定位需求。因此，本研究设计出基于视频图像的桩牌号检测识别系统，设计思路如图1 所示。视频图像中出现拖尾、模糊等现象，可先对视频图像进行预处理。①采用CLAHE 图像增强技术来增强里程桩牌与图像背景的对比度。②采用最大稳定极值区域（Maximally Stable Extremal Region，MSER）来定位桩牌的局部位置，并裁剪桩牌区域。③通过方向梯度直方图（HOG）来提取桩牌所在区域的形状特征。④以HOG提取到的特征集合为支持向量机（SupportVerticalMachine，SVM）输入，实现对两类桩牌图像的分类。

图1 基于车载图像的里程桩定位及桩号识别系统

由于公里桩牌外形独特、字体明晰、破损较少，可采用CRAFT 算法来提取公里桩牌号。而百米桩号目标较小，无法通过颜色特征与背景进行分离。处理方法如下：①由于百米桩牌外形呈圆形，可采用Hough 变换进行圆检测，提取百米桩牌；②为提高车载设备的识别速度，采用基于多尺度梯度算子和局部像素隶属度滤波的模糊C 均值聚类对百米桩桩号进行识别。

对桩牌号识别失败的里程桩牌，结合前后正确识别出的桩号所对应的GPS 信息，用贝塞尔曲线来拟合两桩牌间的道路线形，并使用等距等插值法来确定缺失桩牌的GPS信息。

1 里程桩目标检测

1.1 里程桩视频图像采集

数据采集设备装配模型如图2 所示。摄像机安装在车顶中线前端，使用有源线进行连接。使用度申科技相机进行采样，其最大采样频率为24 FPS，像元尺寸为3.45µm×3.45µm，镜头焦距为3.5µm。车辆在行驶过程中，里程桩在T时刻进入相机视野，T'时刻离开视野。当里程桩离开相机视野时，车辆与里程桩间的距离最短，里程桩牌图像质量较高，即T'时刻为关键视频帧的时间戳。GPS 数据采集设备安装在视频采集设备正下方，该设备的天线具有信号增强功能，能预防多径效应。

图2 数据采集设备视野

1.2 里程桩牌定位

百米桩上层为绿底白字（用于标识百米段数），下层为白底绿字（用于标识百米段所处公里段）。公里桩为绿底白字，上层为公里段编号，下层为高速路编号。

高速公路上非必要不允许停车，无法获取里程桩牌的静态影像，可使用车载视频进行里程桩定位及桩牌号识别。车载设备获取的路牌图像受行车环境、道路环境的影响，导致桩牌角度、尺度发生变化，影响里程桩牌检测效率及桩牌号识别的准确度。为克服外界因素对图像质量影响，可对图像进行预处理。①采用CLAHE 图像增强技术［6］，可避免视频图像出现色彩失真、桩牌区域细节丢失及桩牌边缘模糊等问题，提高桩牌检测效率。②使用MSER 来检测不同视角的里程桩。里程桩号字符在整幅图像像素中的占比小，对字符边缘用形态学进行膨胀处理，并计算整个字符区域像素宽度及高度，以该高度和宽度为矩形截取桩牌号。桩牌号检测如图3 所示。由图3 可知，不同角度和尺度的公里桩和百米桩在经过CLAHE 直方图均衡化处理后，增强了里程桩细节信息，抑制了背景噪声，使原本较小的桩牌目标突出。采用形态学MSER 检测对里程桩所在区域进行闭操作，并计算字符区域的宽度和高度。根据字符区域的宽度和高度，对桩牌图像进行裁剪，减少桩牌号识别的图像尺寸、图像像素信息，降低字符聚类网络的计算量，提高桩牌号识别率。

图3 桩牌号检测

1.3 基于“HOG+SVM”的里程桩牌分类

由于采集到的里程桩牌图像成像分辨率不高，且变化尺度较大，难以获得精细纹理信息。方向梯度直方图（Histograms of Oriented Gradients，HOG）对图像边缘及形状的描述能力强，并具有对光照不敏感、平移不变性的特点［7-8］；SVM 分类样本维度小、计算量小。因此，本研究使用HOG 的目标特征提取和SVM的目标特征分类对两种桩牌进行分类。

1.3.1 HOG 字符特征提取。HOG 通过计算和统计图像局部区域内的梯度方向直方图来提取特征，其更关注形状信息的分布情况。在具体边缘位置未知时，边缘方向的分布能很好地表示目标轮廓。HOG特征提取如图4所示［9］，提取过程如下。

图4 桩牌的HOG特征提取

①通过Gamma 校正来降低图像局部光照变化产生的影响。

②将图像划分为若干单元格，计算每个单元格的梯度方向图。

③将梯度直方图合并为块（Block），并计算每个块的HOG特征。

④将每个块的HOG 特征向量进行归一化处理，降低特征向量受到的干扰。特征向量的归一化函数见式（1）。

式中：ε为极小常数，防止分母为分别为v的L1、L2范数。

⑤生成HOG 特征向量。在图像上以一个方格单元为步长对块进行滑动，将块的特征进行组合，得到图像的HOG特征。

基于上述提取过程，每4 × 4的像素组成一个单元格，1 × 1个单元格组成一块，每个单元格中有9个特征，则每个块中也有9 个特征，将检测窗口步长设置为4个像素，水平方向有3个扫描窗口，垂直方向有7个扫描窗口。此时，60×60的百米桩牌图像共有3 ×7 × 9 = 189个特征。HOG通过图像的像素梯度变化方向来反映桩牌轮廓信息，且对形状、光照不敏感。

1.3.2 SVM 图像分类。SVM 图像分类不仅能减少计算量，还具有更好的分类速度与质量。其中，径向向量机是基于SVM 图像分类效果的关键。本研究选择基于径向基核函数的支持向量机分类算法。HOG 特征数据有部分噪点，易出现分类精度下降的问题，可通过构建边缘像素分类超平面来解决该问题。

①构建SVM分类的目标函数，见式（2）。

式中：w为超平面权重；c为惩罚函数；ξi为松弛变量。

②根据SVM 分类机制，将式（2）转换为凸优化问题，见式（3）。

由 于且ξi≥0，i=1,2,3,…,N，凸优化函数的解即为分类超平面的权重

④SVM分类最优超平面见式（5）。

1.4 基于CRAFT的公里桩牌号检测

CRAFT 字符级文本检测以单个字符为识别单位，再根据字符间的连接关系来确定最终的文本内容。CRAFT 特征提取主干网络为VGG-16、Batchnormalization，解码器采用U-net 方法。CRAFT 特征提取采用自上向下的特征聚合，输出两张特征图，即单字符得分热力图（region score map）和相邻字符连接关系得分热力图（affinity score map），将二者结合，采用连通域分析等图像处理技术［10］，得到最终的文本内容。CRAFT文本识别流程如下。

1.4.1 高斯热图生成。自然图像通过高斯热图生成region score 和affinity score。region score 为文字位置信息，affinity score 为文字间的连接关系。文本内部和文本外部的字符中像素点的位置不同，得分也不同。CRAFT 使用连续二维高斯分布对图像进行高斯转换，以减少非字符区域的细节信息，充分利用字符像素的位置得分［11］。将G85及G3002路段的相关公路里程桩牌图像进行二维高斯转换，生成的高斯热力图如图5所示。

图5 生成的高斯热图

由图5 可知，字符中心与字符边缘的色彩不同，字符中心的得分高、像素信息丰富，字符边缘得分低、像素信息较少。图5（a1）为公里桩牌的小尺度图像，字符像素占整幅图像的像素信息越多，字符中心的得分就越高。图5（b1）为公里桩牌的大尺度图像，其比小尺度图像的像素信息更丰富，里程编号的像素占比多，字符得分高。公路编号所占像素较少，像素得分就较低。

1.4.2 数据标签。每张公里桩牌图像均可生成带字符级边框的region score 和affinity score，再生成ground truth label。字符标间的映射过程如图6所示。由图6 可知，与彩色图像处理相比，灰度化处理能提高字符处理速度。通过高斯热力图的像素特征可获取待检测字符的检测框CharacterBox，切割出待识别的单个字符，并获取给定像素字符中心的概率（region score）。以对角线相连的交点为中心，得到两个字符间的连接点，获取相邻两字符间空白区域中心概率（affinity score）。将建成的affinity box作用在高斯热力图上，即可得到对应图像的高斯热图标签。

图6 改进CRAFT文本识别网络

采用下述步骤可近似生成region score 和affinity score 的ground truth：准备一个二维各向同性高斯映射；计算高斯图区域和每个字符框间的透视变换；将高斯图映射至字符框区域。训练过程如下：从原始图像中裁剪出字符级图像；采用新region score 来预测每个像素点得分；根据字符像素点得分来判断字符框数量和位置，并为每个字符生成字符标签［5］；采用分水岭算法来分割图像框，采用字符边界框来覆盖区域；通过裁剪逆变换将坐标变换为原始图像坐标。

由图6 可知，公里桩牌图像的角度、尺度并不影响CRAFT 识别效果，识别网络的鲁棒性高。视频图像可获取同一桩牌的多张连续图像，从而有效降低识别失败的概率。

1.5 基于字符聚类的百米桩检测

由于百米桩每隔100 m 布设一个，检测量大，桩牌像素占比少，无法直接使用CRAFT 文本识别网络。采用Hough 变换对百米桩进行圆检测，精准定位百米桩所在位置，提高桩牌号的识别效率和准确率［12］。

百米桩牌号识别的关键是对百米段数字的识别，其下方公里段编号在公里桩牌号识别时就被正确识别出。由于百米桩的数量是公路里程桩的10倍，桩牌图像样本数量大，样本中字符区域范围小。基于聚类的字符识别算法的复杂度低、运行速度快，更适合车载设备的部署及快速识别。

模糊C 均值聚类（Fuzzy C-Means，FCM）受图像噪声影响较大，且字符聚类中心到邻域窗口像素距离存在冗余计算，算法复杂度高，对计算设备要求也高，不适合在车载设备上部署。为解决上述问题，本研究提出多尺度梯度算子和像素局部隶属度滤波的FCM 算法，通过形态学重建操作将图像的局部空间像素信息呐入到FCM中［13-14］，保持图像细节，以获取精确的目标轮廓信息。将字符聚类中心与邻域像素间的距离计算［15］改为像素区域间的局部像素滤波，不用计算局部空间邻域像素与字符聚类中心像素的距离，能有效降低计算量［16］。

桩牌号区域在百米桩牌图像中的占比小，使用本研究提出的字符聚类识别方法分别识别G3002和G85 路段的百米桩号，结果如图7 所示。Hough 变换圆通过检测界定感兴趣区域，将百米桩牌从背景中分离出来。与传统的梯度算子采用的阈值量化输出边缘斜率相比，多尺度梯度算子通过边缘两侧的像素量化来确定。采用多尺度梯度算子识别，结果见图7（a3）、图7（b3），字符边缘清晰，能很好去除部分局部像素中的‘谷底’，减少噪声影响。基于局部像素滤波FCM 结果见图7（a4）、图7（b4），像素局部滤波能降低系统计算复杂度，字符像素占比越小，计算时间越短。大尺度图像比小尺度图像的像素占比更多，耗时更多。本研究提出的字符识别结果见图7（a5）、图7（b5），均能较好地识别出不同角度和像素占比不同的百米桩牌。

2 百米桩插值矫正

在采集数据过程中，除超车、换道外，车辆沿同一车道驾驶。采集GPS拟合的曲线始终与里程桩牌位置拟合曲线平行，完整的里程桩牌序列能构建出道路曲线线形。在对里程桩牌检测识别过程中，出现桩牌检测或识别失败，会导致桩牌序列出现局部空洞。对缺失的里程桩牌，使用贝塞尔曲线［17］，并结合GPS 数据来拟合道路曲线，采用等距离插值算法来插值确定缺失的百米桩的GPS 信息，从而实现对断裂里程桩牌的GPS 列表补充。具体方法如下：判断程桩牌列表序列中首个公里段所缺失百米桩的个数N；采用贝塞尔曲线来拟合该公里段道路曲线线形；确定缺失的百米桩桩号X，并捕获X前后相邻的两个公里桩牌号A、B；在［A，B］中采用贝塞尔曲线来拟合道路线性，以等距离插值方式，循环求出每一缺失百米桩H的GPS 信息。G3002 路段百米桩插值校正见表1。

表1 G3002路段百米桩插值校正

百米桩定位误差取决于两个相邻公里桩的定位误差。同时，要排除公里桩之间出现的多个百米桩人工安装误差d。通过对G3002 路段中K53～K54路段缺失的百米桩进行插值定位，以验证上述方法的有效性。已知K53～K54路段的百米桩牌号9和7识别失败，里程桩号GPS 序列断裂，查阅GPS 信息表，捕获缺失桩牌9和7前后两个桩牌号对应公里桩的GPS 信息，用距离插值法来确定缺失百米桩所对应的GPS。通过贝塞尔曲线［18］来拟合道路曲线，在拟合曲线上等弧长取点，即该公里段内百米桩牌的GPS 信息。插值后的百米桩间距离均值与标准百米桩间距离（100 m）的距离差为插值误差，由表1 可知，误差值为0.087 2 m。

3 试验结果分析

3.1 桩牌图像检测与分类

在G85 公路上共采集到7 769 张路牌图像。其中，公里桩图像1 165张，百米桩图像6 604张。为验证本研究提出的图像分类方法的有效性，对G3002路牌图像进行分类器训练，再将在G85 上采集到的图像送入训练好的“HOG+SVM”图像分类器中进行分类。同时，与决策树分类器、朴素贝叶斯分类器、K近邻分类器及随机森林分类器进行比较。

用准确率（Accuracy）、查全率（Precision）和查准率（Recall）对分类结果进行分析，见式（6）到式（8）。

式中：TP为预测样本为百米桩；TN为预测样本为公里桩；FP为标识样本是百米桩却分类为公里桩；FN为标识样本是公里桩却分类为百米桩。

由式（7）、式（8）可知，FP和FN分别为分类失败的百米桩和公里桩，Precision和Recall的值越大，分类错误的图像数越少，分类正确的图像数越多。分类器的分类效果如图8所示。

图8 分类器的分类效果

伯努利模型对模糊图像、前景背景色彩变化小的图像分类效果较差，出现多张无法识别图像。K近邻分类计算量大，且最为耗时，需计算每个K中心到每一个点的距离，计算量大，不适用于车载设备的部署，但准确率较好。本研究提出的分类方法的分类准确率要优于上述传统机器学习法。

3.2 桩牌号识别

在实现对桩牌分类后，分别调用改进的CRAFT识别网络和改进的FCM 对桩牌号进行识别。采用准确率和错误率对里程桩号检测结果进行评估，见式（9）、式（10）。

式中：d为正确识别的里程牌数；D为路牌总数。

桩牌号识别结果见表2。总里程牌的正确识别率为93.29%，仅有6.71%的总里程牌识别错误。其中，百米桩牌目标较小，受换道、车速等的影响较大，有明显的拖动模糊，其识别准确率为92.99%，而公里桩牌特征明显、字体明晰，其识别正确率为95.02%。整个高速公路编号一致，任意一个公里桩的公路编号都能正确识别出一张桩牌图像，即可完成路网信息数据库中桩牌号的录入。在同一公里段内，百米桩仅需正确识别百米段号即可。

表2 桩牌号识别

3.3 缺失桩牌插值

百米桩目标较小，易出现拒绝识别，导致百米桩序列出现局部缺失。需要对缺失百米桩进行插值校正，结果见表3。表3 中的百米桩3 在路网信息数据库中并无记录。观察视频图像后发现，该路段正在施工，百米桩牌所在区域被完全遮挡，无法正确识别桩牌号。在K554～K555 中，先通过连续GPS 点来拟合该公里段内的道路线形，再采用等距离插值确定该缺失桩牌号的GPS信息，插值误差为0.938 m。

表3 缺失百米桩牌插值校正

4 结论

针对GPS 在复杂路况环境下定位难、与公路里程桩联系不紧密等问题，本研究通过对高速公路上的公里桩和百米桩进行识别，结合GPS信息，构建路网管理信息表，提高了道路定位的精度和效率。经过试验验证，得到以下结论。

①CLAHE图像增强技术对后续采用MSER的里程桩提取及桩牌HOG特征提取发挥着重要作用。采用基于HOG特征提取的SVM 图像分类方法，能有效解决小样本、二分类中的问题，具有极好的性能，实现了对公里桩和百米桩的分类，便于后续操作中能合理调用桩牌号识别算法，提升系统检测效率及精确度。

②采用加入灰度化模块的CRAFT 文本检测来识别公里桩号，能压缩图像存储大小，提高检测速度。采用基于多尺度梯度算子和局部像素隶属度滤波FCM 来识别百米桩，且其检测文件仅有1.4 MB 大小，适用于车载设备的快速部署。本研究提出的针对桩牌特性的桩牌号方法，对桩牌号检测精度达到93.29%。通过桩牌号对应的视频时间戳来调用GPS信息，可定位该桩牌的GPS位置信息，实现路网信息表中的桩牌号及对应GPS信息的录入。

③针对桩牌序列中局部百米桩空洞问题，使用贝塞尔曲线来拟合道路线形，可确认缺失百米桩数目。根据已知公里桩的GPS 信息，采用等距离插值方式求出缺失百米桩的GPS信息。前后相邻两百米桩牌间距平均误差为0.093 8 m，而《公路干线定位准则》对道路前后相邻两里程桩间的定位精度要求为20 cm，即该方法符合定位精度要求。与依赖于GPS加陀螺仪的定位方法相比，本研究提出的方法具有定位速度快、定位精度高、系统设备易于部署等优点。