基于图像识别的渣土车监管系统设计及实现

李宇宏，韩 豫，杨煜昕，芮 意，孙 蓉，孙 昊，尤少迪

(1.江苏大学 土木工程与力学学院，江苏 镇江 212013；2.澳洲国立大学 国家信息通信技术中心，澳大利亚 堪培拉 2600)

目前，中国渣土车的数量随着城市化建设的不断推进在大幅度增加，其在发挥作用的同时，车身污迹斑驳、装载超限及遗撒泄漏等问题也开始频发。这些问题不仅破坏了市政道路，也污染了城市环境，甚至会威胁着交通安全以及影响人们的正常生活，是目前存在的城市顽疾。但是，现有的监管手段主要利用导航、定位与通信等技术来实时监控运输途中渣土车的行驶速度和轨迹等参数，如基于物联网技术的渣土车环保运输智能监控装置[1]和基于北斗导航技术的城市渣土车智能管控系统[2]，对于上述的频发问题却并没有合适的监管手段。在施工现场，也仅仅是依靠人工目测的方式来进行监管。监管手段较为传统单一，效率低下，亟待优化升级。

与此同时，以图像识别为代表的人工智能技术逐渐发展成熟，已被广泛应用于农作物检测[3]、人脸识别[4]、车辆识别[5]等领域。随着我国建筑业管理效率低下、信息化程度落后等问题的日益凸显，人工智能技术与建筑业也开始了加速融合，其信息化建设不断深入并趋向具体工程项目的应用，“智慧工地”应运而生。例如，在施工安全管理方面，已有研究利用方向梯度直方图来监测施工防护栅栏的异常[6]；或利用图像识别技术来对建筑工人的不安全行为[7]及安全装备[8]进行实时监测与检查。在施工质量管理方面，已有研究利用图像识别技术来实时监测施工质量[9]以及识别建筑缺陷[10]。这些技术应用都为解决渣土车监管问题带来了一定的借鉴意义，但是考虑到施工现场的复杂环境，在技术的直接应用及算法的优化等方面仍需进一步改进。

综上，本文针对渣土车一系列的频发问题以及现有监管手段的局限性，提出了一种基于图像识别的渣土车车容车貌智能监管系统。该系统可以根据渣土车车身污迹的颜色特征和装载情况的几何特征，实现对车身污迹的快速化检测及装载情况的自动化监督，并通过车牌识别对渣土车的进出场权限进行智能化管理，具有传统方式无法比拟的优势和重要的现实意义。

1 渣土车智能监管系统需求分析

现有手段已经在监管渣土车行驶速度、行驶轨迹等方面取得了比较好的效果，但是由于大部分渣土车司机“多装多赚”的侥幸心理并没有改变，仍然存在着以下不足之处：

(1)车身污迹超标。很多渣土车在施工现场的清洗不到位，出场上路后车身污迹斑驳，严重影响了市容市貌。

(2)超载情况严重。由于渣土车载重量大，在运输途中，不仅会将路面碾压得坑洼不平，甚至会引起路边房屋的震动，严重影响了城市的交通运行和居民的正常生活。

(3)泄漏遗撒严重。渣土车装运的物品主要以沙石、渣土为主，行驶过程中易散落在路面上，成为扬尘的主要来源，既破坏了城市环境又妨碍了人们的正常出行。为改善相关问题，本文在结合施工现场的实际情况及现有手段不足的基础上，进行需求分析，如表1所示。

表1 系统需求分析

2 渣土车智能监管系统架构设计

2.1 系统硬件构成与功能

该系统主要由图像采集装置、图像处理及分析装置、声光报警器及进出放行设备构成。其中，图像采集装置由架设在洗车槽区域上方的高清摄像头组成，进出放行设备由放行杆和道闸机组成。系统具体组成如图1所示，各功能说明如表2所示。

图1 系统组成

表2 系统功能说明

2.2 系统运行流程

结合施工现场渣土车的工作流程，系统运行流程包括渣土车进出场时的管理、车身污迹的检测及装载情况的监督，如图2所示。

图2 系统运行流程

(1)渣土车进场时的管理

1)图像采集：当渣土车进场时，通过架设在放行杆上方的高清摄像头进行图像采集。

2)图像预处理：由于拍摄角度的不确定，因此利用Radon变换来对可能出现的倾斜情况进行校正；再利用灰度变换法和Gabor滤波法对图像进行增强和平滑，以获得高质量的车牌图像。

3)车牌识别：首先，通过边缘检测、腐蚀和闭运算处理，去除图像中的杂乱且无作用的部分；其次，对车牌图像中像素点的数量进行计算，并与车牌的长宽比特征参数进行对照；然后，从水平和垂直方向对车牌图像进行投影，实现车牌定位；然后，通过基于提取连通域的分割算法，对字符进行分割，同时进行归一化处理；最后，通过模板匹配算法，对车牌信息进行识别。

4)进场权限判定：将识别结果与数据库中的车辆信息进行比对，通过信息输出模块将结果输出，对符合要求的渣土车进行放行；反之，不予放行并人工校核。

(2)车身污迹的检测及装载情况的监督

1)图像采集：渣土车装载完渣土后，经过洗车槽行驶到预先规划好的停车区域，通过架设在停车区域上方的摄像头对渣土车图像进行采集。

2)图像预处理、车牌识别判定：经过预处理后对车牌进行识别，如果可以识别，则开始进行车身污迹检测及装载情况监督；如果识别结果不满足要求，则对渣土车重新进行清洗。

3)车身污迹检测及装载情况监督：车身污迹检测主要是将采集的渣土车图像与模板图像进行匹配，计算相关系数，将系数与预定阈值进行比对来判定污迹是否超标；装载情况监督主要是对挡土板及车身侧面进行直线检测，并计算挡土板与车身侧面的高度之比，将比值与预定阈值进行比对来判定装载高度是否合格。对于任何一项不满足要求的渣土车都需要进行重新清洗。

(3)渣土车出场时的权限管理

渣土车出场时，依据(2)中的监督结果对渣土车能否放行进行整体判定，对符合要求的进行放行，对不符合要求的进行人工校核，依据人工校核结果再次对渣土车能否放行进行判定。

3 核心方法

3.1 基于车牌特征的进出场权限管理方法

不同于人工目测、记录的方式，本方法以渣土车车牌检测及识别为核心，实现渣土车进出场权限的智能化、信息化管理。具体识别步骤和处理过程如下：

(1)倾斜校正

由于采集的车牌图像可能存在倾斜，容易降低权限判定的准确性。考虑到Radon变换法依赖性较小，本系统采用Radon变换法来实现倾斜校正处理。该算法是将数字图像矩阵在某一指定角度射线方向上做投影变换，它可以在任意维空间定义[11]。定义沿θ方向的Radon变换为：

(1)

式中：fl(x,y)为图像上l平面内某一点(x,y)的像素点灰度值；特征函数δ为狄拉克函数；P为l平面内直线到原点的距离；θ为原点到直线的垂线与x轴的夹角。

(2)车牌识别

1)边缘检测：利用检测垂直边缘效果较好、计算量较小的Roberts算子来对图像进行边缘检测，得到车牌字符的轮廓特征。

2)形态学处理：由于边缘检测后的图像中还会得到背景部分的边缘。因此，需要进行形态学处理，将这些部分进行剔除，主要工作包含腐蚀和闭运算两部分。

3)车牌定位：本方法利用 Regionprop 函数对车牌区域进行提取。考虑到车牌是黄底黑字，首先由像素坐标来计算每个区域的中心位置、内切矩形的面积以及边缘像素点的位置。其次，求出各标记区域能够包含的最大矩形纵横向的像素点数量以及长宽比[12]。然后，将计算出的结果和车牌的长宽比进行对比，完成初步定位。最后，通过投影法分别从水平和垂直方向对图像投影，将牌照部分与背景进行切除，从而找出车牌的有效区域。

4)字符分割：对字符间的各连通域进行水平和垂直扫描，确定每个连通域的起始位置和终止位置，构成包含连通域的最小矩形区。分别剪切每个矩形，分割出字符，并进行归一化处理。

5)字符识别：利用模板匹配算法，对分割出的字符图像进行特征匹配，仅对字符的某些特征进行匹配[13]，减少了运算量，识别速度大幅度提升。

(3)权限判定

车牌识别完成后，利用包含车辆信息的数据库对结果进行筛选及比对，对于符合条件的渣土车判定为允许进场，不合格的判定为拒绝进场。

图3显示了黄色车牌的识别流程。

图3 黄色车牌识别流程

3.2 基于颜色特征的车身污迹检测方法

考虑到渣土车车身四周可能会存在大小不均的土壤块，本系统利用土壤的颜色特征，通过一种基于颜色相似度的模板匹配方法来对车身污迹进行检测及判定。相对于其他的特征，颜色特征对于平移和尺度变化的影响不敏感。此方法的核心是计算采集的图像与预先设定的模板图像上R，G，B三个颜色分量上的直方图距离或交集来判断它们之间的相似度，得到相关系数，根据系数与阈值的比对来判断渣土车车身污迹是否超标。实验室环境下的匹配结果如图4所示。

图4 实验室环境下车身污迹检测

3.3 基于几何特征的装载情况监督方法

目前渣土车主要有篷布遮盖、挡土板遮盖两种类型，如图5所示。相较于篷布遮盖类型，挡土板遮盖类型的渣土车是目前装载超限、遗撒扬尘等频发问题的主要来源。针对这种类型的渣土车，本系统采用了一种改进后的直线检测算法的渣土装载情况监督方法。该方法的核心是检测并计算挡土板与车身侧面的高度之比，并依据计算结果判定渣土装载是否超标，最终实现渣土装载情况的自动化监督。具体步骤如下：

(1)边缘检测

在经典的边缘检测方法中，常用的一阶微分算子有Prewwits算子、Log算子、Roberts算子、Sobel算子等。由于Log算子易产生双边界，Sobel算子易形成不闭合区域[14]。因此，本方法采用Canny 算子来进行边缘检测，得到渣土车车身侧面图像的轮廓特征。

(2)形态学处理

为了滤除较多的干扰边缘，还需对边缘检测后的图像进行形态学处理。在闭运算处理后，通过面积滤波，根据二值图中连通域的面积滤除选定阈值范围之外的连通区域，将非边缘部分尽可能过滤掉。

(3)基于霍夫变换和最小二乘法的直线检测

霍夫变换算法具有较强的抗干扰能力，对于噪声也有较好的抑制效果。但由于挡土板四周可能存在分布不均的渣土，使得检测到的直线在像面上发生不同程度的弯曲，仅使用霍夫变换算法来检测直线并不能得到准确的结果。考虑到最小二乘法可以在一定程度上消除随机误差对线性检测的影响[15]，本方法使用了霍夫变换和最小二乘法结合的直线检测算法。

霍夫变换的原理是对图像进行某种形式的坐标变换，将原图像变换到参数空间。其主要方法是将平面中任一条直线y=kx+b表示成极坐标方程：ρ=xcosθ+ysinθ，其中，ρ表示直角坐标系中原点到直线的距离，θ表示x轴与ρ的夹角。对于经过形态学处理的图像，通过改进后的直线检测算法检测到的直线图像如图6所示。根据θ和Δρ可以找到对应的直线边缘所对应的点(ρm,θm)。

(4)装载情况判定

鉴于挡土板四周可能存在渣土，本系统选取直线的末端点来计算挡土板与车身侧面的高度比S=d12/d23，同时也减少了运算量，检测速度更快。通过现场调研，结合建设部的《城市建筑垃圾和工程渣土管理规定》，取T(挡土板闭合角度为45°时)为S的阈值。当S>T，即挡土板闭合角度大于45°时，渣土装载情况检测为不合格，当S≤T，即挡土板闭合角度小于等于45°时，渣土装载情况检测为合格。表3所示为实验室环境下的监督结果。

图5 渣土车类型

图6 装载情况监督图像处理过程

表3 实验室环境下监督结果

4 系统实现与测试

4.1 系统实现

(1)软件开发平台

本系统基于配备有图像处理工具箱的MATLAB R2017b平台来进行系统测试。工具箱内置了大量数字图像处理的基本函数和通用算法，并提供了可用于二次开发的程序编译平台。

(2)测试环境

测试所使用的计算机环境为：Intel core i7-8600k 4.5 GHz处理器，32 GB RAM，Windows 7 64 bit，NVIDIA Quadro K1200图形显示卡，安装MATLAB 2017b软件。

4.2 系统测试

为验证系统的可操作性，并进一步提升其准确性，对系统进行了测试，测试的重点在于提升进出场权限判定及装载情况监督的准确性。共采集渣土车图像800余张，并对筛选出的300余张图像进行了测试。

(1)进出场权限管理

按照上述进出场权限判定的核心算法，对2000 ppi×1000 ppi的渣土车图像进行了测试及人工复核，部分判定结果如图7所示。

图7 进出场权限判定结果

经测试和分析发现，进出场权限判定方法效果较好，不存在漏检的情况，可基本满足施工现场的需要。判定效率统计见表4。

表4 进出场权限判定效率统计

(2)车身污迹检测

通过上述车身污迹检测方法，对3000 ppi×2000 ppi的渣土车图像进行了测试和人工复核。部分测试结果如图8和表5所示。

图8 车身污迹匹配系数

表5 车身污迹检测效率统计

续表

经本次测试和分析发现，基于颜色特征的车身污迹检测方法效果较好，匹配系数能真实反映渣土车车身污迹状况。

(3)装载情况监督

通过上述装载情况监督方法，笔者对不同挡土板闭合角度情况下的渣土车进行了测试及人工复核。当挡土板与车身侧面的高度比S大于阈值T时，渣土装载情况判定为不合格，部分监督结果如表6所示。

经测试和分析发现，装载情况监督方法可基本实现挡土板闭合状态的检测及监督，相较于人工目测方法，减少了主观性的影响。

表6 装载情况监督结果

5 讨 论

根据系统在施工现场的测试结果，分析系统运行过程中的主要影响因素，进一步完善本系统。

(1)识别准确度影响因素及对策分析

测试中，如进出场权限判定结果中的10所示，可以发现渣土车分布不均的污迹是影响识别准确度的关键因素。污迹不仅会对进出场权限判定中的车牌识别带来影响，也会对装载情况的监督带来很大的干扰。对此，在系统后续的完善过程中，可以考虑通过RGB颜色空间，设定阈值，把与裸土颜色相同的像素点过滤掉后再进行识别，如果仍然无法识别则进行人工复核，并重新清洗。

此外，测试还发现光线的强弱不一致会导致图像明暗问题，继而对图像采集的准确性带来一定的影响，最终影响系统的识别准确度，如车身污迹匹配系数中的9所示。对此，在采集图像时，需考虑天气的影响，避免因光线强弱导致的图像明暗不一致。在图像处理完成后，应加强人工复核，减少错误。

(2)运行效率影响因素及对策分析

通过现场测试可以发现，平均进出场权限判定处理时间为4.69 s，平均车身污迹检测结果处理时间为4.32 s，平均装载情况监督处理时间为4.35 s，详见表4～6。通过对图像质量进行分析，发现采集的图像过大是影响图像处理时间的最主要因素。此外，施工现场的复杂环境，如噪声大、扬尘多等问题，也会对系统的运行效率带来一定的影响。目前，系统的运行效率可以满足施工现场的基本需求，在后续的优化完善过程中，可以考虑通过调整施工现场摄像头的架设位置以及利用图像分割算法来对采集的图像进行进一步的处理，从而提高系统运行的整体效率。

6 结 论

本研究以图像识别技术为核心，设计并测试了一种渣土车智能监管系统。该系统主要采用了3种方法：(1)基于车牌特征的进出场权限管理方法；(2)基于颜色特征的车身污迹检测方法；(3)基于几何特征的装载情况监督方法。经测试，系统进出场权限判定平均正确率达83.33%，车身污迹检测结果平均正确率达91.67%，装载情况监督平均正确率达86.67%，监管效率和准确度较高，可基本满足实际需求。

通过这3种方法，该系统不仅可以实现施工现场渣土车车身污迹的快速化检测以及渣土装载情况的自动化监督，还可以对渣土车的进出场权限做到智能化管理。相较于传统的人工目视监督方法，该系统减少了人工量和主观性的影响，具有操作便捷、实用性强、标准化、效率高等优势。同时，该系统对于城市管理中的车辆监管也有一定的借鉴意义。未来，将通过优化车身污迹检测和装载情况监督算法、进行有效的人工复核和辅助测量来提高渣土车监管的准确性。考虑到施工现场的复杂环境，在后续的研究中，需对渣土车进行多角度分析，完善本系统。