基于快速背景建模的垃圾车识别系统*

法弘理 吴静静 安 伟 崔圣祥

（1.江南大学机械工程学院 无锡 214122）

（2.江苏省食品先进制造装备技术重点实验室 无锡 214122）

1 引言

随着城市交通规模不断扩大、城市道路车辆构成愈加复杂，屡屡出现不遵守交通规则的情况如垃圾专用车车载过大、违章偷倒垃圾等，造成城市安全事故频发、道路污染严重。因此，为加强对城市道路交通的管理，应用城市道路智能监控系统［1］，实现城市公路交通安保工作网络化、信息化和紧急事态条件下与城市安保资源应急联动有着重要的现实意义。

为提高城市道路智能监控系统的分析能力，国内外学者做了大量的研究。柳长源等［2］设计了基于视频图像的车辆实时监控系统，实现了车流量的实时统计。孙玉砚等［3］设计了基于车牌识别和车辆轨迹的车辆异常行为检测系统，其根据车牌信息和车辆轨迹的时间空间特征能够有效地检测出车辆的异常情况。朱晨等［4］研究了基于多目标跟踪的车流量统计算法，保证了复杂光照下的车流量统计。胥中南等［5］设计了复杂背景下的车辆目标跟踪系统来定位车辆并对特定车辆进行道路布控。刘凯雄等［6］设计了高速道路交通视频的车辆目标提取以准确判断路口驶过车辆的具体类型。由上述文献可知，城市道路车辆智能监控系统在识别特定目标车辆例如垃圾车等方向研究较少。为提高城市道路智能监控系统对垃圾车的识别能力，本文基于快速背景建模设计了垃圾车智能识别系统。

2 系统整体方案

系统识别的对象主要为垃圾车，可分为如图1所示的三类：生活垃圾车、建筑垃圾车和有斗垃圾车。为提高城市道路车辆智能监控系统的能力，系统需完成35 个城市道路监控点的垃圾车识别，并确保垃圾车识别的准确性和实时性。此外，系统还需保证存储数据的安全性，并实时展示车辆信息。针对以上要求，本文设计了相对应的硬件系统和软件系统。

图1 垃圾车类别

2.1 硬件系统设计

为保证垃圾车识别系统的实时性和安全性，本文设计了如图2 所示的系统网络拓扑结构。整体系统工作过程如下：首先，利用监控摄像机采集各交通监控点的视频。为提高垃圾车系统的识别率，设计车辆视频侧视采集系统以保留丰富的车辆特征。其次，为保证车辆视频处理的实时性，各监控点摄像机均配置了嵌入式工控机用于实时视频的处理分析（简称为智能视频分析盒）。为保证车辆数据的安全性，由服务器存储识别结果。最后，在电视墙上显示识别结果。

图2 垃圾车识别系统结构

2.2 软件系统设计

整体软件系统流程如图3 所示。首先，对输入的视频帧（Src）进行快速背景建模得到前景图像（Dst）。其次，设计动态位置检测的关键帧筛选法，动态筛选出前景图像；并提出斜线投影分割法进行侧视车辆图像的目标分割。分割完成后，对前景图像进行连通域分析，输出垃圾车的感兴趣区域（ROI）。为进一步提高垃圾车识别率，设计基于SVM的多级分类器以进行车辆识别。最后，系统将垃圾车信息发送至存储服务器。

图3 垃圾车识别系统软件流程图

3 基于背景更新策略的快速背景建模

实际应用中，视频采集系统获取的图像易受室外环境影响，导致背景建模的准确度降低。为此需要选用对室外环境干扰鲁棒性高的背景建模方法。由文献［7～13］可知，K 近邻法（KNN）背景建模受室外变化影响小，能很好地区分出对象与阴影。然而，KNN 背景建模时需要保存大量的历史数据导致建模速度较慢；且其背景更新速率固定，前景提取的准确度在突变的环境下较低，导致车辆分割失效。因此，本文为提升其建模速度和前景提取的准确度，设计了背景更新控制策略。具体过程如图4所示。

图4 基于背景更新策略的快速背景建模流程图

背景更新策略具体步骤如下：

1）读取视频帧（Src）。

2）采用线性插值法对视频帧（Src）缩放，以不影响建模准确性的情况下，提高建模速度。

3）计算图像的平均灰度值，并设为tsmean，同时设定上限值tsmax、下限值tsmin。

（1）当tsmean＞tsmax或者tsmean＜tsmin时，不进行背景建模。

（2）当tsmin≤tsmean≤tsmax时，进行背景建模。

4）设KNN背景当前视频帧数为N，设置n1为更新阈值，该阈值需根据具体试验经验值调整和设定。

（1）当N＞n1时，提取前景并输出前景图像（Dst）。

（2）当N ≤n1时，不提取前景并使N=N+1，进入循环。

4 关键帧筛选与车辆目标分割

4.1 基于动态位置检测的关键帧筛选

上述快速背景建模得到的前景图像（Dst）虽包含了大部分的目标区域，但处于较远处的车辆却丢失了大量细节，不利于后续车辆的分割与识别。为此，本文设计了基于动态位置检测的关键帧筛选法。该方法通过计算前景图像中连通域斑块与所设置触发线的距离，动态筛选出前景图像，具体过程如下。

1）设置一条垂直于车辆行驶方向的检测触发线L1，假设L1的方程为AXS+BYS+C=0，L1即为筛选车辆的位置参考线。

2）分析得到车辆连通域端点坐标（XF，YF），并计算该端点于L1的距离d，如式（1）所示。

其中，d 为点到线的距离。设定距离斜线L1的动态偏差阈值为h2，当d ≤h2时，表明前景图像（Dst）为关键帧，并输出此关键帧，否则，不为关键帧，且不输出。

4.2 基于斜线投影的车辆目标分割

实际采集的侧视车辆图像中，易出现相邻车道间车辆相互遮挡的情况，造成分割车辆的残缺和“粘连”，影响垃圾车的识别。为解决该问题，本文设计了基于斜线投影的车辆目标分割方法，流程如图5 所示。首先利用斜线投影法分离“粘连”的车辆，再使用连通域分析去除干扰区域，最后输出垃圾车ROI。

图5 基于斜线投影的车辆目标分割流程图

4.2.1 基于斜线投影的车辆分割

投影法［14］是一种基于投影曲线分割的方法，旨在得到正确的分割阈值以分离“粘连”的目标。侧视车辆图像中相邻车道间车辆的相互遮挡，会引起前景图像中车辆连通域的“粘连”。为解决该问题，本文设计了基于斜线投影的车辆分割法。具体步骤如下。

1）设置一条垂直于车辆行驶方向的斜线L2，假设L2方程为A1X+B1Y+C1=0。

2）前景图像向斜线L2进行投影。根据投影到斜线L2的数值拟合曲线，最终投影结果如图6 所示。

图6 基于斜线投影的车辆分割示意图

3）观察图6 可知，两车并排行驶时，投影图中会出现两个波峰、一个波谷。波谷的位置为（Xpos，Ypos），从该位置沿斜线L2的法线方向画线即可分离两车“粘连”的连通域，从而得到连通域未“粘连”的图像。

4.2.2 车辆ROI区域筛选

由上一步得到的前景图像中还包含干扰连通域例如阴影和车道线等，影响垃圾车的目标分割。为解决该问题，本文利用连通域分析以筛选车辆ROI，具体步骤如下。

1）设各车道的掩模为Mm，根据公式可计算出不同车道的ROI区域Rnm。

其中，Dn为经斜线投影分割后的前景图像。

2）计算各个连通域的最小外接矩形，得到其形状特征和位置特征。形状特征包含宽度W0、高度H0和长宽比K0，位置特征为中心位置坐标（Xcenter，Ycenter）。

3）筛选掉不满足形状特征和位置特征的干扰连通域。筛选条件如式（3）所示。

其中，根据垃圾车的长宽值，设置宽度下限为Wmin，高度下限为Hmin；根据垃圾车的长宽比例，设置长宽比下限为Kmin，长宽比上限为Kmax；根据车道的像素坐标，设置车道区域下限为Ymin，车道区域上限为Ymax，并设置车道区域左限为Xmin，车道区域右限为Xmax。

4）当连通域的形状特征和位置特征满足式（3）条件时，输出垃圾车ROI，否则进入循环。

5 基于SVM的多级分类器

经上述操作后，筛选出了满足条件的垃圾车ROI，将其裁剪出来作为待检图像。观察可知，待检图像中包含多种类别，有垃圾车、小轿车、面包车和地面等，由于类别较多、类间方差较小，导致单级SVM的垃圾车识别效果差。为此，本文设计了基于SVM的多级分类器，整体结构如图7所示。

图7 基于SVM的多级分类器结构

多级分类器识别具体步骤如下：

1）构建训练集。对已分割出的图像进行类别标注，分为车辆和地面。同时，将已标注好的车辆图片按车型分为四类，包括生活垃圾车、建筑垃圾车、有斗垃圾车和其他车型。其中训练集占所有图片的80%。

2）训练并得到第一级SVM 分类器。根据参考文献［15～16］，提取库中所有图像的HOG 特征，其中样本i的特征向量为xi，分类函数模型如下：

其中d（x）为线性映射函数，y1为第一级SVM的类别标签，y1=1表示该图像类别为车辆，反为地面。

3）训练并得到第二级SVM 分类器。提取所有车辆图像的HOG特征，并将其分类成如图8所示的四类目标车型。车型标签y2∈［0，1，2，3］，其中0 为其他车型、1为生活垃圾车、2为建筑垃圾车、3为有斗垃圾车。

图8 前景提取试验对比图

4）使用基于SVM 的多级分类器识别待检图像。首先使用第一级分类器识别待检图像，判定其是否为车辆图像，若是，则将待检图像输入第二级分类器，反之，舍弃该图像，不输入第二级分类器。其次，使用第二级分类器识别车辆图像，若识别为生活垃圾车、建筑垃圾车和有斗垃圾车中的一类，则输出垃圾车信息，反之，舍弃该图像不输出信息。

6 试验结果与分析

为验证本文垃圾车识别方法的可靠性，选取了6 段时长为2h 的视频作为测试样本。所有测试样本来源于不同天气、不同路段、不同时间段的监控路口，具有光照变化强、树木阴影多、车流量大等特点。试验硬件环境为处理器Intel 赛扬J1900 四核四线程；内存：8G；显卡：Intel HD Graphics；操作系统：默认为Windows7 系统；开发环境：Visual studio 2010，OpenCV库函数。

6.1 前景提取对比试验

为验证基于KNN 背景建模的前景提取的鲁棒性，本文对同一张图片，分别使用KNN 背景建模、帧差法和三帧差法提取前景，结果如图8 所示。显然，KNN 背景建模法提取的前景效果更好，鲁棒性更高。

6.2 背景建模法对比试验

为验证快速背景建模中背景更新策略的有效性，进行了针对性的对比试验，结果如图9所示。

图9 背景建模的前景效果对比图

试验结果表明，基于背景更新策略的快速背景建模方法比KNN 背景建模方法能更有效地进行背景建模，更完整地提取出前景车辆。

6.3 车辆目标分割的对比试验

为验证基于斜线投影的车辆目标分割方法的有效性，将直接连通域分析和垂直投影分割的效果与斜线投影的分割效果进行对比，如图10所示。

图10 车辆目标分割试验对比图

试验结果表明，基于斜线投影的车辆目标分割方法能有效可靠地分开相互遮挡的车辆，实现了车辆区域的完整分割，而直接连通域分析和垂直投影分割不能有效地实现车辆分割。

6.4 基于SVM的多级分类器对比试验

为验证SVM 多级分类器识别车辆的准确性，本部分选取非垃圾车和垃圾车各300 张进行测试，对多级SVM 分类器和单级SVM 分类器的结果进行对比。

根据参考文献［17］，采用当前信息领域最常用的准确率（Prediction）和召回率（Recall）作为判定指标，如式（5）、（6）所示。

其中，TP（ci）表示属于ci类且被正确分为ci类的样本数；FN（ci）表示属于ci类但没有被正确分为ci类的样本数；FP（ci）表示不属于ci类但被分为ci类的样本数。最终结果如表1所示。

表1 分类准确率和召回率结果对比（单位：%）

由表1可以看出，多级SVM 分类器的准确率可达96.8%，召回率可达92%。

7 结语

本文对城市道路智能监控系统进行了深入研究，并在此基础上开发了基于快速背景建模的垃圾车识别系统，包括硬件系统和软件系统。首先，设计了系统的网络拓朴结构，保证了系统的实时性和安全性；并构建车辆侧视采集系统，以丰富车辆特征。其次，设计了背景更新控制策略，实现了快速可靠的背景建模；提出了基于动态位置检测的关键帧筛选方法和基于斜线投影的车辆目标分割法，完成了侧视车辆图像的有效分割。最后，设计了基于SVM 的多级分类器进一步提高垃圾车的识别率。对比试验结果表明，本文系统垃圾车识别率较高且实时性良好，在城市交通智能监控系统中具有较强的应用价值。