机器视觉下的普通国省干线公路落物识别*

王宁 王静 郝贵发 汪祝庆 倪树新

1.镇江市公路事业发展中心；2.江苏苏信交通科技有限公司；3.南京慧筑信息技术研究院有限公司

普通国省干线公路运行过程中，受到客观因素与主观因素影响会存在各种落物，包括从车辆上掉落的轮胎、钢管、生活垃圾以及其他物品等。为了降低此类落物的影响，提高管理效率，需要增强对此类物质的识别。本文以此为出发点，概述了普通国省干线公路落物识别的重要性，剖析了普通国省干线公路落物识别技术流程，并以此为基础，分别从图割法、MOG2算法、YOLOv5+阈值法、KCF跟踪与识别四个方面，对其具体情况进行了讨论。

普通国省干线公路路段具有一定的封闭性，车辆行驶速度快，车流量较大，当存在落物情况时容易引发交通事故。轻者出现车辆追尾、撞护栏，严重时会导致翻车等，给驾驶员与乘客的生命安全造成了较大威胁。为了有效规避此类交通事故，将风险降至最低点，一方面需要加强道路交通安全宣传教育；另一方面则应采用配置技术要素的方式，增强对基于视频的普通国省干线公路落物识别技术的应用。尤其在当前阶段，交通行业进入了高质量发展阶段，扩大了对数字化技术的运用，因此，有必要结合新技术提高落物识别技术的应用水平，为普通国省干线公路的安全运行保驾护航。

1 普通国省干线公路落物识别的重要性

1.1 从公路管理效率分析

普通国省干线公路落物引发交通安全事故会进一步造成交通拥堵，降低管理效率。因而，需要根据该方面存在的因果关系链，增强落物识别。目前，主要按照现代经济学中的要素配置理论，建立了技术要素主导的资源配置方式，旨在通过提高技术要素应用比例，辅助普通国省干线公路管理主体，高效、精准的完成落物识别，从而在控制落物风险及其影响的情况下，达到提高公路管理效率的目标。

1.2 从运营效益分析

普通国省干线公路运营管理单位，除了承担社会责任之外，也需要提高运营效益，以此保障公路的可持续运营[1]。当普通国省干线公路管理过程中，因落物造成交通事故、交通拥堵，造成严重伤亡的情况下，不仅会影响单位的社会声誉，降低公信力。而且在对交通事故进行处理的过程中，需要投入大量的人力、物力、财力，从而增加运营管理成本，影响运营效益。

2 普通国省干线公路落物识别技术流程

落物识别监测预警是现代普通国省干线公路路网运行安全管理中的重要组成部分，在当前应用的多种识别技术中，主要是应用“传感器+人工智能”的基本方案，借助配置适用性较强、适配性较高的技术，实现对路面落物的自动识别[2]。需要注意的是，在落物识别技术应用时并不是单一的应用一种技术，而是需要配置多种技术，才能达到有效识别、监测、跟踪、预警等。以基于视频的普通国省干线公路落物识别技术为例，其中就需要配置图割法、MOG2算法、YOLOv5+阈值法、KCF跟踪与识别技术等，下面先对其流程进行说明。

（1）在基于视频的普通国省干线公路路面落物识别时，需要按照“道路区域分割—公路落物前景背景分离—道路物体目标检测—道路物体目标跟踪”的基本路线进行操作，四大环节中通常可以分为6个基本的流程进行操作：1）利用图割法从整个图像中分割出有效的公路区域；2）采用背景建模及背景差分算法得到所有的运动目标；3）用深度学习算法检测出车辆，以排除车辆目标；4）在排除掉车辆目标后，对剩下的目标采用阈值法筛选、排除掉一些小目标和噪声目标，得到有效目标；5）对筛选出的目标初始化，使用目标跟踪算法跟踪目标，跟踪过程中目标可能会被其他物体短暂性遮挡，所以对跟踪算法进行改进，使其具有目标丢失判别能力，识别丢失的目标；6）根据轨迹信息判断目标是否为落物，当轨迹连续若干帧移动较小，输出落物提醒并报警。

（2）在6个基本流程的实践过程中包括若干步骤，具体而言，在确定帧序列后一方面应按照“分割出公路区域并对公路背景建模—背景差分—二值化与形态学处理—运动目标”的顺序进行操作；另一方面则需要通过深度学习检测出车辆目标。在此基础上，完成对车辆之外目标的排除后，根据像素点设置阈值。当阈值大于设置好的阈值T时，则进入到下一环节，筛选出目标。当阈值等于、小于阈值T时，则需要对其中的噪声进行去除，待其符合具体要求后筛选出目标，再初始化跟踪筛选出的目标，借助KCF/TLD跟踪、提取轨迹信息，并在计算出等间隔数据帧中目标的欧氏距离后，根据设置好的距离L，进行落物提醒并报警。当欧氏距离小于距离L时，进行落物提醒并报警，反之则需要先进行其他的运动目标处理，再实施落物提醒并报警。基于视频的落实识别技术流程如图1所示。

3 普通国省干线公路落物识别技术分析

3.1 图割法

该方法旨在分离公路区域，其中应用的Graph Cut（图形切割）技术看，主要是用于解决计算机视觉领域各种低级计算机视觉问题[3]。例如：图像分割问题、立体对应问题、图像平滑问题等。实践经验表明，应用此类方法时，可以将图像分割问题与图的最小割（Min Cut）问题相关联，借助最小能量（Minimum Energy）方案，对应解决最大后验估计（Maximum Posterior Estimate）等情况。进一步讲，利用最小割最大流算法分割图像，可以将图像分割为前景和背景，进而分离出有效的公路区域。应用图像切割中的最小割最大流算法过程中，要求输入时先在背景与前景中进行画像，再利用该算法构建各像素点，完成相似度方面的“赋权图”，从而实现区分目标。

3.2 MOG2算法

（1）在短时间内围绕某一中心值，于一定距离内进地各像素点的分布时，通常会通过均值取代中心值，利用方差表示距离。因而，分布时会形成一定的规律，并通过统计定律加以处理。例如：在足量的数据点确定的前提下可以呈现出高斯分布（具体呈现为正态分布）。因而根据该特点，当像素点的值偏离中心值较远时，可以将该像素值归于前景。当在一定方差范围内此类值比较接近中心值时，可以将该点作为背景之中。从理论上讲，如果不存在任何干扰的条件下，能够实现准确区分前景和背景目标。但是，理想状态并不能实现，当画面中光线存在变化的情况下，高斯分布的中心位置往往会发生改变，因此，需要应用混合高斯模型。

（2）在描述背景的单一模式方面，单高斯模型具有较大优势，然而当背景中存在树叶晃动等多模态的情况后，应用该模型容易发生检错的现象。因此，在这种情况下，应该采用推广单高斯模型的办法，先获取混合高斯模型再利用多个新模型，从而满足多模态背景中每一个像素位置的监测并满足其鲁棒性，达到对缓慢移动物体的有效检测。进一步讲，背景本身作为一个高斯分布，在停车的状态下，如果聚集一定的前景数据会得到新的高斯分布。此时，停车时的实际前景与背景重合，由此导致停车状态与运行状态车辆的混淆[4]。需要说明的是，当车缓慢行驶时，形成高斯分布的时间相对较长，并不能立即实现分布，所以应用混合高斯分布可以实现对缓慢行驶车辆的有效检测。高斯混合背景建模流程如下：1）通过初始化完成对多个高斯模型的预先定义，再对模型参数实施初始化并求将用参数；2）处理每一帧中的每一个像素，查看匹配情况。在匹配的情况下归入匹配模型，并根据新像素值更新参数。反之，则以该像素建立高斯模型并对参数进行初始化处理；3）选出背景模型所用的高斯模型，做好提取准备工作。

（3）MOG2算法结合不同输入场景自动选择高斯分量的个数，建立背景像素模型并进行权重设置（如使用颜色存在时间的长短进行设置）。考虑到权重中的颜色具有持续时间长的特点与静止属性，而且在具体操作时以时间序列为基础，因此，可以将时间序列中每个像素占有的位置，通过时间与空间的基本形式完成分布构建。

3.3 YOLOv5+阈值法

图像目标检测方面深度学习具有较大优势，从实践经验看，YOLOv5技术不仅名列前茅，而且学者们将它应用于不同对象的检测时，可以选择不同的改进方案进行应用。在高斯背景建模识别并输出全部运动目标ID标号条件下，应用YOLOv5识别技术，能够识别每一帧图像中的车辆目标，达到排除目标。同时计算剩余运动目标的像素数，采用阈值法筛选掉小目标及噪声目标。

3.4 KCF跟踪与识别

目标跟踪的任务在于，找出被关注目标在每帧视频图像中的位置。从功能上看，与目标检测相似，旨在寻找目标位置，但是，在“跟踪”时需要配套提升运行速度。实践经验与实验比较结果显示，目标跟踪运行速度往往大于目标检测，然而，在目标位置定位精度方面容易出现偏差。因此，实践过程中，通常会牺牲少量定位精度，以此换取成倍的运行速度。

3.4 .1目标跟踪算法

该算法主要分为生成式（Generative Model）与判别式（Discriminative Model）两种。在前一种方法下，将目标跟踪视为二元分类问题，通过训练关于跟踪目标的分类器来从候选目标中找出正确的目标（如CSK、KCF算法）。在后一种方法下，采用特征模型描述目标的外观特征，再最小化跟踪目标与候选目标之间的误差来确认目标（如LK光流法）。根据跟踪目标的数量看，可以将目标跟踪算法分为单目标跟踪与多目标跟踪。与单目标跟踪相比，多目标跟踪问题相对复杂，操作难度相对较大[5]。所以，在多目标跟踪时，需要考虑视频图像帧中多个独立目标的不同类别、位置、大小、外观、运动方向、动态光照、相互遮挡等因素（此类因素是目标跟踪领域的研究难点）。经综合考虑公路图像的特点及工程实际情况，可以选用性价比较高的KCF算法实现目标跟踪。

3.4 .2 KCF算法

KCF是英文Kernel Correlation Filter的首字母缩写形式，中文翻译为核相关滤波，属于判别式方法。从原理看，主要是通过物体在当前帧的位置，迅速预测物体在下一帧的位置。由于该算法具有循环矩阵和相关滤波这两个特点，因而可以将运行速度提高到150FPS。具体应用时以循环矩阵与相关滤波为主。分述如下：

（1）循环矩阵：KCF算法将图像沿着上下、左右的方向进行平移，以产生更多的样本用于训练。同时这种平移可以通过循环矩阵来表示，循环矩阵可以对角化，计算时仅需关注对角线上的非零元素，因此能够大幅加快矩阵与矩阵的计算速度。

（2）相关滤波：相关是衡量两个信号相似值的度量，相关值越高，表示这两个信号越相似。KCF输入往往通过其他检测手段，得到物体在某一帧图像上的准确位置（如应用MOG2算法得到box）。假定，该准确位置为patch_0，在后续图像帧上， [patch_1, patch_n]中共有n个patch，此时，KCF预测的位置即为与patch_0相关值最高的patch。由于两个patch的相关卷积相当于傅里叶域中的元素乘积（时域卷积=频域点积），而乘积计算大大快于卷积运算。因此，在计算patch_0与patch_k(1≤k≤n）的相关值时需转换到傅里叶域进行。最后，通过计算不同帧间相同目标中心点坐标的欧氏距离，借助设定阈值的方式判断目标是否为落物。

4 结语

总之，普通国省干线公路落物种类较多，会给公路管理单位与车辆驾驶人员产生较多危害。在新时期交通行业高质量发展阶段，应进一步增强对基于视频的公路落实识别技术应用。通过以上初步分析可以看出，公路落物识别既具有现实意义，也是提升公路管理效率，扩增运营效益的重要途径。因此，建议在“传感器+人工智能”的基本应用思路，结合技术要素主导的资源配置方式，合理推进落物识别监测预警技术的实践工作。