基于无人机技术的交通数据采集

2022-09-21尹万杰申明亮温双银

黑龙江交通科技 2022年9期

关键词：车流量边界物体

尹万杰，申明亮，温双银

(1.中国市政工程中南设计研究总院有限公司，湖北武汉 430010；2.武汉大学，湖北武汉 430072)

1 交通调查目的和方法

1.1 调查目的

获取占道封闭施工影响区域的道路属性和交通数据等，通过数据处理与仿真建模，分析施工前和施工期间影响区域各个路段和路口的交通运行状态，为研究占道施工时不同疏导方案下的路网通行能力和服务水平提供基础数据。

1.2 调查的范围与内容

调查范围的确定是调查阶段的重点问题，范围过小，后期的交通影响分析可信度不高；范围过大，则需要投入大量的人力、物力、财力。确定一个合理的数据调查范围，既能满足占道施工对交通影响分析的工作需要，又可以最大限度的节约资源。调查研究范围的确定主要基于以下几点：

(1)施工占道区相邻的所有主要路段路口及区域内车流量较大的路段路口；

(2)可能被施工占道区影响到的交通拥堵点。

现场调查的内容应满足全面且重点反映道路信息，内容主要包括：

(1)调查范围内所有道路的基本参数，包括道路等级、限速信息、车道数、路口类型等；

(2)调查范围内的交通控制规则，包括各路口的红绿灯配时及相位图、直行和转向车道分配等；

(3)调查范围内各个路段的车辆通行数据，包括车流量、车流转向比、通行时间、最大排队长度等。

1.3 调查的时段

选定的调查时段应尽量反映调查范围内道路的普遍交通特点，同时应降低因特殊天气、大型聚集性活动等偶然性因素对调查数据的影响。现场调查采集的数据应该涵盖孝感市典型时段的交通数据，选择工作日的上下班高峰时期作为调查时段，选定典型控制调查时段为早高峰和晚高峰。

1.4 数据采集方式

目前常用的数据采集方式包括线圈、地磁、雷达、视频等。通过这些技术能够比较方便的直接获取车流量、车速、排队长度等交通指标，每种采集方式都存在其各自的优点和缺点。

表1 数据采集方式比较

对比可知，线圈、地磁、雷达前期安装或后期维护都存在不同方面的困难，耗费大量人力、物力、财力。经过比选，本次调查采用视频数据采集方式，利用无人机对路口或路段过往车辆进行摄像记录。摄像拍摄分为高处摄像(采集整个施工区域范围内的道路基本参数)和定点拍摄(采集各个路口的交通流数据)。利用开发的视频读取车流量系统获取所需的车流量数据，通过人工对视频资料的整理可获得道路属性等交通参数。

2 无人机数据采集

2.1 视频采集

无人机(UVA)是一种通过无线电遥控设备或自主程序控制的、可执行多种任务并能回收重复使用的无人驾驶飞行器。我国对无人机技术的研究始于20世纪50年代，近年来，随着轻型复合材料的广泛应用，以及电子与无线电控制技术的改进，无人机技术得到飞速发展，随着大数据的全球化，无人机也作为互联网的链接端口，被应用到数据采集领域。

(1)无人机采集方式的优点

无人机技术在道路交通数据采集领域具有较高的实用价值和广阔的发展前景，与传统交通信息采集技术相比，利用无人机进行道路交通信息采集具有以下优点：

①监测范围广。无人机作为一种空中移动设备，高度机动，布点灵活，可以突破空间距离的约束，克服道路交通环境的影响，可监测的交通信息范围广；

②采集信息丰富。无人机航拍结合视频处理技术可以获取车流密度、车流量、平均速度等宏观交通信息，也可以跟踪检测单个车辆运行状态或行人、自行车行为等微观交通信息；

③安装维护方便。无人机组装后就可以直接使用，起飞方式简单，对场地要求很低，不会对道路交通运行带来影响，并且后期维护、升级方便；

④拍摄成本低。无人机造价成本低，运行时的能力耗损也低于其他飞行器。可以拍摄的区域范围几乎没有限制，而传统的固定视角检测器想到要拍摄同样的区域范围，需要投入大量设备，成本极高。

(2)无人机的选择

目前，我国民用无人机技术蓬勃发展，以深圳大疆创新为代表，在无人机行业领先数年,推出了很多便携实用、安全可靠的无人机产品。Mavic Air 2这款无人机是大疆御系列在智能、影像、续航、飞行安全、图像传输等领域全方位提升的里程碑级产品，能以4K/60fps视频还原拍摄场景，清晰记录交通运行情况。

(3)无人机采集视频的高度确定

对于无人机拍摄的视频，车辆读取的难点主要在于，无人机航拍视野广阔，视频中目标车辆体积偏小，增加了目标检测和跟踪的难度。根据多次实验得出结论，无人机悬停位置处于道路正上方7～9 时，车辆读取准确率能达到较高水平。当悬停高度过低时，距离车辆较近，无人机过低可能会分散驾驶员的注意力。当悬停高度过高时，在视频中车辆过小，检测精度降低。

无人机拍摄的视频通过计算机视觉技术检测车流量的过程包括车流量的统计和分析工作，统计部分主要包括目标检测；分析部分主要包括目标跟踪与计数。

2.2 目标检测

目标检测的目的是从图像中将目标物体与背景及其他物体区分开来，获取目标物体的准确位置和形状大小，给出物体的预判类别，是机器视觉领域的核心问题之一。对于人类来说，获取目标物体的具体位置是一件非常简单的事情，但对于计算机来说，图像是由数字构成的二维矩阵，所包含的信息量相对较大，很难从数字矩阵中提取出不同物体的高维特征，再加上有其他物体和杂乱背景的干扰，目标检测变得更加困难。

(1)传统车流量检测

传统的视频读取车流量检测方法主要有：帧间差分法、背景减法、光流法等。

①帧间差分法。帧间差分法的原理是将视频中相邻两帧图像像素灰度值相减，对于静止的物体及背景，差值图像灰度值趋近于0；对于运动物体，差值图像灰度值则变化很大。当差分图像灰度值超过一定阈值时，可以确定其是否为运动目标，从而检测出目标物体。

②背景差分法。背景差分法是一种基于统计学原理的主流目标检测方法，基本思想是事先建立或实时获取一个灰度背景图像模型，将其与视频中获取的图像帧做差分运算，得到运动目标区域的差分图像，差分图像灰度值超过一定阈值时，可以确定其是否为运动目标，从而检测出目标物体，该算法实现的关键在于背景模型的获取和更新。

③光流法。光流法通过比较每一帧图像中目标像素灰度位置的变化来检测目标物体。该算法依赖于以下三个基本假设条件：a亮度恒定。同一目标物体在不同帧内运动时，亮度不会发生改变，即像素灰度值不变；b“短时间”或“小运动”。相邻帧之间的时间足够短，位移足够小，保证时间的变化不会引起目标物体位置的剧烈变化。c空间一致。成像平面上相邻的点具有相似的运动。

表2 三类算法优缺点对比表

综上所述，我们可以得知，传统的视频读取车流量检测方法存在精度不高、对于复杂场景、光线变化等外界干扰较为敏感等缺点，尤其是针对无人机拍摄的道路视频，相对于传统的固定布设道路监控设备拍摄的视频来说，存在更大的干扰性。另一方面，传统方法阈值的选取对目标检测的精度影响较大，但目前还没有很好的选取方法。

(2)基于深度学习技术的车流量检测

近年来，随着深度学习技术的发展，卷积神经网络技术在目标检测方面取得了不错的成果，其通过模拟人类大脑的视觉神经进行工作，检测的精度和速度远远超过传统算法。基于深度学习技术的目标检测方法大致可以分为两类，一类是基于候选区域的two-stage，如SPP-net，Faster R-CNN等。这类算法需要事先生成一系列的候选区域，再利用卷积神经网络对候选区域进行分类和定位；另一类是基于回归的one-stage，如YOLO(you only look once)，SSD(single shot multibox detector)等。这类算法不需要事先生成候选区域，而是通过回归模型直接预测物体的位置和类别。

车流量检测过程中对视频的处理力求结构简单，速度快，并且车辆体积较大，检测精度受影响较小，所以one-stage更为适用。另一方面，YOLO系列改进算法引入了图像金字塔，并且检测层数包含三层特征层，目标检测精度较SSD系列算法更高。所以，本文将选用YOLO算法来对车辆进行检测。

表3 两类算法优缺点对比表

(3)YOLO目标检测

YOLO系列算法的核心思想是将目标检测问题化为回归问题来处理，放弃了候选区域策略，用单一的神经网络获取目标的位置、大小和分类概率等信息，使识别速度有了极大的提升。YOLO的网络结构，包括24个卷积层和2个全连接层，其中，卷积层用来提取目标物体的特征，全连接层用来预测目标物体的位置和类别概率。

①YOLO的原理

YOLO算法将输入图像分割成S×S个网格(Cell)，每个网格负责预测是否有物体的中心点落入网格内，如果有，该网格负责检测出该物体。

每个网格可预测的边界框(Bounding Box)信息包括5个数据：x，y，w，h，c。(x，y)表示目标中心点的坐标，该坐标系的原点是目标中心点所在网格的左上角，网格右下角坐标为(1，1)，即目标中心点的坐标值都作了归一化处理，介于0～1之间；(w，h)表示目标检测框的大小相对于整张图像宽度和高度的比例，范围也介于0～1之间；c是置信度(Confidence)，表示该格子内存在目标的概率。

边界框置信度计算公式如下：

confidemcescore=Pr(object)×IOU

(1)

(2)

式中：Pr(object)为目标物体落入网格内的可能性大小。若目标物体落入网格内，Pr(object)=1，若目标物体没有落入网格内，Pr(object)=0；IOU为预测边界框与物体实际边界框的交并比，表示目标物体位置的准确度；area(·)为面积；BBpre为预测的边界框；BBtru为实际的边界框。

因此，YOLO网络最终的输出维度设置为S×S×(B×5+C)。

②非极大值抑制

对图像进行目标检测时，同一个目标可能会被多次检测到，即不同的网格以不同的置信度预测有目标物体的中心点落入网格中。车辆检测中，可以看到车辆被多次检测，但希望最后仅仅只输出一个结果最好的边界框。非极大值抑制(NMS)就是为了解决一个目标被多次检测的问题，具体操作步骤如下：

Step1：从所有的检测结果中删除c≥0.6的边界框；

Step2：在剩余边界框中选择c值最大的边界框，作为输出的边界框；

Step3：计算c值最大的边界框与剩余框的重合程度，如果重合程度大于一定阈值(0.5)则删除；

Step4：重复2、3步骤，直到判断完所有的边界框。

这实际上是一个迭代的过程：第一次迭代选择c值最大的边界框，删除它周围重复检测的边界框；第二次迭代在剩余的边界框中选择c值最大的边界框，再删除它周围重复检测的边界框。这样不停的迭代就能找到所有的目标物体的边界框。

③YOLO的损失函数

YOLO算法所采用的损失函数为均方差损失函数，计算公式如下：

Loss=coordError+noobjError+objError+classError

(3)

coordError=

(4)

(5)

(6)

(7)

2.3 目标跟踪与计数

(1)目标跟踪

目标跟踪是指在检测到目标物体以后，对视频图像当前帧的目标进行预测并追踪其在下一帧大小和位置，从而得到目标的运动轨迹。目标跟踪可分为单目标跟踪和多目标跟踪，多目标跟踪则需要在单目标跟踪的基础上进行数据关联，数据关联的好坏基本决定多目标跟踪的优劣。通过无人机拍摄的车流量视频，对车辆进行目标跟踪属于多目标跟踪，因此需要考虑到新目标和老目标的出现与消失、前后帧中目标匹配是否一致以及目标之间是否有重叠或遮挡等问题。

为了实现目标跟踪，以前通常采用生成式模型的跟踪算法，例如粒子滤波法、Meanshift算法、Camshift算法等。这类方法的原理是通过建立目标模型来提取目标的特征，并在下一帧中找到相似的目标特征，进行不断地迭代，最后完成目标的定位。但这类方法存在着无法充分利用图像的背景信息的缺陷，由于目标特征存在多样性和不确定性，仅仅用单一的目标模型有很大的局限性，无法准确跟踪到目标。因此本文采用了目前运用较多的SORT(Simple Online And Realtime Tracking)算法，该算法结合了卡尔曼滤波追踪和匈牙利匹配算法，能够得到较好的跟踪效果。本节将从预测模型、数据关联和SORT算法步骤三个方面来介绍。

①预测模型

SORT算法中的卡尔曼滤波是一种预测目标轨迹的方法，即是在一个包含不确定信息的动态系统中，即使伴随着各种干扰，卡尔曼滤波总能对系统的下一次变化做出有依据的预测。在SORT算法中，目标在不同帧之间的线性运动与其他物体及相机运动无关，每个目标的运动状态用式(8)表示。

x=(u,v,s,r,u′,v′,s′,r′)T

(8)

式中：u，v为目标的中心坐标；s，r为目标边界框的比例(面积)和纵横比，一般被认为是常数。

②数据关联

SORT算法中的匈牙利匹配算法是用来关联视频中前后两帧的目标物体的算法。首先通过卡尔曼滤波预测当前帧中M个目标会在下一帧中出现的N个目标的位置，然后利用代价矩阵记录上一帧M个目标与下一帧N个目标之间的IOU，若计算出的IOU小于程序设定的阈值，则该关联是无效的。运用IOU能一定程度地解决目标物体被短暂遮挡的问题，若目标被遮挡物遮挡，则不会检测到原目标而检测到遮挡物，在遮挡结束后，对于形状大小接近的目标，其IOU会较大，因此就能很快地恢复正常的关联。

③SORT算法步骤

Step1：对视频图像第一帧中的YOLO检测到的目标初始化，并创建新的跟踪器，得到所有M个目标的分类和位置，给每一个目标标注id名称；

Step2：通过卡尔曼滤波对M个目标进行预测，预测他们出现在下一帧的位置。再对第二帧中所有的目标进行目标模型的检测，得到N个目标的分类及位置；

Step3：比较第一帧中卡尔曼滤波预测出来的M个目标与第二帧中相同目标之间的IOU，并使用匈牙利匹配算法将第一帧和第二帧中的目标关联起来。如果出现计算得到的IOU小于程序中初始设定的阀值，则认为该目标为未跟踪的目标。通过目标在图中的具体位置来判断该目标是已经离开还是刚进入图像；

Step4：后面的每一帧都重复执行上述步骤，直到视频结束。

(2)目标计数

在利用跟踪器对车流量进行统计时，需要先对视频中的车流量统计车道进行手工标定。我们在垂直于车道方向确定一条前置线，采用两点确定一条线段的方法，每个车道标定一条线段，线段位置通常定于交叉口斑马线前后。在所有车道的位置标定结束后，自动生成另一条后置线，与道路两侧边线一同构成一个检测区域。