基于双目视觉的违章车辆检测与跟踪系统设计

王朋 张四海 吴非 孙永良 乔羽

【摘  要】在大多数的交通事故中，车辆的违章行为是最主要的诱导因素。为了尽可能地减缓交通拥堵问题，维护交通秩序，需要开展对基于双目视觉的违章车辆检测与跟踪系统设计研究。通过对其摄像、工业控制装置等硬件和基于双目视觉的车辆视频图像获取、运行车辆跟踪、车辆违章检测等软件进行设计，并通过实验证明该系统与文献系统相比检测精度更高。

【Abstract】In most traffic accidents， vehicle violation is the main inducer. In order to reduce traffic congestion and maintain traffic order as much as possible， it is necessary to design and research the detection and tracking system of illegal vehicles based on binocular vision. The hardware such as camera， industrial control device and binocular vision-based software such as vehicle video image acquisition， vehicle tracking and vehicle violation detection are designed， and the experiment proves that this system has higher detection accuracy than the literature system.

【关键词】双目视觉;违章车辆;检测;跟踪;系统

【Keywords】binocular vision; illegal vehicles; detection; tracking; system

【中图分类号】TN958.98                                【文献标志码】A                                   【文章编号】1673-1069（2020）07-0194-03

1 引言

当前人们生活水平的不断提高，使得私家车的数量成倍增长，造成交通拥堵的问题日益严峻，并且大大提高了发生交通事故的风险概率。为防止问题的进一步恶化，必须首先加强对车辆交通违章行为的检测和实时跟踪，及时纠正车辆出现的违章行为，从而降低交通事故发生的概率，在最大程度上保障人们的生命安全和合法权益。在智能交通系统中，该领域的研究人员充分利用传感技术、计算机技术、信息技术等现代化科技使现代化交通运输管理系统更加具有高效性、准确性等特点，而在智能交通系统中有关违章车辆检测与跟踪系统是其中不可获取的组成部分，可以为交通系统提供更加准确、客观的现实依据。陆德彪等提出一种基于深度数据的车辆目标检测与跟踪方法，通过采用基于栅格的参数自动化聚类算法和卡尔曼滤波算法对原始数据进行处理，并在每个聚类中提取目标线段来获取目标特征并计算得到目标的位置信息，完成目标关联及状态估计。

2 基于双目视觉的违章车辆检测与跟踪系统硬件设计

本文基于双目视觉的违章车辆检测与跟踪系统硬件主要包括摄像机、光端机、视频编码/解码器、工业控制装置、磁盘存储阵列、视频矩阵以及电视墙等，本文系统中硬件结构的具体组成结构如图1所示。

本文系统中的摄像机设备主要包括对重点检测路段的监控摄像头、用于记录监控视频的摄像机以及无线网络摄像机三种。其中重点检测路段的监控摄像头主要用于对路段进行实时采集交通视频流，通过视频线、光纤以及网络环境将车辆运行视频传输到各个交警监控中心，再将实时视频画面传输到电视墙上，通过磁盘存储阵列进行备份。选用无线网络摄像机进行违章检测，将视频接口作为连接点，直接将模拟摄像机与显示设备进行连接，从而完成摄像功能。本文选用的无线网络摄像机型号为TL-IPC42C-4，该型号摄像机的CCD像素高达40万，水平分辨率为500线，照度（灵敏度）为F∶LUX=1∶20，扫描制式采用PAL制扫描，镜头整体规模为MTV8/5.5/4.5/3.5mm，信噪比S/N为60db，工作电源为DC14V（±2V）1800mA，视频输出为2.4Vp-p785Ω、BNC接頭。TL-IPC42C-4型号无线网络摄像机采用高性能的CMOS图像传感器，在对车辆违章行为进行检测时可以保证画质的高质量。视频传输的捕捉信号在经过指定的视频信息捕捉卡后需将视频信号转换为数字信号，并对其进行压缩可以转换到计算机上，进行下一步的操作。

在传统违章车辆检测与跟踪系统的基础上，增加工业控制机，通过工业控制机内部的视频捕获卡将摄像机模拟的视频信号以数字化的形式展现，并存储在帧缓冲器当中。再通过帧缓冲器中的数字视频数据，通过CPU读入进行分析和处理，为后续系统软件部分判断车辆是否存在违章情况提供视频依据。最后将相关数据传输到交通控制中心进行数据管理，并进行登录、查询、统计、报表输出及处罚管理。

3 基于双目视觉的违章车辆检测与跟踪系统软件设计

3.1 车辆视频图像获取

本文设计的基于双目视觉的车辆视频图像获取系统，主要通过虚拟车辆检测器实现，虚拟车辆检测器的整体结构如图2所示。

由图2可以看出，该虚拟车辆检测器是由标签层、隐层一、隐层二和可视层组成。其中隐层一中共包含16×16个节点，隐层二中共包含12×12个节点，可视层内共包含24×24个节点，并且在可视层中，节点的数量等同于输入样本的维数。可视层与隐层之间主要是由一组权值进行相互连接。为了获得网络权重，使用包括非违规车辆样本和违法车辆样本的多个无标记视频图像样本来进行无监督模型训练，并获得初始权值，接着导入标签信息，通过反向属性监视训练来优化网络权重。

在本文系统当中，将可视层和隐层一看作一个受限制玻尔兹曼机，可得到可视层和隐层一节点间的状态能量。计算公式如下：

公式（1）中，P表示可视层和隐层一节点间的状态能量;xmn表示可视层第m行第n列位置上节点的状态量;zij表示隐含层第i行第j列位置上节点的状态量;ymn，ij表示可视层第m行第n列位置上节点和隐层第i行第j列位置上节点的连接权值。根据上述公式可以得出可视层状态和隐层一状态间的条件概率分布的计算公式为：

公式（2）和公式（3）中，K1表示可视层状态的条件概率;K2表示隱层一状态的条件概率。为保证本文系统获取视频图像的准确性，在上述公式计算基础上，采用对比分歧算法对虚拟车辆检测器的连接权值和偏移量进行逐步的更新。在上述训练之后，可以获得虚拟车辆检测器，可以跨越双眼的视觉图像来确定是否有车辆违规。特定方法是取原始图像上所有可能车辆区域的连接区域的最小外接矩形，并且将矩形扩展为可能的车辆感兴趣区域的20%。

3.2 运行车辆跟踪

提取车辆视频图像后，根据感兴趣的车辆区域，系统提供需要跟踪的目标信息，包括目标大小、中心点坐标和其他信息。接下来，使用跟踪表算法来跟踪与预定检测信息结合的目标车辆。不同框架的相同车辆是相关的。然后，估计并跟踪每个车辆的运动轨迹。各帧的车辆的运行状态通过跟踪理解，车辆的规则和交通信号的状态信息被结合，判断车辆是否违反规则，具体流程为：

第一步：从车辆视频图像中获取车辆目标的每一帧运动信息。

第二步：针对车辆目标生成跟踪目标，并形成运动目标车辆链表。

第三步：匹配当前的目标对象链表与已跟踪的运动车辆目标链表。若存在新的车辆跟踪目标，则执行第四步，若不存在新的运动车辆跟踪目标则执行第七步。

第四步：将新的跟踪目标位置与检测区域中心位置做比较，若新的跟踪目标出现则对区域中心位置进行并跳转到第五步，若不在则跳转到第六步。

第五步：计算新的跟踪目标的色彩概率分布。

第六步：更新所有运动目标的色彩概率分布。

第七步：对所有运动目标进行跟踪计算。

第八步：针对计算结果来绘制跟踪目标框图。

第九步：对下个目标进行检测。

根据上述步骤完成跟踪检测。

3.3 检测违章车辆

违法车辆包括：进入导向车道不按规定方向行驶;交叉路口不按规定行驶或停车;违反限速规定等车辆。在交叉路口根据红绿灯的状态信息以及车辆的运行状态信息根据表1中所述条件对车辆是否存在违章行为进行检测。

根据表1，在检测到发生违规行为的车辆的情况下，自动调用摄像机，根据所检测到的车辆的特定空间和地理位置，捕捉违法车辆的车牌，或将来自动识别车牌号码。

4 仿真对比实验与分析

在进行对比实验之前，首先建立数据可视化的模拟车辆行车记录的仿真平台，设置对照组为陆德彪等设计的系统与跟踪系统下对违章车辆的检测，与本文系统对违章车辆的检测系统进行对比。在仿真平台中，选取100组车辆作为检测与跟踪目标，并保证每一组的车辆行驶状态都各不相同，对比两种系统的违章车辆检测与跟踪结果，结果如表2所示。

根据表2中的实验结果可以得出，本文方法的准确率明显高于陆德彪等的方法。说明本文提出的基于双目视觉技术提出的违章车辆检测与跟踪系统，对车辆违章行为的检测精度更高，将其应用于实际中具有更高的应用价值。

5 实际应用

在青岛市劲松三路，长沙路到银川西路方向，在5个原监控设备基础上，再安装5个应用基于双目视觉的违章车辆检测与跟踪系统的监控设备。共同针对交通拥堵且事故高峰路段进行交通监控，一周时间内分别对违章车辆进行统计。统计结果如表3所示。

由两种监控系统的实际监控违章车辆结果可知，基于双目视觉的违章车辆检测与跟踪系统的监控设备相较于原有的监控设备准确率更高，更能有效地监测出违章车辆。

6 结语

违章车辆检测与跟踪作为智能交通系统的一部分，涵盖了计算机、通信等众多领域，在交通、安防以及公共事业等领域具有举足轻重的作用。本文结合双目视觉技术提出一种全新的检测与跟踪系统，希望为车辆违章检测的智能化、精确化发展提供方向。

【参考文献】

【1】隋靓，党建武.基于运动目标轨迹的高速公路异常事件检测算法研究[J].计算机应用与软件，2018，35（01）：246-252.

【2】陆德彪，郭子明，蔡伯根，等.基于深度数据的车辆目标检测与跟踪方法[J].交通运输系统工程与信息，2018，18（03）：55-62.

【3】刘丹萍，聂宇航，许静，等.面向树木刷白机器人智能化的双目摄像头图像畸变矫正算法研究[J].科技视界，2019（01）：114-115.

【4】张天翼，韩家明，宋佳蓉.基于连续自适应均值漂移和立体视觉的无人机目标跟踪方法[J].应用科技，2018，45（02）：55-59.

【5】方博文，张晓东，陈敬义.基于双目视觉的行车中障碍距离检测方法研究[J].机械设计与制造，2019（04）：94-98.

【6】同志学，贺利乐，王消为.基于双目视觉的工程车辆定位与行驶速度检测[J].中国机械工程，2018，29（04）：423-428.

【7】李群生，赵剡，王进达.一种适用于高动态强干扰环境的视觉辅助微机械捷联惯性导航系统/全球定位系统超紧组合导航系统[J].兵工学报，2019，40（11）：2241-2249.