基于机器视觉的交叉口特种车辆快速通行技术研究

2023-10-28赵晋芳赵晋利李德旭

计算机测量与控制 2023年10期

赵晋芳，赵晋利，李权，李德旭

(1.西安汽车职业大学交通工程学院，西安 710000；2.昆明理工大学津桥学院，昆明 650000；3.西安羚控电子科技有限公司，西安 710000)

0 引言

交叉口是交通重要枢纽，是车辆、行人等、转向、撤离时必须经过的地方。为了确保道路的安全畅通，交叉口通常会设置诸如信号灯之类的交通控制设备以及其它的交通管理设备。对交叉路口进行科学的设计，对交叉路口的交通进行科学的组织与管理，对于提高交叉路口的通行能力，保证道路的安全运行具有重要意义。随着经济进步，汽车保有量呈现快速增长的趋势，由此导致的交通拥堵现象越来越严重[1]，尤其是对一些特种车辆的调度、指挥不够及时，从而耽误了救援时间。特种车辆是指执行特殊任务、挂有特殊车辆牌号、安装使用报警装置及标志灯的车辆。例如，救护车，消防车，警车，工程救险车，军队监督车辆等等。交通规则规定：一切行人、车辆应当为执行任务的特种车辆先行。由于大部分交叉口信号控制框架缺乏特种车辆的危机应对措施，使得特种车辆不能快速通行。

为了解决特种车辆不能快速通行的问题，国内学者对此进行了深入研究。马秀博等[2]利用高斯差分滤波技术对目标图像进行去噪处理，建立了车辆对称轴检测模型，进一步将目标划分为无遮挡类型、前后遮挡类型、斜向遮挡类型、左右遮挡类型和组合类型，通过Graham算法提取图像凸包点，基于对称关系完成车辆图像的分割，实现特种车辆的快速通行。侯运锋等[3]以无信号交叉口为研究对象，设计由自治车辆、智能路侧单元和协同信息交互系统组成的控制模式，并建立无信号交叉口路权调度模型，求解目标函数，获取车辆最优通行序列，实现车辆调度。但上述两种方法易受其他信号干扰，存在不能对车辆类型进行准确判断的缺陷。

为此，研究基于机器视觉的交叉口特种车辆快速通行技术。机器视觉算法是人工智能的一个分支，它利用机器替代人类的眼睛进行检测和判断。机器视觉算法指的是利用机器视觉产品，将被摄取对象转化为图像信号，并将其发送到专门的图像处理系统中，从而得到被摄对象的形态信息，并以像素分布和亮度、颜色等信息为依据，将其转化成数字化信号。通过对采集到的数据进行处理，提取出被测对象的特征量，并基于特征量的识别结果，实现了对被测对象的特征量的控制。机器视觉算法不仅具有调试灵活、成本低等特点，还可以融入跨模态的视觉信息，提高识别准确率。将机器视觉算法应用到交叉口特种车辆快速通行技术的优化设计工作中，以期能够达到特种车辆快速通行的目的。

1 机器视觉特种车辆快速通行技术架构及原理

优化设计交叉口特种车辆快速通行技术的最终目的是控制特种车辆快速到达目的地，因此将应急车辆通行时间最短作为路径规划的主要目标，得到应急车辆行程时间最小目标函数：

(1)

其中：T为特种车辆在交叉口的通行时间，ti和tw分别为特种车辆在路段的行驶时间与等待时间，n为交叉路口包含的路段数量。为达到公式(1)表示目标，在机器视觉算法的支持下，优化设计交叉口特种车辆快速通行技术，优化设计技术主要由图像采集及预处理、检测识别和通行控制三部分组成，构建的基于机器视觉的交叉口特种车辆快速通行方案如图1所示。

机器视觉特种车辆快速通行技术如图1所示，主要原理如下：

1)图像采集及预处理：通过图像采集设备获取交叉口的实时图像数据，为了提高图像质量，对采集到的图像进行滤波、增强和光线补偿等预处理操作。

2)检测识别：利用Car-YOLO网络对采集到的交叉口图像进行分析和处理，以获得交通情况的相关信息，进行车辆、行人、交通信号灯等目标的检测与识别，以及车辆行驶方向的判定。

3)通行控制：根据检测识别得到的交通情况数据，结合交通管理部门的规定和策略，采取相应的通行控制措施。例如，根据特种车辆的优先级和紧急程度，优化通行顺序，向特种车辆提供绿灯优先通行的权利。

通过上述步骤可知，机器视觉技术可以根据实时的交通情况和特种车辆的需求，提供准确的路况判定和通行控制，以最小化特种车辆在交叉口的通行时间，达到车辆快速通行的目的。

2 交叉口特种车辆快速通行技术设计

按照技术框架的优化设计结果，分别从图像采集及预处理、检测识别和通行控制三个方面实现车辆的快速通信任务，优化设计快速通行技术以公式(1)表示函数为目标，其基本运行原理为：利用机器视觉技术采集的交通图像，判断特种车辆所处交叉口的路况，根据路况识别结果选择最优车道，结合前车状态规划车辆通信路径与通行速度。在考虑特种车辆路径规划结果的情况下，对交叉口的信号灯进行控制，保证特种车辆所在车道的信号灯能够最快切换至“绿灯”，即通行状态，进而实现特种车辆的快速通信。在此次优化设计与研究中，以规定的交通道路规则为基准，确保特种车辆以及交叉口中的其他车辆不会违反交通规则，在保证车辆通行速度的同时，最大程度地降低交叉口发生碰撞事故的概率。

2.1 机器视觉技术下交叉口图像采集及处理

2.1.1 图像采集

将机器视觉成像设备装设在特种车辆的前、左、右端，利用图2表示的机器视觉成像原理，采集交叉口的交通图像。

图2 机器视觉成像原理图

在交通图像采集之前，首先需要对机器视觉成像设备进行标定处理，相机标定是实现图像内容逆变换到原始三维空间的关键一步，它可以通过一定的方式建立相机采集到的二维平面与真实三维空间坐标系的关系。在进行摄像机定标时，必须获得摄像机的内部参数和外部参数。在快速通信技术优化设计工作中，选用张友正校正方法对机器视觉成像设备进行校正，使其能够对图像采集失真进行校正。其基本思想是使用线性算法计算出一部分参数的值，然后使用最大似然估计对其进行非线性的优化[4]。该方法分为三个步骤：1)利用参数待校正的图像采集装置，从多个角度对已有的模板进行采样；2)提取模板的特征点，并将特征点与所获取的图像相对应；3)根据各图的约束矩阵，对其进行参数求解。利用标定完成的机器视觉成像设备，得到交叉口实时交通图像的采集结果，可以表示为：

(2)

其中：(xr，yr，zr)为实际环境中任意节点的位置坐标，θ为机器视觉成像角，f和β对应的是成像焦距和放大系数，上述参数的计算公式如下：

(3)

式(3)中，变量Lw和Lx分别为物距和像距。按照上述方式完成对视野下所有像素点的采集，根据像素点之间的空间关系，完成像素点的连接，得出交叉口交通图像的采集结果[5]。由于特种车辆在交叉口通行过程中，处于行驶状态，因此采用动态采集的方式重复上述操作，得出交叉口实时交通图像的采集结果。除此之外还需要在交叉口端安装机器视觉设备，用来采集道路图像，从而判断当前道路中是否存在特种车辆。因采集的图像中存在干扰，所以还需进一步对其进行预处理，提高图像的清晰度。

2.1.2 图像预处理

图像预处理的作用是提高初始采集交叉口实时交通图像的质量，降低环境因素对采集结果产生的干扰，初始采集图像的预处理步骤主要包括：图像滤波、图像增强、光线补偿等，其中图像滤波采用均值滤波与高斯滤波相结合的方式，均值滤波是一种线性滤波算法，它主要用于去除图像噪点，平滑图像的场景[6]。它的工作原理是：选择一个模板对图像进行遍历，用其邻域内所有像素点的平均值来替代图像中的每个像素点，从而消除图像中的一些突变噪点。均值滤波的处理过程为：

(4)

其中：Nd为采集初始图像中包含的图像像素点数量，f0(x，y)和fl(x，y)分别为初始采集图像以及图像的均值滤波处理结果。高斯滤波可以很好地过滤掉随机的白噪声，而高斯滤波则是用一个模板将原图像卷积起来，而高斯滤波器则根据高斯分布依次地将模板系数从中间向外减权[7]。因此，中间的像素会受到外部像素的影响，而高斯滤波则会让整个画面变得更加清晰，也能更好地保存图像中的细节。交通图像的高斯滤波处理结果为：

(5)

式中，σ为图像像素值的标准差。交叉口交通图像的增强处理原理为：由于归一化后图像的直方图可能集中分布在一部分灰度值，而其它区域可能不存在或仅有少量的像素点。在这种情况下，可以采用某种映射方法，使得这种灰度分布更为均匀，提高了图像的对比度。图像的增强处理结果为：

(6)

式中，r为初始图像的灰度级变量，P(x)为图像灰度级的概率密度函数。通过对比度的均衡化处理，能够实现对交叉口交通图像曝光部分的补偿[8]，光线补偿的结果为：

(7)

2.2 基于Car-YOLO网络的交叉口通行能力识别

通过检测当前交叉口的拥堵情况以及前车的行驶情况，识别出当前特种车辆所处交叉口的通行能力。在通行能力计算过程中，需要按照交叉口的车道进行划分，得出各个车道的通行能力识别结果。在图像特征识别过程中，以YOLOv3为基本架构为了兼顾不同距离不同尺寸目标的检测识别效果，将不同尺寸特征图融合，提高模型对目标不同尺度状态下目标的定位、识别准确能力。将训练好的模型应用在车辆检测上，生成Car-YOLO网络[10]。交叉口交通图像目标识别的Car-YOLO网络结构如图3所示。

图3 交通图像目标识别的Car-YOLO网络结构图

选择512×512的图像作为网络的输入分辨率，采用5个深度残差网络模块对目标特征进行强化，以步长为2的下采样操作，得到128×128，64×64，32×32，16×16，8×8，4×4分辨率的特征图，分别独立执行车辆预测。为了增强特征金字塔对目标的表征能力，反过来以2倍大小的步长，对4×4，8×8，16×16，32×32，64×64的特征图，执行上采样，并与下采样得到的相应尺寸的特征图进行级联。这样，在不影响特征识别深度，又能强化模型识别目标特征能力的时候，避免由于误差反向传播，而引起梯度消失、梯度爆炸，从而造成模型由于不收敛无法检测的问题。在实际的目标检测过程中，将采集并预处理完成的交叉口交通图像输入到Car-YOLO网络中，Car-YOLO网络将输入图像进行依次检查全部特征图内所含有的单元格，根据含有可识别目标的置信度，以及检测到的确切目标类别，配以相应的参数权重进行候选框的微调，以提高目标检测时的识别、定位准确率[11]。Car-YOLO网络在目标检测过程中需要在输出前将通道数调整至Nt，公式如下：

Nt=A+(Q+S)

(8)

式(8)中，参数A为每个预测单元格所预设的候选框数量，S表示检测的目标类型，则变量Q的计算公式如下：

(9)

式中，Qx，Qy，Qw，Qh分别为目标检测矩形框所需要的目标中心点坐标，及其宽度与高度参数，变量wx和wy分别为矩形框相对单元格左上角的相对坐标，ew和eh对应的是矩形框的宽度和高度，δ为矩形框坐标求解函数，cx和cy分别表示单元格距离原始图像左上角XY坐标的距离，Kw和Kh表示预测前候选框的宽高，将式(9)的计算结果代入到式(8)中，即可得出输出通道数的调整结果[12]。在Car-YOLO的训练中，网络从预先设定的候选框中进行学习，并预测出实际的目标边界框的位置，然后通过式(9)的变换，获得整个图像中的该边界框的实际位置，即交叉口检测目标的位置，Car-YOLO网络的输出结果表示为：

(10)

其中：B(x，y)为输入图像的背景提取结果，通过式(7)、(8)和(10)的联立，即可得出Car-YOLO输出的目标检测结果[13]。按照上述原理选择车道、交叉口所有车辆以及前车作为交叉口通行能力的检测目标，得到任意车道中车辆密度的识别结果：

(11)

其中：Ni为Car-YOLO网络输出的第i条车道中包含的车辆数量，Li和Wi对应的是第i条车道的长度和宽度。若公式(11)的计算结果ρi高于阈值ρ0说明当前车道处于拥堵状态，否则认为当前车道处于正常行驶状态[14]。除此之外，车道的通行能力与特种车辆前车的通行状态有关，通过对机器视觉采集交通图像的分析，得出单位时间内前车移动距离的识别结果，即前车行驶速度的识别结果：

(12)

式中，变量υv为当前特种车辆的行驶速度，xt2和xt1分别为t2和t1时刻前车在图像中的像素点位置，ki为成像系数[15]。综合考虑前车行驶状态和交叉口各个车道的通行能力识别结果：

(13)

按照上述方式，以特种车辆交通图像的采集与预处理结果为分析对象，在Car-YOLO网络的支持下，实现对交叉口所有车道通行能力的精准识别。基于识别结果，可以快速了解到特殊车辆的通行能力，进一步提高特殊车辆的通行效率，减少等待时间。

2.3 交叉口特种车辆通行控制方法

2.3.1 规划特种车辆快速通行路线

基于交通通行能力识别结果，将特种车辆快速通行路线的规划工作分为两种情况，第一种为当前车道即为交叉口内车辆通行的最优车道，则特种车辆无需换道，可在本车道上完成通行路线的规划，另一种情况为当前车道通行能力过低，此时需要在交叉口环境下重新选择一条最优车道，经换道后在最优车道内完成车辆通行。特种车辆快速通行路线的规划流程如图4所示。

图4 特种车辆快速通行路线的规划流程图

从图4中可以看出，路线规划过程中，首先需要判断当前车道的通行能力是否满足特种车辆的快速通行要求，即判断式(13)的求解结果是否高于0.9，若γ取值高于0.9，则可以直接在当前车道内进行通行路线规划，规划结果可以表示为：

(14)

其中：(xt，yt)为当前时刻特种车辆的位置坐标，(xe，ye)为车辆通过交叉口后的终点坐标，参数κs为路线平滑参数，xl和xr为机器视觉中车道左、右边缘的识别结果，以此作为规划特种车辆通行路线的约束条件[16]。针对当前车道通行能力过低的情况，需要对特种车辆的换道路线进行规划，规划结果为：

(15)

式中，(xo，yo)为更换目标车道位置。在此基础上，利用公式(14)以更换车道后的车辆位置作为起始位置进行通行路线规划，此时通行路线的约束条件为换道后车道的左、右边缘，最终通过换道路线与通行路线的连接，得出特种车辆快速通行路线的规划结果。通过规划的通行路线，可以使特种车辆的通行速度控制更加灵活，减少交通事故的发生。

2.3.2 交叉口特种车辆通行速度控制

交叉口特种车辆的通行速度可以分为有前车和无前车两种情况，在无前车的情况下车辆的通行速度为：

(16)

其中：di和ti为交叉口的通行距离与通行时间，要求公式(16)的求解结果不得高于该交叉口的最高限速[17]。而在有前车的情况下，保证特种车辆与前车之间保持安全距离，并与前车通行速度保持一致，提高车辆的安全性，帮助交叉口信号灯控制系统合理调整信号时长。

2.3.3 交叉口信号灯控制

交叉口信号灯控制的目的是缩短特种车辆的等待时间，以最快速度将特种车辆所在车道的信号灯以最快速度切换至“绿灯”，并以此作为特种车辆快速通行的决策依据。在信号灯控制之前，首先需要判断当前车道是否存在特种车辆，以交叉口视角下的机器视觉图像采集结果为处理对象，利用Car-YOLO网络提取图像特征，记为τr，根据特种车辆的外形特征设置标准特征，利用公式(17)判断当前车道是否存在特种车辆。

(17)

其中：τs为特种车辆标准特征，若μ取值高于阈值μ0说明当前车道存在特种车辆，需针对该车道进行信号灯控制，否则无需启动信号灯控制程序。通过绿灯早启、绿灯周期时间延长等方式，实现对交叉口信号灯的控制，将特种车辆到达停止线时刻与路口排队车辆消耗完成时刻之差定义为理想的绿灯早启时间，其中，绿灯早启时间主要决定于当前绿灯相位按照绿灯早启时间截断后，是否满足最小绿灯的限制，若满足，则按理想的绿灯早启时间进行；若不满足，则在保证前一相位最小绿灯时间的前提下，进行绿灯早启控制，并对应急车辆进行减速引导[18]。相应地，对特种车辆优先阶段的绿光提前启动时间的控制值为：

(18)

(19)

2.3.4 实现交叉口特种车辆快速通行

在实际的交叉口特种车辆快速通行任务执行过程中，需要综合考虑交叉口道路情况、交通信号灯、前车行驶状态等因素，当交叉口同时出现两种不同类型的特种车辆时，需要设置特征车辆之间的优先级，优先级的设置情况如表1所示。

表1 特种车辆快速通行优先级设置表

在车辆快速通行过程中忽略黄色的等待灯，当交叉口的机器视觉设备检测到道路中存在特种车辆时，立即调整交叉口信号灯，并控制特种车辆按照规划路线快速通行，需要注意的是，通行优先级越高的车辆，越优先通行；当两条道路上同时检测到同一级别的车辆，并且级别是该交叉口当时的最高优先级时，红绿灯状态不变，维持绿色道路上的车辆具有通过路口的更高优先权[20]。另外，当交通灯控制器检测到特种车辆时，其信号状态变为绿色，交通灯控制器延长此阶段的持续时间，直到优先车辆通过交叉口。

3 实验与分析

以测试优化设计基于机器视觉的交叉口特种车辆快速通行技术的快速通行效果为目的，设计效果测试实验，此次实验主要包括两个部分，第一部分主要用来测试特种车辆通行速度以及对其他道路车辆的影响，第二部分主要测试特种车辆快速通行过程中的安全性。综合特种车辆通行速度以及安全性两个方面，通过与传统通行技术的对比，体现出优化设计技术在通行控制效果方面的优势。

3.1 选择交叉口实验环境

此次实验选择某市中心的四相位十字交叉路口作为特种车辆快速通信的实验环境，在交叉口的东西和南北方向均设置直行、左转和右转三个车道，其中直行车道宽度为3.5 m，左转和右转车道宽度为3.2 m。交叉口实验环境中共包含四个交通信号灯，南北方向道路的直行信号灯时长为50 s，左转信号灯时长为30 s，东西方向道路直行和左转信号灯时长分别为45 s和20 s。

3.2 设定交叉口交通状态

为保证优化设计的交叉口特种车辆快速通行技术能够适应正常和拥堵两种交通状态，通过对交叉口车辆密度的设置，实现对其交通状态的设定。正常交通状态下的交叉口，车辆密度为120辆/km，而拥塞交通状态下交叉口的车辆密度为220辆/km。按照交通状态场景的设置情况，准备多台不同型号的车辆，驱动其行驶到交叉口的各个车道中，在交叉口交通状态设定过程中，特种车辆控制对象未进场。在交叉口交通状态设定与控制过程中，对交叉口环境内的所有车辆的行驶路线进行规划，保证环境车辆行驶轨迹不重合，即交叉口的其他车辆不会发生交通事故。为了更好地模拟城市道路的交通状态，使其达到相对稳定的状态，重复进行5个周期的车辆循环行驶。在后续5个循环中，专用车辆均等几率随机分布，从路口由西向东驶入。

3.3 装设机器视觉硬件设备

优化设计的交叉口特种车辆快速通行技术以机器视觉算法作为支持，为保证机器视觉算法在实验环境中的正常运行，需要安装相关的硬件设备。装设的机器视觉硬件设备包含镜头、相机等元件，其中镜头选择型号为EF 40 mm f/2.8 STM，该镜头的最大光圈为2.8，相机型号为CMOS，该相机的数据传输接口采用GigE，符合GigEVision2.1标准，并支持POE电源。该摄像头采用了高像素、高帧频的CMOS芯片，其分辨率从40W-2000W-2000W像素。其外观是具有体积小、携带方便、坚固、抗振动、散热、稳定、电磁屏蔽等特点。相机输入端采用了C-Mount光学接口，方便了与30 mm的同轴系统的整合。为了进行安装和定位，摄像机的4个侧面均可作为安装和定位面。将选择的机器视觉设备分别装设在特种车辆和交叉口环境中，特种车辆中机器视觉设备的具体安装位置为前挡风玻璃附近，具体的安装与走线情况如图5所示。