基于改进的YOLOV5算法对ADB汽车大灯的外界环境检测

2024-02-29戴国洪

计算机测量与控制 2024年2期

黄禹，戴国洪，戴杰，钱骏

(1.常州大学机械与轨道交通学院，江苏常州 213164；2.常州星宇车灯有限公司，江苏常州 213002)

0 引言

汽车已成为当今社会出行必备的交通工具，为人们生活提供了便利。但随着汽车的普及，因汽车所引起的交通事故呈增长态势[1-3]，其中三分之一的交通事故，主要集中在夜间。夜间行车时，驾驶员因受行车外界环境的影响，不能及时调节自身灯光，导致行车视线迷糊，容易发生交通事故[4]。汽车大灯系统对保障驾驶员夜间行车安全至关重要。目前，ADB汽车大灯系统可满足汽车夜间行驶的需求，该系统可按照外界环境(自车行驶情况、道路车辆情况、路况情况)自适应调节远光光型，增大驾驶员视野照明[5]，满足驾驶员夜间行驶的照明需要，提高汽车行驶安全性。因此研究ADB汽车大灯的外界环境检测方法，对汽车夜间安全行驶具有深远的意义。但是以往ADB汽车大灯的外界环境检测方法非常局限。

目前，国内外研究者就深度学习技术在多目标的检测算法大致分为两类：基于区域建议的检测算法和基于边框回归的检测算法。基于规定区域的目标检测算法简称两阶段算法，主要是指通过筛选选框判断候选框里的是否含有检测目标(Region Proposal)，用回归的方式进行调节结合卷积神经网络(R-CNN)系列算法；基于回归的目标检测算法亦称为单阶段算法，主要包含 YOLO(You Only Look Once)系列和单点多盒检测 (SSD)和其他算法相比本文采用YOLO算法和其他算法相比提取候选框的速度要更快，精度更高。就目前现有的大量的外界环境检测大都是在白天或是比较理想的条件下进行的，在夜间或是特殊环境下比如雨雪天气，车内仪器或设备可能会发生失灵或传感器灵敏度有所下降，进而导致发生事故以及带来安全隐患较高，缺乏针对复杂环境下特征不明显的低辨识目标检测算法研究。采取多特征对目标进行检测就较为复杂，故需要对图像加以筛选和处理。邹伟[6]等人研究多模态特征融合的检测方法，就是基于区域建议的检测算法，利用该方法提取多模态图像特征并进行融合，完成ADB汽车大灯的外界环境检测。由于该方法的特征提取过程过于复杂，导致ADB汽车大灯的外界环境检测效率不高。王旭[7]等人研究改进视觉背景提取算法的检测方法，该方法就是基于边框回归的检测算法，依据采集的图像信息，构建样本集，提取特征信息后，对比图像中像素点阈值，完成ADB汽车大灯的外界环境检测。由于该方法在采集信息基础阶段容易受到噪声干扰，导致采集信息会出现偏差，直接导致ADB汽车大灯的外界环境检测结果不够精准。

机器视觉技术是指利用机器代替人眼来实现目标检测，该技术被广泛应用在视觉检测领域，能够提高生产的灵活性和自动化程度，提高目标检测精度和速度。深度学习是模拟人脑思维方式分析问题，分析能力比较强，已广泛应用在图像识别方面，并取得较好应用效果。鉴于机器视觉技术和深度学习的应用性，以及目前ADB汽车大灯的外界环境检测方法存在局限性，研究基于机器视觉及深度学习的ADB汽车大灯的外界环境检测，提高ADB汽车大灯的外界环境检测能力，降低夜间驾驶危险。

1 ADB汽车大灯的外界环境检测

1.1 ADB系统结构

ADB系统是一种能够根据路况自适应变换远光光型的智能远光控制系统。该系统功能强大，可自由切换远近光灯和光型。

分析图1可知，ADB系统主要包括控制器、传感器及驱动器等。其中，利用车载机器视觉的CCD相机采集ADB汽车大灯外界环境图像数据，本文选取松下lx5 CCD相机镜头选取徕卡 DC VARIO-SUMMICRON，这种组合方式能够提供很好的图像质量，有效降低图像噪声的影响。同时在ADB控制器内利用数据筛选方法剔除采集到的图像数据中干扰光源数据，针对ADB汽车大灯外界环境中路况特征差异，划定ADB汽车大灯外界环境检测目标区域。利用深度学习算法实现ADB汽车大灯外界环境目标车灯光源检测，利用扩展卡尔曼对各目标车灯光源实施轨迹预测，当车辆前面有车灯经过时，下达控制指令至执行设备，系统会及时调整汽车远光灯对应区域灯珠亮度，减少在高速行驶时因远光灯交汇对汽车驾驶员的视觉影响，保障汽车安全行驶。

图1 ADB系统结构

1.2 机器视觉采集ADB汽车大灯外界环境图像数据

采用机器视觉的CCD相机采集ADB汽车大灯外界环境图像数据，为ADB汽车大灯的外界环境检测奠定基础。在采集图像数据之前，需要对机器视觉的CCD相机参数进行标定后[8-10]，转换相机坐标值，提高采集ADB汽车大灯外界环境图像数据精准度。

(1)

其中：平移向量用ε描述，尺度因子用s描述，相机内参数矩阵和外部旋转矩阵分别用D、O描述。

相机内参数矩阵表达式如下：

(2)

其中：横向等效焦距用λ1描述，图像坐标系偏斜度用γ描述，竖向等效焦距用λ2描述，相机标定的主点坐标用(u0，v0)描述。

通过计算出相机内参数矩阵后，实现CCD相机精准标定。

转换相机坐标值过程如下：

在CCD相机精准标定后，需利用公式(3)将ADB汽车大灯外界环境中三维空间内的一点转换成投影图像平面内的一点，具体转换公式为：

(3)

其中：相机外参数矩阵用D1描述，相机内部参数分别用dx、dy、u0、t描述。

在完成相机标定和坐标值转换后，提高机器视觉的CCD相机采集ADB汽车大灯外界环境图像数据准确性。

1.3 干扰光源数据筛选

因夜间干扰光源因素的影响可能会对机器视觉的CCD相机采集ADB汽车大灯外界环境图像数据产生干扰[11-13]，利用数据筛选方法剔除ADB汽车大灯外界环境图像数据中的干扰光源数据。

夜间道路正常行驶时，车灯轨迹与车辆一致均分布在行驶车道内，为此通过数据筛选方法中的牛顿-拉夫逊迭代法实现ADB汽车大灯外界环境中车道线的拟合，求出车道线在外界环境图像中任意位置坐标。将采集图像中任意1条车道分成n份，本道第i段车道区域左右两侧车道线像素集分别用φi(xi，yi)、φj(xj，yj)描述，两个像素集待拟合直线方程组如下：

(4)

其中：内外车道拟合斜率分别用ki，g、ki，h描述，参数分别用h1、h2描述。

(5)

(6)

(7)

(8)

其中：元素数量为κ个。

按照各车道线拟合公式，可剔除目标车灯灯源不在同一车道的光源数据。

1.4 划定外界环境检测目标车灯区域

在剔除图像干扰数据后，针对ADB汽车大灯外界环境中路况特征差异[14-15]，划定ADB汽车大灯外界环境检测目标区域，以降低因车灯交汇粘连带来检测误差。

车道弯曲度公式如下：

(9)

1.4.1 直道行驶路况

ADB汽车大灯外界环境检测目标车灯区域的划定。当前车道为直道时即-dsh<φ

Δρ≈Δy

(10)

依据内外车道拟合斜率ki，g、ki，h和y轴内移动位移Δy得出直道行驶路况ADB汽车大灯外界环境检测目标区域的划定公式：

(11)

1.4.2 弯道行驶路况

ADB汽车大灯外界环境检测目标车灯区域的划定。

当φ>dsh或-dsh>φ时，说明此时行驶路况是弯道。因弯道拟合斜率高于直道弯道拟合斜率，因此需按照弯道的路况特征，将横轴移动位移变化量作为弯道ADB汽车大灯外界环境检测目标车灯区域划定条件。目标车灯光源位置横轴坐标，将落在相同时间里车道线拟合直线斜率大的一边车道线横轴移动位移变化量区间内[16-18]。弯道行驶路况ADB汽车大灯外界环境检测目标车灯区域的划定公式如下：

(12)

其中：当前车道为弯道时，t-1时刻目标灯源的位置坐标用描述(xt -1，yt-1)，t-1时刻y轴内移动位移用Δyt-1描述。

直道和弯道行驶路况ADB汽车大灯外界环境检测目标区域的划定范围，可为下文目标车灯光源中心位置实施轨迹预测奠定基础，排除其他光源的干扰[19]，有效降低检测误差。

1.5 深度学习的大灯外界环境目标车灯光源轨迹预测

在得出不同路况下外界环境检测目标车灯区域后，利用深度学习的多目标运动轨迹预测算法实现ADB汽车大灯外界环境目标车灯光源检测。该算法分为两部分，利用YOLOv5网络对外界环境图像目标车灯光源进行定位，得出检测框坐标。通过损失函数中的置信度判断外界环境检测目标车灯光源是否存在于预测边框内。将符合条件的外界环境检测目标车灯光源归入一个集合中，将集合中各目标车灯光源视为元素，利用扩展卡尔曼对各元素实施轨迹预测，提高检测精度。

在目标车灯光源检测阶段，选取深度学习的YOLOv5网络，YOLOv5是一种基于深度学习的目标检测算法，其最大的特点就是快速而准确。与传统的目标检测算法相比，YOLOv5将整张图像作为输入，直接输出所有目标的位置、类别以及置信度，从而大幅提高了检测速度和准确度。YOLOv5网络可以在几乎不影响整个自动驾驶系统流程的情况下完成目标车灯光源的检测。YOLOv5网络还可以通过改变模型结构和参数来适应不同的环境和车辆，从而实现更加准确的检测结果。

YOLOv5网络模型包括特征融合层、骨干网络、视野增强层。卷积核规模分别为1*1、3*3、7*7，每种规模卷积核提取特征均不相同[21]。YOLOv5算法是在YOLOv3算法的基础上加以改进，YOLOv5的架构由4个部分组成，分别是Input输入端、Backbone主干网络、Neck颈部网络和Head输出端。

1)Input输入端包含了对数据的预处理，其中包括 Mosaic数据增强可以对图像进行随机裁剪、拼接。降低计算量的同时丰富了数据集，提高了识别精度，而且YOLOv5在 Input的输入端整合了自适应的锚框计算，使得当数据组被改变时，可以自动设置初始的锚框大小，实现在保证图片掉帧时对图片进行缩小，降低计算量。

2)Backbone主干网络采用深度学习方法，采用“瓶颈跨越”局部结构 Bottleneck CSP与金字塔池化SPP相结合的方法，可以让网络输入任意像素的图片且不再需要对图像进行预处理，以降低计算量，加快推理速度，而金字塔池化SPP能够在相同的特征图谱上，从多个尺度上同时抽取特征，提高识别准确率。

3)Neck颈部网络包括了特征金字塔 FPN、路径聚合结构 PAN，FPN在网络中自顶向下传递了语义信息。同时，PAN将位置信息从底部传输到顶部，并将 Backbone中的各个层次的信息进行融合，从而提高了检测精度。

4)Head输出端是对不同的特征图进行识别的最终阶段，特征图目标。

改进YOLOv5算法与YOLOv3算法的性能评价指标数据对比结果如表1所示。

表1 改进YOLOv5算法与YOLOv3算法的性能对比

根据表1可知，改进YOLOv5算法与YOLOv3算法相比，其性能有了较大的提升。

改进YOLOv5算法与YOLOv3算法的AP值效果对比如图2所示。

图2 AP值效果对比图

通过损失函数可判断实际值和检测值的误差。YOLOv5网络的损失函数表达式如下：

loss=β1loss中心坐标及宽高+β2loss置信度+β3loss分类

(13)

其中：边界误差用loss中心坐标及宽高描述，分类损失用loss分类描述，误差损失因子分别用β1、β2、β3描述，总损失度用loss描述，置信度损失用loss置信度描述。

利用反向传播可实现网络权重参数更新，再利用损失函数迭代出最优网络模型。神经元连接权重更新公式为：

wi=wi-α(∂χ/∂wi)

(14)

其中：学习率用α描述，第i层神经元权重用wi描述，代价函数用χ描述。

偏置更新公式为：

bi=bi-β(∂χ/∂bi)

(15)

其中：第i层神经元权重用bi描述。

将目标车灯区域划分后ADB汽车大灯外界环境图像输入至YOLOv5网络中，利用卷积层提取图像特征，通过图像检测函数对该特征实施检测后，将最大概率目标车灯光源作为检测目标，同时对外界环境图像目标车灯光源进行定位，得出检测框坐标，选取置信度值最大的检测框，并利用公式(16)计算出该检测框和余下检测框重叠比例值，若重叠比例值比阈值高，需要将该检测框删除。

(16)

扩展卡尔曼滤波算法作为一种常用的状态估计方法，广泛应用于目标车灯坐标预测问题。扩展卡尔曼滤波算法是一种基于线性高斯噪声模型的滤波算法，其可以通过对非线性函数进行线性化来实现状态估计。在目标车灯坐标预测问题中，需要通过对车辆周围环境的观测来推断目标车辆灯光的位置坐标，这个过程需要使用到扩展卡尔曼滤波算法。与普通的卡尔曼滤波算法相比，扩展卡尔曼滤波算法可以更好地处理非线性变换，从而更准确地估计目标车灯的位置坐标。

扩展卡尔曼滤波算法预测目标车灯坐标的过程可以分为两个阶段：预测阶段和更新阶段。在预测阶段，需要预测目标车灯的位置坐标，并根据当前的状态量来计算预测误差。在更新阶段，利用观测值来校正预测结果，从而更准确地预测目标车灯的位置坐标。车灯坐标预测的具体步骤如下：

在目标车灯光源轨迹预测阶段，将经YOLOv5网络检测后ADB汽车大灯外界环境多运动目标车灯光源归入一个集合中，将集合中各目标车灯光源视为元素，该集合中有各元素对应ID可读取该目标车灯光源的速度和位置等相关数据，利用扩展卡尔曼对各元素实施轨迹预测，提高检测精度，具体轨迹预测公式如下：

Γυ=γυ-1*Ψυ-1+Ξυ-1*Γυ-1

(17)

其中：υ-1状态下，系统输入用Ψυ-1描述、线性化状态转移矩阵用Ξυ-1描述、输入矩阵用γυ-1描述。

为计算出某时刻ADB汽车大灯外界环境运动目标移动光源坐标和速度，设置该运动目标移动光源状态向量用Γυ=[x(υ)，y(υ)，ϖ(υ)，r(υ)，vx(υ)，vy(υ)，vϖ(υ)]描述，其中目标移动光源在y轴在位置用y(υ)描述，检测框面积用ϖ(υ)描述，目标移动光源在x轴在位置用x(υ)描述，检测框高度与宽度比用r(υ)描述，目标移动光源在y轴的速度用vy(υ)描述，目标移动光源在x轴的速度用vx(υ)描述，检测速度用vϖ(υ)描述。表达式如下：

vx(υ)=[x(υ)-x(υ-1)]/Δt

(18)

vy(υ)=[y(υ)-y(υ-1)]/Δt

(19)

vϖ(υ)=[ϖ(υ)-ϖ(υ-1)]/Δt

(20)

先验状态向量的相关预测方差矩阵公式如下：

(21)

其中：噪声协方差矩阵用Y描述。

通过上述方法实现外界环境图像目标车灯光源轨迹预测，利用观测值来校正预测结果，输出下一时刻外界环境图像目标移动光源位置更新值，实现ADB汽车大灯外界环境检测。

(22)

在实际应用中，扩展卡尔曼滤波算法还需要考虑一些实际因素，例如传感器精度、环境噪声等因素。针对这些问题，我们可以通过不断优化算法来提高预测精度，同时也可以通过对传感器和监测系统进行优化来减小误差。

2 实验分析

2.1 实验参数及实验步骤

随着自动驾驶技术的发展，对目标车灯光源的准确检测成为自动驾驶安全性和可靠性的一个重要保证。本文提出基于机器视觉及深度学习的ADB汽车大灯的外界环境检测方法，为了验证本文方法的应用效果，选取某款汽车作为实验对象。实验对象配备ADB汽车大灯，ADB汽车大灯带76颗LED光源，搭配利刃式LED日间行车灯的9颗LED光源，与晶钻切割的3颗LED星钻式爪锋前雾灯，一起提升了车辆的档次感。实验参数如表2所示。

表2 实验参数

设置YOLOv5网络模型的超参数如下：总训练轮次为200轮，初始学习率为0.01，学习率因子为0.2，动量为0.937。

选取采用本文方法采集的多组夜间直道和弯道移动光源数据集，从数据集中选出2张夜间行车图像，将图中标定的直道和弯道的目标车灯作为轨迹预测的实验对象，标定结果如图3所示。

在上述实验参数设置的基础上，设计ADB汽车大灯的外界环境检测试验方法，步骤如下：

1)数据采集与预处理：在实验开始前，需要使用高精度的摄像头和激光雷达等传感器设备对汽车周围的环境数据进行采集。采集到的数据需要通过预处理算法进行降噪处理、去畸变等操作，以保证数据的质量和准确性。

2)数据标注：在数据采集完成后，需要为图像数据标注各种不同情况下的照明区域，以生成一个具有代表性的训练数据集。

3)模型训练与优化：在标注完数据并制定了检测算法后，需要对模型进行训练和优化，将训练数据集输入YOLOv5网络模型中进行迭代训练，以提高模型的准确性和鲁棒性。

4)ADB汽车大灯的外界环境检测：完成模型训练和优化后，利用扩展卡尔曼滤波算法实现ADB汽车大灯的外界环境检测。实验在实际驾车场景下进行，通过观察照明区域的变化来验证模型对外界环境的检测能力。

2.2 实验指标设置

1)直道时干扰状态下目标车灯光源检测效果：在直道条件下，对比车灯干扰状态及路灯干扰状态下目标光源位置检测结果与实际结果的误差，验证目标车灯光源位置的检测准确性。

2)弯道时目标车灯光源轨迹预测结果：测试弯道行驶时，本文方法预测获取的目标光源轨迹与实际值的误差，验证目标光源轨迹的预测精度

3)ADB汽车大灯的灯光调节：验证所提方法能否判断出不同路况，能够对应调节汽车远光灯对应区域灯珠亮度。

2.3 实验结果分析

为验证本文方法的外界环境检测效果，统计该指定目标车灯光源，在直道行驶时处于车灯干扰以及路灯干扰条件下的目标车灯光源检测结果，如图4所示。

图4 直道时干扰状态下目标车灯光源检测效果

分析图4可知，直道行驶时，在存在车灯干扰条件下，本文方法目标光源位置检测结果与实际结果误差最大为2像素*8像素，在存在路灯干扰条件下，本文方法目标光源位置检测结果与实际结果误差最大为1像素*1像素。通过本文方法将误差控制在10像素*10像素以内，达到实验预期目的。上述实验结果表明，本文方法在路灯干扰及车灯干扰下的目标光源轨迹预测精度均较高。本文方法可利用数据筛选方法剔除ADB汽车大灯外界环境图像数据中的干扰光源数据，检测目标车灯光源位置，因此目标光源位置检测结果与实际结果相差很小。

将模型所需历史数据时间序列数N定为30，预测时间步长为 30 fps/s，在此基础上，统计该指定目标车灯光源，在弯道行驶时目标车灯光源轨迹预测结果，如图5所示。

图5 弯道时目标车灯光源轨迹预测结果

分析图5可知，弯道行驶时，本文方法预测获取的目标光源轨迹与真实值误差最大为15像素*12像素，说明本文方法在弯道行驶时的目标光源轨迹预测精度较高。本文方法利用深度学习中的YOLOv5网络模型检测外界环境中的目标车灯光源，并结合扩展卡尔曼滤波对其轨迹进行预测。通过对目标车灯的位置坐标的预测及更新，校正了预测结果，从而获取更准确的目标车灯光源轨迹预测结果。

可利用数据筛选方法剔除ADB汽车大灯外界环境图像数据中的干扰光源数据，检测目标车灯光源位置，因此目标光源位置检测结果与实际结果相差很小。

按照上述结果，采用本文方法可有效预测目标光源轨迹，完成实验对象ADB汽车大灯的外界环境检测，依据检测结果，在不同路况下，及时调节调整汽车远光灯对应区域灯珠亮度，ADB汽车大灯的灯光调节效果如图6所示。