基于深度学习的车辆防碰撞研究

杨紫辉，江 磊，任洪娟，闫业翠

（上海工程技术大学 机械与汽车工程学院，上海 201620）

0 引言

经过汽车行业及工业技术的多年发展进步，安全气囊与安全带等被动安全系统已经被广泛地使用在绝大多数汽车上，各种被动安全系统的升级也在逐步推进。然而，被动安全系统具有很大的局限性，因此也无法防止交通事故的发生。可以看出，汽车主动安全系统的研发正日渐得到学术界和应用界的关注与重视。碰撞预警算法和自动制动系统是主动安全系统中的2 个重要组成部分。

目前，主动安全系统中使用的碰撞预警策略主要分为2 类。一类是基于视觉识别方法防碰撞预警系统，另一类是基于车联网（Internet of Vehicles，IoV）的防碰撞预警系统。其中，基于视觉识别方法的防碰撞系统，车载图像传感器在车辆行驶时会实时拍摄车辆周边的图像，对采集到的图像将要通过多个子模块进行信息处理，主要包括车辆检测及跟踪、车辆距离测量等，进而完成对当前行驶车辆的碰撞风险评估。视觉识别方法需要处理大量的图像，当行驶车辆车速较快时，车辆外部图像的信息采集与数据的实时同步处理往往很难得到保证。此外，视觉识别方法还需要大量的计算来精准剔除外部环境中的无效信息。

基于车联网的方法主要包括人工智能方法和有效参数方法。其中，基于有效参数方法，研究人员最早将其实践于预测追尾碰撞，本田算法就是一种典型的TTC（Time To Collision）算法，该算法中，研究人员根据灵敏度分析将时间阈值设置为2.2 s。此外，伯克利算法是一种优化的TTC 方法，就是在停止距离计算公式中加入了一个保守距离。这些方法的阈值是预先设定好固定不变的，或者是用固定的公式来进行计算，这就导致了该类方法对不同环境的适应性较差。即使是在与设定类似的环境中，其他环境因素同样会对系统产生较大的影响。当阈值设置太大时，系统会产生许多错误警告，这会对系统的准确性造成严重的负面影响；当阈值设置太小时，系统则无法起到应有的作用。因此，基于有效参数的方法将会无法适应复杂、多变的真实驾驶环境。

在机器学习和人工智能的飞速发展中，研究人员提出了基于人工智能的碰撞预警算法。最早提出的是基于机器学习的算法，如决策树和支持向量机等，需要先手动提取特征，而后提出的基于人工智能的算法更适合于多结构化数据。同时，随着神经网络算法的不断提升改进，将车辆预警系统与之结合，业已取得了较好的成绩。

1 数据集预处理

本文使用的数据来自美国公路管理局所公开的真实轨迹数据集NGSIM。研究人员在加州建立了一个由9 个同步数码相机所组成的网络用于收集车辆的轨迹数据，其中每个车辆的确切位置均被记录在内。在NGSIM 中，车辆的轨迹信息包含了多达26 项不同特征数据，如车辆ID、记录时间、车辆位置、速度、加速度、与前车距离等。在通过数据处理后，分析其26 个特征的相关性，选择与车辆后端碰撞最为相关的7 个特征因子作为后端碰撞的影响因素，见表1。

表1 碰撞影响因素Tab.1 Impact factors

由于特征因子个数较多，在数据处理过程中会出现类不平衡的现象，因此在实际操作过程中可通过采用欠采样和过采样两种方法来解决该问题。其中，欠采样的主要操作是在数据集的多数类中选择大量样本，最终使得正、负样本数量接近。该方法的缺点是由于在样本选择过程中选择多数类样本而抛弃许多反例，其结果可能会出现拟合不足。过采样的操作过程是在采样过程中添加一定数量正样本，最终使得正样本数量几乎等于负样本数量。并因过采样更适合于减轻卷积神经网络的类不平衡问题，在本次研究中将其与染色体遗传学原理和阈值动态调整相结合，从而缓解NGSIM 数据集中的类不平衡问题。具体操作如下：

（1）定义度量：为了量化少数样本集的多样性，马氏距离用于表示2 个未知样本集的协方差距离。相比于欧几里得距离，马氏距离在计算中引入了各种特征之间的关系。在尺度不会发生改变的前提下可以排除变量之间的相关干扰。因此，马氏距离可应用于识别和检测未知样本集与已知样本集之间的相似性，完成对数据集中异常值的检测。

（2）拆分样本：根据马氏距离将少数类别中的所有样本进行降序排列，如此就可得到接近或远离类别中心的样本。此后根据遗传学中染色体理论，将降序排列的样本平均分为2 部分：将中间样本之前的数据添加到父集合，将其他样本数据分配给母集合。根据遗传定律，当样本集中存在极端数据时，该种过采样方法依旧有效。

（3）合成新样本：通过聚合2 个独立的父集合生成一个新样本。研究中，首先从每组中选择2 个具有相同编号的配对样本。接下来，计算2 个对应的多元向量之间的平均值以合成新样本。生成的样本将添加到原始少数群体类别中。如果生成的新样本数量已达到目标，数据集即已达到类别平衡。否则，将新生成的样本添加到少数类中。连续重复此过程，当样本的生成数量达标后即可结束。

2 建立碰撞预测模型

卷积神经网络的不断开发与应用，学界则陆续取得了使用数据挖掘来解决车辆网络建立问题的研究成果，现已被广泛地应用于解决具有冗余特征的分类问题。

牛津大学于2014 年提出了视觉几何群网络（Visual Geometry Group network，VGG），该网络在图像分割和目标检测任务上均显示出良好的效果。在研究中，VGG16 用于构建本文提出的追尾碰撞预测模型，共有16 层。在此基础上，还建立了基于CNN的端碰撞预警模型的结构。

在本文构建的碰撞预测模型中，系统会定期计算当前驾驶水平。训练过程如图1 所示。系统将收集到的数据分为训练集和测试集，两者都放入所构建的CNN 中来对网络进行微调和测试。经过数次迭代，网络趋于稳定，从而得到最终的预测模型。

图1 训练过程图Fig.1 Training process

本文中的CNN 模型由一个输入层、15 个具有权重的隐藏层和一个输出层组成。各层的主要作用为：

（1）卷积层：用来提取包含多个卷积核的输入数据的特征。卷积核与前馈神经网络中的神经元相似，每个元素都由一个对应于权重系数和偏置向量的卷积核组成。卷积层中的每个卷积核都连接到上一层中一个接近区域的内核，该区域的大小取决于卷积核的大小。在VGG 中，使用2 个3×3内核来取代一个5×5 内核，而3 个3×3 内核等于一个7×7 内核。卷积核的操作内容为对所输入像素图进行扫描，然后将矩阵元素乘以接受域中的输入图，最后将偏差叠加。此时需用到的数学公式为：

其中，Z和Z是该层的输入和输出，称为特征图；是CNN 模型的层数；是权值参数矩阵；是偏置矩阵。

进一步地，研究中又推得：

其中，L是特征图Z的大小，在模型中使用的每个特征映射长度都等于其宽度；（，）是特征图对应的像素；是的通道数；f，s，p分别表示卷积层所对应的卷积核大小、卷积步幅和填充大小。卷积层包含一个表达复杂特征的激活函数，数学表达形式可描述为：

目前，研究中广泛使用的典型激活函数有双曲切线和线性整流函数等，在此，本文选择使用线性整流函数作为模型中的激活函数，其数学描述为：

其中，是权值参数矩阵，是偏置矩阵。对于上一层输出的该层输入向量X来说，通过使用神经元将max（0，）输出到下一层或者根据神经元在网络结构中的位置作为整个卷积神经网络的输出。

（2）池化层：在卷积层中提取特征后，将特征图输出传递到池化层，从而实现特征选择和信息过滤。池化层中包含一个预设的池化功能，该功能将要素图中的单个像素替换为其相邻区域的统计信息。选择合并区域的过程与卷积内核扫描特征图的步骤相同，并由内核大小、卷积步幅和填充大小来做调节及控制。

通常使用的池化方法包括池、混合随机池和光谱池。池的一般表示形式为：

其中，，，，，均为卷积层中的参数，是预设参数。

目前，常用的池化方法有2 种，分别是平均池化和最大池化。当1 时，池在池化区域中取平均值，称为平均池化；当→∞时，池在池化区域中取最大值，称为最大池化。为了减少计算复杂度和计算时间，本文在研究中使用最大池化。

（3）全连接层：卷积神经网络中的全连接层等于传统前馈神经网络中的隐藏层。全连接层通常在卷积神经网络中隐藏层的最后一部分，只将特征映射传递到其他完全连接的层。特征映射失去了一个完全连接的层中的三维结构，并被扩展成一个矢量，再通过线性整流激活函数传递到下一层。

（4）输出层：可以选择卷积神经网络的各种成本函数（损失函数）在输出层中加以使用，例如函数、铰链损失函数和三重损失函数。目前，解决多类别分类问题中，最常用的损失函数是函数，而函数在CNN 中起到分类器的作用。

卷积神经网络使用BP 框架进行监督学习。CNN 模型使用梯度下降和反向传播算法进行训练。全连接层的梯度下降与BP 网络的梯度相同。CNN和BP 之间的差异在于卷积层和池化层的梯度，然而，其他一些算法、如动量梯度下降和RMSProp，在CNN 中使用时可以优于梯度下降。在本次研究中，使用亚当优化算法来计算梯度，这是一种自适应学习速率算法。过程中，将自适应梯度算法（AdaGrad）与均方根传播（RMSProp）相结合，动态调整每个参数的学习速率。在大型模型和数据集的情况下，亚当优化算法可以有效地解决局部最优深度学习问题。

至此，本文搭建的CNN 模型为将已有的256×256×3 图像转换为224×224×3 图像，并从每个像素中减去平均值，这使得每个输入图像的大小为224×224×3。卷积层共分为5 个部分，其中2 个卷积层使用1×1 卷积内核，而其他层使用的是3×3 卷积内核。此外，利用2×2 的最大池化层来缩小每个段末端的图像。同时，每个段中的内核数量是相同的，该层位置越深，则所需核数就越多。

3 实验结果与分析

3.1 模拟设定

本文选用Matlab 中Caffe 框架为深度学习模型，在对应的配置文件中，设置训练控制参数，见表2。

表2 训练控制参数Tab.2 Training control parameters

3.2 仿真结果与分析

为了验证本文所构建模型的效果，这里对模型预测结果与本田、伯克利和MCWA 算法针对、、精度、、和平均延迟等指标进行对比来评估所构建模型算法的性能。

随着迭代次数的增加，本文构建模型的训练损失显著减少，并在大约10000 次迭代后趋于收敛，如图2 所示。图3 为精度预测图，利用原始数据进行训练和测试，并用扩展数据来对其进行预测。由图3 可知，当使用原始数据时，训练和测试精度都会随着迭代次数的增加而增加，训练精度可达到90%。

图2 训练函数损失图Fig.2 Training function loss graph

图3 数据精度图Fig.3 Data accuracy diagram

4 种算法的曲线如图4 所示。曲线上的每个点都反映了相同的灵敏度水平信号刺激。曲线的垂直轴为，水平轴为。理想的分类目标表示为接近点（0，1）。与45°对角线的偏差更大、即更靠近左上角的曲线可获得最佳性能。与其他算法相比，本文构建模型的曲线更靠近左上角，由此可见，本文构建模型算法在方面性能最优。而相较于本田和伯克利算法，MCWA 是一种不受影响的深度学习算法，在方面的表现更佳。

图4 ROC 曲线图Fig.4 ROC curve

4 种算法的曲线如图5 所示。曲线表示实际样本中正确预测了多少样本，在本文中使用最高级别的曲线来验证所构建模型的性能，曲线越接近于右上方、则表示其性能越好。从图5中可以明显看出，本文构建模型的结果体现出性能最优。同时，在分类任务中，分数通常用于评估分类算法的性能，其值可由如下数学公式计算求得：

图5 P-R 曲线图Fig.5 P-R curve

当任务类型为多分类时，首先需要计算每个分类的分数，然后组合计算所有类别的得分。具体计算公式如下：

其中，P（1，2，3）是分类的精度，R（1，2，3）是分类的召回率。通过计算可得本文构建模型得分为80.56，MCWA、Honda 和伯克利方法的得分分别为73.67、60.64 和71.96。

车辆后端碰撞警告算法的关键之一是时间延迟，其值就明显需要小于预测周期，否则会无法起到警告的作用，也就无法保证算法具有实时性。本文从样本集中随机选取了20 辆车作为样本，计算其平均预测时间，从而验证算法的实时性，算法运行结果如图6 所示。从图6 中可以看出，所有采样车辆的预测时间均小于0.1 s，与1.5 s 的滚动预测周期相比将完全可以实现碰撞警告的实时性。

图6 平均延迟图Fig.6 Average delay diagram

4 结束语

针对车辆后端碰撞实时警告预测问题，本文提出了一种基于卷积神经网络的预测算法，该算法模型以1.5 s 为滚动预测周期。为了检验该方法的有效性，本文将真实车辆轨迹NGSIM 划分为训练集和测试集两个部分。通过对数据进行平滑和扩展处理，解决了训练集中的类不平衡问题，将每1.5 s 的文本数据转换成一个三维像素点阵，从而提高了模型性能。

实验结果表明，本文方法所构建的碰撞预警模型在预测精度、、召回率和评分等方面性能优于本田、伯克利和MCWA 算法，证明本文方法确保了对车辆后端碰撞的及时、有效预警。