采用双向LSTM自编码器的驾驶风格谱聚类识别研究

梁 科,陈华晟,潘明章,叶 宇

(1.广西大学 机械工程学院,南宁 530004;2.广西玉柴机器股份有限公司 玉柴工程研究院,南宁 530007)

0 引言

驾驶风格作为一个广义的概念,由驾驶能力和驾驶行为组成。驾驶员不同的驾驶风格对车辆的操控会产生不同的影响。一般来说,驾驶能力被描述为驾驶员控制车辆的总体能力,这与驾驶员的心理健康和知识以及他们的技能和经验有关。驾驶员的驾驶能力根据他们的驾驶经验而有所不同。驾驶行为与道路环境、实时交通状况等因素在相互关系[1-2]。通过确定驾驶行为,可以提高安全意识水平,提高燃油经济性和乘员舒适度。

在驾驶风格识别研究方面,早期多采用问卷调查的形式,设计对应的驾驶行为调查问卷及设计驾驶风格量化表对驾驶风格进行评估[3]。该方法高度依赖驾驶员的主观表现,准确性欠佳。随着车联网技术和机器学习技术的发展,利用自然驾驶数据进行驾驶风格识别模型的构建成为越来越多学者采用的方式。Ma等[4]将K-means 应用于驾驶行为聚类,并在将道路类型分类为高速公路和城市地区后,计算风险指数以识别驾驶员的驾驶风格。此外,Wang等[5]开发了一种称为半监督支持向量机(S3VM)的半监督机器学习方法,以采用部分标记的数据点识别驾驶风格的差异。将机器学习应用于驾驶风格识别提高了区分驾驶风格的效率,相较于传统问卷调查的形式也提高了准确率和可信度。但大量数据会影响模型的计算和精度,故可以采用特征选择的方法提高模型的效率。

来自于车联网收集的驾驶数据种类繁多,规模巨大。大量的数据对驾驶风格识别模型的准确度和识别效率具有巨大影响,故而利用特征选择的方法选择与驾驶风格模型相关基本特征,有助于降低数据集的复杂性,同时保留隐藏在其中的信息。为了找出对油耗影响最大的特征,Förster 等[6]提出的驾驶风格特征必须反映不同加速、减速和巡航情况下的驾驶环境和驾驶员侵略性的影响。主成分分析法(principal component analysis,PCA)是用于特征选择的典型方法。Xia等[7]使用PCA,根据区间百分比从383个维度的驾驶数组中提取特征,筛选出其中累积贡献率超过85%的前35个主成分,作为驾驶风格的分类依据。

综上所述,国内外研究针对驾驶风格的分析在大量数据条件下的机器学习效率不高,成本较大,在实际应用方面较为薄弱。自然行驶数据是一种连续时间序列数据,驾驶员的驾驶风格在当前时刻的状态与前后时刻状态有关。为此,提出了采用自编码器双向LSTM的驾驶风格谱聚类识别方法,该方法首先将清洗后的数据利用K-means确定原始标签,此后采用鲸鱼优化算法与Sigmoid 函数相结合以压缩数据集的大小并用于特征选择,将选择的特征输入至具有双向LSTM的自动编码器来学习谱嵌入所需的特征值和特征向量,并利用谱聚类来确定驾驶风格。为了进一步验证提出方法的可靠性,将本文中所提出的方法与SOM及LSTM-谱聚类进行聚类效果对比,并利用半挂车的行驶数据进行了数据分析和驾驶风格识别。

1 驾驶风格识别模型原理

1.1 采用改进鲸鱼优化算法的驾驶风格特征选择

无监督机器学习的K-means方法已广泛应用于数据挖掘和聚类分析。该算法旨在使簇间尽可能不同,同时保持簇内点尽可能相似。在此方法中,将数据点分配给聚类,使每个聚类的质心与数据点之间的欧氏距离是它们之间的最短距离。

在本文中,K-means用于创建驾驶数据原始标签,并将其作为特征选择的输入。利用CH值(calinski-harabasz score)对K-means聚类的效果进行评价[8],其核心计算方法如式(1)。CH值是通过评估簇之间方差和簇内方差来计算得分,其值越大,效果越好。

(1)

式中:Bk为簇间协方差矩阵;Wk为簇内部协方差矩阵;tr为对应矩阵的迹;m为样本数;k为簇数目。

特征选择是机器学习中的一个预处理过程。对于庞大而复杂的数据集来说,选择最优特征子集是特征选择中最重要的部分。搜索特征子集的方法主要包括全局搜索算法、随机搜索算法及元启发式搜索算法。全局搜索算法考虑了特征子集的所有可能组合,但其复杂度将指数级增长(2N,N为特征数量),故其计算速度慢,难以适用于大规模数据集。对于随机搜索算法,其可在早期搜索到最优子集,但其在最坏的情况下可能发展为完全搜索。而元启发式搜索算法包含的局部搜索和启发式过程能够有效对邻域进行搜索,其目标是获得近似最优解,能避免算法得到局部最优结果[9]。

鲸鱼优化算法(the whale optimization algorithm,WOA)作为元启发式算法其参数较少,具有良好的跳出局部最优的能力,适用于特征选择。该算法可以分为包围猎物、气泡网攻击和搜索猎物3个阶段。对于完成与驾驶风格相关的特征选择,连续WOA必须转换为其相应的二进制空间[0,1],采用Sigmoid传递函数可以迫使搜索代理在二进制空间中移动[9],从而对鲸鱼优化算法进行改进,以满足驾驶风格特征选择的需要。其方程定义如式(2)所示。

(2)

式中:ΔXt表示搜索空间在t处的步进向量。此后当前搜索代理采用式(3)完成位置更新。

(3)

式中:rand表示(0,1)中的随机数。

特征选择的目标是找出最小的特征选择数量,并获得最大的分类精度。在此基础上,同时聚合2个目标并转化为单目标问题(如式(4)),将最小适应度值(fitness value)确定为最小分类错误率与最小选择特征数之和。

(4)

式中:Er为分类错误率;Sl、Fl分别为所选特征子集的长度和所有特征的个数;λ、η分别为分类精度和特征子集长度的重要性程度,且λ+η=1,本文中取λ=0.99。在迭代过程中不断计算每个解的适应度值,并将最小适应度值的子集当作最优解,基于此,计算分类精确度如式(5)。

Accurancy=1-Er

(5)

为避免与驾驶风格高度相关的特征可能会导致后续计算过拟合,本文采用皮尔逊相关系数(pearson correlation)衡量2个变量之间的线性相关关系,以识别和删除数据集中高度相关的特征,使得模型可以专注于信息量最大的特征,从而提高泛化能力和性能。其计算方法如式(6)。

(6)

1.2 采用自编码器双向LSTM的谱聚类模型构建

递归神经网络(RNN)是一种特殊类型的神经网络,常用于处理序列数据。先前的信息被存储并应用于当前输出。然而,考虑到RNN对先前信息的长距离依赖使其学习能力随着时间的推移而下降,导致训练结果与预期目标产生严重差异。在长短期记忆模型[10](long short-term memory,LSTM)中,隐藏层采用包括输入门、输出门和遗忘门在内的存储模块以规避RNN保留大量的输入信息。因此,该模型能够在较长一段时间内存储和传输信息。在 LSTM 的门控单元中,遗忘门控制需要丢弃的信息,而输入门控制应更新和存储的新信息。输出门确定过滤掉的信息并进行结果输出。各个门中的计算如式(7)—式(9)。

ft=σ(Wf·[ht-1,xt]+bf)

(7)

it=σ(Wi·[ht-1,xt]+bi)

(8)

Ot=σ(Wo·[ht-1,xt]+bo)

(9)

式中:xt为当前层的输入值;ht-1为上一层的输出;Wf、Wi、Wo分别为遗忘门、输入门和输出门的权重矩阵;σ为Sigmoid函数,bf、bi、bo分别为遗忘门、输入门和输出门的偏置项。

式(10)—式(11)描述了存储在门中的信息并更新当前单元的状态。

(10)

(11)

输出门产生输出候选和当前单元状态之间的结果如式(12)。

ht=Ot×tanh(Ct)

(12)

驾驶风格在驾驶过程中是与当前和前后驾驶状态相关的表征,而LSTM只能存储和利用单向信息,缺少反映反向信息的能力。双向LSTM[11](Bidirectional LSTM,Bi-LSTM)能存储包括前向序列和后向序列的相关信息。双向LSTM内部包括从过去到未来的前向层和从未来到过去的反向层。这种方法与LSTM的不同之处在于,当它在后向层运行时,来自未来的信息被保留。在结合2个LSTM隐藏层的状态下,可以在任何时间点保留过去和未来的信息。

自动编码器模型主要由编码器和解码器组成,辅以深度神经网络的非线性特征提取能力,其目的是将输入转换为中间变量,将这些变量转换为输出。在比较输入和输出中使输入和输出无限接近。本文中所采用的双向LSTM的自编码器模型如图1所示,在自编码器的结构中增加双向LSTM以提取数据特征。

图1 基于自编码器的双向LSTM模型示意图

谱聚类算法源自图论,谱聚类的本质是利用图的最优划分思想来解决聚类问题,解决与高维特征向量相关的奇异问题,参与谱聚类的数据集规模是其唯一的决定因素,而数据集的维数不起作用。针对本文中所采用的降维后的车辆驾驶数据,其数据规模仍保留,采用谱聚类方法能够对驾驶风格进行良好的区分。在n个样本点的集合X={x1,x2,…,xn},和指定聚类数k的情况中,其主要计算流程如下。

1) 利用高斯相似度函数(Gaussian similarity function)计算相似度矩阵W:

(13)

式中,σ通过欧几里得距离衡量。

2) 根据相似度矩阵W,计算每一行元素之和,组成度矩阵D={d1,d2,…,di},

(14)

3) 计算随机游走拉普拉斯矩阵Lrw:

Lrw=D-1L=D-1(D-W)=

E-D-1W

(15)

4) 计算Lrw的特征值,并将其升序排列,取前k个特征值对应的特征向量并组成矩阵U:

U={u1,u2,…,uk},U∈Rn×k

(16)

5) 取自于U的第i行向量yi∈Rk,其中i=1,2,…,n组成样本集Y={y1,y2,…,yn},并用于K-means聚类,得到簇C={C1,C2,…,Ck}。

6) 输出簇A1,A2,…,Ak为谱聚类结果,其中Ai={j∣yj∈Ci}。

本文中提出的采用双向LSTM自编码器的驾驶风格谱聚类识别模型算法流程如图2所示。

图2 采用双向LSTM自编码器的驾驶风格谱聚类识别模型算法流程框图

2 数据处理及模型对比

以5辆半挂车为对象进行研究,为减少车辆性能和行驶路段对驾驶操作的影响,该批车辆具有相同的发动机参数(如表1所示),并在广昆高速G80相同的实验路段行驶(如图3所示)。所有车辆的驾驶员均为经验丰富的驾驶员,在实验过程中并未以任何方式告知驾驶员,以避免驾驶员心理状态对实验的影响。

表1 发动机参数

图3 实验路段示意图

实验过程中,自然驾驶数据通过实验车上安装的车载诊断系统(on board diagnostics,OBD)对与驾驶风格相关的数据字段进行采集,其对应的单位及定义如表2所示,采样频率为1 Hz。车辆在实验路段结束行程后从中提取相关数据字段,并通过CAN总线将数据上传,完成采集。以47号驾驶员所驾车辆为例,采集的部分自然驾驶数据如图4所示。

表2 驾驶风格特征参数定义及取值范围

图4 部分真实驾驶数据

采用插值法解决由于传感器存在不稳定性而产生的原始数据异常或丢失的问题。为进一步提高数据的质量,选用箱型图法[12]进行数据清洗。此外,考虑到连续长时间停车于驾驶风格划分无益,在数据清洗过程中一并剔除。

以47号驾驶员所驾车辆为例,本文中使用K-means 方法来初始化原始数据的标记。不同的学者对驾驶风格的定义有一定差异,通常将其划分为2—4类[13-14]。通过计算所得数据对应的CH值(如图5所示),考虑到驾驶风格的实际意义,将聚类结果分为3类。

图5 K-means 聚类效果评价

将从K-means获得的具有初始标签的数据导入到鲸鱼优化算法中进行特征筛选,通过多次测试及参数调整,将其中的搜索代理个数和迭代次数分别设为16和70。根据本文所采用的适应度函数,计算得特征选择准确率为97.34%。此后,为验证所选特征的相关性,采用皮尔逊相关系数法进行相关性判断,发现油门开度和循环喷油量的相关性系数达到0.97。综合考虑各个特征间关联,剔除了油门开度这一特征。其余特征相关性判断结果如图6所示,表明所选特征较为独立,可用于分析对驾驶风格的影响。

图6 WOA特征选择结果相关性判断

为了避免自编码器中层数过多导致的过拟合问题,在自编码器中使用了2个具有32个单元的Bi-LSTM层作为编码器和解码器。并将所选特征作为输入应用于自编码器。根据对模型多次测试,使用Tensorflow分别训练80个epoch和32个batch的模型能够在保证精度的同时提高模型的训练效率。最终,将通过训练得到的权重矩阵应用于谱嵌入的特征值和特征向量计算,获得驾驶风格识别结果。

为验证采用Bi-LSTM对谱聚类进行参数计算的驾驶风格分类结果的准确性,利用广泛使用的无监督神经网络自组织映射[15](self-organizing map,SOM)及基于LSTM的谱聚类模型与本文中所提出的模型进行CH值聚类效果评价。为使SOM模型聚类结果对驾驶风格聚类具有可用性价值,避免空聚类产生,采用1×3、1×2、1×4、1×5、2×2五种SOM拓扑结构。评价结果如表3所示。

表3 不同模型聚类准确性评价

实验结果表明,其聚类准确率显著低于后两者。基于LSTM的谱聚类模型其聚类效果与本文中所提方法相近,故可以认为本文中所提出的方法对不同神经网络的适应性较强,在更换计算谱嵌入的方法时仍能保持较高的区分度。此外,双向LSTM能够利用历史的驾驶数据,这对于连续的驾驶行为中驾驶风格划分是有益的,故采用双向LSTM对谱嵌入进行计算。

3 采用双向LSTM自编码器的驾驶风格谱聚类识别模型验证分析

3.1 群体样本驾驶风格分析

采用本文中所提出的双向LSTM自编码器的驾驶风格谱聚类识别模型对5位驾驶员的各个驾驶风格识别结果如表4所示。结果表明,在驾驶过程中,驾驶员的驾驶风格会随着当前驾驶行为产生变化。

表4 驾驶员驾驶风格识别结果占比 %

图7反映了5辆半挂车在实验路段的扭矩、进气压力、油门开度、刹车开关状态、环境压力、环境温度、风扇转速、发动机转速、循环喷油量、车速和挡位的平均值分布。

图7 实验车辆各项特征分布

其中,扭矩、进气压力、循环喷油量分布具有明显的大小关系,而油门开度与循环喷油量高度相关,故亦有相同的变化趋势。即上述各个特征的值均表现为驾驶风格1最大,驾驶风格3最小,该差异对驾驶风格划分产生了重要的影响。对于刹车开关状态,其平均值越高则代表刹车次数越多,对于35、47号实验车辆两者分布相似,均有驾驶风格3所代表的值最大而驾驶风格1所代表的值最小。总体来看,刹车开关状态分布比较分散,且刹车行为在高速公路的行驶表现中包含正常的刹车减速行为,相比于其他特征刹车开关状态在不同的驾驶风格中差异较小,对驾驶风格影响有限。对于环境压力,由于所选车辆的实验路线相同,其海拔高度变化相对稳定,对驾驶风格识别结果影响有限。此外,由于环境温度传感器安装位置靠近水箱,故环境温度变化与风扇转速变化有关。同一驾驶风格的环境温度与风扇转速变化一致,故环境温度或风扇转速对驾驶风格识别结果影响有限。对于发动机转速,驾驶风格间的差异有限,且发动机转速与车辆的挡位有关,结合挡位及车速分布图可知,车辆在该路段上以高挡位行驶为主,其发动机转速和车速间差异较小,对驾驶风格影响有限。

综上,在数值方面,扭矩、进气压力、油门开度、循环喷油量均表现出明显差异且该特征与驾驶员行为特征相关,并且反映了车辆燃料消耗情况,根据其大小情况将驾驶风格1对应为激进型,驾驶风格2对应为温和型,驾驶风格3对应为冷静型。

3.2 连续样本驾驶风格的分析

为了验证所定义驾驶风格,选取其中47号驾驶员所属车辆的3个已被标记的典型片段区间连续140个采样点以探究各个驾驶风格间的差异。考虑到数据在基于自编码器的Bi-LSTM中的传递特性,驾驶风格划分无法保持连续一致性,故所选取的3个典型区间分别以激进型、温和型和冷静型为主的驾驶风格划分,如图8所示。

图8 47号实验车辆区间采样曲线

总体来看,随着驾驶员对挡位和油门操作的变化,车辆对应的车速、扭矩、进气压力及循环喷油量产生对应的快速变化。结合表5来看,即使温和型驾驶风格下指标数值较大,但其变化率较低,说明驾驶员在驾驶过程中保持相对稳定的驾驶状态。对于平静型驾驶风格的情况,驾驶员未对油门及挡位进行操作,但车辆仍能保持前进状态,可以认为车辆正在下坡,车辆状态未有明显的突变。

表5 各个驾驶风格对应所选特征平均变化率

表5展示了上述变量的变化率。从表5可以看出,在对应的驾驶风格区间内,扭矩、进气压力、循环喷油量的变化率具有一定的相似性。根据特征选择的情况,即使扭矩和进气压力未在所选特征内,但特征选择及驾驶风格识别结果能反映两者的变化规律。

4 结论

提出了一种采用双向LSTM自编码器的谱聚类模型,并用于驾驶员驾驶风格识别。基于真实数据实验,利用改进的鲸鱼优化算法将扭矩、进气压力、油门开度和循环喷油量作为区分不同驾驶风格的主要特征,并通过采用双向LSTM自编码器的谱聚类模型将驾驶风格分别识别为激进型、温和型和冷静型。分析结果表明,所选特征能够反应驾驶员的驾驶行为特征,对于驾驶风格划分具有良好的识别效果。通过探索更准确的方法来初始化数据的原始标签,并实验不同的道路条件(如城市和乡村地区)以及更多的车辆类型,可以进一步提高算法的适用性。