基于操作信号和眼动信号的驾驶员技能等级评价模型

宋晓琳，费宏亮

（湖南大学汽车车身先进设计制造国家重点实验室，湖南 长沙 410082）

1 引言

随着我国经济的发展，车辆的保有量越来越多，由车辆引起的交通事故也越来越多。为了减少交通事故的发生，各种主被动安全装置应运而生并得到广泛应用，如制动防抱死系统ABS（Anti-lock Braking System）、电子稳定系统 ESP（ElectronicStability Program）、电子制动辅助系统EBA（Electronic Brake Assist）、制动辅助系统BrakeAssist System（BAS）、ACC（Adaptive cruise control）、LKA（Lane keeping assist）等[1]。但是，目前这些系统都没有考虑驾驶员特性的影响，如BAS，从驾驶员踩制动踏板的速度中探测到车辆行驶中遇到的情况，采取制动辅助措施。而在同样危险环境下驾驶，不同特性，踩下制动踏板的速度是各不相同的，因而制动辅助系统起作用时间和作用强度应该考虑驾驶员特性。

为此，国内外许多学者开展了相关研究。他们主要是从两个方面进行研究，一个是从驾驶员的车辆操作信号，另一个使用驾驶员的眼动信号。

1.1 基于操作信号的驾驶员技能等级评价

文献[1]使用决策树，人工神经网络和支持向量机（SVM）三种不同的方法对驾驶员的转向盘转角进行驾驶员技能等级评价。研究发现：在双移线（DLC）工况下，对不同熟练程度驾驶员的方向盘转角信号经过傅里叶变换后，熟练驾驶员一般会存在两个波峰，而不熟练驾驶员只存在单个波峰。文献[2]通过分析加速度的导数，使用DS 分类算法建立驾驶员技能等级分类模型。由于使用单一操作信号可能会忽略其他操作信号的影响，因此，许多学者开展了多操作信号的研究，文献[3]设计了八段不同转弯半径和角度的弯道，采集了车辆的纵向和横向控制数据（转向盘转角、车速、横摆角速度、侧向加速度、制动踏板开度、侧向位移、横向位移），使用PCA（主成分分析）分析，进行特征向量提取，同时使用SVM 和K 聚类方法对驾驶员技能等级进行评定，结果显示使用SVM 进行技能等级评价的准确率高于使用K 聚类的方法。文献[4]通过使用HMM 模型，使用在两种不同的弯道道路中的操作信号数据分析判断驾驶员技能等级。文献[5]主要采集转向盘转角、油门位置和制动踏板位置、转向速率、加速度和制动踏板变化率等操作信号，使用小波变换进行分析和AdaBoost 法进行技能等级评价。结果显示在转弯处，不熟练驾驶员的转向盘速率会大于熟练的。

除了以上使用操作信号进行研究驾驶员技能等级，还有研究者使用眼动信号进行研究。

1.2 基于眼动信号的驾驶员技能等级评价

文献[6]通过提取回头次数、总的注视时间、注视目标的次数、注视持续时间等特征量，采用水平搜索广度（驾驶员在驾驶过程中在水平方向所观察事物的范围）确定驾驶员技能等级。研究表明：不熟练驾驶员更为依赖车内后视镜观察车外交通情况。文献[7]通过将真实场景录像，观看录像回放的形式研究不同驾驶技能等级的驾驶员视觉特性。实验结果发现，虽然在实验过程中少了控制车辆这个环节（因为观看录像），但是新手驾驶员的搜索广度仍然比熟练驾驶员的搜索广度低。特别是在观看双车道道路类型时，这样的差异性更加明显。文献[8]进行了类似的研究，他们发现新手驾驶员通常具有以下特征：（1）初级驾驶员的主要注视近处车辆，而不是远处车辆。（2）他们会频繁注视车内物体，如仪表盘。（3）他们水平搜索广度较小。（4）对可能存在危险物体的注视程度更高。文献[9]在真实的交通环境中进行实车试验，采集大量的样本，采用动态聚类理论确定驾驶员的视觉感兴趣区域，使用模糊控制理论对驾驶员的技能进行分类和识别。文献[10]人使用眼动信号比较了熟练驾驶员和非熟练驾驶员在不同交通环境中对各类目标注视频次的差异。文献[11]人对新手驾驶员和熟练驾驶员在真实城市道路环境中的眼动信号进行分析，发现熟练驾驶员的搜索策略会更加具有灵活性。

图1 HAS 分析模型Fig.1 The Analysis Model About HAS

此外，还有一些研究者从其他方面开展相关研究，如：文献[12]基于十字路口交通情况，如图1 所示。提出使用最高可承受速度（HAS（Highest Admitted Speed））进行分析，根据集合特性和驾驶员的扫视行为位置，预估出一个能见距离D，D 与可能相撞处的时间之比，即HAS 值。由HAS 值作为驾驶员安全技能等级指标，如图1 所示。

文献[13]完成了，基于驾驶模拟器中，进行了不包含自行车、行人等其他道路影响因素的高速公路测试，构建了驾驶经验与横向控制的ACT-R 认知体系结构模型，发现熟练的驾驶员在过弯时会比不熟练的驾驶员的横向偏差小，但在不过弯时，差异不明显。

虽然有不少学者进行了驾驶员技能的研究，也取得了一些成果，但是仍存在以下的不足：

（1）搭建的仿真场景较简单，一般都是以弯道为主，而实际驾车一般会出现避障、过弯、直线行驶等工况；

（2）研究大多数基于匀速行驶，忽略了车辆行驶速度是驾驶员技能评定重要参数；

（3）对驾驶员测试者贴标签时，一般根据驾驶员驾龄和行驶里程或者专家评分法来进行评断，误差较大。

综上所述，基于驾驶员在环仿真实验平台，考虑单一车道行驶、过弯、超越静止障碍车、超越行车中的运动物体等因素，搭建较为真实的交通场景（除了弯道场景还加入静止障碍物以及运动车流，同时行驶过程车速不受限制），拟采集驾驶员的眼动信号对驾驶员技能的初步分类，采集转向盘转角、侧向加速度、速度等操作信号对驾驶员技能等级评定，通过多操作信号的不同组合方式，采用SVM 方法，比较分析其评价正确率，从而构建驾驶员技能等级评价模型。

2 实验方案的设计

国内外研究文献表明，使用模拟器或实车进行实验，可得出相同的实验结论。同时，使用模拟器便于比较不同驾驶员在相同的交通场景下的驾驶状况，研究驾驶技能等级评价理论和方法。

2.1 道路模型的搭建

本次实验使用Labview 和Carsim 搭建的驾驶员在环仿真平台，如图2 所示。通过NI 设备外接眼动设备，实现数据同步采集。同时为了建立更为真实道路场景，设计道路时，考虑了单一车道行驶、过弯、超越静止障碍车、超越行车中的运动物体等因素。基于此，设计了道路模型，如图3 所示。

图2 模拟驾驶采集数据场景Fig.2 Collecting Data Scenarios About Driving Simulation

图3 模拟器道路模型Fig.3 The Road Model About Simulation

在自车起始处作为坐标原点，在自车道前方100m 放置一辆静止障碍物，在障碍物前方是曲率为60 的一个弯道，在入弯处会有一辆运动的车辆以20m/s 的车速行驶。在自车开始运动时，运动车辆也开始运动。在每次超越障碍物之后，驾驶员必须回到本车道内。行驶运动轨迹如图3 轨迹所示。

2.2 实验方案的实施

本次实验共招募了10 名驾驶员的数据，年龄分布（20～30）岁之间，身体状况良好，其驾龄信息，如表1 所示。同步采集每位测试者的眼动信号和操作信息。

在实验开始前，所有测试者都需使用驾驶模拟器自由驾驶10 次，以便熟悉模拟器操作。每位测试者需采集10 次成功的数据（不开出车道范围实验且车速低于120km/h）。其中训练样本和测试样本的比例为3：1。实验采集场景，如图2 所示。本次实验采集信号有眼动信号，和驾驶员操作信号（纵向车速，转向盘转角等）。

表1 驾驶员的个人信息Tab.1 The Driver’s Personal Information

3 试验数据处理

3.1 眼动信号数据的分析

研究表明：驾驶员驾驶技能不同，其关注车辆前后区域和时间会有所不同，一般来说，熟练的驾驶员会长时间注视远方区域，以便有更多的时间处理后续可能会遇到的危险情况，而新手更多关注车辆前方近距离区的道路情况。

为此，将驾驶员前方可视区域划分为以下三个区域：第一驾驶区域—车内区域（由驾驶模拟器的仪表盘位置）（AOI001）、第二驾驶区域—近视区（AOI002）和第三驾驶区域—远视区（AOI003），如图4 所示。

根据采集的眼动信号，使用Gaze 进行分析统计，可得在整个驾驶行驶过程中，驾驶员关注每个驾驶区域所用时间，可得每个驾驶区域所占总驾驶时间百分比，如式（1）所示。

式中：P（i）—指驾驶员关注第i 驾驶区域时间占总驾驶时间百分比；ti—指在整个驾驶过程中驾驶员关注第i 驾驶区域所用时间。

图4 驾驶区域的划分Fig.4 Driving Regional Division

从而从眼动信号得到驾驶员熟练程度的流程图，如图5 所示。在静止超车过程中，不同样本对不同驾驶区域关注时间的百分比，如图6 所示。在过弯时关注时间的百分比，如图7 所示。同时我们也分析过这些样本中驾驶员在开车过程中瞳孔直径是否有差异性，但是结果显示，他们的差异性并不大，可能因为在本次试验中并不存在紧急工况的情况，所以驾驶员的生理情况改变的不明显。

图5 通过眼动信号对驾驶员标签过程Fig.5 Label Process Using Eye Movement Signal

图6 静止超车时各区域注视区域百分比Fig.6 The Regional Percentage About Static Overtaking

图7 过弯时各区域注视区域百分比Fig.7 The Regional Percentage About Cornering

因此，综合图6 图7 的情况，我们可以将样本 2、3、8 标签为技能熟练的，而1、4、5、6 标记为技能不熟练的，对于样本7 应该进行剔除，这样就保证了训练样本的正确性。

3.2 操作信号的数据处理

本次实验采集的操作信号主要是方向盘转角、车速以及侧向加速度。

预处理流程，如图8 所示。

图8 驾驶数据的预处理过程Fig.8 Process About Driving Data

3.2.1 转向盘转角的数据分析

车辆匀速行驶时，使用转向盘转角进行傅里叶变换和小波变换变可得到关于熟练驾驶员和不熟练驾驶员的不同特征。但在本研究中，速度可变。使用傅里叶变换和小波变换效果并不明显。因此，将使用转向盘中心来进行计算，转向盘转向角中心（x，y）的定义为：

3.2.2 车速的数据分析

转向盘转角作为车辆方向性的控制，除此之外我们还采集了车辆纵向方面的控制-车速。离散点进行直方图绘制，并绘制概率密度分布图结果，如图9 所示。

图9 侧向加速度概率密度分布图Fig.9 Lateral Acceleration Probability Density Distribution

从图9 可知，驾驶经验熟练的驾驶员在整个行车过程中，普遍车速高于新手驾驶员司机。所以车速也可以选为评定驾驶员技能的一个特征。

3.2.3 侧向加速度的数据分析

图10 车速概率密度分布图Fig.10 Speed Probability Density Distribution

绘制侧向加速度直方图，并绘制概率密度分布图后，如图10所示。发现驾驶经验熟练的驾驶员侧向加速度普遍高于新手驾驶员。因此，侧向加速度同样可以作为评定驾驶员技能的一个特征。

4 基于SVM 的驾驶员技能评定

支持向量机是一种最小化准则的学习方法，可以解决小样本、非线性以及高维识别问题，多用于分类以及回归领域[14-15]。对于采集的线性不可分的训练数据（xi，yi），i=1，2，3….，n，其中Xi属于R，表示多维特征的空间向量，Yi=1 和Yi=-1，则必然存在超平面（W·X）+b=0 满足以下的公式。

式中：εi—非负松弛变量；εi≥0—为了分离训练样本成超平面而产生的偏差，其中，εi=0—非线性问题变成线性问题解决。

若分类所形成的间距为2/||w||，则训练的数据到超平面的最小间距为1/||w||，如果样本可以被无误差的划分，并且每一类样本的超平面距离最近的向量与超平面之间的距离最大，则这个平面被称为最优超平面。此后，再使用Lagrange 进行优化，由J·von·诺依曼提出的wofle 对偶理论，可以将非线性问题转化为对偶问题：

式中：C—对样本的错分的惩罚系数，它们所对应的边界条件为：

若a 为式（5）和式（6）的最优解，则最优分类超平面的系数W 的解为：

其中，Xi对应着一个拉格朗日乘子ai≥0，其中，称与ai≥0所对应的训练样本的数据为支持向量。采用RBF（radial basic function 径向基函数）作为核函数：

将 W，b 代入（w·xi）+b=0，可以得到所需的判别函数：

综上所述，使用SVM 进行分类时候的思想是：将采集到的训练样本进行预处理，提取所需的特征数据，考虑到不同数据数量级之间的差异，将数据进行单一化处理，此后由SVM 进行处理，通过一定的映射关系将提取的样本的特征数据映射到高维空间，然后在新空间内按照上述表达式求取最优超平面，从而辨识出相应的驾驶员技能等级。

本研究采用台湾林智仁教授的Libsvm 工具箱训练SVM 模型。为了得到较好的分类效果，使用网格搜索的交叉验证方法得到最优参数C 和g，再进行分类。为了探究不同特征量的驾驶员技能分类效果，一共设计了7 组组合技能等级评价模型，并且每组都在最优参数训练得到SVM 模型，得到的结果，如表2 所示。从表2 可以看出，使用车速和侧向加速度作为特征量时准确率最高，准确率可以达到90%，而使用三者组合作为特征量不能取得最佳分类效果。

表2 基于不同特征量的各模型结果Tab.2 The Results Based on Different Characteristics

5 基于操作信号的驾驶员技能等级评价模型及验证

由于整个模型求解主要分成两个模块，一个是六个系数产生的方程很多，如何处理并选出最高的正确率，还有一个模块是，输入三个特征数据之后，如何判别输出的数值表示驾驶员的技能是高是低，以及是否和本身技能相匹配，即正确率的求解。我们使用流程图表示正确率求解的过程，如图11 所示。

图11 正确率的求解过程Fig.11 Solving Process About Accuracy

程序中另一个比较重要的模块是最高正确率的求解过程，它的求解过程，如图12 所示。

图12 最高正确率的求解过程Fig.12 Solving Process About the Highest Accuracy

首先，本研究针对常用的标准函数进行驾驶员技能等级评价模型建模，如线性函数组合公式为:（A1*SW*A2+B1*（B2*V）+C1*（C2*Ac））

使用指数函数进行组合的公式为:（A1*exp（SW*A2）+B1*exp（B2*V）+C1*lg（C2*Ac））

使用对数函数进行组合的公式为:（A1*lg（SW*A2）+B1*lg（B2*V）+C1*lg（C2*Ac））其中 A1+B2+C3=1；且 A2、B2、C2∈［0，10］，SW 代表转向盘中心角，V 代表车速，Ac 代表侧向加速度。

其实验结果，如表3 所示。

表3 不同形式方程的最高正确率Tab.3 The Highest Accuracy About Different Equation

指数形式获得最高正确率，线性函数最低。但是在改变A1，B1，C1系数组合时，对于对数函数，每个系数组合发生变化所对应的最高正确率不变，而对于线性函数，每个系数组合发生变化所对应的最高正确率却会发生变化。因此，本研究采用指数函数与线性函数组合的形式建立驾驶员技能等级评价模型。

对于线性和指数组合，一共有八种组合情况，如图13 所示。

图13 模型变量函数形式组合的可能性Fig.13 The Possibility of Combination About Variable Function

其组合表达式形式可如式（11）所示：

其中，A1+B2+C3=1；并且限制 A2、B2、C2∈［0，10］。不同组合表达式最高正确率结果，如表4 所示。

表4 不同函数形式的驾驶员经验模型的正确率Tab.4 The Accuracy About Driving Experience Using Different Function Forms

表中：L—这个变量使用的是线性特征变量；E—这个变量使用的是指数型特征变量。

如式（11）的表达式可以表示为L-E-E。

从表4 可以看出在L-E-L 和E-E-L 组合时准确率是最高的，但是在准确率最高时A1的系数均为0，即只有两个变量（纵向速度和侧向加速度）时，驾驶员技能等级评价模型准确率最高，其结果和最佳SVM 驾驶员技能等级分类结果一致，因此提出的驾驶员技能等级评价模型可信。同时，获得最高准确率方程表达式为：0.3*exp（6*V）+0.7*（8*Ac）。

6 结论

优先使用眼动信号的处理结果对驾驶员技能进行标签，降低了主观评价带来的错误率。同时使用SVM 对多种操作信号（转向盘中心、速度、侧向加速度）进行评定，查看多操作信号组合形式以便可以更好的表现驾驶员技能，同时提出建立驾驶员技能等级评价模型。今后的研究工作应该考虑如果一名驾驶员到一辆新车上怎样快速辨别其技能。应使用车联网技术，为每位驾驶员建立档案，实时上传其驾驶数据并保存，上车时进行身份验证，随后通过云端实时下载之前驾驶数据，从而判断其驾驶技能。进而为以后危险场景的人机共驾提供理论基础（对于危险场景，驾驶技能不熟练的驾驶员会被机器代替控制车辆），使得可以提高行车的安全性进而减少交通事故的发生。