WiDriver：一种基于WiFi的驾驶员情绪波动识别框架

周程宁，王青山，王 琦，沈德伟

(合肥工业大学 数学学院，合肥 230031)

E-mail：qswang@hfut.edu.cn

1 引 言

当今社会，因剧烈的情绪波动造成的不良驾驶现象，已经成为严重危害交通安全的重要因素[1]，驾驶人在过于激动的情况下，思考、判断、决策、执行都会受到不可控的影响，极易产生操作失误导致交通事故.及时检测、预警路怒情绪成为预防人为失误、降低事故率的有效方法.由于情绪能影响到驾驶人的感知、判断、决策与执行等过程[2，3]，因此驾驶行为与情绪紧密相关.心理学家Novaco 指出，当人们遭遇烦恼、挫折、不公平、侮辱或心理创伤等负性事件时容易产生愤怒情绪[4]，而驾驶环境的特殊性使得其极易成为引起愤怒情绪的温床.

随着交通的发展、私家车数量的增多，近年来，情绪波动引发的驾驶状态失常现象，如路怒症等，逐渐成为引起交通事故的重要因素之一.调查显示危险驾驶行为或交通事故发生次数与路怒次数显著正相关[5]，如何有效识别、警示驾驶员的情绪波动也成为研究的热点.目前关于情绪检测、识别的研究成果基本以人脸识别、收集生物信号、文本情感分析[6，7]等方法为主，没有发现针对驾驶动作的方法研究.本文在使用WiFi动作识别方法的基础下，针对驾驶动作进行情绪波动的识别研究工作.

现有的研究中，对于驾驶情绪的捕捉识别主要有两类方法：基于交通场景的视觉感知[8，9]和基于传感器的生物信号检测[10].在基于视觉方面，主要侧重于捕捉情绪外部特征，如驾驶员人脸检测，其一直是交通行业的热门话题，在此方面有许多积极有效的研究成果.Oh 和Kwak[11]提出一种基于线性判别分析的方法来识别驾驶员人脸.Matsuo等[12]开发了一种可以在各种光照环境下快速检测驾驶员人脸的方法.Tsuyoshi和Khiat[13]提出基于攻击情绪的面部分析方法.基于传感器方面，侧重于情绪引起的生物信号的变化，因为生理信号是自发的，不受人工干预，能够客观地反映人的情绪状态[14].Wan等[15]提出一种通过真实交通环境中车辆穿插、插队、乱穿马路、交通拥堵、等待红灯等事件来诱导志愿者产生愤怒的方法，以提取包括脑电图在内生物信号进行愤怒识别.Wang等[16]在侧波中选取脑电图的香农熵，利用脉冲神经网络实时检测驾驶疲劳危险.

基于视觉的检测主要基于驾驶员的脸部特征，涉及到眼球和眼睑的运动[17]与分辨率处理[18]，一旦司机佩戴眼镜或头部变化幅度过大，则系统可能无法检测到眼睛，造成识别率的下降.同时，视觉检测对于隐私侵犯方面也可能造成人们的担忧.在基于脑电图的检测中，用户需要佩戴专用设备[19]监测脑电图，成本较大且装置具有侵入性，本身就会给人带来驾驶不舒服的感觉，可能对驾驶员的情绪感受产生负面影响.

传统的解决方案依赖于视觉和可穿戴传感器，存在侵入性、可靠性、隐私问题等不足.为此，本文从WiFi识别角度出发，提出WiDriver无线识别框架，它利用WiFi动作识别，引入驾驶员情绪识别系数，通过驾驶动作对驾驶情绪进行识别，相对于传统方法，WiDriver具有安装便利、低成本、有效保护隐私等优势.实验结果表明，基于WiFi的情绪波动识别框架取得了较好的性能.据我们所知，本文是第一个使用WiFi信号来对驾驶员情绪波动进行检测的研究.

在本文中，我们的贡献如下：

·提出一种基于菲涅耳区模型设计天线布局的方法，增强无线信号中情感数据的物理表达.

·以刹车与油门信号特征作为车辆行驶数据设计驾驶员情绪识别系数公式，提升了情绪波动识别率.

·构建基于LSTM(Long Short-Termmemory Networks)的情绪判别器，将WiDriver应用到真实驾驶环境中进行性能评估.实验结果表明，WiDriver检测驾驶员情绪波动程度的平均识别率达到83.9%.

2 相关工作

由于多径和衰落效应，人们的动作会对无线信号产生干扰.随着WiFi技术得到广泛应用，这种基于无线信号的干扰已被大量用于识别人类活动.常用的指标是基于粗粒度的接收信号强度RSS(Received Signal Strength)与基于细粒度的通道状态信息CSI(Channel State Information).RSS是接收信号的强度指示，用于判定链接质量，以及是否增大广播发送强度，是对所有传播路径进行求和的功率特征.RSS方法侧重于识别宏观动作，如动作(爬行、站立和行走)[19]，以及手势[20，21].CSI为信号子载波上详细的幅度和相位信息.CSI方法侧重与精细动作，具体来说，用户不同程度的活动都会对无线信号的频率、振幅(能量特征)和相位信息产生不同的影响，从而导致CSI值的不同，因此其更适合微动作的研究，如WiKey[21]利用CSI值的时间序列模式识别笔记本电脑击键.WiHear[22]通过嘴部运动产生的细粒度信号反射检测和分析说话内容.NiFi[23]分析并利用移动设备产生的信号序列的特征自动识别合法用户.

CSI同样被用于情绪识别，如Gu等人[24]提出了EmoSense，一种通过数据挖掘从无线信道响应中探索情感物理表达的无线情感响应系统.Zhao等人[25]提出了一种从人体反射的无线信号中提取个体心跳的情感识别方法，用于估计情感相关的特征.现有的基于WiFi的识别系统大多集中在相对稳定的室内空间，只能在有限的情况下产生较好的识别效果，因此无线识别十分适合应用于车辆空间，如WiFi正在取代蓝牙用于车载娱乐[26].如Wang[27]等提出了WiCAR，一种基于WiFi的车内活动识别框架.

相对的，现在并没有基于无线信号的驾驶员情绪识别方法，且现有的无线情绪识别方法存在着部分难点，如利用心跳识别情感的方法过于细粒度，微小的额外动作都会对结果造成较大影响，EmoSense依赖于为不同情绪设计特定动作，存在一定的环境限制等.本文提出的基于WiFi的驾驶员情绪波动识别方法，不依赖于特定动作，在驾驶环境下判断司机情绪波动程度，具有较强的实用性.

3 系统综述

在本节，我们提出一个基于菲涅耳区的驾驶员情绪识别框架WiDriver，如图1所示.框架主要包括：基于菲涅耳区的天线位置设计，数据预处理，情绪系数计算，情绪波动程度识别.首先基于菲涅耳区域的特性，根据实验场景位置调整天线布局，以捕获信道响应上的驾驶动作并达到最佳效果.在此基础上，于相同的时间间隔内采样CSI数据.之后进行数据预处理，分割提取油门、刹车动作信号进行驾驶员情绪识别系数的计算，并使用系数对动作数据进行处理.最后将结果输入基于LSTM的情绪判别器，进行驾驶员情绪波动的识别判断.根据多维驾驶风格量表[28]，本文将驾驶员的情绪状态分为3种类型：谨慎的(Cautious)、正常的(Normal)和激动的(Aggressive).

图1 WiDriver系统架构Fig.1 WiDriver system architecture

3.1 数据采集准备

首先，我们进行数据采集准备.在典型的驾驶场景中，司机的情绪波动会显示在其驾驶动作上，过于激动的情绪可能会导致危险的驾驶行为.由于情绪的主观性，本文没有给出情绪波动的定义，而是使用动作来表示.刹车作为驾驶的基本动作之一，能有效反映行驶状态，而危险的驾驶行为通常由于油门失控造成，因此刹车与油门也被用于驾驶评估[29]，清晰的刹车与油门信号能提取力度、频率、动作时长等特征.

驾驶中的异常油门刹车动作的出现有偶然性，为了增强判断的准确性，本文给出一个非系数动作的定义，考虑到司机在情绪波动时常伴随一系列的相关动作并传递至驾驶行为中，且刹车油门信号用于计算情绪识别系数，本文将除刹车油门外的信号统一归类为非系数动作.考虑到个人情绪波动发生一般较为突然，且持续时长较短，只有情绪出现前后短时间内的动作有参考价值，因此经过实验比较，本文在数据采集过程中以5分钟为采集时长.

3.2 基于菲涅耳区的天线位置设置

本文采用基于菲涅耳区的理论分析方法来设计实验天线摆放位置，以达到增强CSI信号中情绪物理表达的目的.菲涅耳区是在收发天线之间，由电波的直线路径与折线路径的行程差为nλ/2的折点(反射点)形成的，以收发天线位置为焦点，以直线路径为轴的椭球面.其中n表示由内而外第n个椭圆面，λ为信号波长.n=1的区域是对信号作主要贡献的区域，称为第1菲涅耳区，亦称有效区.菲涅耳区在进行无线网络搭建，保证系统正常通信等方面有重要作用.图2所示为菲涅耳区的例子，它由一组同心椭球体组成.

图2 菲涅耳区Fig.2 Fresnel zone

其中Qn(n=1,2,3…)是第n个菲涅耳区的边界点.Tx和Rx分别代表发送方和接收方，s为人体Per与发射方的距离.对于波长为λ的无线信号，其对应的菲涅耳区可以构建如下：

(1)

在移相过程中，组合信号的幅值在偶数区域下降，在奇数区域增强[24]，且在第1菲涅区内增幅最大.由于菲涅耳区以椭圆体包裹视距路径(Line-of-Sight Path)的形式存在，且驾驶动作主要集中于手部与脚部，因此核心思想是调整天线的位置，确保驾驶员动作最大范围身处第1菲涅耳区内，且手部、脚部初始位置尽量位处在奇数菲涅耳区域，从而最大增强相应的信号振幅.为此，本文设计了一种基于菲涅耳区查找的方法来指导天线的布置，以获得更好的性能.

在驾驶环境中，使Rx固定于左侧车门，定义s为Rx距司机身体中轴距离，约30cm，Tx位于副驾驶位置，视距路径穿过手、脚部连线中心位置，距离手部、脚部初始位置约46cm，因此系统设置以调整发射方Tx的位置为主，通过改变Tx、Rx距离TxRx调整菲涅耳区的分布，使得驾驶动作在通道响应上可以增强.由公式(1)可以推出：

(2)

又由椭圆公式：

(3)

(4)

表1 不同天线距离对应的部分菲涅耳区半径分布表Table 1 Partial fresnel area radii corresponding to different antenna distances

对于各菲涅耳区半径，考虑到需要满足第1菲涅耳区尽量大的要求，且手、脚部中心位置应位于奇数菲涅耳区内，通过理论计算，我们最终设定TxRx距离为1.1m，从而在第13菲涅耳区上增强了驾驶员动作信号.

3.3 数据预处理

数据预处理部分主要包括去噪分割与降低多路径效应影响.由于硬件本身的缺陷，采样的CSI数据有相当大的噪声，因此在训练之前，需要将收集到的原始CSI度量作为特征表示进行处理.我们使用低通巴特沃斯滤波器去除高频信号噪声.然后设计基于方差的检测方法来自动分割属于某个活动的数据.

此外，CSI是多个传播路径的信号的混合体，包括视线路径、人体反射路径和其他反射路径.这个现象称为多径效应，当一个人在车内进行活动时，接收到的信号实际上是通过多条路径来的，包括静态路径和动态路径[27].静态路径包括视线路径和汽车座椅、镜子等反射路径，这些路径在活动过程中保持静态.由于车辆在行驶过程中存在相对运动，因此动态路径包括运动物体和车外物体反射的路径.我们通过实验，检测过路汽车、行人等车外物体对于车内活动的影响，如图3所示，相对于车内人体活动引起的反射，车外物体的反射大小可以忽略不记，因此车内多路径效应可以表示为：

图3 车内外活动信号对比Fig.3 Comparison of internal and external vehicle activity signals

(5)

其中k指第k条路径，n为路径总数，j为虚数单位，f为信号频率，ak和τk分别为第k条路径的幂次衰减和时延.

为了使采集的CSI数据更能反映人体真实情况，必须减轻从其他路径接收到的信号的干扰.本文采用Wang等人在WiPIN[30]中提出的方法，从人体反射的CSI几乎具有最小的时间延迟这一要素出发，首先对于每个样本应用快速傅里叶逆变换(IFFT)，将频域转换为时域，保留在最小时间延迟内的数据，去除后续数据，然后使用快速傅里叶变换(FFT)将时域转回频域.对每个样本进行IFFT & FFT操作后，大大减轻了对CSI的多路径影响，使数据更贴近人体.

一是扎实开展惠企走访，及时输血民营企业。受宏观经济下行压力加大等因素的影响，民营企业经营面临多重困难。金融机构要扛起支持民营企业的责任与担当，缓解民企融资困难，积极为广大小微企业和民营企业创造更大的生存空间。要积极开展对广大民营企业和中小微企业的走访工作，认真梳理走访企业的共性问题，找准企业的融资痛点难点，通过推进企业在线融资，提升小微企业授信的专业化管理水平，创新小微企业金融服务，帮助企业拓宽融资渠道，扩大信贷工厂批量授信规模等方式，切实做到“对症下药”。

3.4 基于行驶数据的驾驶员情绪识别系数

现有的情绪波动识别方法，包括视觉、传感器、无线信号等，都是基于表情、动作等人体本身的特征，即驾驶员数据进行检测，而无法利用环境特征识别效果进行增益.在汽车驾驶这一特殊场景中，司机本身的情绪不仅反映在其驾驶动作上，亦会体现于这些驾驶动作导致的车辆速度等属性，即行驶数据的变化上.

在如何通过车辆数据量化驾驶员情绪上存在两种观点[31]：1)基于车辆的速度或加速度进行量化，如Murphey等人提出的驾驶员风格识别系数Rdriver[32]，是非常经典的算法；2)基于汽车之间的距离来量化，如Ding等人结合加速度与安全距离提出的驾驶员情绪识别系数Rde.因此，本文在识别司机动作的基础上，引入加速度、刹车距离等行驶数据，进行情绪识别系数的计算.

由于车内的WiFi设备只能对司机动作进行捕捉识别，因此无法直观地获取车辆的距离、加速度.考虑到刹车动作对于车辆安全距离、油门动作对于车辆加速度有较大影响，且这两个动作一定程度上反映了司机的驾驶环境，我们决定计算刹车信号与油门信号的数学特征来替换距离、加速度，以此进行情绪识别系数的推导.

基于刹车信号的距离系数p.不同的刹车距离一定程度上反映着驾驶员的情绪状态，假设刹车过程中加速度不变，由匀加速直线运动的位移公式可得刹车位移：

(6)

其中V0为车辆初速度，a为车辆加速度，t为加速持续时间，且a，t与刹车动作密切相关，可见初速度、刹车造成的加速度大小、刹车的时长是影响车辆刹车距离的关键因素.车内WiFi无法获取车辆初速度，但可以捕捉刹车信号，因此考虑以刹车信号的振幅替代车辆加速度、以刹车信号时长替代减速时长，结合驾驶员情绪识别系数Rde，定义距离系数p：

(7)

其中Abreak，tbreak为需进行判断的刹车信号的振幅与时长，AN_break，tN_break为驾驶情绪状态为Normal时采集的刹车信号的振幅与时长.

在车辆行驶中，与加速度稳定的情况相比，加速度频繁变化反映出驾驶员的情绪状态有所不同，由于油门一定程度上决定了车辆行驶时的加速度，因此我们考虑以油门信号的平均值、标准差进行替代，受驾驶员风格系数公式的启发，定义加速度系数rdriver：

(8)

得到距离系数与加速度系数后，我们定义基于行驶数据的驾驶员情绪识别系数rde：

(9)

3.5 情绪波动识别

考虑到司机在驾驶时会伴随驾驶动作，而在期间产生的情绪都会反映到驾驶动作上，主要体现于幅度、频率等特征.因此我们不对非系数动作作具体识别，而是通过提取其数字特征进行判断.

如图4所示，提取动作中最具代表性的特征后，本文构造了基于LSTM，以驾驶员情绪识别系数与非系数动作作为输入的情绪判别器.提取、计算油门、刹车信号特征得到情绪识别系数后，利用其对非系数动作信号进行乘法运算.

图4 基于LSTM的情绪判别器Fig.4 Emotion discriminator based on LSTM

本文实验中个人驾驶习惯的不同，且情绪的变化与时间序列高度相关，数据信息序列富含有大量内容，信息彼此间有着复杂的时间关联性，其长度也各不相同.基于这些特性，本文采用LSTM，其典型特征是长期保存输入.其拥有一种称作记忆细胞的特殊单元，类似累加器和门控神经元.记忆细胞在下一个时间步长将拥有一个权值并联接到自身，拷贝自身状态的真实值和累积的外部信号，这种自联接由能够学习并决定何时清除记忆内容的乘法门控制[33].因此，本文基于LSTM构造情绪判别器.

4 实验验证

在这一节，对WiDriver进行评估以检验其准确性.我们使用商业设备实现了一个WiDriver原型.该原型使用TD-LTE无线数据终端(E5572-855)作为发射端，使用装有IntelWi-Fi Link5300网卡的笔记本电脑作为接收端，选用2.4G频段的信道.发射端放置在车左前门，接收端放置在副驾驶座位上，两者距离设置为1.1m.接收端每10毫秒ping一次发送端，通过Linux CSI工具获得CSI测量值.数据处理实验环境为Win10(64位)，实验软件为Matlab2019b.

基于第3节的系统设计，本文将驾驶员情绪波动程度设置为3种类型：谨慎、正常和激动，并以此设计驾驶动作.在情绪波动程度越高的情况下，驾驶过程中非系数动作的幅度越大，油门、刹车踩踏的力度更大、频率更高.

我们招募10名志愿者，考虑到情绪过于激烈时驾驶的危险性，选用车辆驾驶教学场所作为实验场地.所有志愿者都按照3类情绪程度在驾驶位置分别完成实验动作，其中不同种类的动作顺序由志愿者按自己的意愿进行，并记录动作发生的时间.如图5所示，同一志愿者在Cautious，Normal与Aggressive 3种情绪波动程度下的驾驶动作信号，可见情绪越激动，动作信号越密集，频率越高，此外在在振幅绝对值、持续时间长短等方面也有所区别.

图5 同一志愿者不同情绪波动程度下的驾驶动作信号对比Fig.5 Comparison of driving action signals of the same volunteer with different degrees of emotion fluctuation

其次，我们对获取的CSI时间序列进行分割提取，并由WiDriver对其中的油门、刹车动作进行驾驶员情绪识别系数的计算，再将得到的结果对非系数动作数据进行乘法运算，通过基于LSTM的情感判别器进行分类.图6为WiDriver在实际部署中识别率的混淆矩阵，其中对角线上数据为3种情绪程度识别成功的正确率，其余数据为一种情绪被判断为其他情绪的识别率.通过计算对角线数据，可得平均准确率为83.9%.

图6 使用识别系数后情绪波动程度识别情况Fig.6 Degree of emotion fluctuation after using the recognition coefficient is recognized

为了研究情绪识别系数对WiDriver性能的影响，本文比较是否使用情绪识别系数这两种情况下系统的平均识别率，结果如表2所示.从表2可以看出，使用情绪识别系数的WiDriver在平均识别率上有显著提升.

表2 是否使用情绪识别系数对WiDriver性能的影响Table 2 Influence of emotion recognition coefficient on Widriver performance

最后，将WiDriver与同类型的方法进行比较.本文采用支持向量机(Support Vector Machine，SVM)、卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent Neural Network，RNN)进行对比实验，所得结果如表3所示.

表3 对比实验结果Table 3 Result of contrast experiment

可见，相对于其他基线方法，WiDriver在识别率上有相当的提升.

5 总 结

在本文中，我们提出了驾驶员情绪波动程度识别系统WiDriver，利用WiFi信号的CSI变化信息来检测情绪波动.首先利用菲涅耳区相关原理，设计改变天线位置增强无线信号中情绪物理表达的方法，其次根据油门、刹车动作信号计算驾驶员情绪识别系数，最后使用基于识别系数与LSTM的情绪判别器进行情绪波动识别.我们在商业WiFi设备上构建WiDriver的原型，并在真实环境中对其进行评估.实验结果表明，WiDriver在驾驶员情绪波动识别方面具有较好的性能.今后工作中，我们将进一步考虑如下问题.车辆存在多人情况下的驾驶员情绪波动识别问题，车辆内部大量障碍物导致较多静态路径反射的优化问题等，这些都有待于将来探索研究.