基于生物力学和颈腰部EMG判别驾驶员疲劳状态∗
2017-09-15王琳,罗旭,姜鑫,王宏
王 琳,罗 旭,姜 鑫,王 宏
基于生物力学和颈腰部EMG判别驾驶员疲劳状态∗
王 琳1,2,罗 旭1,姜 鑫1,王 宏1
(1.东北大学机械工程与自动化学院,沈阳 110819; 2.沈阳工程学院机械学院,沈阳 110136)
本文中通过采用颈腰部生物力学和表面肌电信号相结合的方式,对驾驶员在驾驶过程中的疲劳状态进行了研究。首先,通过生物力学的计算与分析,合理地选择了能有效反映驾驶疲劳状态的生理信号采集位置,即颈6左右两侧上斜方肌和腰4左右两侧竖脊肌。然后,在利用经验模态分解算法对测得的肌电信号进行去噪的基础上,找出能表征驾驶员疲劳状态的颈腰部肌电特性参数,并对提取的特征参数(颈部复杂度、腰部复杂度和腰部近似熵)进行主成分分析,获得了两个主成分,有效保留有用信息,去除冗余信息,实现了特征参数的降维。最后,以此为自变量建立疲劳驾驶评价模型,有效提高了模型的正确率,加快了模型的运算速度。结果表明,该方法在对驾驶员正常与疲劳状态的区分上具有良好的识别效果,正确率可达90%以上。
疲劳驾驶;生物力学;肌电信号;复杂度;近似熵
前言
驾驶员在长时间驾驶过程中,颈腰部肌肉的疲劳使人体困乏和反应迟钝,从而易引起交通事故。疲劳驾驶和与其相关的职业健康问题已受到全球各国研究人员的关注,并对此进行了大量的研究工作[1]。目前,驾驶疲劳的检测方法主要集中在3个方面:(1)基于驾驶员行为特征检测;(2)基于车辆行为特征的检测;(3)基于驾驶员生理信号特征的检测。文献[2]中研发了一种使用单摄像头的头部/眼睛追踪系统来识别驾驶员疲劳水平。文献[3]中在模拟驾驶条件下获得了车辆行驶的相关参数,如车速和转向盘角度等,通过小波变换法对去噪后的高频信号特征进行分析,并设计了检测驾驶疲劳的分类器。文献[4]中利用模拟驾驶舱采集了被试者连续驾驶90min的心电信号,分析了驾驶初期15min和末期15min的心电数据,获得了4项心电时频域指标与疲劳程度的关系。可见,基于驾驶员和车辆行为的检测技术可在对驾驶员影响较小的情况下获得各种特征参数与驾驶疲劳的相关性,但该方法易受驾驶姿态、光照、遮挡、驾驶路面和车型等因素的影响[5]。生理信号是无法主观控制的,因此检测驾驶员的生理信号(如心电、脑电、肌电和呼吸等),提取其特征参数(如中值频率、峰值因数、近似熵和复杂度等)来分析驾驶员的疲劳状态,被认为是当前最为客观准确的方法,并取得了大量的有益研究成果[6-12]。其中,文献[1]和文献[7]中认为肌电信号和心电信号是反映驾驶疲劳的有效生理信号。文献[8]和文献[9]中主要研究了脑电信号在驾驶过程中的变化规律。文献[10]中认为复杂度和近似熵是有效表征驾驶疲劳的特征参数。
以上绝大多数研究都是针对某一部位的生理信号展开的。分析认为,不同部位生理信号的各种特征参数可进行信息互补,提高对疲劳状态的辨识度,但也存在一定的信息冗余。选择合理的生理信号检测部位,并将不同部位特征参数进行融合,是保留有用信息、消除冗余信息的有效手段[13-14]。对此,本文中进行了相关的实验研究和理论分析,研究特点主要有:(1)根据驾驶姿态的颈腰部生物力学分析,确定了颈腰部为疲劳的敏感部位,选取其为检测电极位置,提取并分析了驾驶过程中颈腰部的肌电信号(EMG)的多种特征参数。(2)通过主成分分析(principal components analysis,PCA)[15]实现了颈部和腰部特征参数间的融合,从而保留了有用信息,消除了冗余信息。在此基础上,建立了能有效判别驾驶过程中综合疲劳状态的数学模型。
1 实验与算法
1.1 实验过程
美国公路交通安全管理局NHTSA(national highway traffic safety administration)的调查报告[16-17]显示,16-35岁的年轻男性是疲劳驾驶导致交通事故的高发人群。因此本实验随机选取11名年龄22-35岁的男性作为被试者。被试者身高为170~180cm,体质量为60~85kg,无肌肉骨骼系统疾病史,且均有两年以上驾龄。要求被试者24h内不允许饮用酒精和咖啡等刺激性饮料。实验时间为下午12:30-14:30,该时段是与疲劳有关的交通事故高发时段[18]。被试者在模拟驾驶舱内进行连续2h的驾驶过程中,实时采集其颈部双侧上斜方肌、腰部竖脊肌的表面肌电信号。实验设备和场景照片如图1所示。测量系统即数据采集系统为Neuroscan 4.3,采样频率为1 000Hz,陷波频率为50Hz。高速公路景观单一,道路环境刺激较少,被试者驾驶自动挡小轿车易产生疲劳感。因此,为加速被试者的疲劳,本实验采用高速公路作为路面场景,车辆设定为自动挡小轿车。
图1 实验设备和场景照片
1.2 复杂度
Lempel-Ziv复杂度算法是由Lempel和Ziv提出的一种用于度量随着序列长度的增加而新模式也增加的算法,是对某个时间序列随其长度的增长出现新模式速率的反映[19]。复杂度适用于确定性和随机性信号,对于同时包含确定和随机成分的生理信号极为合适。因此,使用复杂度来描述人体颈腰部EMG在驾驶过程中随疲劳状态的变化情况。
具体算法为[20]:设c(n)为序列S(s1,s2,…,sn)的复杂度,当n→∞时,c(n)趋近于定值n/logln,l为粗粒化段数(传统二值化时,l=2),则归一化计算式为
1.3 近似熵
近似熵是文献[21]中提出的一种度量序列复杂性的非线性动力学参数。其用边缘概率的分布来区分各种过程,描述当相位空间维数变化时,序列中产生新模式概率的大小。该方法可对确定序列、随机序列和混合序列进行规律性量化,所需计算数据短,抗噪抗干扰能力强。因此,本文中使用近似熵来描述人体腰部EMG在驾驶过程中随疲劳状态的变化情况。
对于给定的N点时间序列{u(i)},近似熵的计算步骤为:
(1)将时间序列u(i),i=1,…,N,按顺序重构m维相空间(m为预先设定的模式维数);
X(i)=[u(i),u(i+1),…,u(i+m-1)],i=1~N-m+1
(2)计算矢量X(i)与其余矢量X(j)之间的距离d为
(3)给定r的阈值(r为预先选定的相似容限,r>0),对每一个矢量X(i)值,统计距离小于r的数目,并计算该数目与总距离N-m的比值,记为(r)。即
(4)先将Cmi(r)取对数,再对所有i求平均值,即
(5)增加维数,将矢量变为m+1维,重复(1)~(4)过程,得到Cmi+1(r)和Φm+1(r)。
(6)计算近似熵为
ApEn(N,m,r)=Φm(r)-Φm+1(r)
近似熵ApEn可以确定一个时间序列在模式上的自相似程度,其值可衡量当嵌入维数变化时序列中产生新模式的概率大小。本文中,m=2,r=信号标准差×n(n=0.1~0.2),可得到较合理的近似熵值[22]。
2 电极位置的分析与确定
驾驶过程中,驾驶员颈腰部肌肉疲劳易发生在较低节段位置(颈6、颈7、腰4、腰5)。本文中首先比较了颈6与颈7、腰4与腰5的受力情况,为合理选择电极位置提供理论依据。根据生物力学原理,按照人体头、颈部和腰部的外形及其受力情况,可将头颈腰部简化为一个变截面悬臂梁(图2)。对驾驶员颈腰部的受力情况建立力学模型,即
图2 根据驾驶姿势的颈腰部受力示意图
式中:假设颈腰部横截面近似椭圆形,DA为椭圆的长轴,DB为椭圆的短轴,则根据式(1)可计算出基于椭圆等效直径的颈腰部任意截面处的正应力。由颈腰部构造可知,无论长轴短轴,颈6处均小于颈7处,腰4处均小于腰5处。即DA颈6<DA颈7,DB颈6<DB颈7,DA腰4<DA腰5,DB腰4<DB腰5。
对于颈部 式(1)中M(x)为颈部弯矩,M(x)=G·X。G为颈部载荷(主要为头颅质量)。X为颈部阻力臂,颈6和颈7处的阻力臂近似相等,即X颈6≈X颈7,则弯矩M(x)也近似相等。MT(x)为颈部扭矩,颈6、颈7处的外力偶矩相同,故颈部扭矩MT(x)也相同。
对于腰部 式(1)中M(x)为腰部弯矩,M(x)=G·X+qL2cosθ/2。G为头颅质量,X为腰部阻力臂。腰4和腰5处的阻力臂近似相等,即X腰4≈X腰5。人体脊柱质量可假设为作用在人体脊柱的均布载荷,载荷系数为q,脊柱长度为L。可知,对于同一被试者,q,L和θ相等。因此,被试者腰4和腰5处的弯矩M(x)近似相等。MT(x)为腰部扭矩,腰4、腰5处产生的外力偶矩相同,故腰部扭矩MT(x)也相同。
因此,驾驶过程中驾驶员颈6处的应力值恒大于颈7处的应力值,在长时间高应力作用下导致颈6周围肌肉较颈7周围肌肉更易疲劳。同理,腰4处的应力值恒大于腰5处的应力值,故腰4周围肌肉较腰5周围肌肉更易疲劳。
由图2和式(1)分析可知,驾驶员座椅角度改变会使θ发生变化,从而影响颈腰部各部位肌肉、椎体和间盘组织的受力,即颈6、颈7、腰4、腰5所受的应力值都会相应改变。但其大小关系不变,即颈6处的应力值恒大于颈7,腰4的应力值恒大于腰5。这也解释了为何长期坐位的工作人群(如驾驶员和电脑工作者)的颈腰椎病多发部位为颈6和腰4节段。因此,颈6上斜方肌和腰4竖脊肌在驾驶过程中对疲劳状态反应最灵敏,该处肌肉为本实验肌电信号的提取位置。电极位置分别为颈6棘突旁开2cm处,腰4棘突旁开3cm处,参考电极N置于颈7棘突处。测试的4个通道分别为A1,A2,B1,B2(图3)。
图3 电极位置示意图
3 颈腰部EMG特征参数
针对EMG的混沌特性,本文中采用非线性动力学理论揭示其变化规律。首先利用经验模态分解(empirical mode decomposition,EMD)对原始信号进行降噪处理,再提取并分析了颈腰部表面肌电信号的特征参数在驾驶过程中的变化规律。通过计算分析可知,在众多生理信号的特征参数中,颈部EMG复杂度、腰部EMG复杂度、腰部EMG近似熵这3个特征参数对驾驶疲劳的判别度较好,因此主要考察这3个特征参数随驾驶疲劳的变化规律。图4为驾驶过程中11名被试者特征参数的平均值随时间的变化趋势,即每隔10min提取30s内的特征参数值。由图可见,3种特征参数值都随着驾驶时间的延长而逐渐降低。约90min后,下降趋势变得平缓,表明肌肉进入比较疲劳状态。可见,这3种特征参数对驾驶疲劳有较强的表征能力,对于不同被试者,规律性较好。为便于描述,定义如下:驾驶实验初期的0~30min为正常状态,驾驶实验后期的90~120min为疲劳状态。分别从11名被试者正常和疲劳状态中各选4min数据。对颈部EMG每30s计算一个复杂度,对腰部EMG每30s计算一个复杂度和一个近似熵。再对每名被试者的这3种特征参数值进行归一化处理,消除个体差异。每种特征参数共提取176
图4 特征参数在驾驶过程中的变化规律
个特征值(11名被试者×2种状态×4×60s/30s=176),其中正常状态和疲劳状态各88个。则以3种特征参数值为坐标的正常和疲劳状态的三维分布如图5所示。由图可见,正常状态时,3种特征参数的值都较大;疲劳状态时,3种特征参数的值都较小。利用皮尔逊相关系数算法对3个特征值进行相关性分析,即
式中:K1和K2分别为两种特征参数,i为某被试者的某个时间段,n=176。
图5 归一化的正常状态和疲劳状态的三维分布
由式(2)可分别计算出各特征参数之间的相关系数r和显著性差异p,如表1所示。
表1 皮尔逊相关性分析(相关系数r/显著性差异p)___________
由表1可见,各特征参数之间具有良好的相关性(r=0.86-1.00,p<0.05),说明3种特征参数之间既存在有用信息,也存在冗余信息,其中冗余信息主要是由于被试者个体差异和各种特征参数变化幅度不同所致。若将颈部复杂度、腰部复杂度和腰部近似熵3种特征参数去除冗余信息、保留有用信息,则能更明显区分正常和疲劳两种状态。
4 疲劳驾驶评价模型
由以上分析可知,颈腰部的3种特征参数具有良好的相关性,将3种特征参数融合去除冗余信息、保留有用信息,能更明显区分正常和疲劳两种状态。为保留相似信息、消除冗余信息,本文中利用主成分分析对3种特征参数进行分析和降维。主成分分析结果表明,前两个主成分的贡献率分别为59.14%和31.53%,二者之和为90.67%,超过85%。因此,选取贡献率大的前两个主成分U1,U2作为疲劳驾驶的综合状态参数,可有效表征驾驶员的疲劳状态。主成分U1,U2是原始变量的线性组合:
式中:X1,X2,X3分别表示颈部复杂度、腰部复杂度和腰部近似熵,各种特征参数在主成分中的权重由系数矩阵获得。
根据以上分析,以U1,U2为自变量,基于多元回归理论,将人体不同部位的肌电信号进行融合,建立了疲劳驾驶状态的评价模型,即
式中因为U1,U2是主成分分析优化求得的两个主成分,所以二者不存在相关性,可避免模型产生伪回归现象,确保了驾驶疲劳评价模型的正确性和合理性。根据式(5)模型的计算,若R>0,表示模型的评价结果为正常状态;若R<0,则表示为疲劳状态。
采用十折交叉验证的方法来验证以上疲劳驾驶评价模型的正确率。将176组数据集分成10份,轮流将其中9份做训练集,1份做测试集,进行十折交叉验证。十折交叉计算结果如表2所示。可见,训练集和测试集的正确率分别为92.55%和91.27%。
表2 交叉验证疲劳驾驶评价模型的正确率%
5 讨论
5.1 特征参数的变化规律
由图4可见,所有被试者的颈部复杂度、腰部复杂度和腰部近似熵3种特征参数平均值都随着驾驶时间的延长而逐渐降低。约90min后,下降趋势变缓,肌肉进入比较疲劳状态。该变化表明,随着驾驶时间的延长,肌肉逐渐处于紧张僵直状态,神经系统在控制肌肉对抗疲劳的过程中,渐进性地协调众多运动单位同步收缩[23]。虽然由于个体差异的影响,复杂度和近似熵值会有所波动,但3个特征参数在各个时刻的标准差都较小,说明这两种算法在表征驾驶疲劳状态时稳定性好,规律性的整体下降趋势保持较好。
5.2 模型准确度
该模型的准确度可达91%以上的原因主要是利用生物力学计算与分析合理地选择了生理信号的采集位置,并利用主成分分析对3种特征参数进行了降维处理,得到了两个对驾驶疲劳状态具有良好辨识度的主成分U1和U2。既保留了有用信息,又消除了冗余信息,从而消除了冗余信息对模型计算造成的干扰。
为进一步证明U1与U2对驾驶疲劳状态具有良好的辨识度,利用SPSS统计分析软件对U1和U2进行Wald-Wolfowitz游程检验,结果如表3所示。由表可见,U1和U2的单边检测概率值都小于0.05,说明二者分别在表征驾驶过程的正常状态和疲劳状态上差异明显,从而确保了以此为自变量所建立的疲劳驾驶评价模型的正确性。通过计算可知,传统的多元回归评价模型的测试集平均准确率为82.96%,而采用主成分分析降维后的模型测试集平均准确率达91.27%。
表3 U1和U2的Wald-Wolfowitz游程检验
5.3 模型的应用展望
由于驾驶操作过程和疲劳状态的形成机理都十分复杂,驾驶员疲劳状态识别涉及的内容和研究领域比较广泛,提出的识别方法离实际应用还有很多工作要做。因此,为能将该驾驶疲劳评价模型尽快应用到实际的驾驶过程中,今后的工作主要集中在模型的产品化方面。即通过编制相应软件,使数据的采集、计算、分析和报警一体化,最终开发出可直接应用于驾驶过程中的新型驾驶疲劳预报装置。
6 结论
在从易疲劳的肌肉位置提取并分析了人体生理信号在驾驶过程中的变化规律的基础上,将不同部位(颈部和腰部)的EMG特征参数进行融合,建立了评价疲劳驾驶的数学模型,得到如下结论。
(1)根据驾驶姿态的颈腰部生物力学分析可知,颈6左右两侧上斜方肌和腰4左右两侧竖脊肌在驾驶过程中最易疲劳,对疲劳状态反应最灵敏,因此该部位肌肉为本实验人体肌电信号的提取位置,数据采集更加科学。
(2)颈部复杂度、腰部复杂度和腰部近似熵这3个肌电信号的特征参数值都随着驾驶时间的延长而逐渐降低。将这3种特征参数联系起来能更明显地区分正常和疲劳两种状态,说明3者之间既存在有用信息,也存在冗余信息。通过主成分分析可实现颈部和腰部特征参数间的融合,保留有用信息,消除冗余信息,可有效提高模型计算的准确性。
(3)基于多元回归理论,将人体不同部位的肌电信号进行融合,建立了能有效预测疲劳驾驶的数学模型。十折交叉验证结果表明,该模型的正确率可达91%以上,对实际驾驶过程中及时预报出驾驶员的疲劳状态具有重要的现实意义。
[1] LAL S K L,CRAIG A.A critical review of the psychophysiology of driver fatigue[J].Biological Psychology,2001,55:173-194.
[2] BOVERIE S,GIRALT T,LEQUELLEC J M,et al.Intelligent system for video monitoring of vehicle cockpit[C].Proceedings of the 1998 SAE International Congress and Exposition,Detroit,MI,U-nited states,1998:1-5.
[3] AERSTEDT T,FOKKARD S.The three-process model of alertness and its extension to performance,sleep latency and sleep length [J].Chronobiol,1997,14(2):115-123.
[4] 杨渝书,姚振强,李增勇.心电图时频域指标在驾驶疲劳评价中的有效性研究[J].机械设计与制造,2002,5:94-95.
[5] 袁翔,孙香梅.疲劳驾驶检测方法研究进展[J].汽车工程学报,2012,2(3):157-164.
[6] 付荣荣,王宏,张扬,等.基于可穿戴传感器的驾驶疲劳肌心电信号分析[J].汽车工程,2013,35(12):1143-1148.
[7] PATEL M,LAL S K L,KAVANAGH D,et al.Applying neural network analysis on heart rate variability data to assess driver fatigue[J].Expert Systems with Applications,2011,38(6):7235-7242.
[8] 张宁宁,王宏,付荣荣.基于小波熵的驾驶疲劳脑电信号特征提取[J].汽车工程,2013,35(12):1139-1142.
[9] 罗旭,王宏,王福旺.基于脑电信号分类的高速公路上驾驶疲劳识别[J].汽车工程,2015,37(2):230-234.
[10] ZHANG C,WANG H,FU R R.Automated detection of driver fatigue based on entropy and complexity measures[J].IEEE Transactions on Intelligent Transportation System,2014,15(1):168-177.
[11] SCOMMERICH C M,JOINES S M,HERMANS V,et al.Use of surface electromyography to estimate neck muscle activity[J]. Journal of Electromyography and Kinesiology,2000,10(3):377-389.
[12] KAPTHICK P A,VENUGOPAL G,RAMAKEISHNAN S.Analysis of muscle fatigue progression using cyclostationary property of surface electromyography signals[J].Journal of Medical System,2016,40(1):28-35.
[13] LIN Y,LENG H,MOURANT R R.EEG electrode locations and their signal sensitivities in driver drowsiness measurement[J].Biomedical Fuzzy&Human Sciences,2009,14(2):97-103.
[14] VOERMAN G E,VOLLENBROEK M M,HERMENS H J.Upper trapezium muscle activation patterns in neck-shoulder pain patients and healthy control[J].European Journal of Apply Physiology,2007,102(1):1-9.
[15] 付荣荣,王宏,王琳,等.基于无线体域网中多生理信号驾驶疲劳检测[J].东北大学学报(自然科学版),2014,35(6):850-853.
[16] CHIPMAN M,JIN Y L.Drowsy drivers:The effect of light and circadian rhythm on crash occurrence[J].Safety Science,2009, 47(10):1364-1370.
[17] WILLIAMSON A,LOMBARDI D A,FOLKARD S,et al.The link between fatigue and safety[J].Accident and Prevention,2011,432:498-515.
[18] SAGBERG F.Road accidents caused by drivers falling asleep[J]. Accident And Prevent,1999,31(6):639-649.
[19] LEMPEL A,ZIV J.On the complexity of finite sequence[J]. IEEE Transactions on Information Theory,1976,22(1):75-81.
[20] 陈东伟,陈俊杰.情感识别中脑电信号Lempel-Ziv复杂度的研究[J].太原理工大学学报,2014,45(6):758-763.
[21] RICHMAN J S,MOORMAN J R.Physiological time-series analysis using approximate entropy and sample entropy[J].American Journal of Physiological Heart and Circulatory Physiology,2000,278(6):2039-2049.
[22] FOIJ O,HOLCIK J.Applying nonlinear dynamics to ECG signal processing[J].IEEE Engineering in Medicine and Biology,1998,3(4):96-110.
[23] 刘加海,王健,罗晓芳.局部肌肉疲劳的表面肌电信号复杂度和熵变化[J].生物物理学报,2004,20(3):198-202.
Detection on Driver Fatigue Based on Biomechanics and EMG of Cervical and Lumbar Muscles
Wang Lin1,2,Luo Xu1,Jiang Xin1&Wang Hong1
1.School of Mechanical Engineering and Automation,Northeastern University,Shenyang 110819;2.Department of Mechanical Engineering,Shenyang Institute of Engineering,Shenyang 110136
The fatigue state of driver during driving is studied by biomechanics combined with surface EMG.signals in this paper.Firstly,through biomechanical calculation and analysis,the sampling positions of physiological signals,which can effectively reflect the fatigue state of driver,are reasonably selected.They are upper trapezius on both sides of 6th cervical vertebra and vertical rachial muscles on both sides of 4th lumbar vertebra.Then,on the basis of de-noising on measured EMG signals by using empirical modal decomposition algorithm,cervical and lumbar EMG characteristic parameters representing the fatigue state of driver are found,and a principal component analysis is conducted on characteristic parameters extracted(the complexities of cervical and lumbar muscle,and the approximate entropy of lumbar muscle)with two principal components obtained,effectively retaining useful information and eliminating redundant one,achieving the dimension descent of characteristic parameters.Finally,a fatigue driving model is built with the two principal components as arguments,and the model has high correctness and operation speed.The results show that the scheme proposed has good identification effects in distinguishing the normal and fatigue states of driver with a correct rate higher than 90%.
fatigue driving;biomechanics;EMG signal;complexity;approximate entropy
10.19562/j.chinasae.qcgc.2017.08.016
∗国家自然科学基金(NSFC 51405073)资助。
原稿收到日期为2016年7月12日,修改稿收到日期为2016年9月27日。
王宏,教授,博士生导师,E-mail:jiangx@smm.neu.cn。