基于心肌电的联合收获机驾驶人疲劳检测研究

祝荣欣,王金武

(1.桂林航天工业学院 广西航空物流研究中心,广西 桂林 541004;2.东北农业大学 工程学院,哈尔滨 150030)

0 引言

与机动车驾驶不同,联合收获机驾驶操作比较费力,驾驶员要兼顾仪表显示、割台行驶位置和运转状态等多项信息;同时,联合收获机驾驶环境较差,颠簸严重,噪声较大,光照剧烈,微气候环境质量低,周围景观单一,且联合收获机驾驶室内部人机设计的舒适性远不如机动车。因此,联合收获机驾驶人的心理和生理机能更易产生失调,出现倦怠、烦躁、打磕睡等心理和生理疲劳现象,降低反应能力和警戒程度,造成交通作业事故。疲劳驾驶已成为联合收获机作业事故发生的最主要原因,直接危害着生命财产的安全,因此有效地辨识联合收获机驾驶人的疲劳状态对预防作业事故、保障安全驾驶及保护驾驶员身心健康具有重要意义[1]。

目前,驾驶疲劳状态的检测主要有主观和客观2 种方法。客观检测法的研究主要集中在3个方面:检测驾驶人的眨眼频率、面部状态和头部运动等物理行为的变化[2-5];检测方向盘运动信息、偏移值和行车速度等车辆运行参数[6-8];检测驾驶人的肌电(electromyogram,EMG)、心电(electr-ocardiogram,ECG)、脑电(electroencephalogram,EEG)和眼电等生理信号的变化规律[9-13]。检测驾驶人物理行为特征的方法主要利用机器视觉技术,易受光线、角度、面部障碍物、振动等环境因素的干扰;检测车辆运行参数的方法是通过方向盘和车辆的行驶状态来判别人体的疲劳程度,易受个人习惯、道路环境及交通状况等因素影响;基于生理信号判断驾驶疲劳虽具有测试复杂、对驾驶操作产生不便的缺点,但生理信号能够直接反映驾驶人由清醒变为疲劳过程中大脑、心脏和肌肉等活动状态,被公认为是最客观、准确的分析方法,取得了较多的有益研究成果。Saroj提出EEG与驾驶疲劳状态高度相关[14];Patel等通过实验研究证明ECG的谱功率分布能够有效反映驾驶疲劳[15];Hostens等认为EMG是反映驾驶过程中肌肉疲劳的有效生理信号[16]。在上述研究基础之上,Wang Hongtao等采用功率谱密度和样本熵两种指标,开发了一种基于干脑电图信号的实时驾驶疲劳检测方法[17];Wang Lin等利用便携、非接触式实时传感器采集的EMG和ECG,基于多元回归理论建立了驾驶疲劳识别模型,对正常和疲劳状态的识别准确率为91.73%[18]。

目前,国内外在农机驾驶疲劳领域的研究尚处于起步阶段,研究集中在探索拖拉机振动对驾驶人心率和EMG的影响[19-20],以及基于EMG分析拖拉机模拟驾驶时驾驶人颈、腰、臂肌肉的生理活动和局部疲劳与工作负荷的关系[21-24]。研究中客观评判联合收获机驾驶人疲劳状态的成果较少,应用的心率和EMG方法不能全面地反映驾驶人体力和精神疲劳的产生过程。

HRV能够定量评估驾驶负荷中心脏交感和迷走神经张力及其平衡性,EMG可客观地评价肌肉疲劳状态,EEG可直观、有效地反映精神疲劳下大脑的生理活动信息。单一生理信号的反馈信息通常具有局限性,综合不同部位生理信号评价驾驶疲劳,可实现信息互补,从不同角度表达驾驶人生理状态,提高驾驶疲劳程度的识别准确度。但考虑实车驾驶时EEG的测量对驾驶操作的侵入性较强,振动对EEG干扰大,本文基于ECG和EMG建立联合收获机驾驶人疲劳检测方法,探究ECG和EMG非线性特征参数随驾驶时间的变化规律,构建联合收获机驾驶人疲劳状态识别模型,期望实现对联合收获机驾驶人疲劳状态的客观评测,为进一步开展农机危险性驾驶状态检测与预警技术的研究提供理论依据。

1 实验方法

1.1 实验样本与设备

选择10名联合收获机驾驶员(男性)作为被试,年龄(34.2±7.39)岁,驾龄(5.2±1.86)年,所有被试均身体健康,无重大心血管疾病。要求被试保证实验前晚睡眠充足,实验前2h无剧烈运动,情绪稳定,避免摄入咖啡因和酒精。

在约翰迪尔S660型联合收获机(割台尺寸9m)上进行实车收获实验。实验过程中,通过成都仪器厂生产的RM-6240C多通道生理信号采集处理系统实时采集ECG和sEMG信号,采样频率为1kHz。ECG由胸部三电极方式(左腋前线第四肋间、右侧锁骨中点下缘和剑突下偏右)获得,sEMG分别测试颈部左、右中斜角肌和L3腰椎右侧竖脊肌。

1.2 实验过程

实验在黑龙江省农垦总局北安分局格球山农场进行,选择的实验地块具有直线距离长、面积较大、纵断面坡度小、作物高度相近及景观单调一致的特点,收获作物为大豆,实验时间为每日8:00-11:00。

在实验起点处,被试者填写实验前总体疲劳程度主观调查问卷,并静坐在驾驶室中10min,然后开始收获驾驶。驾驶过程包括直行、转弯和卸粮3个环节。直行时速保持在8～10km/h,任务持续 120 min,全程无休息,并每隔10min填写1次总体疲劳程度主观调查问卷。实验场景和信号示例如图1所示。

2 分析方法

2.1 驾驶疲劳特征参数提取

心率变异性(heart rate variability,HRV)是ECG的重要分析手段,是指逐次心跳间期存在的微小差异,可定量评估驾驶负荷中心脏自主神经性活动的交感和迷走神经张力及其平衡性,能够反映驾驶人综合疲劳程度的变化。表面肌电信号(Surface Electromyography,sEMG)是通过测量肌肉皮肤表面微弱的电流变化来表征局部肌肉活动水平和功能状态,其特征与驾驶人腰、颈部疲劳程度有密切联系。HRV和sEMG被普遍认为是混沌或含有混沌成分的非线性、非平稳信号,具有典型的非线性特征,与线性分析方法相比,非线性动力学方法有助于精确捕捉上述信号的本质特征。已有研究表明,复杂度和近似熵是有效表征驾驶疲劳的特征参数[25]。针对联合收获机驾驶人的作业特点和操作环境,考虑信号的非线性、短时数据特点和参数的抗干扰性,选取HRV和颈部、腰部sEMG的非线性特征参数C0复杂度和样本熵作为驾驶疲劳识别特征参数,期望能够比较客观、完整地描述驾驶人HRV和sEMG信号中包含的疲劳信息。

2.1.1C0复杂度

C0复杂度是测度混沌系统产生序列接近随机序列程度的一个量化指标,比传统的C1、C2复杂度算法优越[26]。C0复杂度可反映时间序列随其长度增加出现新模式的速率,时间序列复杂程度越小,C0复杂度就越小。该法计算量小、计算速度快,利用较短的数据即可求解,广泛应用在生物医学工程领域。C0复杂度的求解过程如下:

设长为N的时间序列为{f(k),k=0,1,2,…,N-1},对其进行Fourier变换转换,并记WN=e2πi/N,则

(1)

设序列{FN(j),j=0,1,2,…,N-1}的均方值为

(2)

(3)

(4)

C0复杂度定义为

(5)

2.1.2 样本熵

样本熵是描述非线性时间序列复杂度的一种定量方法,是在近似熵算法的基础提出的[27],可以减小近似熵计算的误差,与时间序列的随机部分紧密性更强。样本熵值越大,表明时间序列的复杂程度越大。样本熵具有抗干扰能力强、适合于短时数据等优点,因此在生物医学工程领域常用于分析与检测人体生理信号的特征。样本熵的原理如下[28]:

已知长度为N的R-R间期时间序列{x(i),i=1,2,…,N},从任意点开始任意选取连续的m个数据,构造1组m维向量Xm(i),记为Xm(i)=[x(i),x(i+1),...,x(i+m-1)]。其中,i=1,2,…,N-m+1。

定义向量Xm(i)和Xm(j)之间的距离d为向量对应元素之差的最大绝对值,即

(6)

信号的SampEn定义为

(7)

在上述计算过程中,m为重构相空间的维数,前期研究建议选择m=2[29]。经验得出r=(0.1-0.25)Std(Std表示数据的标准差),这里选择r=0.15Std。

2.2 主成分分析法

由于不同被试的个体差异、实车实验环境的微小差异及6种特征参数变化幅度不同,使得到的驾驶疲劳特征参数之间既存在有价值信息,也存在冗余信息。为保留有价值信息,去除冗余信息,对特征参数应用主成分分析法(Principal Component Analysis,PCA)进行降维,将得到的主成分作为疲劳状态识别因子,以期大幅提高疲劳状态的识别准确率。PCA的计算方法为[30]:

首先对原始数据进行归一化处理,然后按式(9)计算向量x和y的协方差,得到协方差矩阵C。

(9)

对协方差矩阵C进行特征根分解,得到特征根及特征向量,即

C=UΛUT

(10)

其中,U为特征向量构成的矩阵;Λ为由特征根λ1,λ2,…,λn构成的对角阵。

(11)

将原始数据投影到U矩阵的特征向量构成的新坐标系中,由这些新的投影构成的向量就是主成分的分向量。

2.3 驾驶疲劳状态识别模型

支持向量机(support vector machine,SVM)是1995年提出的基于结构风险最小化原则和VC维理论的一种机器学习方法。比较传统的机器学习方法,SVM更适用于小样本、非线性、高维模式分类识别问题,并具有良好的通用性和鲁棒性。

SVM的计算过程如下[31]:

设驾驶疲劳状态识别因子集为{xi,yi},xi∈Rn,yi∈{+1,-1}为类别号,i=1,2,3,…,n,n为疲劳识别因子样本个数。其分类面函数设为

(12)

其中,αi为拉格朗日乘子;b为分类阈值;k{xi,yi}为核函数,本文选取RBF核函数。

k(xi,xj)=exp(-γ|xi-xj|2)

(13)

按式(12)计算上述分类面函数中αi的最优解集,即

(14)

其中,C为Lagrange乘子设定的上限,C>0。在式(14)得到的最优解集中,选取αi>0(i=1,2,…,s且s

(15)

对于一组未知状态的驾驶人疲劳状态识别向量Xr=(xr1,xr2,…,xrp),将其代入式(15)中。若f(Xr)=-1,则判定驾驶员为轻度疲劳状态;若f(Xr)=+1,则判定驾驶员为重度疲劳状态。

3 驾驶疲劳特征参数分析

将每位被试在驾驶过程中采集的120minECG和sEMG数据,每10min选取30s的静息状态数据(即无明显的瞬间波动,避开转弯和卸粮环节)作为1组信号,共12组,分别对应12个时段。采用bior小波消除工频干扰和基线漂移等噪声,计算ECG的HRV时间序列,然后按照前述方法计算得到HRV、颈部和腰部sEMG的C0复杂度和样本熵。将10名被试12个时段的特征参数值取平均值,得到C0复杂度和样本熵均值随驾驶时间的变化趋势,如图2所示。

由图2可以看出:HRV、颈部和腰部sEMG的C0复杂度和样本熵随驾驶时间的增加均呈下降趋势,驾驶后期下降趋势变缓。

为研究C0复杂度和样本熵表征驾驶疲劳的效度,应用配对样本t检验的方法判别各特征参数值在驾驶前后变化的程度与方向。首先采用单样本K-S检验方法对第1时段和第12时段的各特征参数值的分布规律进行检验,发现各值的分布规律均为正态分布;然后,对上述2个时段的各疲劳特征参数值进行两配对样本t检验,检验结果如表1所示。由表1可以看出:在驾驶前后2个不同时段各疲劳特征参数值均表现出显著差异(P<0.05)。

图2 特征参数变化趋势图

表1 特征参数差异检验结果

4 驾驶疲劳状态识别

参考驾驶实验中总体疲劳程度的调查结果,将驾驶实验的10～40min定义为轻度疲劳等级,90～120min定义为重度疲劳等级。将对应时段的ECG和sEMG数据按照前述方法进行数据处理和特征提取,得到驾驶疲劳状态特征参数向量集,特征提取的时间窗口设为30s,每1min提取一次。

为保留HRV、颈部、腰部特征参数的有价值信息,去除冗余信息,按照前述PCA的原理对特征参数进行降维,计算得到前3个主成分U1、U2、U3的贡献率分别为50. 67%,28.53% 和13. 18%,累积贡献率达到92. 38%,超过90%。因此,将这3个主成分作为驾驶疲劳状态识别模型的识别因子。

U1、U2、U3是原始6个特征参数的线性组合,表达式为

U1=0.6398X1+0.2458X2+0.3601X3+

0.4320X4+0.3515X5-0.2597X6

(16)

U2=0.7564X1-0.2961X2-0.28291X3-

0.2150X4-0.3669X5+0.2375X6

(17)

U3=-0.0574X1+0.1941X2+0.62571X3+

0.0145X4-0.6182X5-0.2691X6

(18)

其中,X1,X2,…,X6分别表示HRV C0复杂度、HRV样本熵、颈部C0复杂度、颈部样本熵、腰部C0复杂度及腰部样本熵。

对实验得到的600组驾驶疲劳状态识别因子向量样本基于SVM模型进行驾驶疲劳状态识别,并采用十折交叉验证法得到识别正确率均值。训练误差设为10-4,最大迭代次数为500次,RBF核函数中C和γ值的取值范围为(0.5,1,2,4,8,16)和(0.0625,0.125,0.25,0.5,1和2),通过网格寻踪法得到最优参数C=2,γ=0.125。十折交叉验证检测结果如表2所示。

表2 十折交叉验证检测结果

由表2可知:模型训练集和测试集的平均准确率为92. 72%和90. 78%,总体平均准确率为91.75% ,表明该模型具有较高的识别精度。

5 讨论

5.1 驾驶疲劳特征参数变化

由图2可以看出:HRV的C0复杂度和样本熵随驾驶时间的增加均呈下降趋势。这表明,驾驶员的疲劳程度不断加深,驾驶员心脏交感神经和迷走神经相互调节的能力减弱,辨别与适应外界环境变化的能力下降,感知收获地块的差异及各种仪表刺激的能力降低。

颈部和腰部sEMG的C0复杂度和样本熵随驾驶时间的增加均呈下降趋势,表明随着驾驶时间的延长,sEMG信号的复杂性逐渐降低,在维持等长收缩过程中肌肉的变化模式更趋简单和有序,随机性程度下降,表明肌肉逐渐进入紧张僵直状态。

受收获件和个体差异的影响,驾驶疲劳特征参数曲线会有所波动,但整体下降趋势的规律性明显,波动较小,且各疲劳特征参数值在驾驶前后不同时段均呈显著性差异,表明C0复杂度和样本熵在反映驾驶疲劳生理信息方面具有较好的表征能力和稳定性。本文研究得到C0复杂度和样本熵的变化趋势结论与前人的研究成果结论一致。

5.2 主成分分析降维的优越性

为考查应用PCA实现特征参数降维的优越性,比较以原始特征参数为识别因子和以主成分为识别因子进行驾驶疲劳状态判别的准确率,结果如表3所示。

表3 两类参数识别准确率比较

由表3可见:以原始特征参数为识别因子的模型平均识别准确率为87.53%,以主成分为识别因子的模型平均识别准确率为91.75%,识别效果明显提高。这说明,应用PCA对特征参数降维能够有效去除特征参数的冗余信息,保留其有价值信息,可实现提高疲劳状态识别正确率的目的。

5.3 驾驶疲劳状态识别分析

根据表3中的主成分识别结果得知:联合收获机驾驶人疲劳状态识别模型对轻度和重度疲劳等级的识别准确率分别为90.49% (±3.20%)和93.01% (±2.13%),总体识别准确率为91.75%。该模型对重度疲劳等级的识别准确率较高,而对轻度疲劳等级的识别准确率相对较低。重度疲劳等级下驾驶员HRV和sEMG特征比较明显,因此识别准确率较高;而当驾驶员处于轻度疲劳时,由于已经产生轻微疲劳,但为了保证安全驾驶,仍然强迫自己处于清醒状态,导致HRV和sEMG特征曲线波动幅度较大,所以识别准确率稍低。此外,被试个体之间的体质差异、神经反射不同等也是造成错分的原因之一。

5.4 不同生理信号组合识别效果分析

为验证使用多种生理信号指标是否可以有效提高驾驶疲劳状态识别的准确率,选用不同生理信号特征参数组合进行驾驶疲劳状态识别检测,对比分析不同组合的识别准确率和识别时间,识别结果如表4所示。

表4 不同特征组合驾驶疲劳状态识别结果

单独采用颈部和腰部肌电特征进行疲劳状态识别的效果差异不大,识别准确率也较低,且时间较长,表明应用肌电特征判别驾驶人总体疲劳状态的效果不理想;而采用HRV特征的疲劳识别效果优于肌电特征,表明HRV在表征驾驶人心理和生理的疲劳状态方面有一定的优越性。对比组合4、5和1,在HRV特征的基础上,增加某一疲劳部位的肌电特征进行识别检测,准确率有所提高;最后将HRV特征与所有肌电特征相结合形成组合6,其识别结果为91.75%,明显高于其他组合,且时间最短。这表明HRV特征与肌电特征能够形成互补,从整体和局部多角度、全面地反映驾驶人疲劳时的心脏状态和局部肌肉状态,融合多种生理信号特征进行疲劳状态识别可明显提高识别准确率。

6 结论

1)HRV、颈部和腰部sEMG的C0复杂度和样本熵在驾驶过程中呈下降趋势,驾驶前后存在显著性差异,两种指标在反映驾驶疲劳生理信息方面具有较好的表征能力和稳定性。

2)采用PCA对HRV和颈部、腰部sEMG的6项非线性特征参数降维,基于SVM方法建立了联合收获机驾驶人疲劳状态识别模型,模型性能良好,识别正确率达91.75%。

3)与单一信号特征信息相比,融合HRV与sEMG特征信息进行驾驶疲劳状态识别,可从整体和局部多角度、全面地反映驾驶人疲劳时的心脏状态和局部肌肉状态,明显提高疲劳状态识别准确率。

值得注意的是,虽然本研究在识别驾驶疲劳方面取得了较好的效果,但仍有大量的研究工作需要进一步深化和完善。笔者认识到在分类数据集中需要更大的样本大小,这些数据集中包含了较大的主体间方差。后续研究将继续引入EEG、EOG等其他生理信号,进一步整合各种生理信息,建立可靠的驾驶疲劳识别模型,使其在农业机械驾驶员疲劳预防领域具有广泛的应用价值。