基于心率变异率的人体疲劳度评估模型

2021-02-01於鹏严良文陈佳乐余越曹可乐黄闪董旭东

北京生物医学工程 2021年1期

於鹏严良文陈佳乐余越曹可乐黄闪董旭东

0 引言

精神疲劳是指由脑力劳动繁重、神经系统紧张程度过高而引起的精神疲怠现象，属于人体的一种亚健康状态，往往在长时间从事一项相同的、超负荷的工作后会产生这种状态[1]，同时会造成工作效率下降，严重时会对人的身体造成损伤。所以，对人体进行疲劳状态的评估具有重要意义。

目前关于精神疲劳的评估方法主要源于主观和客观两个方面。主观方面的评定方法主要是采纳问卷调查的形式，这种方法不仅用于评估疲劳，在情绪、精神负荷、心情等多种心理表现的评估上也有所应用，广泛应用于航空疲劳和驾驶疲劳的评定中。因为人体的生理信号在疲劳时的特征表现与非疲劳状态时相比有着较大的改变，所以客观评定法可以通过提取人的生理信号进行分析评判。现在用于疲劳检测的生理信号主要有生化信号、脑电、眼电、心电、肌电、光电容积脉搏波(photoplethysmography, PPG)等[2]。

生化信号涉及到人体的激素水平、体液变化、血糖、血脂等，需要进行有创提取，并做一系列的化学分析，步骤十分繁琐。李明爱等[3]证明了脑电信号可以用于判断疲劳驾驶，是评定人体精神状态的常用手段，但是采集脑电信号的配套设备较为昂贵；眼电信号通过获取一段时间内眼睛状态的变化来反映疲劳状态；心电信号通过分析心率变异率(heart rate variability, HRV)来判断人体疲劳状态；肌电信号能够体现肌肉的功能状态从而反映人体的疲劳状态，但上述4种信号在采集时都需要进行多点采集，会给使用者会带来不便。

PPG是一种非侵入性的光电检测技术[4]，只需将微型的光电传感设备放置于手指、耳垂等身体表面即可采集到信号，且广泛用于可穿戴设备中，采集方式更加简便。

HRV是可以用来反映心脏交感神经和迷走神经活动紧张性和均衡性的一种非侵入性指标[5]。Al-Libawy 等[6]使用胸带式心脏监测仪和可测心率的腕表获取人体HRV来分析人体疲劳程度。Tsai等[7]用HRV和脑电信号结合的方法来分析建筑工人的疲劳程度，来规避因为疲劳而产生的安全事故。郭玮珍等[8]从心电信号中提取出HRV，并对其进行时频域分析，对人体疲劳做了定量化的评价。祝荣欣等[9]通过实验证明，HRV与肌电信号相比有着更好的疲劳识别效果，并且可以与肌电信号结合来提高识别能力。但现在提取HRV信息的方法通常是使用心电采集设备进行相应的采集分析，操作复杂且成本较高。

隐马尔可夫模型(hidden Markov model, HMM)在语音识别、故障诊断等领域有着广泛应用，且具有很高的准确率。在获取与人体精神状态密切相关的生理指标的前提下，利用HMM理论进行建模可以实现对人体疲劳状态的准确评估，这为人体精神疲劳状态的评估方法扩展了思路。

PPG信号可以检测到皮下血管组织中的血液容积变化，进而反映心率、血氧等多种生理标准，PPG采集到的心率和心电图是一致的，峰峰值之间的间隔也极为相近，PPG信号也可以用来分析心率变异性，进一步分析精神疲劳。为此，本文提出对PPG信号进行分析得到人体HRV，并运用HMM理论来建立人体疲劳状态评估模型，以此对人体疲劳状态进行检测。

1 HMM原理

HMM是一种基于统计分析的时间序列信号模型[10]，一个完整的HMM可以由5个参数描述，记为λ=(N,M,π,A,B),具体参数意义如下[11]：

(1)N表示模型中的状态数量。分别将模型的N个状态表示为S1,S2,…,SN，将时刻t时模型所处的状态记为qt，那么有qt∈{S1,S2,…,SN}。

(2)M表示每一个状态所对应的观测值的数目。分别将M个观测值表示为V1,V2,…，VM将时刻t时模型所处的观测值记为ot，那么有ot∈{V1,V2,…VM}。

(3)π表示的是模型的初始状态概率向量，记为π={πi}，且

πi=P(q1=Si)i∈(1,N)

(1)

(4)A表示模型的状态转移概率矩阵，记为A={ai,j}，且

ai,j=P(qt+1=Sj|qt=Si)i,j∈(1,N)

(2)

(5)B表示模型的观测值概率矩阵，记为B={bj(k)}，且

bj(k)=P(ot=vk|qt=Sj)

j∈(1,N),k∈(1,M)

(3)

在实际的应用中，HMM主要存在以下三类问题需要解决：

第一类问题是在已知观测序列O={o1,o2,…,oT}和模型参数λ的前提条件下，计算出观测变量序列的概率P(O|λ)，解决这类问题通常使用前向-后向算法。

第二类问题是在已知观测序列O={o1,o2,…,oT}和模型参数λ的前提条件下，为能实现基于极大后验或极大似然上的最优，选择一个相对应的状态序列Q={q1,q2,…,qT}，常用的计算方法是Viterbi算法。

第三类问题是在已知观测序列O={o1,o2,…,oT}的前提条件下，为能使模型的观测值序列O={o1,o2,…,oT}有最大的概率P(O|λ)，训练并调整模型参数λ。在模型训练的问题上，基本使用Baum-Welch算法来解决。

本文利用实验获得样本数据来建立HMM模型，并对所建立的HMM人体疲劳评估模型进行验证，因此研究内容涉及上述问题中的第二类和第三类问题，使用Baum-Welch算法和Viterbi算法来做相应计算。

2 基于PPG信号的HRV信息提取

2.1 实验数据的采集

数据来自志愿参与实验的22名在校研究生，年龄在22～27岁之间。志愿者在实验前一天禁止饮用咖啡、浓茶等引起精神亢奋的饮品和含有酒精等引起人疲劳的饮料，并要求志愿者在前一天不出现过度运动，以保证实验数据不被其他因素干扰，可以正确反映志愿者当天精神状态的变化。

实验在安静的环境下进行，环境温度保持在22～25 ℃之间，湿度在45%左右。PPG信号的采集设备选用以MAX30102芯片为核心的光电容积脉搏波传感器，采样频率设定为100 Hz，并选用成熟的商用产品——PHILIPS DB12心率血氧仪，同时测量受试者的心率与实验数据计算得到的心率进行对比。

实验从早上9点30分开始，持续时间为13 h，整个实验过程中，除了午餐和晚餐时间外，要求志愿者坐在电脑前专注地完成阅读文献和处理数据等科研任务。参与实验的志愿者均有白天休息的习惯，在9∶30～10∶30、12∶30～13∶30、15∶30～16∶30、18∶30～19∶30、21∶30～22∶30五个时间段中，志愿者至少参与4个时间段的实验，并剥夺其白天休息的时间，以造成其疲劳的状态[12]，每个时间段内连续采集时长不低于30 min。受试者每次实验前后填写由英国King’s College Hospital心理医学研究室和Queen Mary’s University Hospital的许多专家共同编制的疲劳量表-14(Fatigue Scale-14，FS-14)[13]进行疲劳程度评分，结合受试者当时的生理表现(如打哈欠、眼睛疲劳、头晕等)来综合评定受试者当时是否疲劳并记录，以此得到实验记录的状态序列。

实验过程中，用黑色绑带将传感器与被测者的左手食指缠绕在一起，以此来消除环境光的影响。与此同时，将PHILIPS DB12夹于受试者右手食指并记录心率。实验过程中，受试者保持肢体的静止与均匀呼吸，并远离手机、台灯、电钻等电磁干扰源。通过串口将采集到的PPG数据传输至电脑，保存成表格的形式方便计算机进行后续的处理，采集场景如图1所示。

图1 数据采集场景

2.2 PPG信号的预处理

在国际标准中，短时程数据的时间长度一般为5 min，具有易于掌握、容易控制、受外界干扰比较小等特点，在很多研究和临床试验中采用的多是这种短时程方法来对HRV数据进行分析。本研究中，将数据划分为多个5 min时长的数据进行分析，即将数据截取为长度30 000个采样点的数据进行处理分析，为了更清晰地体现处理前后的PPG信号波形变化，文中仅截取长度为3 000的数据进行阐述。

PPG信号具有频率低、幅值小等特点，采集过程中容易受到外界环境的干扰。因此，需要对采集到的PPG原始信号进行预处理，消除噪声污染和基线漂移等干扰。

五点三次平滑算法属于平滑滤波算法的一种，利用多项式最小二乘法来逼近采样点，算法十分简单，滤波效果较好[14]。使用该算法可以很好的消除PPG信号中的噪声干扰，并保留了原有的曲线特性，处理结果如图2所示。

图2 滤波前后信号的对比

PPG信号的基线漂移主要来自工频干扰、呼吸波干扰以及人体动作等。实际测量时，曲线将无法避免地产生漂移，基线漂移会使脉搏波的波形会产生较大的波动，对脉搏波的识别与分析带来了较大的干扰。本文利用小波变换的带通滤波特性以消除基线漂移的影响，处理结果如图4所示。

图4 去除基线漂移后的波形

2.3 HRV信号提取

要从PPG信号中提取出心率变异度信号，关键点是确定脉搏波周期中主波P波的波峰位置(*标记处)。本文采用差分阈值法来确定信号的P波波峰位置，得到标记P波波峰位置的图像如图5所示。

图5 获取峰值位置

获得P波波峰位置后，根据相邻两波峰的时间差T来计算心率，计算公式为：

(4)

(5)

式中：peaki(i=1,2,3,…,n)表示这段时间内n个周期的峰值横坐标；num表示相邻量波峰采样数的平均值；Ts表示时间间隔，本文中Ts=0.01 s。

每30 s记录一次PHILIPS DB12心率血氧仪的显示数据，取每一段时间内的平均值作为每个人的心率，将其作为基准心率与根据实验数据计算得到的心率进行对比。因为数据较多，这里随机展示4位志愿者的数据，如表1所示。

图3 去除基线漂移前的波形

表1 心率比较

由表1数据得到误差范围都在3%内，可以证明实验所得PPG数据可以准确反映人体的心率。

获得P波波峰后，可以对HRV数据进行时域分析，即计算一系列的RR间期特征指标。常用的时域研究指标[15]有三个：均值(MEAN)、N-N间期的标准差(standard deviation in N-N intervals,SDNN)、相邻N-N间期差值均方根(root mean square of successive differences,RMSSD)。计算公式如下：

(6)

(7)

(8)

对实验获得的数据进行分析，HRV中的时域指标SDNN在人体进入疲劳状态时有明显的升高，故以SDNN值作为观测变量进行HMM建模。

3 HMM疲劳评估模型的建立

3.1 Markov链的确定及特征参数处理

图6 基于HRV的HMM疲劳评估模型的建立过程

本研究的目的在于确定人体是否在精神疲劳状态，因此将隐状态分为两种，即清醒状态和疲劳状态。因为人在某一刻处于疲劳或清醒状态时，下一时刻都有可能处于清醒或疲劳的状态，体现在HMM模型中是：状态可以向下一个状态转移也可以向自身状态转移。由此分析得到本文所建立的人体疲劳状态评估模型的Markov链的状态数目为2，如图7所示。状态S1表示志愿者处于清醒状态，状态S2表示志愿者处于疲劳状态。

图7 Markov链示意

在本文建立的HMM人体疲劳评估模型中，将隐状态定义为两种状态，相应观测变量的状态也分为两类，即正常状态和异常状态。箱型图能够准确稳定地描绘出数据的离散分布情况，故本文基于实验数据使用箱型图进行统计学分析以确定SDNN状态分割的阈值。SDNN数值统计结果的箱型图如图8所示。

图8 SDNN数值统计结果

由图8可知，清醒状态的上四分位数小于60，而在疲劳状态的下四分位数大于60，故将SDNN的状态分割阈值设为60。清醒状态设为1，疲劳状态设为2。当SDNN的数值小于60时为正常状态且设为1，否则为异常状态设为2，以便后续进行编程处理。

3.2 HMM模型初始参数的确定

由于初始状态概率向量π和状态转移概率矩阵A的初值对模型训练结果影响不大，因此只需满足以下公式的要求即可：

πi=P(qi=Si)，1

(9)

(10)

故初始状态概率向量π和状态转移概率矩阵A的初值可以考虑随机选取或均匀取值。由于模式识别通常采用左-右模型，所以初始状态概率向量πi不做估计，设定为：

π1=1

πi=0,(i=2,3,…,N)

状态转移概率矩阵A的初值利用均匀分布的原理选取，利用式(11)确定初值：

(11)

由上文分析可知，Markov链的状态数目为2，即清醒状态和疲劳状态，从每种状态转移出去的转移路径数目为2，故aij=0.5。即初始状态转移概率矩阵A为：

本文设定清醒状态为1，疲劳状态为2，即表示人体从此刻清醒状态下一时刻转移到清醒状态的概率，如a12表示人体从清醒状态转移到疲劳状态的概率，a21表示人体从疲劳状态转移到清醒状态的概率，a22表示人体从疲劳状态转移到疲劳状态的概率。

B的初始值基于所得实验数据，对采集的PPG信号进行分析并提取SDNN参数，来组成构建HMM人体疲劳评估模型的样本数据库。利用数理统计的方法计算出矩阵B中的各元素bij取值，bij当状态为i时，观测值为j的概率。

如计算初始观测值概率矩阵B中的b11，选取一组长度为24的观测值样本序列作为统计的数据样本：

O=[2,2,1,1,1,1,2,2,2,2,1,1,2,2,

2,2,2,2,2,2,1,1,1,1]

此时对应的实验记录的状态序列为：

Q=[1,1,1,1,1,1,2,2,2,2,2,2,2,

2,2,2,2,2,1,1,1,1,1,1]

b11表示人体处于清醒状态时观测变量为正常的概率，即状态序列中数值为1时对应的观测序列中数值为1的概率。在上列状态序列中数值为1的个数为12个，状态为1且观测值为1的个数为8，则b11=8/12，采取同样的方法来获得观测概率矩阵B中其他元素的数值。

每位志愿者完成当天的实验后，分别会得到一组长度为24的观测值序列和状态序列。为了避免单一特殊数据的训练结果对模型产生影响，本文随机选取10位志愿者的数据运用上述方法进行初值的选取，得到长度为240的观测值序列和实验记录的状态序列进行建模，求得初始观测值概率矩阵B如下：

3.3 HMM模型参数的训练优化

3.4 人体疲劳评估模型的验证

实验过程中发现，不同的人精神状态的转变方式是有差异的。本文中规定清醒状态为“1”，疲劳状态为“2”，单次实验内志愿者的精神状态不会发生改变，会形成6个连续的状态，一位志愿者完成当天的4次实验后会产生长度为24的状态序列，并将其作为基准状态序列。如实验记录的状态序列Q=[1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2,2,2,1,1,1,1,1,1]代表受试者实验当天的精神状态变化模式为“清醒—疲劳—疲劳—清醒”。为验证模型的准确性，随机选取3位精神状态转变方式不同的志愿者数据，将观察值序列输入到建立好的模型中，运用Viterbi算法求得对应的最优状态序列并计算准确率，结果如表2所示，其中误判状态以斜体加粗的形式框出。

由表2数据可知，建立的HMM人体疲劳评估模型的准确度均在80%以上。因此，本文构建的基于HRV信号的HMM人体疲劳评估模型可以很好地检测到人体精神疲劳状态，并且不会因为人体精神状态转变模式的不同而产生较大偏差。

表2 模型的准确率

4 讨论

人在精神疲劳的状态下，反应能力和工作效率都有所下降，检测人体的疲劳状态一直是一个社会意义重大的课题。国内外科研工作者证明了生化、脑电、眼电及肌电等信号可以作为评定人体疲劳状态的客观指标并且已经取得了一定成果，但是这些信号的采集分析方式较为繁琐，无法应用在日常生活中。HRV与人体交感神经和迷走神经活动紧张性和均衡性关系密切，可以作为评估人体疲劳状态的客观指标。传统的HRV获取方式是将多个电极片贴至人体皮肤表面并通过心电设备采集分析，会对使用者造成不便。

PPG信号采集到的心率和心电图是一致的，峰峰值之间的间隔也极为相近，故PPG信号也可以用来分析HRV，进一步分析精神疲劳，并且PPG信号的采集只需要将微型的光电传感器放置在指尖、手腕等身体表面即可，装置简单，结构紧凑，广泛应用于可穿戴设备中。本文以主观评定和客观评定相结合的方法，对采集的PPG信号做相应的预处理，降低了噪声干扰及基线漂移的影响，并在此基础上提取人体HRV信息。与文献[16]中使用的BP神经网络和LRNN神经网络不同，本文将HRV中的时域指标SDNN作为观测变量，记录受试者当时的精神状态，运用HMM理论建立人体疲劳状态评估模型，为人体的疲劳状态评估提供了新的研究思路，并且可以与可穿戴设备相结合，具有广阔的应用前景。

受限于实验条件，实验参与人数不足有可能会带来偶然性结果，今后需要扩大实验样本数量来减少偶然因素的影响。人体的精神状态可以更加细化分类，做到对人体疲劳状态更加准确的判断。