井下生产操作实践中疲劳状态感知

刘毅， 张纬韬， 张帆

(中国矿业大学(北京) 机电与信息工程学院， 北京 100083)

0 引言

在煤矿事故中人为因素引发的事故占比超过80%[1]，其中由疲劳和注意力不集中引发的误操作是造成人为事故的重要因素[2]。我国煤炭生产以井工为主，煤矿井下是相对昏暗与密闭的环境，当生产操作实践人员在井下长时间作业后，会有疲劳、头脑昏沉、注意力不集中、反应迟钝等症状，导致在操作中出现不安全行为，极易引发事故。为降低因疲劳发生事故的概率，需对井下生产操作实践人员疲劳状态进行检测。

早期的疲劳检测方法以生理信号检测法为主，该方法需要接触人体采集不同部位生理信号(心率、心电图、呼吸、血氧等)特征[3]，实施较为复杂，不适合井下应用。眼部检测法是目前一般环境下非接触式人员疲劳检测的主要方法[4]，与生理信号检测法相比更易于实施。该方法利用摄像机采集眼睛状态的活动及变化(眨眼频率的变化、眨眼的时间间隔、瞳孔直径等)，通过对视频图像进行处理，采用PERCLOS判定准则(单位时间内眼睛闭合一定程度时所占时间比例)进行疲劳判断[5-6]。然而，煤矿井下照度低、光照不均、矿灯干扰严重，直接影响摄像头采集的视频图像质量，且井下生产操作实践人员需要佩戴安全帽，易遮挡摄像头，所以单纯通过眼部检测法进行疲劳检测的准确率低、易漏报和误报。

为解决上述问题，本文提出了一种基于头部姿态监测的井下人员疲劳状态感知装置，通过采集人员头部姿态数据并进行融合处理，实现头部姿态角解算，当头部姿态角偏转程度在单位时间内满足疲劳状态判定条件时，判断人员处于疲劳状态并发出预警，达到预防因疲劳工作导致人为生产事故发生的目的。

1 装置原理

当井下人员处于疲劳状态时，会产生头部下垂动作，大脑通过耳蜗感知到头部失去平衡，为了恢复平衡和保持清醒，大脑会控制颈部进行恢复性抬头动作，从而形成一个周期性点头动作。基于头部姿态监测的井下人员疲劳状态感知装置的原理就是对单位时间内点头动作进行记录与统计，当单位时间内点头动作占比超出阈值，即可判断为疲劳状态并发出预警。

(1)

式中：fNod为单位时间内点头动作占比；NNod为单位时间内被判定为有效点头动作的次数；NT为传感器在单位时间内采集数据的次数。

有研究表明[7]，成年人头部偏转范围是有限度的，一般头部围绕x轴旋转角度(俯仰角θ)范围为-60.4～69.6°，围绕y轴旋转角度(航向角φ)范围为-79.8～75.37°，围绕z轴旋转角度(滚转角γ)范围为-40.9～36.3°。人在打瞌睡时，头部动作包括点头或倾斜，扭头动作出现概率低，因此以头部围绕x，z轴的转动偏移量(即俯仰角与滚转角的变化量)作为点头的主要依据。由于头部姿态的疲劳判断没有统一标准，所以本文参考PERCLOS准则的P80标准，设定头部偏移程度大于可转动范围的20%时，即俯仰角变化量|Δθ|≥26.0°或滚转角变化量|Δγ|≥15.4°时，判定头部位置发生了偏移，从而进一步判定发生有效点头动作。由于疲劳动作体现在俯仰角与滚转角2个头部姿态角的变化上，所以本文参考文献[8]提供的实验数据，设定疲劳状态判定条件为单位时间内点头动作次数超过采样次数的12.5%，即fNod≥12.5%[8]。

煤矿井下工作现场必须佩戴安全帽，所以对安全帽的直接监测可实现对井下作业人员疲劳状态的全面感知[9-11]。在矿工安全帽上安装惯性测量单元采集角速度、加速度、磁场强度，通过对数据进行融合处理，得到头部姿态角，从而获得人员疲劳特征，进而判断人员是否处于疲劳状态。安全帽为惯性测量单元载体，载体坐标系如图1所示。

2 装置组成

基于头部姿态监测的井下人员疲劳状态感知装置主要由数据处理单元、惯性测量单元、无线通信单元、声光预警单元和电源组成，如图2所示。

图1 载体坐标系Fig.1 Carrier coordinate system

图2 基于头部姿态监测的井下人员疲劳状态感知装置组成Fig.2 Fatigue state perception device composition for underground personnel based on head posture monitoring

(1) 数据处理单元。安装在安全帽上，用于处理惯性测量单元采集的数据，通过多数据融合计算出人员头部姿态角(包括航向角φ、俯仰角θ和滚转角γ)，当头部姿态角偏转程度在单位时间内满足疲劳状态判定条件时，判断人员处于疲劳状态，控制声光预警单元发出声光预警信号，并控制无线通信单元向地面监控终端发送疲劳预警信号。数据处理单元选择MSP430F147单片机，其具有5种低功耗工作模式，内置2路UART接口，分别与无线通信单元、惯性测量单元通信。

(2) 惯性测量单元。安装在安全帽上，核心芯片采用GY-BNO055九轴姿态传感器模块，其内置12 bit三轴加速度计、16 bit三轴磁力计和三轴陀螺仪，支持I2C或UART通信，尺寸为12 mm×20 mm(长×宽)。惯性测量单元以固定采样频率采集九轴姿态传感器数据，包括三轴加速度(ax,ay,az)、三轴角速度(ωx,ωy,ωz)、三轴磁场强度(mx,my,mz)。

(3) 无线通信单元。由井下人员随身佩戴，不安装在安全帽上，用于通过无线方式发送疲劳预警信号，可采用WiFi，ZigBee，WSN通信模块或2G，3G，4G，5G移动通信模块。

(4) 声光预警单元。可安装在安全帽上，也可由井下人员随身佩戴，用于发出声光预警信号。

3 装置关键技术

常用头部姿态描述方法包括四元数法、旋转矩阵法和欧拉角法等。四元数法解决了万向节锁死的问题，通过球面插值获得均匀的转速，处理过程所需存储空间较少，缺点是实现难度较高；旋转矩阵法是最常用的计算方法，但处理过程中产生冗余信息，所需存储空间大；欧拉角法得到的始终是正交矩阵，在实时运算中容易出现“奇点”，不适用于全姿态工作[12-13]。综合考虑，本文采用四元数法进行头部姿态数据处理，流程如图3所示，达到头部姿态角解算的目的。

图3 头部姿态数据处理流程Fig.3 Head posture data processing flow

(5) 对地磁向量进行坐标转换得到mgb，将mgb与mb进行向量积运算，得到误差向量e2。

(6) 将误差e1与e2叠加，得到融合误差e。

(2)

(8) 通过前一时刻的QM对当前数据进行修正，对加速度和磁场强度进行处理得到静态四元数，对角速度积分得到动态四元数，再将动静态四元数融合并转换为欧拉角[14-16]。

(9) 对欧拉角进行分解再合成，消除静态姿态误差，得到x，y，z轴上的方向角四元数：

(3)

(10) 通过四元数乘法对方向角四元数进行合成，得到合成全姿态四元数Q*=qθ⊗qφ⊗qγ。

(11) 对合成全姿态四元数分解，求得当前时刻头部姿态角：

(4)

4 实验验证

为验证基于头部姿态监测的井下人员疲劳状态感知装置的可行性，搭建实验平台，如图4所示。利用安装在安全帽上的GY-BNO055九轴姿态传感器模块采集数据；采用WiFi通信模块ESP8266进行数据通信。考虑到装置在井下环境的适用性与长时间工作的特性，将传感器数据以30 s的时间间隔进行分段处理，采样频率设置为4 Hz，人员佩戴安全帽后将头部向前后左右进行不同幅度摆动，模拟疲劳引起的点头动作。

图4 实验平台Fig.4 Experimental platform

采集的传感器数据如图5所示。分别通过加速度计、陀螺仪六轴姿态数据融合与加速度计、陀螺仪、磁力计九轴姿态数据融合得到的头部姿态角如图6和图7所示。可看出六轴姿态数据融合下航向角一直处于零点(初始)位置附近，无法准确判断航向角，各角度都存在明显的漂移现象，且具有噪声；九轴姿态数据融合下通过磁力计对角度变化时间偏移进行了一定校正后再进行滤波，头部姿态角曲线变化更加平滑，获得的头部姿态角更准确。

(a) 三轴加速度

(b) 三轴角速度

(c) 三轴磁场强度

图6 加速度计与陀螺仪数据融合Fig.6 Data fusion of accelerometer and gyroscope

图7 加速度计、陀螺仪与磁力计数据融合Fig.7 Data fusion of accelerometer, gyroscope and magnetometer

在九轴姿态数据融合的基础上，点头动作捕捉结果如图8所示。满足俯仰角变化量|Δθ|≥26.0°或滚转角变化量|Δγ|≥15.4°的区间判定为发生点头动作的区间，该区间长度占采样区间长度比例为0.41，即fNod=41%，满足疲劳状态判定条件fNod≥12.5%，因此判定人员处于疲劳状态，与实际情况相符。

图8 点头动作捕捉结果Fig.8 Noding motion capture results

5 结语

为解决煤矿井下昏暗与密闭工作环境中作业人员易疲劳操作而引发人为事故的问题，提出了一种基于头部姿态监测的井下人员疲劳状态感知装置。通过在安全帽内安装九轴姿态传感器采集井下人员头部姿态数据，并对采集数据进行融合处理，采用四元数法实现头部姿态角解算，并根据头部姿态角是否超过阈值判断是否发生点头动作，再依据单位时间内点头动作是否超出阈值判断人员是否处于疲劳状态，若人员处于疲劳状态便发出预警。实验结果表明，该装置能准确获取头部姿态角，捕捉疲劳特征动作，并有效判断井下人员是否处于疲劳状态。该装置具有体积小、质量轻、功耗低、易于实施等特点。