关于农机驾驶员疲劳检测的研究综述

卢奥玮 ，董 增 ，李珊辉

（塔里木大学信息工程学院，新疆 阿拉尔 843300）

0 引言

现阶段，在农忙时节，农机跨区作业实现常态化，出现农机少、作业面积大的现象，因此作物收获时农机驾驶员长时间驾驶农机作业，易发生农机驾驶员疲劳驾驶伤人、损物的事故，造成人员伤亡、农机损坏的现象。因此，农机驾驶员疲劳检测对于预防农机事故的发生起到了重要的作用，而研究农机驾驶员疲劳特征是疲劳检测的基础。

农机驾驶员需要在复杂环境下进行长期性的作业，这对于驾驶员来说无疑是一个极大的挑战。特别是在我国的农村地区，地块小、分布不均匀，很多时候都需要调动车头的行为，这对于驾驶员的体力以及各方面的消耗无疑是巨大的，从而导致了其精神方面的疏忽和大意，更容易引发事故。而由于人眼的一些特殊行为能够较为准确地体现出驾驶员是否存在疲惫的情况，因而从人眼行为出发，研究出对人眼行为进行检测反映驾驶员是否疲惫的系统已成为当前的核心研究方向，这主要需要在得到的图像或者视频中快速准确地定位到目标人物的人眼位置，依照人眼的状态来判断农机驾驶员是否疲劳。

1 理论基础

疲劳是一种生理现象，当人的身体在长时间或高强度工作后，会出现疲劳的症状。疲劳主要表现为身体机能下降、反应速度变慢、注意力不集中等。在生理学中，有许多参数可以用来评估人的疲劳程度，例如心率、血压、呼吸频率、眼球运动等。这些参数在人疲劳时都会发生变化，因此，通过监测和分析这些参数，可以准确地评估农机驾驶员的疲劳程度。现如今，人工智能技术，特别是深度学习和卷积神经网络技术，可以从大量的数据中学习和抽取有用的信息。在农机驾驶员[1]疲劳检测中，可以通过深度学习和卷积神经网络技术，学习和识别驾驶员眼部、面部等微小变化，准确评估他们的疲劳程度。这种基于人工智能技术的疲劳检测方法，因其高准确率和非侵入性等特点，成为当前疲劳检测的主流研究方法。

2 研究进展

研究农机驾驶员疲劳驾驶的检测方法对于保护人民的生命财产安全具有极大的现实意义。随着农机在农业生产中的广泛应用，农机驾驶员长时间连续工作可能导致疲劳驾驶，增加了事故发生的风险。要想降低风险，准确判断农机驾驶员的疲劳驾驶行为并进行警报，这其中的重点以及难点就在于疲劳的检测是否准确。检测的方法主要分为三大类：接触式检测、非接触式检测以及近年来新兴的卷积神经网络检测技术。

2.1 接触式检测

在对驾驶员的疲劳程度进行评估时，存在许多客观的测量方法。这些方法主要通过直接测量人体的某些生理参数，来客观地评估驾驶员的疲劳状况，其中包括眼电图、脑电图、心电图等。

眼电图主要用于测量眼球的活动，通过分析眼球的移动轨迹、眼皮的抖动等信息，可以判断驾驶员是否出现疲劳的迹象。这种方法的优点是实时性强，能够及时地反映驾驶员的疲劳状况。脑电图主要用于测量大脑的电活动，可以直接反映大脑的工作状态，从而判断驾驶员是否疲劳。脑电图的主要优点是准确性高，但需要专门的设备和专业的操作人员。心电图是通过测量心脏的电活动，来评估驾驶员的疲劳程度。驾驶员疲劳时，心脏的电活动可能会发生一些变化。

然而，由于疲劳驾驶所产生的原因不同，仅仅依靠医学手段获取人体的各项数值来判断是否疲劳的检测方法还是有些不准确，因为这通常会受到人体的自身思维以及各类主观因素的影响，无法判断出该情况是否属于正常的疲劳情况，因而非接触式检测在此基础上逐渐发展起来。

2.2 非接触式检测

非接触式检测是指用农机本身的某些参数或农机驾驶员的眼部图像来判断驾驶员的疲劳状态。Liu等[1]提出一种基于面部表情分析的疲劳检测算法，通过MB-LBP 和Adaboost 分类器进行训练，使用训练好的模型检测驾驶员眼睛和嘴巴的状态，多信息融合提高系统的检测精度，计算单位时间内闭眼时间的比例和打哈欠频率的比例可以描述驾驶员的疲劳状态。弗吉尼亚大学精神生理学教授Walt Wierwille 博士针对驾驶员疲劳问题，提出了一种新颖且实用的疲劳测量方法psycho physiological fatigue detection devices and measures，即采用PERCLOS 作为疲劳测量的主要指标，同时采用脑电图仪、头部运动探测器等作为辅助测量工具[2-3]。PERCLOS 指标可衡量驾驶员的疲劳程度，主要测量参数是驾驶员的眼睛闭合时间与总的观察时间的比例。该指标发明者认为，驾驶员疲劳时，眼睛的闭合时间会增加，通过测量并计算这个比例，可以准确地评估驾驶员的疲劳程度。

各类汽车公司相继推出的自动化驾驶辅助系统能有效减少行车时驾驶员因为疲劳或者其他原因而发生的错误[4-5]，但这类系统一般都依赖于传感器的精度和有利的环境，在不利环境下，这类传感器的精度会明显降低[6]。Li 等[7]模拟了真实的行车环境，并在转向杆上安装了传感器，收集方向盘角度数据，提出基于方向盘角度实时检测驾驶员疲劳程度的方案。Lawoyin 等[8]利用三轴加速度传感器监测方向盘的转动判断驾驶员的疲劳状态。Li 等[9]研究驾驶员疲劳状态与方向盘握力之间的关系，提出了一种使用方向盘握力检测疲劳状态的方法。吉林大学对车辆的偏离情况进行研究，提出了一种车道偏离警告系统，该系统主要是查看车辆是否偏离了正常轨道，如果偏离值超过一定范围，则对驾驶员发出警报[10]。

眼睛的状态是评估驾驶员疲劳程度的关键指标，因此，眼部特征识别技术在驾驶员疲劳检测中起着重要作用。这种技术可以广泛应用于交通安全检查、人机交互、公共场所的安全监控以及辅助语言交流；同时，也可以在国家安全事务、海关、边境管理以及医疗保健服务等领域发挥重要作用[11]。

对于公交车、重型卡车等大型车辆驾驶员的疲劳检测十分重要，因为这一般都会涉及大型交通事故的诱因，Mandal 等[12]针对此，通过眼睛的开闭、眼珠的运动等特征来判断驾驶员是否疲劳，从而设计出针对性的检测系统，该系统主要由几个关键模块构成，包括头部、面部和眼部的检测以及眼睛开闭程度的估计，还有PERCLOS 参数的估计和疲劳等级的分类。系统采用谱回归来评估眼睛的开闭程度，并通过自适应积分模型来分析眼睛的状态。

2.3 卷积神经网络

近年来，深度学习技术发展非常迅速，它以大规模的图像数据为基础，从而能自动地学习低级、中级、高级的各种特征。

一般人脑受到各种刺激的时候，其中的信息会从神经末梢接收，然后进入细胞体的树突之中，再经过轴突，最后到达另一端的神经末梢。另一端的神经末梢又会连接着其他的神经元，一层层地接收和传递，就能达到传递刺激的效果，这就是大脑进行学习的一个过程，而人工神经网络就是基于这种人脑的思维方式所得到的想法。在包含多个神经元的人工神经网络中，每个神经元都有着输入和输出，输出结果会让神经网络来进行不断的学习和训练，同时进行权值调整，不断改善自身、修正权值以便于适应外界环境，直到最终能输出理想的结果。

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（Deep Learning）的代表算法之一，创始者是Yann LeCun[13-14]。卷积神经网络目前已广泛应用于图像分类、图像检索、目标检测、图像分割、图像特征迁移等计算机视觉研究中[15]。自从卷积神经网络问世，人类就从机械的学习中看到了更多的可能性。CNN 模型在结构性上追求着深层次，层次越深，学习的程度也就越深，这是一个多层的MLP 的模型。其中的结构特点是：同层之中结构的卷积核共享权值，层与层之间需要通过卷积核来进行连接从而达到数据传输和学习的目的，同时，单个层的数据关联也只与上一层传输过来的数据有关。但除去全连接层以外，其他的每层都是使用局部连接进行的，这些显著特征使得权重数量减少、模型复杂度降低、过拟合风险减小、模型的泛化能力大大提高。使用CNN 模型处理多维图像时，可以直接向模型输入原始图片，省去了图像预处理及数据重建等复杂过程。

而在疲劳检测方面，也主要聚焦于深度学习以及卷积神经网络，此方法凭借低成本、高准确率、非侵入等特性成为疲劳检测领域最主要的研究方法。李慧楠[16]利用改进的YOLOv5 算法根据人脸特征设计出了一种人脸检测器，主要是对船舶驾驶员的人脸检测以及五官的定位，而后对驾驶员眼嘴状态的识别算法又进行了优化，使得能利用卷积神经网络技术进一步提升疲劳检测的精度。Duan 等[17]对眼部特征进行了更深度的研究，从而提出了一种自动学习眼部特征的算法，该类算法使用线性动态系统（LDS），优化了学习特征。

自20世纪90年代至今，众多专家对各类方法进行了实验，试图更准确有效地采集人眼特征信息，来助力疲劳检测的研究。这些研究旨在发展出一种可靠、高效的疲劳检测系统，以提前发现疲劳驾驶的迹象，采取及时的干预措施，从而降低交通事故的发生率。

进入21 世纪，为了更好地贴合日常所需，视频检测技术应运而生，DSP 芯片技术的发展也使得视频检测技术得到了广泛应用。国外厂商发现了商机，进行了深入的开发和研究，针对各类汽车推出了众多有效的疲劳检测产品。美国的卡耐基梅隆大学在各方的资助下，开发出了一套通过视频检测驾驶员疲劳程度的仪器，通过监测驾驶员在单位时间内的眨眼次数来判断其疲劳状态。此类仪器具备较好的检测效果，同时也能很好地用于车辆行驶检测之中。而我国在这方面的研究起步较晚，最初主要依赖国外研究成果，自身独立成果较少。在国内各方学者的共同努力下，疲劳驾驶研究日益成熟，对人眼的各类图像处理识别以及各类特征提取都有了技术上的进步。目前的研究成果在产品应用方面较为有限，主要受到算法等条件的制约。未来，对于农机驾驶员疲劳检测，重点应解决日照强烈时驾驶员戴眼镜反光、长发遮挡眼睛，中老年人驾驶农机时操作不灵活，在驾驶员年龄不同的情况下确保图像识别准确性等问题。

3 存在的问题及挑战

目前，人工智能技术不断发展，其相关领域也随之蓬勃发展，农机驾驶员疲劳检测也逐渐向更精确的卷积神经网络方向发展。相比于传统的疲劳检测方法，如眼动追踪、生理信号检测等，基于人工智能的卷积神经网络技术无需昂贵的设备和专业的操作人员，只需要一台装有相应软件的计算机即可。同时，深度学习和卷积神经网络的疲劳检测准确性较高，因为它主要是从大量的数据中学习和抽取有用的信息，不断更新优化自身以提高准确性。在非侵入性方面，此方法无需对驾驶员进行任何身体接触，只需要通过摄像头等设备对驾驶员的面部表情、眼部状态等进行监测，这也符合生活需求，避免了许多麻烦。

现阶段运用卷积神经网络的主要问题为：首先，因为需要真实数据，农机驾驶员疲劳检测尚未有针对性的数据集，但真实数据的产生往往伴随着风险的出现，因而采集和获得该类图像数据变得十分困难。其次，农机作业过程中，农机驾驶环境的复杂多样和光线变化会对视觉特征的提取造成干扰，使得寻优过程变得困难。最后，驾驶员面部朝向和头部姿态的变化也会对人眼图像的采集完整性造成影响。同时，驾驶员佩戴眼镜或墨镜时，会对眼部区域造成遮挡，进一步增加了识别的难度。

尽管计算机技术的发展加快了算法的处理速度，但大量实时数据的处理仍然是农机驾驶员疲劳检测技术在实际应用中面临的挑战之一。如何在检测准确性和实时性之间进行合理权衡，将是未来需要研究的重要问题，还需努力寻找解决方案，以确保该疲劳检测技术能够在实际场景中高效运行，并为驾驶员提供准确可靠的疲劳预警。