基于卷积神经网络面部图像识别的拖拉机驾驶员疲劳检测

卢 伟，胡海阳，王家鹏，王 玲，Yiming Deng



基于卷积神经网络面部图像识别的拖拉机驾驶员疲劳检测

卢 伟1,2，胡海阳1，王家鹏1，王 玲1，Yiming Deng3

（1. 南京农业大学工学院，南京 210031； 2. 江苏省现代设施农业技术与装备工程实验室，南京 210031； 3. Michigan State University，College of Engineering，East Lansing，48824）

针对疲劳驾驶极易造成拖拉机交通事故这一问题，该文提出了一种基于卷积神经网络面部特征识别的拖拉机驾驶员疲劳检测方法。首先，利用伽马亮度校正对驾驶员面部图像进行光照预处理，再通过小波包去除图像中的椒盐噪声和高斯噪声，对预处理后的图像分别通过PCA-SCM人脸特征识别定位算法和基于人脸核心特征库及肤色模型的人脸识别算法进行驾驶员面部的识别定位，并通过比对这2种算法识别的偏差大小校验算法识别的有效性，以减小拖拉机工作振动时采样对图像中人脸定位精度的影响。将提取到的驾驶员面部图像输入到卷积神经网络进行深度学习和训练，并建立驾驶员疲劳视觉检测模型，从而实现基于拖拉机驾驶员面部图像的疲劳检测。统计训练过程中各项参数变化情况并进行T-SNE降维迭代分析，与其他常规方法相比，CNN在检测准确度和检测效率方面都有较为明显的优势。试验表明，所提出的检测模型准确率98.9%，图片识别效率38 ms/帧（Inter i7-4510U双核处理器），能够实现拖拉机驾驶员疲劳状况的实时检测，该研究可为解决疲劳驾驶这一安全问题提供参考。

拖拉机；图像处理；算法；疲劳驾驶；PCA-SCM；卷积神经网络；面部识别

0 引 言

中国是农业大国，农业的发展直接关系着社会的发展与稳定。农业机械化是有效提高生产率的重要途径，其中拖拉机是农业机械化的重要部分，到2015年年底，中国农用大中型拖拉机数量约607万台，小型拖拉机约 1 703万台。由于农忙时间较为集中，拖拉机驾驶员往往长时间超负荷疲劳驾驶，再加上拖拉机运行时颠簸剧烈，噪声较大，周围环境较为单一，使驾驶员容易产生视觉疲劳，进一步加剧了拖拉机驾驶员的疲劳，这是造成拖拉机交通事故的重要原因。近20 a来中国拖拉机交通事故死亡人数48 327人，受伤人数152 753人，直接财产损失43 203万元，其中53%的灾难性事故与驾驶员的疲劳有关[1-2]，疲劳驾驶已成为拖拉机交通事故发生的最主要原因。

目前，拖拉机驾驶员疲劳检测的研究较为少见，而汽车驾驶员疲劳检测研究较多，其可大致分为主观检测和客观检测2类。主观检测方法主要由驾驶员自主记录调查表、FS-14疲劳量表、卡罗林斯卡睡量表、皮尔逊疲劳量表和斯坦福睡眠尺度表等，该方法易受驾驶者和研究者主观判断的影响且无法实时检测，存在较大的局限性。客观方法主要分为3类，即基于驾驶员生理参数检测[3-7]、基于车辆行为检测[8-9]、基于计算机视觉检测[1,10-12]。基于驾驶员生理参数测量的检测的方法是通过检测驾驶员的生理特征，如心电图、脑电图、眼电图、皮肤导电率、呼吸频率等特征来判断是否疲劳，这类方法虽然疲劳判别较为精确，但存在设备安装复杂、成本较高、佩戴不便甚至会影响驾驶员的驾驶状态等问题。基于车辆行为的检测方法是通过对驾驶过程中车辆参数如车速、加速度、方向盘转角的检测来判断驾驶员疲劳状况，这类方法易受车型、道路状况等的限制，且需要在车辆行为具有明显异常时才能判断出来，具有一定的局限性。基于计算机视觉检测驾驶员疲劳驾驶的方法是通过机器视觉检测人眼的眨眼频率、嘴角的张合状态以及头部的偏移状态等来综合分析疲劳状态，属于非接触式检测，一般先进行图像采集，再对所采集图像进行分析和建模得到驾驶员的疲劳状态，白中浩等[13]提出了一种基于主动形状模型及模糊推理的汽车驾驶员疲劳驾驶检测方法，采用ASM(active shape model)人脸特征定位并选取眼睛和嘴巴2个面部特征对驾驶员状态进行综合判断；邓正宏等[14]采用优化等照度线法和优化mouthmap法提取图片中汽车驾驶员眼睛和嘴巴特征参数并通过模糊神经网络建立疲劳分类器来识别驾驶员疲劳程度；Jia等[12]基于AdaBoost级联分类算法，利用LBP(local binary pattern)表示眼睛和嘴巴特征并结合PERCLOS原理进行汽车驾驶员疲劳状态的检测。

拖拉机驾驶员疲劳检测与汽车驾驶员疲劳检测存在较大的差异，汽车驾驶室多安装深色的单向透视玻璃，驾驶室内部光线变化平缓，且人脸多位于固定的座椅前方，背景变化较小，而拖拉机驾驶室四面多为双向透视玻璃，且背景多为变化的植物或杂草，环境干扰较多；汽车多驾驶于平整的沥青及水泥路面，路面状况较为单一，而拖拉机多驾驶于沟壑纵横的农田，频繁的颠簸振动易造成图片中人头像的抖动，因此，现有的汽车驾驶员疲劳检测方法无法直接用于拖拉机驾驶员疲劳检测。本文拟提出一种基于卷积神经网络面部图像识别的拖拉机驾驶员疲劳检测方法，对面部所有特征进行识别训练，以提高复杂农田环境下驾驶员疲劳识别速度及鲁棒性。

1 图像采集及图像预处理

根据中国拖拉机驾驶人员性别分布情况[15]，从南京农业大学工学院招募学生60人，其中男性77%，女性23%，并进行拖拉机驾驶指导和培训。分别选取早晨、上午、中午、下午、傍晚等各个正常耕作时间段，每人分别进行2 h的驾驶试验，其清醒状态和疲劳状态采用基于奇异系统的中枢疲劳脑电信号分析进行区分[16]。每人随机拍摄清醒状态和疲劳状态的样本照片各10张，样本总量1 200张，其中900张作为训练集，150张作为验证集，150张作为测试集。系统测试的拖拉机型号为常发DFD504A（额定功率：80 kW，整机尺寸：6 100× 3 400×3 100 (mm×mm×mm)，前进速度：1.02~20 m/min），数据采集的摄像头型号为SR300（分辨率：1 920×1 080像素，30帧/s），摄像头安装位置如图1所示。

图1 驾驶员疲劳检测摄像头安装示意图

1.1 光照预处理——伽马亮度校正（GIC）

拖拉机驾驶室一般为四面透明玻璃环绕或完全敞篷结构，其工作环境和光照情况较为复杂，极易影响摄像头检测效果，故首先对采集的图像进行光照预处理。光照预处理主要有基于模型和基于预处理2类方法[17]，基于模型的方法需要附加多种约束条件和先验知识，且计算量大，其实际应用受到限制。而基于预处理的方法简单高效，方便实用，比较经典的有直方图变换，伽马亮度校正(GIC, gamma intensity correction)[18]、色彩空间转换[19-20]、色感一致处理[21]、色彩相似度法[22]、自商图SQI (self- guotient image)[23]、Retinex变换[24]、离散余弦变换DCT(discrete cosine tramsform)[25]、经验模态分解EMD(empirical mode decomposition)[26]等方法。由于拖拉机作业时驾驶员图像采集所受环境影响主要是光照不均，且人脸疲劳检测需要较高的处理速度，故有效弱化图像亮度不均带来的影响和较低的算法复杂度尤为重要。直方图变换虽可改善图像质量，但往往会在均衡之后造成一些不连续色斑；色彩空间转换未解决色彩通道间的相关性问题；色感一致处理存在需要精确估计光源位置的困难；色彩相似度法对光照剧烈变化较为敏感；自商图SQI、Retinex变换、离散余弦变换DCT、经验模态分解EMD等方法算法复杂度较高。而Gamma亮度校正是对图像像素值进行矫正，矫正后不会给图像带来不连续斑块，也不需要考虑光源位置以及色彩通道之间的相关性问题，且具有处理速度快的优点，因此，选用Gamma亮度校正法进行光照预处理。

令代表[0,255]像素灰度值区间，代表Gamma值区间，为一个像素值（∈），为区间中点，则到的映射为[18]

则任意像素都存在确定的Gamma值与之对应，取Gamma校正函数为

过亮或过暗的人脸图像经过Gamma亮度校正后减弱了光照影响，可以有效减少光照对人脸识别的影响，如图2所示为Gamma亮度校正前后效果对比图。

1.2 小波去噪

由于拖拉机驾驶室四面透光的结构设计以及工作环境的复杂性和作业过程的振动，人脸图像在采集过程中的噪声主要以椒盐噪声和高斯噪声为主[27]，而小波去噪是根据信号和噪声小波变换的不同表现形态，构造出相应的规则，对信号和噪声的小波变换系数进行处理，处理的实质在于减小以至完全剔除由噪声产生的系数，同时最大限度地保留有效信号对应的小波系数，对于椒盐噪声和高斯噪声具有较好的去噪效果[28]，故选用小波进行图像去噪处理。

图2 Gamma亮度校正效果

本文采用软阈值小波去噪去除椒盐噪声，其阈值函数如下[29]

阈值选用最优阈值VisuShrink阈值，即

VisuShrink阈值函数同硬阈值函数、软阈值函数及半软阈值函数所不同，它拥有更高的导数阶，在噪声小波系数与有用信号小波系数之间存在一个平滑过渡区，更符合自然信号(这里为所处理的图像)的连续特性，故其重构信号(图像)更为平滑，去噪效果如图3所示。

图3 小波去噪效果

1.3 人脸识别定位

人脸检测定位算法大致可分为2大类：基于显式特征的方法和基于隐式特征的方法。常用的基于显式特征的方法有基于肤色模型的方法、模板匹配的方法和基于先验知识的方法，基于隐式特征的方法有特征脸法、人工神经网络法、支持向量机法和积分图像法。因拖拉机工作过程中颠簸较大，且图像背景复杂多变，为提高人脸定位识别算法的准确性，本文采用基于人脸核心特征的PCA-SCM（principal component analysis - skin color model）人脸识别定位算法进行人脸的识别定位，即先通过人脸核心特征的主成分分析进行人脸初步定位，再采用肤色模型[30]对其进行校验，最后将所定位的人脸区域进行切割提取，主要步骤如下：

1）建立人脸核心特征样本库。准备一定数量的人脸图片，截取人脸核心特征样本，将人脸核心特征样本进行归一化处理。

2）生成人脸核心检测分类器。准备包含正负样本的样本库，设置人脸核心特征训练集和特征测试集，采用Adaboost分类器进行分类，根据特征训练集训练检测分类器，根据特征测试集完善检测分类器，分类器的形式为

3）形成人脸核心特征记忆空间。输入若干已标定特征人脸图片，使用人脸核心检测分类器检测并截取人脸核心特征，使用PCA算法生成人脸核心特征记忆空间，包括左眼、右眼、鼻子、嘴巴记忆空间，空间形式为

4）基于人脸核心特征初步定位人脸。输入待识别图片，根据人脸核心特征检测分类器提取待识别人脸核心特征，将待识别人脸核心特征对象与人脸核心特征记忆空间中对象进行比较，根据各个人脸核心特征的比较结果和系统设置的阈值初步确定人脸位置。

5）建立YCbCr色彩空间高斯肤色模型。从RGB色彩空间线性变化到YCbCr色彩空间，将亮度分量分离

则高斯模型(,2)，其中=(C, C)，为对应的协方差矩阵，C和C分别为C和C所对应的均值。

6）相似度计算。根据所有像素点距高斯分布中心的距离计算肤色的相似度，得到一个基于原始图像的灰度图像，相似度计算式为

7）二值化。将灰度图像选取适当阈值，皮肤和非皮肤区域分别用0和1表示，可能为皮肤区域的条件为[31]

8）膨胀与腐蚀。判断图像中是否存在过多的较小区域，如果存在执行开运算，即先腐蚀后膨胀提取骨干信息、平滑去噪；如果不存在则执行闭运算，先膨胀后腐蚀将2个邻近的目标连接起来。

9）去除假区域。使用递归算法，对执行开或闭运算后的二值化图像进行统计，寻找可能是人脸的区域，接着对其计算区域的外接矩形的填充率、长宽比、大小等以进一步判别真假。

10）确定人脸区域。计算区域中每列含有的白色像素点数，定位最大值所在列，并以其为中心向两侧分别找寻人脸左右边界，接着在左右边界与区域边界划定的范围内找寻人脸上部边界，最后根据人脸长宽比经验值确定下部边界。将所定位区域与4）定位结果进行比对，若在允许误差范围内，则返回定位结果，若误差超出允许范围，则跳过继续定位下一张。经试验确定，误差允许范围为两定位区域所确定图片重合面积不小于任一定位区域所确定图片面积的80%。

11）将所定位的人脸区域图像进行切割提取。将所有原始图像中10）所确定的区域保留，其余部分删除。

2 基于CNN的驾驶员疲劳检测

卷积神经网络是深度学习的一种，已成为当前图像理解领域的研究热点[32-33]，其权值共享网络结构使网络输入为多维图像时尤为方便，图像可直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程，故本文采用卷积神经网络的方法进行驾驶员疲劳检测，如图4为所搭卷积神经网络结构示意图。所建神经网络主要由输入层、2个卷积层、2个池化层、2个全连接层和输出层组成，批尺寸选用30，卷积层对输入层进行16个通道的特征采样，经池化层将特征图降维后，全连接层对提取的特征进行分类，继而得到正确率和损失率，变维层用于将标识是否疲劳的标签数据二值化，优化器选用adamoptimizer，通过使用动量（参数的移动平均数）来改善梯度下降，促进超参数动态调整，从而进一步最小化网络的损失函数，使网络达到更好的判别效果。

2.1 卷积

在卷积层，将一个可学习的卷积核与经过批处理的前层特征图进行卷积，卷积后的多个特征图进行组合后，经过偏置处理并通过一个激活函数，得到输出特征图

式中x是卷积层的第个通道的输出，x1是经过批处理的前层第个通道输入特征图，M为其前层第个通道输入特征图子集，k代表卷积核，b代表偏置，本文卷积层一所采用的卷积核尺寸为3´3´3，卷积层二所采用的卷积核尺寸为3´3´16，采样通道数为16，批尺寸为30。

注：二维数据：批尺寸×通道数；四维数据：批尺寸×图片宽×图片高×通道数。

Note: Two-dimensional data: batch size × number of channels; Four-dimensional data: batch size × picture width × picture height × number of channels.

图4 卷积神经网络结构图

Fig.4 CNN structure diagram

激活函数采用修正线性单元(ReLU)[33-34]

相对于传统神经网络中最常用的两个激活函数Logistic-Sigmoid、Tanh-Sigmoid而言，ReLU有着单侧抑制、兴奋边界更为宽阔以及稀疏激活性等特点，可以更好地从有效的数据的维度上，学习到相对稀疏的特征，起到自动化解离效果，减少参数的相互依存关系，缓解过拟合问题的发生，从而提高神经网络的学习效率。

2.2 池化(pooling)

2.2.1 最大值池化(max-pooling)

池化技术在保持原数据旋转、平移、伸缩等不变性的条件下将小邻域内的特征点整合得到新的特征

常用池化技术有mean-pooling，max-pooling和Stochastic-pooling，其中，最大值池化可以有效减少卷积层参数误差造成估计均值的偏移，更多的保留纹理信息。本文选用最大值池化，选取池化核尺寸为3´3，步长为2´2，池化层二池化核尺寸为3´3，步长为1´1。

2.2.2 局部响应归一化(LRN)

LRN(local response normalization)模仿神经系统中活跃神经元对相邻神经元的侧抑制机制，对局部神经元的活动创建竞争机制，使得响应比较大的值相对更大，从而有效提高模型的范化能力，其公式如下[35]

经最大值池化处理后，再进行局部响应归一化处理，构成图4中的池化层。

2.3 光栅化与全连接

式中x为全连接层的输出向量，x1为其输入向量，k为其权重系数，b为其偏置项。

2.4 自适应矩估计优化器(AdamOptimizer)

Adam算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计动态调整针对于每个参数的学习速率。基于梯度下降的方法，每次迭代参数的学习步长都有一个确定的范围，不会因为很大的梯度导致很大的学习步长，参数的值比较稳定。其衰减方式与动量类似，梯度第一个时刻平均值为：

梯度的第二时刻非中心方差值为

按照以下公式迭代更新[36]

与其他自适应学习率算法相比，Adam方法收敛速度更快，学习效果更优，且可纠正其他优化方法存在的学习率消失、收敛过慢或是高方差的参数更新导致损失函数波动较大等问题。

拖拉机驾驶员疲劳检测算法流程如图5所示。

图5 拖拉机驾驶员疲劳检测算法流程图

3 试验结果

用Python语言搭建上述神经网络，在LINUX系统中运行，使用Nvidia Geforce GTX650显卡训练网络，卷积神经网络正确率和损失率的变化曲线如图6所示。

由图6可知，接近3 000步的时候，正确率已经基本稳定于0.97，损失率也基本稳定于0.04。

图6 网络训练正确率与损失率变化曲线

图7为卷积神经网络训练结果T-SNE降维迭代时序图，T-SNE(t-distributed stochastic neighbor embedding)属于非线性降维的一种，用分布定义低维空间中点的相似性，可以保证高维空间中相似的数据点在低维空间中尽量接近。可以看出，整个卷积神经网络训练过程将最初无规则的初始数据，随着迭代次数的增加，逐步聚合、划分、聚类，最终将其分为有较大区分度的2类数据，即将疲劳图像和非疲劳图像较为明确的划分开来，达到了疲劳判别的目的。

图 7 卷积神经网络训练结果T-SNE降维迭代时序图

表1为不同疲劳驾驶检测方法对所采集数据验证集所得正确率和检测时间的对比[37-41]，运行环境为Inter i7-4510U双核处理器，可见采用卷积神经网络进行疲劳驾驶识别，可有效提高识别的准确率和检测效率。

综上可见，与常规的动态模板匹配[40]和BP神经网络疲劳检测相比，CNN在检测准确度和检测时间方面都有较为明显的优势，和模糊推理的检测方法相比，虽然检测准确率相当，但由于CNN本身所具有的独特卷积核结构，可以更有效更快捷地提取出图像中更多更有用的信息，在检测效率上仍有着较大的优势。

表1 驾驶员疲劳检测不同方法比较

4 结 论

针对拖拉机驾驶员疲劳驾驶易造成拖拉机交通事故，本文通过摄像头对驾驶员进行实时图像采集，利用伽马亮度校正和小波去噪对所采集的图像进行光照预处理，有效减少拖拉机周围光照的影响，采用基于人脸核心特征的PCA-SCM人脸识别定位算法进行人脸识别定位，在此基础上，应用卷积神经网络算法对驾驶员的面部疲劳特征进行检测，驾驶员疲劳检测识别率达98.9%，单帧图片的检测时间为38 ms，能够满足农田作业时拖拉机驾驶员疲劳驾驶检测的实时性要求，且检测精度较好，具有较好的现实意义和实用价值。

[1] Mandal B, Li L, Wang G S, et al. Towards detection of bus driver fatigue based on robust visual analysis of eye state[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(3): 545－557.

[2] Li Z, Chen L, Peng J, et al. Automatic detection of driver datigue using driving operation information for transportation tafety.[J]. Sensors (Basel, Switzerland), 2017, 17(6): 1212－1223.

[3] Lenis G, Reichensperger P, Sommer D, et al. Detection of microsleep events in a car driving simulation study using electrocardiographic features[J]. Current Directions in Biomedical Engineering, 2016, 2(1): 283‒287.

[4] Zhang X, Li J, Liu Y, et al. Design of a fatigue detection system for high-speed trains based on driver vigilance using a wireless wearable EEG[J]. Sensors, 2017, 17(3): 486.

[5] 李锐，蔡兵，刘琳，等. 基于模型的驾驶员眼睛状态识别[J]. 仪器仪表学报，2016，37(1)：184－191. Li Rui, Cai Bing, Liu Lin, et al. Model-based driver eye status recognition [J]. Chinese Journal of Scientific Instrument, 2016, 37(1): 184‒191.(in Chinese with English abstract)

[6] 胥川，裴赛君，王雪松. 基于无侵入测量指标的个体差异化驾驶疲劳检测[J]. 中国公路学报，2016，29(10)：118－125. Yan Chuan, Yan Saijun, Wang Xuesong. Individual differential driving fatigue detection based on non-intrusive measurement index[J]. China Journal of Highway and Transport, 2016, 29(10): 118－125. (in Chinese with English abstract)

[7] 赵永超，孔德刚. 拖拉机驾驶员颈部疲劳的肌电评价[J]. 农业工程学报, 2010, 26(3): 146－150.Zhao Yongchao, Kong Degang. Electromyographic evaluation of tractor driver neck fatigue [J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2010, 26(3): 146－150. (in Chinese with English abstract)

[8] 胥川，王雪松，陈小鸿，等. 基于决策树的驾驶疲劳等级分析与判定[J/OL]. 同济大学学报(自然科学版)，2015，43(1)：75－81. Yan Chuan, Wang Xuesong, Chen Xiaohong, et al. Analysis and Judgment of driver's fatigue level based on decision tree [J/OL]. Journal of Tongji University (Natural Science Edition), 2015, 43(1): 75－81. (in Chinese with English abstract)

[9] Li Z, Li S E, Li R, et al. Online detection of driver fatigue using steering wheel angles for real driving conditions[J]. Sensors: Basel, Switzerland, 2017, 17(3): 495－507.

[10] Feng D, Feng M Q. Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection– A review[J]. Engineering Structures, 2018, 156(5): 105－117.

[11] Decost B L, Jain H, Rollett A D, et al. Computer vision and machine learning for autonomous characterization of AM powder feedstocks[J]. The Minerals, Metals & Materials Society, 2017, 69(3): 456－465.

[12] Jia X, Zhou L, Ren J, et al. Research on fatigue driving detection method of facial features fusion[J]. Power System & Clean Energy, 2016, 32(9): 17－21, 28.

[13] 白中浩，焦英豪，白芳华. 基于主动形状模型及模糊推理的驾驶疲劳检测[J]. 仪器仪表学报，2015，36(4)：768－775. Bai Zhonghao, Jiao Yinghao, Bai Fanghua. Driving fatigue detection based on active shape model and fuzzy inference [J]. Chinese Journal of Scientific Instrument, 2015, 36(4): 768－775. (in Chinese with English abstract)

[14] 邓正宏，黄一杰，李翔，等. 基于视频的驾驶疲劳检测技术的研究[J]. 西北工业大学学报，2015(6)：1001－1006. Deng Zhenghong, Huang Yijie, Li Xiang, et al. Research on video-based driving fatigue detection technology [J]. Journal of Northwestern Polytechnical University, 2015(6): 1001‒1006. (in Chinese with English abstract)

[15] 龙冬平，李同昇，苗园园，等. 中国农业现代化发展水平空间分异及类型[J]. 地理学报，2014，69(2)：213－226.Long Dongping, Li Tongsheng, Miao Yuanyuan, et al. Spatialdifferentiation and types of China's agricultural modernization development level[J]. Acta Geographica Sinica, 2014, 69(2): 213－226. (in Chinese with English abstract)

[16] 张崇，于晓琳，杨勇，等. 基于奇异系统的中枢疲劳脑电信号分析[J].生物医学工程学杂志，2014，31(5)：1132－1134，1138. Zhang Chong, Yu Xiaolin, Yang Yong, et al. Analysis of central fatigue brain electrical signals based on singular system[J]. Journal of Biomedical Engineering, 2014, 31(5): 1132－1134, 1138. (in Chinese with English abstract)

[17] 孔锐，张冰. 光照变化条件下人脸识别方法研究[J].系统仿真学报，2016，28(3)：689－695. Kong Rui, Zhang Bing. Research on face recognition method under changing lighting conditions[J]. Journal of System Simulation, 2016, 28(3): 689‒695. (in Chinese with English abstract)

[18] Gupta B, Tiwari M. Minimum mean brightness error contrast enhancement of color images using adaptive gamma correction with color preserving framework[J]. Optik - International Journal for Light and Electron Optics, 2016, 127(4): 1671‒1676.

[19] Hiyama D, Shimobaba T, Kakue T, et al. Acceleration of color computer-generated hologram from RGB–D images using color space conversion[J]. Optics Communications, 2015, 340: 121－125.

[20] Cernadas E, Fernández-Delgado M, González-Rufino E, et al. Influence of normalization and color space to color texture classification[J]. Pattern Recognition, 2017, 61: 120－138.

[21] Nguyen R M H, Price B, Cohen S, et al. Group-theme recoloring for multi‐Image color consistency[J]. Computer Graphics Forum, 2017, 36(7): 83－92.

[22] Berretti S, Bimbo A D, Vicario E. Spatial arrangement of color in retrieval by visual similarity[J]. Pattern Recognition, 2002, 35(8): 1661－1674.

[23] Tsai H H, Chang Y C. Facial expression recognition using a combination of multiple facial features and support vector machine[J]. Soft Computing, 2017, 10(4): 1－17.

[24] 葛微，李桂菊，程宇奇，等. 利用改进的Retinex进行人脸图像光照处理[J]. 光学精密工程，2010，18(4)：1011－1020. Ge Wei, Li Gguiju, Cheng Yuqi, et al. Facial image illumination processing using improved Retinex[J]. Optics and Precision Engineering, 2010, 18(4): 1011－1020. (in Chinese with English abstract)

[25] 郑有志，覃征. 基于二维经验模态分解的医学图像融合算法[J]. 软件学报，2009，20(5)：1096－1105. Zheng Youzhi, Zhai Zheng. Medical image fusion algorithm based on two-dimensional empirical mode decomposition[J]. Journal of Software, 2009, 20(5): 1096－1105. (in Chinese with English abstract)

[26] Zhao X, Tao Y, He P, et al. Denoising algorithm of semi-soft threshold based on wavelet neighborhood[J]. Foreign Electronic Measurement Technology, 2016, 35(4): 42－45.

[27] 张旗，梁德群，樊鑫，等. 基于小波域的图像噪声类型识别与估计[J]. 红外与毫米波学报，2004(4)：281－285. Zhang Qi, Liang Dequn, Fan Xin, et al. Image noise type identification and estimation based on wavelet domain[J]. Journal of Infrared and Millimeter Waves, 2004(4): 281－285. (in Chinese with English abstract)

[28] Chen Y M, Wei Y Q, Liu D Y, et al. Variable-order fractional numerical differentiation for noisy signals by wavelet denoising[J]. Journal of Computational Physics, 2016, 311(3): 338－347.

[29] 赵雪鹏，孟春宁，冯明奎，等. 基于级联卷积神经网络的疲劳检测[J]. 光电子激光，2017(5)：497－502. Zhao Xuepeng, Meng Chunyu, Feng Mingkui, et al. Fatigue detection based on cascade convolution neural network [J]. Optoelectronics Laser, 2017(5): 497－502.

[30] Pujol F A, Pujol M, Jimeno-Morenilla A, et al. Face detection based on skin color segmentation using fuzzy entropy[J]. Entropy, 2017, 19(1): 26－48.

[31] 胡晓燕，张宇.基于肤色的人脸检测算法研究[J].合肥工业大学学报(自然科学版)，2012，35(7)：908－912. Hu Xiaoyan, Zhang Yu. Research on face detection algorithm based on skin color[J]. Journal of Hefei University of Technology(Natural Science), 2012, 35(7): 908－912. (in Chinese with English abstract)

[32] Liang X, Xu C, Shen X, et al. Human parsing with contextualized convolutional neural network[J]. IEEE Transactions on Pattern Analysis And Machine Intelligence, 2017, 39(1): 115－127.

[33] 赵凯旋, 何东健.基于卷积神经网络的奶牛个体身份识别方法[J].农业工程学报, 2015, 31(5): 181－187.

Zhao Kaixuan, He Dongjian. Dairy cattle individual identification method based on convolutional neural network[J]. Chinese Journal of Agricultural Engineering, 2015, 31(5): 181－187. (in Chinese with English abstract)

[34] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436‒444.

[35] Liu Y, Li H, Yan J, et al. Recurrent scale approximation for object detection in CNN[J].Computer Society, 2017, 7(9): 571－579.

[36] Prugel-Bennett A, Tayarani-Najaran M H. Maximum Satisfiability: Anatomy of the fitness landscape for a hard combinatorial optimization problem[J]. IEEE Transactions on Evolutionary Computation, 2012, 16(3): 319－338.

[37] 王琳, 孙传恒, 李文勇, 等.基于深度图像和BP神经网络的肉鸡体质量估测模型[J].农业工程学报, 2017, 33(13): 199－205.

Wang Lin, Sun Chuanheng, Li Wenyong, et al. Broiler body weight estimation model based on depth image and BP neural network[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2017, 33( 13): 199－205. (in Chinese with English abstract)

[38] 韩丁, 武佩, 张强, 等. 基于颜色矩的典型草原牧草特征提取与图像识别[J].农业工程学报, 2016, 32(23): 168－175.

[39] Han Ding, Wu Pei, Zhang Qiang, et al. Feature extraction and image recognition of typical grass pastures based on color moments[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2016, 32(23): 168－175 . (in Chinese with English abstract)

[40] Gong J, Liu J Y, Wang L J, et al. Computer-aided detection of pulmonary nodules using dynamic self-adaptive template matching and a FLDA classifier[J]. Physica Medica, 2016, 32(12): 1502－1535.

[41] Lin F J, Sun I F, Yang K J, et al. Recurrent fuzzy neural cerebellar model articulation network fault-tolerant control of six-phase permanent magnet synchronous motor position servo drive[J]. IEEE Transactions on Fuzzy Systems, 2016, 24(1): 153－167.

Tractor driver fatigue detection based on convolution neural network and facial image recognition

Lu Wei1,2, Hu Haiyang1, Wang Jiapeng1, Wang Ling1, Yiming Deng3

(1.210031,; 2.210031,; 3.48824,)

Tractor is a popular tool for agricultural farming in the world. But many factors such as high labor intensity, absence of sleeping and monotonous environment make driver fatigued easily in farming season. Aiming at the phenomenon of fatigue driving which is the major reason for tractor traffic accidents, a tractor fatigue detection method based on facial feature recognition using convolution neural network was proposed.Firstly, 1200 driving images were sampled during different daytimes by 60 drivers in which the male accounted for 77%. Then the face images of tractor drivers were pretreated by gamma intensity correction (GIC) method, aimed to solve the problem of the uneven brightness of images with fast processing speed because of its simple algorithm,and hence reduce the influence of illumination of faces. Due to the complex working environment of the tractor and the special surrounding window design, wavelet denoising method was applied in image denoising because it is powerful for the removal of impulse noise and Gaussian noise which are the main noise in the images. In addition, principal component analysis – skin color model (PCA-SCM) method was used to detectand locate faces and then skin color model was applied to rectify and extract the facial area. For improving the face recognition precision, dual-face recognition and checking algorithm was proposed. Firstly, core feature face database was established and human face recognition classifier was generated. Secondly the core feature memory space of human face was formed to locate human face in image. Thirdly, to establish a Gaussian skin color model in YCbCr color space and perform the binary converting, bloat and corrosion methods were also applied to remove fake areas for improving accuracy. In the end, the obtained face position was compared with the previous one to evaluate the effectiveness of this image. Finally, the drivers’ facial images were input to the convolution neural network (CNN) for training, and the driver fatigue detection model was established to identify the fatigue of tractor driver based on the face image. The neural network was mainly composed of an input layer, 2 convolution layers, 2 pooling layers, 2 fully connected layers and an output layer. The batch size was 30, and the convolution layer sampled 16 channels of input layer. After reducing the dimension of the feature map by the pooling layer, the full connection layer classified the extracted features and then the correctness rate and the loss rate were obtained. The AdamOptimizer was selected as the optimizer to improve the gradient descent by using the momentum (moving average of the parameters). The hyperparameters were dynamically adjusted to minimize the loss function of the network to achieve better discrimination. Additionally, the changes of weight parameter and bias parameter in convolutional layer and all-connected layer were analyzed, as well as the change trend of correctness rate and loss rate. The T-SNE dimensionality reduction iterative analysis was applied in CNN training. Compared with other methods of fatigue driving detection, such as dynamic template matching and BP (back propagation) neural network, CNN has obvious advantages in detecting correctness and detecting speed. Due to the unique convolutional kernel structure of CNN, more and more useful information in the image can be extracted more efficiently and quickly. CNN still has good detection efficiency compared with the fuzzy inference detection method. Experiments showed that the proposed detection model’s accuracy rate is 98.9%, and the recognition time for each frame of image is 38ms (Using Inter i7-4510U dual-core processor), which demonstrate that the proposed image processing method using CNN can realize fatigue detection of tractor driver in real time.

tractors; image processing; alogrithms; fatigue driving; PCA-SCM; convolution neural network; face recognition

卢 伟，胡海阳，王家鹏，王 玲，Yiming Deng. 基于卷积神经网络面部图像识别的拖拉机驾驶员疲劳检测[J]. 农业工程学报，2018，34(7)：192－199. doi：10.11975/j.issn.1002-6819.2018.07.025 http://www.tcsae.org

Lu Wei, Hu Haiyang, Wang Jiapeng, Wang Ling, Yiming Deng. Tractor driver fatigue detection based on convolution neural network and facial image recognition[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(7): 192－199. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.07.025 http://www.tcsae.org

2017-08-18

2018-02-01

国家自然科学基金青年基金（51405239）；江苏省农机三新工程项目（SZ120170036）；Asia hub on WEF and Agriculture，NAU-MSU联合研究项目（2017-H-11）

卢 伟，男，博士，副教授，主要从事机器人传感与控制及无损检测技术研究，E-mail：njaurobot@njau.edu.cn

10.11975/j.issn.1002-6819.2018.07.025

U463.6；TP391.41

A

1002-6819(2018)-07-0192-08