一种基于HOG和SVM的人眼开闭状态实时检测方法

宋建华 袁磊 李嘉辰 李祜来 侯珂 党莉彬

摘 要：设计一种基于人眼开闭状态的非接触式疲劳驾驶实时检测方法.利用支持向量机（SVM）方法构造人脸识别分类器，设计一种基于面部坐标点定位的方法，快速定位人眼区域，实现对驾驶员人眼闭合活动的实时检测;利用PERCLOS疲劳判定标准判断驾驶员是否存在疲劳驾驶行为.实验结果表明，该系统可对疲劳驾驶进行有效检测，并及时做出警告提醒.

关键词：机器视觉; 疲劳驾驶检测; HOG特征; 支持向量机; 面部坐标

[中图分类号]TP391.4   [文献标志码]A

随着我国交通运输业和汽车产业的快速发展，驾驶安全成为了一个不可忽视的问题.具不完全统计，大约有20%的交通事故源于司机疲劳驾驶意識不清醒导致的车祸发生.因此，有效避免疲劳驾驶已成为交通安全领域重要研究课题之一，目的是对驾驶员进行实时监测并提前预警，规避危险驾驶行为，保证交通安全.

疲劳驾驶检测方案主要可以分为接触式和非接触式两大类.接触式方案主要通过佩戴传感器来检测驾驶员的心电、脑电波等体征信息从而做出判断[1]，其弊端是会使驾驶员感到不适和不方便，给驾驶带来额外的隐患.非接触式通过摄像头捕获驾驶员影像并对影像进行实时处理分析，可有效避免接触式检测装置带来的问题.[2]近年来，随着机器学习、计算机视觉技术的快速发展[3]，利用视频图像分析手段构建疲劳驾驶检测系统成为研究热点.本文基于机器视觉技术，设计开发了一种非接触式的实时疲劳驾驶检测方法.首先在获取方向梯度直方图（Histogram of Oriented Gradient，HOG）特征并采用支持向量机（Support vector machine，SVM）分类器算法的基础上，对摄像头采集的影像视频流进行人脸特征识别和人眼区域定位，设计衡量眼睛闭合程度的计算方法，利用卡内基梅隆研究所提出的PERCLOS（Percentage of eyelid closure over the pupil，over time）[4]疲劳判定标准判断驾驶员是否存在疲劳驾驶行为.

1 技术基础

1.1 人脸与人眼的检测与识别

人脸的检测和识别是指利用技术手段将人的脸部从给定的复杂图像背景中分离出来，并判定其位置、大小、姿态的过程.人眼识别定位是建立在人脸检测基础上的，本文基于统计理论的人脸检测方法[5]，通过统计分析和机器学习来寻找人脸样本与非人脸样本各自的统计特征，再用各自的特征构建分类器，从而实现人脸检测.然后缩小查找区域，基于人脸的面部坐标定位，利用人脸五官特征点坐标从而快速定位到眼睛的区域位置.

1.2 HOG特征提取

HOG特征是一种在计算机视觉和图像处理中用来进行目标特征检测的描述子.[6]HOG的核心思想是在一幅图像中，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述.它通过计算和统计图像局部区域的梯度方向直方图构成特征.[7]由于HOG是在图像的局部胞元上操作，所以它对图像几何和光学的形变都能保持良好的不变性.

设图像中像素点（x，y）灰度值为H（x，y），该像素点的水平方向和垂直方向梯度计算方法为：

2 系统软硬件设计与实现

2.1 系统模块构成

按照系统需求分析，本系统应分为三大模块：视频采集捕获模块、图像处理模块和疲劳检测判断报警模块.各模块功能见表1.

2.2 系统硬件构成

系统采用Intel酷睿I3处理器和罗技Pro9000摄像头.摄像头负责采集视频;处理器负责对算法进行编译执行，同时为软件提供环境支持.系统总硬件详细构成见表2.

2.3 系统软件设计

系统发起开启摄像头的线程请求，若摄像头正常开启，便采集视频流.

2.3.1 图像预处理

图像灰度化 由于RGB彩色图像信息量多有冗余，容易受光照影响，需对图像进行灰度化预处理.灰度化图像虽然彩色信息丢失，但HOG特征提取的核心是依赖于梯度计算，对于彩色的依赖性不强，且灰度化之后矩阵维数下降，运算速度大幅度提高，同时可减小一定的噪声点和光照因素干扰.

图像亮度校正 实际驾驶过程中，由于白天光照强而夜间光照弱，所获取的图像容易受到光照因素的影响.此时，可以通过对图像Gamma值的调整对对比度偏低或亮度过高的图像进行校正.图像的Gamma值大于1时，对图像的灰度分布直方图具有拉伸作用（使灰度向高灰度值延展），Gamma值小于1时，对图像的灰度分布直方图具有收缩作用（使灰度向低灰度值聚拢）.[9]因此，结合图像亮度信息来动态调整Gamma值，可有效减小光照因素的影响.

2.3.2 构建人脸检测器

结合图像HOG特征和SVM，可以构建一个强大的人脸检测分类器.

（1）训练过程

第一步，挑选1 000张960×720像素的同一人照片作为正样本，规格化并把人脸特征从背景中抠取出来，得到200×250像素大小的样本，计算其HOG特征，提取得到人脸HOG特征描述子.

第二步，挑选10 000张与正样本内容无关并且不含检测目标的负样本，确保负样本每张像素大小也为200×250像素，得到负样本的HOG特征描述子.

第三步，利用SVM训练正负样本并分类，若SVM分类器出现误检，则将其作为负样本重新加入，再次训练分类器模型.

第四步，检验分类器能否正确归类，对每一个测试图像定位提取HOG特征.使用当前的HOG特征评估训练的SVM分类概率，如果超过设置的阈值，则区域中包含目标，否则不包含.

（2）面部标记检测

基于Dlib库中附带的预先训练完成的检测器，对人脸68个特征点坐标进行标记.成功标记出测试图片人脸的下巴、嘴巴、鼻子、左右眼睛和左右眉毛，如图1所示.

2.3.3 人眼定位及闭合程度检测

根据图1的特征标记点可以得到两只眼睛的坐标，每只眼睛由p1-p6这6个（x， y）坐标组成，由此直接追踪左右眼的兴趣区域ROI（Region of Interest）点坐标，从而获得对人眼区域的定位.如图2所示.

3 系统测试与实验结果

启动系统，使摄像头正对被测试者的面部，分别在上午9点时段和傍晚18点时段进行测试.眼睛为张开状态，检测EAR大于0.25，为正常驾驶状态;眼睛为闭合状态，检测EAR小于0.25，由于特定时间内闭合时间过长，超过PERCLOS所设定的阈值T，触发了疲劳驾驶屏幕文字报警提示和蜂鸣提示，实际测试效果如图4所示.

为了验证系统检验的准确性，分别在白天和夜间环境下，各做了5组测试，每组测试时长为60秒，采集捕获的视频为每秒25帧图像，一组1 500帧图像，每张图像大小为450×320像素.测试结果如表3所示.从表3可以看出，白天测试时平均相对误差为0.998%，夜间测试的平均相对误差为1.456%，两者相差不大，说明光照因素对系统影响很小，从而体现了系统较好的鲁棒性和准确性.

进行不同场景下（清醒驾驶状态和疲劳驾驶状态下）的测试，观察系统能否正确反馈信息.共记录了三组测试数据，记录每组前60秒内得到的PERCLOS值和测试的实际状态作为参照，测试结果见表4.

从测试结果可看出，系统对清醒状态和疲劳状态辨别准确，PERCLOS结果和实际状态也完全匹配，95%以上的正确率体现了系统较好的稳定性和准确性.

4 结语

本文通过提取HOG特征，构建SVM分类器，训练一定数据量的人脸样本检测人臉.借助Dlib人脸特征点检测器进一步获得68个人脸特征点坐标，由面部五官不变的坐标点兴趣区域，得到了一种快速眼睛定位的方法.在眼睛定位的基础上，提出计算人眼闭合程度的EAR方法，设置恰当的EAR阈值，结合PERCLOS的P80标准，判断人眼的闭合状态.实验结果表明，该方法实现了对驾驶员是否疲劳驾驶的检测，有较高的准确率.

参考文献

[1]Y.Tsai，P.Lai，P.Huang，et al.Vision-Based Instant Measurement System for Driver Fatigue Monitoring[J].IEEE Access，2020，8：67342-67353.

[2]曹景胜，李刚，石晶，等.非接触式汽车驾驶员心电监测系统设计[J].科学技术与工程，2019，19（03）：112-117.

[3]王力超，罗建，刘丙友，等.基于机器视觉的智能小车导航系统研究[J].牡丹江师范学院学报;自然科学版，2019（01）：29-33.

[4]S.Gopi，E.Punarselvam，K.Dhivya，et al.Driver Drowsiness Detection Based on Face Feature and Perclos[J].International Journal of Scientific Research in Science and Technology，2021：108-112.

[5]杨旭林，高凯，卢万平，等.一种用于监测城轨车辆司机盹睡系统的设计与实现[J].铁道机车车辆，2021，41（03）：132-136.

[6]许佳奕，薛鑫营，李建军，等.结合多尺度HOG特征和语义属性的合成素描人脸识别[J].计算机辅助设计与图形学学报，2020，32（2）： 297-304.

[7]姚立平，潘中良.基于改进的HOG和LBP算法的人脸识别方法研究[J].光电子技术，2020，40（02）：114-118+124.

[8]王立国，赵亮，刘丹凤.SVM在高光谱图像处理中的应用综述[J].哈尔滨工程大学学报，2018，39（6）：973-983.

[9]关雪梅.几种图像平滑处理方法比较研究[J].牡丹江师范学院学报：自然科学版，2016（04）：31-33.

编辑：琳莉