一种融合视线检测的注意力检测方法

熊碧辉 周后盘 黄经州 阮益权 周里程

摘要：当前利用计算机视觉技术检测学生注意力的方法主要是基于人眼闭合特征和头部偏转特征。当学生处于头部正视、眼睛睁开而视线在看电脑屏幕以外区域时，用以上两种特征无法检测出该类分心情况。针对该问题，提出了一种融合视线检测的注意力检测方法。通过摄像头抓取图像，分析每帧图像中学生的眼睛闭合特征、头部偏转特征以及视线特征，用以判别学生的注意力专注度。实验结果表明，融合视线的注意力检测方法准确性较高，具有一定的实用价值。

关键词：在线教育；注意力检测；头部偏转检测；眼睛闭合检测；视线检测

DOI：10.11907/rjdk.173125

中图分类号：TP301

文献标识码：A文章编号：1672-7800（2018）007-0031-06

Abstract：Incurrentonlineeducation，theresearchmethodsofdetectingstudent′sattentionbasedoncomputervisionaremainlybasedonthecharacteristicsofhumaneyeclosureandheaddeflection，however，whenstudentsfacetothecomputerscreenbutlookatotherplaces，thisdistractioncanbedetectedbyapplyingneitherofthecharacteristicsmentionedabove.Tosolvethisproblem，anattentiondetectionmethodintegratedwitheyegazedetectionisproposed.Bycapturingpictureswiththecameraandanalyzingthecharacteristicsoftheeyeclosure，headdeflectionandlineofsightineachframe，thedegreeofastudent′sattractioncanbedetermined.Theexperimentalresultsshowthattheattentiondetectionmethodintegratedwitheyegazedetectionhashigheraccuracyindetectingstudentsattentionbehavior，andthushascertainpracticalvalue.

KeyWords：onlineeducation；attentiondetection；headdeflectiondetection；eyeclosuredetection；eyemovementdetection

0引言

近年來基于网络的在线教育日趋普及，学生能在任何时间、任何地点学习，但该类无监督的学习环境下师生无交流，难以确定学生是否认真学习，此外，长时间面对单调的电脑屏幕，学习效果受到影响，同时使得学生集体意识淡薄。因此，检测学生注意力分散情况并给予提示尤为重要。

注意力检测研究最广的是驾驶员疲劳检测，而在线教育领域注意力检测研究则相对较少，其中通过计算机视觉技术检测学习者注意力状态的方法大多类似于驾驶员疲劳检测方法，或在此基础上融合生理特征检测或行为检测，如脑电波检测、眼电图检测、心电图检测，或者通过监测学习者的姿态、鼠标键盘点击行为等分析学习者的学习状态[1-2]。余绕东[1]设计了一套智能注意力检测系统，通过采集人脸、人眼信息并结合脑波检测，分析学习者情感状态，分别从显式分心和隐式分心两个层面实时检测学习者是否分心，从而改善远程教育系统中情感缺失问题；卢希[2]利用Kinect传感器采集学生的头部姿态、面部表情等数据，分析学习者的学习状态；吴沧海等[3]通过分析学习者面部表情、头部姿态和眨眼频率判别学习者注意力状态。

该领域大多数方法对设备有一定要求，如文献[2]中需要视线Kinect传感器，还有要求使用高分辨率摄像头或红外光源，至于生理检测方法则要求更高，需要在学习者身上放置传感器，使学习者产生心理负担。本文在研究相关方法后发现，在学生处于头部正视、眼睛睁开但视线在电脑屏幕以外区域的情况下，仅依靠人脸特征和人眼特征无法检测分心情况。借鉴驾驶员疲劳检测中视线区域检测方法，并考虑低分率摄像头应用条件，本文提出了一种融合视线检测的多特征注意力检测方法，对眼睛闭合检测方法进行改进，从而整体上提高注意力检测的准确性。通过低分辨率摄像头或笔记本电脑自带摄像头实时采集图像，利用机器视觉技术分析学生学习过程中的注意力状态，建立一个实施简单、实用性强的注意力检测方法。

1注意力检测算法

1.1算法概述

本文的注意力检测场景为学生坐在电脑屏幕前，采用普通的低分辨率摄像头抓取图像，像素值约为30万。首先通过摄像头抓取图像，然后进行人脸检测，当连续超过一定时间阈值检测不到人脸时，判定学习者已离开坐席，反之进入后续的头部偏离检测，头部偏离不大（正视状态）时检测眼睛闭合特征和视线特征。每隔一段时间计算眼睛闭合帧数、头部偏离帧数、视线偏离帧数占该时段内总帧数的比值，并综合分析3个特征的比值结果判定学生是否分心。注意力检测流程见图1。

1.2人脸检测

考虑到实时性要求，人脸检测采用Adaboost算法实现。该算法使用harr-like特征表示人脸，并使用“积分图”加快计算，再级联多个弱分类器构造成一个强分类器提高检测准确率[4]。本文的人脸检测分类器利用OpenCV计算机视觉库中基于该算法的haar分类器训练得到。

1.3眼睛闭合检测

采集到的眼睛截取图片如图2所示，上面两幅为普通光照环境（光线明亮均匀，能够清晰辨认人脸），第三幅为弱光环境。由二值化后的图可知，使用低分辨率摄像头时，检测眼睛的虹膜（眼球中的黑色区域）大小比较困难，光照不佳时更明显。

对于低分辨率摄像头下的眼睛闭合检测，一种可行方法是检测眼睛区域二值化后的积分投影图并计算虹膜大小[5]。然而实际检测中在闭合时眼角点明显会有很大干扰，导致垂直投影所得到的眼高有误。故本文利用眼睛轮廓计算眼睛宽高比值，再进行眼睛闭合判别。

眼睛闭合检测流程如图3所示，为了缩小搜索范围、加快计算速度，检测到人脸后根据五官分布直接截取眼部图片进行检测；预处理包括直方均衡化和二值化处理，轮廓检测使用OpenCV的轮廓检测函数findContour，椭圆拟合处理主要通过拟合得到的椭圆获取眼睛轮廓宽高比值，由最小二乘法拟合算法[6]实现。

由图4可知，椭圆拟合有多个结果，且眼睛闭合时拟合得到的眼高与实际不符，因此需设定规则获取正确的眼睛轮廓宽高值：①剔除长轴大小接近图片宽度的椭圆；②剔除较小以及过大的椭圆；③剔除中心点过于靠近边界区域的椭圆；④计算最终结果的椭圆区域面积与实际眼睛轮廓区域面积的比值。当比值过大时，由轮廓区域面积和拟合椭圆得到的宽度值计算实际的高度值。

典型的过滤结果如图5所示。最后一幅图中椭圆拟合的高度与实际明显不符，且椭圆拟合的椭圆面积与实际轮廓面积比值超过一定阈值，需使用规则4计算实际轮廓大小。

计算得到眼睛轮廓宽高比值，当比值低于某一阈值（本文根据实验分析，阈值取0.2）时，判定该帧图片中眼睛为闭合状态。当上述规则过滤后没有结果时（检测不到眼睛），同样判定眼睛为闭合状态。判定结果为眼睛闭合时，将程序中的眼睛闭合帧数统计值加1。

1.4视线检测

已有的视线检测方法通常采用灰度直方图、LBP特征或傅里叶算子，提取人眼特征分析视线，这些方法主要基于人眼外观特征，容易受到光线、肤色的影响[7-9]。本文的视线检测方法通过分析虹膜中心相对于眼睛轮廓的位置关系判别视线。

1.4.1眼睛轮廓检测

人眼轮廓检测使用SDM检测算法[10-12]，它是当前检测人脸特征点最流行的算法之一，速度快且稳定。该方法使用无参数的形状模型和SIFT特征，从而在复雜环境下也能有很好的检测效果。

图6中的点为手工标记的人脸特征点，也是人脸特征点检测中的最优解x，图7中的点是初始化时的特征点x0。

1.4.2虹膜中心定位

为避免光照影响，本文利用图像梯度信息获取虹膜中心位置，原理为圆形物体的中心点可通过分析图像上的梯度向量获取中心点[13]。图8是一个眼球模拟图形。

图8中，c代表可能的瞳孔位置，黑色圆以外区域为巩膜区域（眼睛白色区域），该模型表示要求的圆心点与图像梯度方向的关系，其中di为归一化的位移矢量，gi为梯度向量，当c为真正的圆心时，di和gi有相同的位移矢量，反之两者将存在一个夹角。

在强光条件下瞳孔会产生亮瞳反应，即在虹膜中心形成一个亮白点，计算出来的结果可能是一个最黑点或最白点，因此需要导入先验知识：瞳孔通常比皮肤和巩膜的颜色要深，给每一个可能的中心点c赋予一个权值wc，其中颜色深的权值高于较亮区域的权值，通过以下公式求取实际圆心：

实际的虹膜中心检测结果如图9所示，对于头部偏转不大时检测效果良好。

1.4.3视线分析

当头部处于正视、眼睛睁开的情况下，观看不同区域时，主要变化为眼睛的睁开程度以及虹膜相对于眼睛轮廓的位置变化，如图10所示。

简化后的人眼如图11所示。

图12为提取出来的人眼轮廓宽高以及虹膜中心相对于人眼轮廓的位置关系。

由图12提取以下特征参数：

利用这3个特征参数构成视线检测的特征向量X（FeatureX，FeatureY，FeatureXY）。视线检测由SVM训练的分类器进行判别，SVM中传入的特征向量为X，使用的样本如图13所示。将类别分为两类：视线在电脑屏幕区域内的为正样本，标记为A；视线在电脑屏幕区域外的为负样本，标记为B。

注意力检测程序对每一帧图像进行视线偏离检测。当检测到视线偏离时，将视线偏离帧统计值加1。图14为视线偏离检测。

1.5头部偏离检测

头部偏转检测通过预先建立三维模型，人工标定三维模型的脸部特征点，再随机旋转平移这些特征点之后，通过相机成像模型投影得到二维点，从而获得二维脸部特征点到头部姿态的映射。根据SDM检测出来的人脸特征点通过线性回归，可得到头部偏转角度[14-15]。

设定头部偏转角度超过左右35°时判定为头部偏离。对每一帧图像进行头部偏转检测，当检测到头部偏离时，将程序中的头部偏离帧统计值加1。头部检测效果如图15所示。

1.6注意力检测分析

根据上述检测算法中闭眼帧数、头部偏离帧数、视线偏离帧数统计值，每隔一段时间计算闭眼帧数、头部偏转帧数、视线偏离帧数占总帧数的比值。当比值超过一定阈值时即判定学生出现了分心情况。

该统计原理主要依据驾驶员疲劳检测中常用的PERCLOS检测算法[16]，其定义为单位时间（一般取1min或者30s）内眼睛闭合一定比例（70%或80%）所占的时间，计算公式如下：

注意力检测程序中，利用以上3个统计值，设计定时函数每隔3s，分别独立计算该时段内的闭眼帧数、头部偏离帧数、视线偏离帧数占该时段内总的帧数比值，并取3个比值中的最大值作为分心比值。当比值大于某一阈值时（实验分析后设定为0.7）判别学生在该时段内出现分心情况。

2实验设计与分析

2.1实验设计

本文算法在VS2013+OpenCV环境下实现，运行于Inteli72.59GHz笔记本上，摄像头为笔记本电脑自带摄像头，像素值24万，操作系统为Win10。通过分析一段样本视频来实时检测分析学生的注意力状态，该视频长度约为10分钟，环境为普通光照环境。该采样视频要求学生在视频前15秒保持学习状态。为了获得更好的检测对比效果，学生无规律做出左顾右盼、眼睛闭合或视线偏离的分心动作，并在其中穿插认真学习的状态。随后使用单一的眨眼频率特征和单一的头部偏转特征分析学习行为。结合眼睛闭合特征和头部偏转特征算法进行检测，使用融合视线检测的本文算法检测该样本视频并进行对比分析。

2.2实验结果及分析

根据上述设计获取实验数据后，选取其中区分较明显的一部分数据构造曲线图。图17为单一眼睛闭合检测和单一头部偏转检测对比；图18为多特征检测，分别为眼睛闭合检测加头部偏转检测以及融合视线检测的本文算法，利用多个特征中的最大分心比值作为最终结果判别学生是否分心。阈值取0.7，超过该阈值即判定学生在当前检测时段注意力分散。

实验分析结果如表1所示。

通过实验分析，使用了融合视线检测的本文算法后，如图18和图19所示，视线偏离的分心漏检情况在加入视线检测后能够被有效检测到，并给予了相应提示。

由表1可知，本文的注意力检测准确率高达89.3%，相对于只使用了眨眼频率特征和头部偏转特征的传统方法，准确率有所提高，且明显解决了视线偏离检测不到的分心问题。

但本系统对于视线朝下的检测效果不太理想，原因在于视线往下看时，眼睛表现为半睁开状态，造成眼睛闭合特征检测出现误检，以及虹膜相对于眼睛轮廓的位置变化只有几个像素点，区分不明显。

产生此问题原因在于图像采集设备较为简单，导致图片质量不佳，此外采集的数据量不够，分析有待完善。

3结语

融合视线特征的注意力检测方法，适应于低分辨率摄像头，实施简单，对于学习过程中的瞌睡、视线偏离教学区域等分心行为都能有效检测出来，整体检测效果较好，具有较高的准确性和实用价值。对于视线检测中视线朝下的区分不明显问题及眼睛半睁开状态的眼睛闭合误检问题，还需进一步优化改进。

参考文献：

[1]余饶东.基于脑波与计算机视觉的注意力检测技术在E-Learning中的应用研究[D].昆明：昆明理工大学，2015.

[2]卢希.学习者在线学习状态检测工具的设计与实现[D].武汉：华中科技大学，2016.

[3]吴沧海，熊焕亮，王映龙.远程学习中学习状态判断的情感计算研究[J].软件导刊：教育技术，2013，12（7）：24-27.

[4]毕雪芹，惠婷.基于肤色分割与AdaBoost算法的人臉检测[J].国外电子测量技术，2015（12）：82-86.

[5]毛须伟，景文博，王晓曼，等.一种基于眼部状态的疲劳驾驶检测方法[J].长春理工大学学报：自然科学版，2016，39（2）：125-130.

[6]KANATANIK，RANGARAJANP.Hyperleastsquaresfittingofcirclesandellipses[J].ComputationalStatistics&DataAnalysis;，2011，55（6）：2197-2208.

[7]MANSOURYARM，STEILJ，SUGANOY，etal.3Dgazeestimationfrom2Dpupilpositionsonmonocularhead-mountedeyetrackers[C].BiennialACMSymposiumonEyeTrackingResearch&Applications.ACM;，2016：197-200.

[8]SATOY，SUGANOY，SUGIMOTOA，etal.Sensingandcontrollinghumangazeindailylivingspaceforhuman-harmonizedinformationenvironments[C].Human-HarmonizedInformationTechnology，Volume1.SpringerJapan，2016.

[9]FENGL，SUGANOY，OKABET，etal.Inferringhumangazefromappearanceviaadaptivelinearregression[C].InternationalConferenceonComputerVision，2011：153-160.

[10]CHENGY.Superviseddescentmethodbasedonappearanceandshapeforfacealignment[C].IEEEInternationalConferenceonServiceOperationsandLogistics，andInformatics，2016：184-189.

[11]XIONGX，TORREFDL.Superviseddescentmethodanditsapplicationstofacealignment[C].IEEEComputerVisionandPatternRecognition，2013：532-539.

[12]LICY，BALTRUSAITIST，MORENCYLP.Constrainedensembleinitializationforfaciallandmarktrackinginvideo[C].201712thIEEEInternationalConferenceonAutomaticFace&GestureRecognition;（FG2017），2017：697-704.

[13]TIMMF，BARTHE.Accurateeyecentrelocalisationbymeansofgradients[C].ProceedingsoftheSixthInternationalConferenceonComputerVisionTheoryandApplications，2015：125-130.

[14]DALALN，TRIGGSB.Histogramsoforientedgradientsforhumandetection[C].IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition，2005：886-893.

[15]马召宾.融合眼部特征及头部姿态的实时疲劳驾驶检测技术研究[D].济南：山东大学，2016.

[16]陈恒惕，王进伟，丁云升，等.一种基于PERCLOS算法的汽车防疲劳驾驶枕设计[J].数字化用户，2017，23（1）：168-169.

（责任编辑：杜能钢）