驾驶员不良情绪状态检测系统的方法研究

马兴民，孙文财，徐 艺，郑鹏宇

(1.烟台职业学院汽车工程系，山东烟台264670;2.吉林大学交通学院，长春130022; 3.吉林省外国企业服务有限公司，长春130021)

驾驶员不良情绪状态检测系统的方法研究

马兴民1，孙文财2，徐 艺2，郑鹏宇3

(1.烟台职业学院汽车工程系，山东烟台264670;2.吉林大学交通学院，长春130022; 3.吉林省外国企业服务有限公司，长春130021)

针对驾驶员因处于非常状态下驾车而频繁导致交通事故问题，设计了驾驶员不良情绪状态检测系统。该系统采用LBP(Local Binary Patterns)和SVM(Support Vector Machine)决策树相结合的算法分析、识别人脸表情。经实验验证，该方法有较高的准确率，系统运行速度快。

不良情绪状态;计算机视觉;情绪状态检测;支持向量机

0 引 言

随着社会经济的发展，车辆逐渐增多，交通事故也频繁发生，而驾驶人员的因素是引发事故的主要原因。其中驾驶人员的状态占据首要位置，直接影响驾驶人员开车的注意力、紧急情况处理方式、操作的反应速度，进而影响车内人员的人身安全。而驾驶人员的状态主要指其自身的情绪状态，如:兴奋驾驶、愤怒驾驶和悲伤抑郁驾驶等。这里把驾驶员不适合驾车的状态称为不良驾驶状态。曾有相关研究对交通肇事原因做了相关调查，结果显示，因驾驶人员伴有不良驾驶状态而产生交通事故的次数占总交通事故33%［1，2］。

由此可见，驾驶人员的情绪状态关系到行人及乘车人员的生命安全，因此关注驾驶员不良情绪状态并对其进行预警与缓解是非常有必要的。

人的情绪状态往往可通过外在面部表情体现，因此实现系统功能的主要方面为表情识别。人脸表情识别步骤主要为以下3方面:1)人脸检测;2)检测区域特征提取;3)特征识别、分类。

目前，人脸检测技术已趋于成熟，此项技术主要功能为检测目标区域是否包含人脸存在，并且标出。当前主要算法有:子空间变换、机器学习、模板匹配、局部特征等以及多种方法综合运用。

表情特征的提取主要有基于几何特征方法、基于模板匹配方法、基于弹性图匹配的方法以及基于小波分析的特征提取方法等。

笔者主要研究提取后表情特征的识别与分类。在采集的数据库上进行试验，结果展示出了该方法的有效性。

1 系统方法原理

笔者提出的方法为非接触式方法，通过采集驾驶员的面部图像，利用基于肤色的方法定位其面部位置，并使用LBP(Local Binary Pattern)与SVM(Support Vector Machine)决策树相结合的方法识别驾驶员的面部表情，对其进行分类。系统首先利用LBP方法将采集的图像转换为LBP特征谱;然后将转换后的特征谱进一步转换为LBP直方图;最后通过SVM分类器完成对所采集图像的识别和分类。

1.1 LBP方法

Ojala等［3］提出了LBP方法，主要是用于纹理特征提取。原始LBP算子的基本思想:在一个3×3像素的区域内，通过对周围8个像素进行遍历，将像素值与当前区域中心的像素值进行对比，标记像素点的位置为

图1 LBP转换原理Fig.1 LBP conversion principle

其中pi为周围像素点的像素值，pc为区域中心的像素值。通过上述转换，当前3×3像素的区域内的8个周围像素点可以生成8位二进制编码，通常计算过程将此二进制编码转换为十进制数值，即所谓的LBP码，8位编码最多可以产生256个值，即得到了该区域中心的最终像素点值，当前值即可表示该区域的纹理信息情况。转换过程如图1所示。

具体转换公式如下所示

其中(xc，yc)代表3×3像素邻域的中心元素，其像素值分别为ic，ip代表邻域内其他像素的值，s(x)为符号函数，当x＜0时，s(x)=0;否则，s(x)=1。

由于原始LBP算子只可能处理固定范围内的区域问题，当使用人员有不同的频率纹理和尺寸需要

图2 5×5邻域示例Fig.2 5×5 neighborhood sample

时，原始LBP算子则不能满足需要。针对此种情况，笔者将原始LBP算子进一步升级，提出了圆形LBP算子，主要做了以下3点改进:

1)使原始3×3像素邻域适应任意领域;

2)原始正方形邻域改进为圆形邻域;

3)原始有限像素点改为在圆形邻域内，半径为R的区域中像素点个数不受限制。

如定义一个5×5像素的邻域，如下所示。

图2内有8个黑色的采样点，每个采样点的值计算如下

其中(xc，yc)为邻域中心，p∈P为某个采样点。通过式(3)和式(4)可计算任意采样点的坐标，但计算得到的坐标有时并非整数，因此可利用双线性插值

得到该采样点的像素值。

在计算过程中，LBP算子可以产生多种不同的二进制模式，对于半径为R的圆形区域内含有P个采样点的一个LLBPPR将产生2P种模式。从式(5)可以看出，随着当前邻域集内采样点数的增加，模式的种类将呈现指数增加。对于实际人脸识别的应用，这种情况将会对结果产生负面影响，如，由过大的模式种类而引起的数据存储以及数据稀疏问题。为了对结果不产生负面影响，应该在不减少表达图像信息的基础上，尽量对其进行降维。

针对以上问题，Ojala等［3］提出了一种降维方法:等价模式(Uniform Pattern)。经过该方法处理，模式维度可以大大降低，由原来的2P种减少为P(P-1)+2种。

经过长期的探究，Mariappan等［4］又将LBP算子进行了更深入的分析，通过结合等价模式，将其进行旋转处理，得到旋转不变的等价模式，从而提出了具有旋转不变性的LBP算子，这样在Ojala的基础上进一步降低了模式的维度，由2P类减少为P+1类［4-8］。所以，所有的非等价模式被归为第P+1类。

经过对原始LBP算子的两次算法改进，使原始LBP算子中存在的数据存储及数据稀疏的问题得到充分解决，由原来的2P类减少为P+1类，而且使其具有两个极为重要的显著特征:1)旋转不变性;2)灰度不变性。表1展示了原始LBP算子及其改进的两种算法的对比情况。

表1 不同LBP算子比较Fig.1 Comparison of different LBPOperators

图3 最优分类超平面Fig.3 Optimal Classification hyper plane

1.2 SVM方法

SVM［9-11］在不用采取降维技术的同时，可处理大规模、高纬度数据，同时拥有较好的性能。它是基于最大间隔准则得到的，其过程是对一个二次凸规划问题求解，从而得到一个最优分类超平面，如图3中实线所示。

支持向量机只需要训练集中的一部分数据作为支持向量(Support Vectors)，使支持向量机相比其他分类器(如神经网络)需要更少的内存空间，并且计算更有效。

2 笔者提出方法

笔者所提出系统运行主要包含以下5个步骤。

1)将待测区域窗口平均分为256(16×16像素)个单元区域(cell)。

2)循环遍历256个单元区域，对其中每个像素区域，进行再次循环，使其与周围相邻的所有像素的灰度值进行对比，对比结果标记如下

其中pi为周围像素点的像素值，pc为区域中心的像素值。经过循环遍历后，得到一个8位的二进制数，代替当前的区域，从而得到了该窗口中心像素点的LLBP18值，通过采取旋转不变模式将其进行分类，最终得到9种状态。

3)通过计算各个单元区域的直方图，统计所有数字对应出现的频率，最终对该数字直方图使用余弦归一化处理，将统计后的频率处理到0～1之间。

4)将统计后的单元区域直方图的值联合到一起，作为此图的特征向量，即待测区域的LBP纹理特征向量值。

5)对于7类结果表情值(其中含中性表情)，笔者使用SVM分类器为 One-against-all classifier (一对多分类器)，根据每个类别表情，构造与其相对应的7个SVM子分类器，针对分类结果的处理，分类器采取了最邻近准则技术作为最终的划分准则，在测试样本进入系统时，系统中的7个SVM分类器逐一对其进行分类，结果将会呈现出以下3种状态:

①当产生的7个结果中，6个结果输出为“0”时，则第n个SVM分类器输出结果为“1”，当前测试区域被分到第n个表情类别中;

②当产生的7个结果都为“1”时，则根据采取的最邻近算法，将当前测试区域分类到离其距离最近的训练样本类别;

③当产生的7个结果都为“0”时，根据算法，当前测试区域不分类到任何一个训练表情类别中。

为取得良好效果，将根据所采集的样本特征向量进行训练，使SVM分类器得到相应的适合系统参数，进而进行待测区域分类。

3 系统分类结果及数据分析

实验所采用的数据均为人工采集，选取30名驾龄5年以上的参测人员，驾驶员在行驶过程中伴随着“中性”、“兴奋”、“厌恶”、“呆滞”、“悲伤”、“愤怒”6种测试状态各5次，根据所采集的数据，系统进行分析、识别。系统在实验前进行相关实验设计:当测定平均误差率在10%以下时，则表示当前实验成功，系统误差率如表2所示。

通过表2可以得到:“兴奋”状态是驾驶员最容易被识别的表情，产生这一结果的原因主要是其状态相比其他5种状态特征明显，采用SVM分类器识别时较容易区分。然而“呆滞”与“厌恶”的状态较难识别，主要原因是这两种状态的特征不明显，采用SVM分类器难以区分，而且在分类的过程中极容易被误分为“中性”状态。

在实验测试过程中，经过统计可以发现系统判定后的状态中，“中性”状态识别次数明显多于其实际次数，主要原因是由于“中性”的特征较其他状态特征不突出，实际检测时，状态特征不明显的“情绪状态”，SVM分类器会将其误分到“中性”状态中。由表2可以看出，系统的平均误差率在10%以下，根据之前的实验设定，表示系统表情分类成功。

表2 系统实验结果Tab.2 System expermental results

4 结 语

上述实验结果充分证明了笔者所提出的系统方法对于检测驾驶员不良情绪状态的有效性。但由于系统采集数据有局限性，当推广到实际应用中可能会存在一定误差，该产品将继续研发、测试，争取早日进入实际应用中，进而减少因驾驶员因不良情况状态驾车而造成的交通事故。

［1］ZHOU Dajing.Road Traffic Psychology［M］.Shanghai:Shanghai Jiaotong University Press，1991.

［2］TAKAHASHI I，YOKOYAMA K.Development of a Feedback Stimulation for Drowsy Driver Using Heartbeat Rhythms［C］∥Engineering in Medicine and Biology Society.Boston:［s.n.］，2011:4153-4158.

［3］OJALA T，PIETIKAINEN M，HARWOOD D.A Comparative Study of Texture Measures with Classification Based on Feature Distributions［J］.IEEE Transactions on Pattern Recognition，1996，29(1):51-59.

［4］MARIAPPAN M B，MYUNGHOON S，PRABHAKARAN B.Facial Expression Recognition Using Dual Layer Hierarchical SVM Ensemble Classification［C］∥Proceedings of 2012 IEEE International Symposium on Multimedia.Irvine:IEEE，2012: 104-107.

［5］ROGADO E，GARCIA J，BAREA R，et al.Driver Fatigue Detection System［C］∥Robotics and Biomimetics.Bangkok:［s.n.］，2009:1105-1110.

［6］KIM Y，YOUMIN K，HAHN M.Detecting Driver Fatigue Based on the Driver's Response Pattern and the Front View Environment of an Automobile［C］∥Second International Symposium.Osaka:［s.n.］，2008:237-240.

［7］SANDBERG D，WAHDE M.Particle Swarm Optimization of Feed Forward Neural Networks for the Detection of Drowsy Driving［C］∥Neural Networks.Hong Kong:［s.n.］，2008:788-793.

［8］CELENK M，EREN H，POYRAZM.Prediction of Driverhead Movement via Bayesian Learning and ARMA Modeling［C］∥Intelligent Vehicles Symposium.Xi'an，China:［s.n.］，2009:542-547.

［9］CHANG CHIH-CHUNG，LIN CHIH-JEN.LIBSVM:A Library for Support Vector Machines［C］∥ACM Transactions on Intelligent Systems and Technology(TIST).［S.l.］:ACM，2011:2-27.

［10］GARCIA I，BRONTE S，BERGASA LM，et al.Vision-Based Drowsiness Detector for a Realistic Driving Simulator［C］∥Intelligent Transportation Systems，13th International IEEE Conference.Funchal:IEEE，2010:887-894.

［11］WANG H，CHENG Y，WANG Q，et al.A Practical Eyestate Recognition Based Driver Fatigue Detection Method［C］∥CCPR 2009.Nanjing，China:［s.n.］，2009:1-5.

(责任编辑:刘东亮)

Research on Method of Driver's Negative Emotions Detection System

MA Xingmin1，SUNWencai2，XU Yi2，ZHENG Pengyu3

(1.Department of Automototive Engineering，Yantai Vocational College，Yantai264670，China;2.College of Traffic，Jilin University，Changchun 130022，China;3.Jilin Province Foreign Enterprises Service Company Limited，Changchun 130021，China)

To avoid traffic accidents caused by abnormal driving status，a method of negative emotional state detection method is proposed.LBP(Local Binary Patterns)and SVM(Support Vector Machine)are used combining decision tree algorithm for facial expression recognition and analyzing.The experimental results on the datasets show that the proposed method has high accuracy whilemaintaining the low cost processes.

negative emotions;computer vision;emotional state detection;support vectormachine(SVM)

TP391

A

1671-5896(2015)06-0680-05

2015-05-05

国家自然科学基金青年基金资助项目(51308250);中国博士后科学基金资助项目(2013M530984);中国博士后基金特别资助项目(2014T70292);高等学校博士学科点专项科研基金资助项目(20120061120043)

马兴民(1963— )，男，山东烟台人，烟台职业学院高级工程师，主要从事汽车安全技术研究，(Tel)86-13787849122 (E-mail)1349722102@qq.com;通讯作者:孙文财(1981— )，男，长春人，吉林大学副教授，主要从事交通环境与安全技术研究，(Tel)86-13500806339(E-mail)swcai@163.com。