融合LBP与GLCM的人群密度分类算法

薛翠红，于 洋，张 朝，杨 鹏，李 扬

(1.天津理工大学 聋人工学院，天津 300384；2.河北工业大学 a.控制科学与工程学院，b.计算机科学与软件学院，天津 300401； 3.中国联合网络通信有限公司天津市分公司，天津 300100)

融合LBP与GLCM的人群密度分类算法

薛翠红1，2ɑ，于 洋2b，张 朝2b，杨 鹏2ɑ，李 扬3

(1.天津理工大学 聋人工学院，天津 300384；2.河北工业大学 a.控制科学与工程学院，b.计算机科学与软件学院，天津 300401； 3.中国联合网络通信有限公司天津市分公司，天津 300100)

针对中高密度人群图像检测分类对公共安全的重要性，提出融合局部二值模式LBP与灰度共生矩阵GLCM特征提取的人群密度分类方法。首先用旋转不变的LBP算子进行滤波，得到LBP图像，然后提取滤波后图像的GLCM特征，这样既可以避免LBP算子特征降维带来的损失，又能充分利用LBP和GLCM纹理特征提取的有效性，最后采用有向无环图支持向量机DAGSVM进行密度分类。在Pets2009基准数据库中的实验结果显示该算法具有较高的准确率。

人群密度检测；纹理特征；LBP；GLCM；DAGSVM

1 人群密度分类

近年来随着经济和城镇化的不断发展，城市人口急速膨胀，城市中大规模、高密度的人群活动不断增多。人数多、密度大的人群不但可能发生踩踏事故，还有可能衍生出大规模暴力冲突等危害公众和社会安全的行为，存在很大安全隐患，因此对大规模活动进行监控，将中高密度人群进行分类，实行有效的预警对公共安全具有重要意义，已经成为当前研究热点。1985年，Fruin[1]提出了经典的人群密度理论：当人群密度超过阈值(0.15m2/人)时，场景中的人群很有可能会失控，从而引起严重的人群安全事故。这一理论，为后续关于人群密度的研究工作提供了很好的理论基础。

人群密度检测的研究方法主要分为两类：一类是基于前景像素的人群密度检测[2]，具有代表性的是Davies、Chow等人[2-3]提出的算法，该算法采用像素统计法，利用人群前景和人群数目所占像素的线性关系进行人群密度检测估计，它适用于低密度人群，高密度人群则易产生较大误差；一类是基于纹理特征的人群密度检测，具有代表性的是Marana[4]、Chan[5]、Wu[6]和Rahmalan[7]等人提出的方法，该方法把纹理特征应用于人群密度，假定纹理模式较粗的人群图像其人群密度等级较低，纹理模式较细的人群图像其人群密度等级较高，根据这个特点，可提取人群图像的纹理特征来进行人群密度估计。

根据纹理特征[8]进行人群密度估计的方法，在高密度检测时精确度更高，解决了基于前景像素方法在人群密度大时的局限性，而且该方法可以解决重叠问题，但对低密度人群估计时误差较大。针对中高密度人群图像，本文提出一种融合LBP与GLCM的方法，实验中先对图像进行LBP滤波，得到LBP图像。再对LBP图像建立GLCM灰度共生矩阵，获取其能量、对比度、逆差矩、熵，并将求得的每个灰度共生矩阵的特征值进行级联，得到16个纹理特征。最后采用支持向量机的方法来进行分类。方法流程图如图1所示。

图 1 基于纹理分析的人群密度分类流程图

2 人群图像纹理特征提取

2.1 LBP算子

LBP(Local Binary Pattern)又称为局部二值模式[9-10]，是一种算子，用来描述图像局部纹理特征。LBP对光照变化具有很强的鲁棒性并且计算简单。

最早的LBP算子是：对于1幅图像的某个局部区域内的任意像素当做中心点，在3×3的窗口内，将窗口中心点灰度值当做阈值，其他8邻域像素灰度值和该阈值做差运算，当其差值大于0时就将该像素标记为1，当其差值小于0时就将该像素标记为0，这样，标记后的8邻域像素可以产生一串0、1表示的无符号数，这个无符号数就是该窗口的LBP值，它能清楚地反映该区域的纹理信息[9-10]。随后又出现了诸如圆形LBP算子、LBP均匀模式、LBP旋转不变模式和LBP等价模式等各种改进和优化方法。

传统LBP算子只能覆盖一个固定大小的区域，描述能力有限。为了能够适应不同频率与尺度的纹理，Ojala对传统LBP算子做了改进，首先使用圆形区域代替了矩形区域，并将3×3窗口扩充到任意大小，即中心点gc在半径为R的圆形区域内包含了任意多个像素点。以gc为中心像素位置，gi为其邻域像素位置，R是gi到gc之间的距离，P是采样点数，则LBP值为

(1)

(2)

式中：s(x)是一个二值函数。原图像经过LBP算子处理后，得到同原图像相同大小的LBP图像，然后对该图像统计其直方图，一般不让LBP图像直接用于纹理特征描述，然而这样会使得纹理特征描述子的参数随着半径R以及P点的增多，快速增加，这种现象会极大的提升计算量，给算法的实时性带来很大的困难。

2.2 GLCM

灰度共生矩阵GLCM，用于提取图像的纹理特征[11]。它能够反映图像的灰度在相邻的方向、相邻的间隔、变化的幅度等方面的综合信息，能够反映具有相同灰度级的像素之间的位置分布特征，是计算纹理特征的基础。

GLCM矩阵元素相对于主对角线的分布情况，可以反映出图像纹理的粗细程度。对于含有丰富粗纹理的区域，其GLCM中非零元素比较多，并且在主对角线附近分布密集。因为在富含丰富粗纹理的区域，像素灰度分布相对平滑，方差较小。而对于含有较多细纹理的区域，其GLCM中的非零元素值或值较大的元素值则分散分布。

GLCM本身并不是纹理特征[11]，而是在其基础上进行纹理特征的提取，因此被称作二次统计量。在GLCM中，选用4种最常用的概念来描述纹理特征，简化计算，提高分类精度，它们是：

1)能量(Energy)：GLCM元素值的平方和，它主要反映了图像纹理的粗细程度和灰度的分布均匀程度。

2)对比度(Contrast)：GLCM值的分布情况，主要反映图像清晰度和纹理情况[11]。

3)熵(Entropy)：描述图像信息量，它反映了图像纹理复杂度。

4)逆差距(Homogeneity)：表示图像纹理的规则程度，能够反映图像局部纹理变化的大小。逆差距越大则说明不同区域间的图像纹理变化反而越小，局部纹理相对均匀，反之也是一样的。

2.3 LBP与GLCM融合的方法进行纹理提取

LBP算子的特征维度高，给计算带来很大的困难。基于此，本文在进行纹理特征提取时，提出了一种融合LBP和GLCM纹理特征提取方法，该算法首先使用LBP算子对原图像滤波，获取原图局部二值模式图像，然后计算其GLCM，提取GLCM纹理特征来描述图像的纹理特征。这样既避免了LBP算子特征降维带来的损失，又能充分利用LBP和GLCM纹理特征提取的有效性。LBP与GLCM融合的具体步骤如下：

1)选取旋转不变的LBP算子，然后对每幅图像滤波，得到LBP图像。如图2所示。

2)计算LBP图像特征谱的灰度共生矩阵，选取一定的距离d，分别令θ=0°，45°，90°，135°，得到4个GLCM。

a 原始纹理图像

b LBP图像

图2 纹理图像与其LBP图像

3)计算每个GLCM的能量、对比度、逆差矩、熵并级联，得到16维纹理特征。

3 基于DAGSVM的密度分类

支持向量机(Support Vector Machine， SVM)的基本原理是：将原始输入的特征向量映射变换到一个高维的特征空间中，并在高维特征空间中求解出最优的分类超平面[12]，这种映射是一种非线性变换，可以通过定义的内积函数来实现。它可以解决局部极小点、非线性、小样本、高维数等各种应用问题[13]。SVM的判别函数如式(3)

(3)

SVM算法原本是用来解决两类问题，本文研究的对象为中高人群密度的分类，分类对象有中密度、高密度和很高密度三类。对此，可以采用有向无环图支持向量机(DAGSVM)，构造3个SVM分类器，并按一定的顺序使用它们。如图3所示，DAGSVM由C13，C12和C23组成，由上到下进行两次分类，通过级联3个SVM的方法得到一个三分类的DAGSVM。

图3 DAGSVM结构示意图

4 实验结果与分析

实验中采用中密度、高密度和超高密度的人群图像，采用Pets2009基准数据库进行实验，图4是Pets2009数据库中的S1_L2_time14-06_view001，S1_L2_time14-31_view001，S1_L1_time13-57_view002三组图像序列，分别是中密度、高密度、超高密度人群。

a 中密度

b 高密度

c 超高密度

使用该样本库中样本，首先训练SVM参数，然后选取3组测试样本，得到最终的分类结果。每组图像被随机平均分为训练集和测试集两组。基于本文方法的人群密度分类结果如表1所示，基于GLCM的人群密度分类结果如表2所示。

表1 基于本文方法进行人群密度估计的结果

图像序列训练样本测试样本准确率/%平均准确率/%S1_L2_time14-06_view001646496.88S1_L2_time14-31_view001565796.49S1_L1_time13-57_view002899097.7897.05

表2 基于GLCM进行人群密度估计的结果

图像序列训练样本测试样本准确率/%平均准确率/%S1_L2_time14-06_view001646492.18S1_L2_time14-31_view001565791.22S1_L1_time13-57_view002899095.5592.98

每组图像序列分类结果对应的混淆矩阵如图5所示。图中medium、high、very-high三个标签分别表示中密度、高密度、超高密度三个级别。可以看出，本文方法具有良好的分类效果，在中高密度人群检测中具有较高的准确率。

表3为其他国际、国内流行算法与本文方法的对比实验结果，由表3中数据可以得出，本文所提方法的准确率高于其他方法的准确率。

a S1_L2_time14-06_view001

b S1_L2_time14-31_view001

c S1_L1_time13-57_view002

作者特征分类器准确率/%文献[4]GLCM神经网络93.00文献[15]像素和纹理卷积神经网络95.40文献[6]GLCMSVM91.30文献[5]像素和纹理统计回归90.00文献[14]GLCM和TamuraSVM95.50本文方法GLCM和LBPSVM97.25

5 结论

本文针对中高密度人群图像提出了一种融合LBP和GLCM的纹理分析方法，以支持向量机构成分类器，对420幅图像进行试验，实验结果证明，该方法可达到97.5%的正确识别率，基本能够满足智能化人群视频监控的需求。但是，本文方法还存在一定的不足，它还不能够很好满足低密度人群的分类问题，同时判别速度也有待于进一步的提升，以适应各种环境的需求。

[1] FRUIN J J. Crowd dynamics and the design and management of public places[C]//Proc. International Conference on Building Use and Safety Technology. Washington： National Institute of Building Sciences，1985： 110-113.

[2] DAVIES A C，JIA HONGYIN， VELASTIN S A. Crowd monitoring using image processing[J]. Electronics and Communication Engineering Journal，1995，7(1)：37-47.

[3] CHO S Y， CHOW T W S，LEUNG C T. A neural based crowd estimation by hybrid global learning algorithm[J].IEEE Trans. Systems，Man，and Cybernetics，1999，29(4)：535-541.

[4] MARANA A N，COSTA L F A. On the efficacy of texture analysis for crowd monitoring[C]//Proc. International Symposium on Computer Graphics，Image Processing，and Vision. Rio de Janeiro：IEEE Press，1998：354-361.

[5] CHAN A B， LIANG Z J， VASCONCELOS N. Privacy preserving crowd monitoring： counting people without people models or tracking[C]//Proc. IEEE Conference on Computer Vision and Pattern Recognition. Anchorage，AK：IEEE Press，2008：1-7.

[6] WU X Y， LIANG G Y，LEE K K. Crowd density estimation using texture analysis and learning[C]//Proc. IEEE International Conference on Robotics and Biomimetics. Kunming：IEEE Press，2006：214-219.

[7] RAHMALAN H，NIXON S，CARTER N. On crowd density estimation for surveillance[C]//Proc. IEEE International Symposium on Imaging for Crime Detection and Prevention. London：IET，2006：540-545.

[8] 胡波，李晓华，沈兰荪.场景监控中的人群密度估计[J].电路与系统学报，2007(6)：19-22.

[9] 刘豪，杨永全，郭仙草.用于纹理特征提取的改进的LBP算法[J].计算机工程与应用，2014，50(6)：182-185.

[10] 曹艺华，杨华，李传志.基于时空LBP加权社会力模型的人群异常检测[J].电视技术，2012，36(21)：145-148.

[11] 冯建辉，杨玉静.基于灰度共生矩阵提取纹理特征图像的研究[J].北京测绘，2007(3)：19-22.

[12] 奉国和. SVM分类核函数及参数选择比较[J].计算机工程与应用，2011，47(3)：123-124.

[13] PENG Xinjun．A v-twin support vector machine(v-TSVM)classifier and its geometric algorithms[J]．Information Sciences，2010，180(20)：3863-3875．

[14] WANG Bobo，BAO Hong，YANG Shan，et al. Crowd density estimation based on texture feature extraction[J]. Journal of Multimedia，2013，8(4)：331-337.

[15] FU M，XU P，LI X， et al. Fast crowd density estimation with convolutional neural networks[J]. Engineering Applications of Artificial Intelligence，2015(43)：81-88.

薛翠红(1980— )，女，博士，主研图像处理、模式识别、超分辨率重建等；

于 洋(1981— )，博士，主研图像处理等；

张 朝(1988— )，硕士，主研图像处理等；

杨 鹏(1960— )，博士，博士研究生生导师，主研计算机智能控制方向；

李 杨(1982— )，女，硕士，主研图像处理等。

责任编辑：时 雯

【本文献信息】丁森华，李晓鸣，张乃光，等.应急广播调度控制平台框架模型研究[J].电视技术,2015，39(24).

Fusing LBP and GLCM for Crowd Density Classification Algorithm

XUE Cuihong1，2ɑ，YU Yang2b，ZHANG Zhao2b，YANG Peng2ɑ，LI Yang3

(1.TechnicalCollegefortheDeaf，TianjinUniversityofTechnology，Tianjin300384，China；2ɑ.SchoolofControlScienceandEngineering，2b.SchoolofComputerScienceandEngineering，HebeiUniversityofTechnology，Tianjin300401，China；3.ChinaUnitedNetworkCommunicationsCorporationLimited，Tianjin300100，China)

According to the importance of high crowd density image detection and classification for public security， a crowd density classification method is proposed which fuses LBP and GLCM model. Firstly， the rotation-invariant LBP operator is used to filter images to get LBP maps. Then，the GLCM features are extracted in LBP images which can avoid the loss of dimensionality reduction and take advantage of LBP and GLCM in feature extraction. Finally，the Directed Acyclic Graph Support Vector Machines (DAGSVM) is used to make classification. The experimental results in Pets2009 image database show that the proposed algorithm has a good accuracy in crowd density classification.

crowd density detection；texture features；LBP；GLCM；DAGSVM

天津市科技计划项目(14RCGFGX00846)；河北省自然科学基金面上项目(F2015202239)

TN911.73

A

10.16280/j.videoe.2015.24.002

2015-05-12

【本文献信息】薛翠红，于洋，张朝，等.融合LBP与GLCM的人群密度分类算法[J].电视技术,2015，39(24).