一种基于连通标记的教室人数检测算法研究

马　爽，姜月秋，赵　阳，高宏伟

(沈阳理工大学 信息科学与工程学院，沈阳 110159)



一种基于连通标记的教室人数检测算法研究

马爽，姜月秋，赵阳，高宏伟

(沈阳理工大学 信息科学与工程学院，沈阳 110159)

摘要：提出一种改进的基于连通区域标记的人数检测算法。用实时的图像与教室背景图像作背景差分分割出目标人员；利用人脸肤色模型和头发颜色信息对人员头部进行不同颜色的标记；针对处理之后的三值图像，用改进的连通区域标记算法对人员进行检测，检测结果可对建筑内自动照明系统控制和自习室管理提供依据。实验结果表明，该方法对于检测教室人数具有较高的准确率。

关键词：目标分割；头部标记；连通区域标记；人员检测

随着图像处理、计算机视觉等技术的发展，利用相关技术对室内人员的数量进行检测已成为可能。在大学校园内，教室人数检测有重要的意义：既可以将统计的教室人数显示在教学楼的显示屏上，避免学生盲目地在教学楼里寻找教室而耽误时间，还能依据教室人数自动控制教室中灯具等设备以达到节能目的。目前，对于灯具的自动控制装置多采用传感器技术实现[1]，该技术适合检测动态人员，不能准确地检测静态人员，并且需要精确计算传感器安装位置[2]。

上世纪90年代，国外的研究人员提出把图像处理技术应用到教室人数检测中，即通过对CCD摄像头采集的教室图像，用图像处理技术检测出教室的人数。近年来，我国一些学者也开始研究这方面技术，文献[3]把实时教室图像进行二值化和边缘检测，再利用边界跟踪算法检测人员。该算法基于二值图像，很容易因为前后人员的遮挡导致检测不准确。文献[4]用垂直投影直方图的方法对人体的头肩部分进行提取，再用二维主成分分析法进行后续检测。此方法只考虑人员的形态特征，而教室中的其他物体容易对检测造成干扰。近年来研究较为广泛的还有用haar分类器进行人脸检测的方法[5]，但此方法对于教室中低头、侧脸或是遮挡等特殊姿势的人员，检测效果并不理想。本文用背景差分法分割出目标人员，用肤色模型和头发颜色对标记出人员，再用改进的连通标记算法进行人数检测，实验结果表明此方法对教室内正脸和特殊姿势的人员均有较理想的检测效果。

1目标人员分割方法

1.1运动目标检测

目前在视频图像处理中，运动目标检测常用方法有三种：帧差法、背景差分法、光流方法[6]。帧差法很难检测出静止的人员目标，且不易提取出完整的运动目标，而光流法复杂度较高、计算量较大。背景差分法常用于静止背景的运动目标提取[7]，运算速度快，实时性好，更适合于教室人员检测。

Heikkila等[8]对于背景差分法给出一个简单的数学表达式：

(1)

式中：t代表t时刻；It(x,y)为t时刻的图像；Bt(x,y)为背景图像；τ表示设定的阈值。目标图像由背景差分值大于阈值的像素组成。背景模型更新一般利用公式(2)。

Bt+1=Bt+(α1(2-Mt)+α2Mt)Dt

(2)

式中：Bt是当前背景的灰度值；α1、α2为表示背景变化的因子；Mt是当前运动目标的二值化值；Dt是当前帧与背景灰度值的差值。

1.2基于HSV颜色空间下的背景差分法

对于运动目标检测系统，大多数的背景差分法都是在RGB颜色空间下进行的。但由于R、G、B三个分量间很大的关联性，容易在图像进行背景差分算法后出现原图像没有的新颜色。HSV颜色空间不依赖处理设备，且更符合人对于色彩的感知。故用基于HSV颜色空间的背景差分算法来确定图像的前景像素和背景像素，即确定教室人员和教室背景区域。H、S分量可以描述图像的大部分色彩信息，且分量图像更接近于原图。用实时图像的这两个分量值分别与背景图像的两个分量值作差，当差值小于设定的阈值时，认为是背景像素，反之则认为是前景像素。根据分量与原图的相关性大小，设定H分量差值的阈值要大于分量的阈值。

图1和图2为实时图像与背景图像。用F(x,y)表示当前帧图像中像素(x,y)的各分量值，且F(x,y)满足公式F(x,y)={R,G,B}={H,S,V}，用B(x,y)表示相同位置背景像素的各分量值，且B(x,y)={Rt,Gt,Bt}={Ht,St,Vt}。背景差分后该位置像素的值用D(x,y)={ΔR,ΔG,ΔB}表示。

图1　实时图像

图2　背景图像

根据H、S分量与阈值的关系判断背景和前景，若是背景像素则对差分像素赋值为白色，若是前景像素则对差分像素赋值为当前帧像素值，在赋值时直接取R、G、B分量值，减少计算量且便于显示。其计算公式如下：

(3)

(4)

(5)

D(x,y)={ΔR,ΔG,ΔB}=

(6)

RGB颜色空间和HSV颜色空间下的背景差分效果图如图3和图4所示。

图3　RGB空间下的背景差

图4　HSV空间下的背景差

1.3彩色全方位腐蚀膨胀方法去噪

彩色全方位腐蚀膨胀的方法是在传统的腐蚀膨胀算法上作出改进。本文分割出人员目标的图像的背景被赋为白色，定义结构元素S，包括(x，y)、(x，y+1)、(x，y-1)、(x+1，y)、(x-1，y)五个位置的结构，目标图像T，它为原图像A经膨胀或腐蚀后得到的图像。

彩色膨胀是将S在彩色图像A上作平移，平移到某个位置，若S中存在某一位置在A的对应位置上的像素不为前景像素，则记下结构元素S中的原点在中的位置，记为(i，j)，此位置有可能是要处理的空洞点，把S上所有在A中相应位置上的像素R、G、B的值分别相加作平均，得到的R、G、B值赋值到目标图像T中(i，j)位置上。最后把所有满足上述情况的像素点都赋值到T中，不满足的像素赋值为白色，便得到经彩色全方位膨胀操作后的彩色图像。

彩色腐蚀是将S在彩色图像A上作平移，平移到某个位置，若S的所有元素在A内的对应位置上都不为白色，则记下S中的原点在A中的位置，记为(i，j)。把原图A中此位置上的R、G、B值赋值到目标图像T中的相应位置上。最后把所有满足上述情况的像素点都赋值到T中，不满足的像素赋值为白色，便得到了经彩色全方位膨胀或腐蚀操作后的彩色图像。

基于HSV颜色空间的背景差分效果图如图4经过彩色膨胀腐蚀处理后的效果图如图5所示。

图5　彩色膨胀腐蚀去噪

2教室人员数量检测技术研究

2.1肤色和头发建模

对人脸肤色进行建模，有基于统计的方法和基于物理的方法，基于统计的肤色模型可分为基于静态的和基于动态的肤色模型两类[9]。静态肤色模型常用的方法有：确定肤色阈值方法、单高斯、混合高斯模型和椭圆模型[10]。动态肤色模型有两种，一种能针对序列图像，使图像可以适应时间的变化；另一种是调节肤色模型的参数使之与某幅静态图像相适应[11]。确定肤色阈值方法是通过对人物肤色图像进行统计、分析得出肤色像素的颜色范围值，方法和实现都较为简单。利用高斯模型检测肤色效果较完整清楚，但处理时间长。椭圆肤色模型相对有较多的噪声点，但检测效果较准确且实时性好。本文选择在YCbCr颜色空间的椭圆建模来进行肤色检测。

对于头发建模，本文取大量的人脸图像，提取出其中的头发区域的YCbCr值，经过多次实验分析得出，人员的头发区域在YCbCr颜色空间的判决范围：Cr∈[124，140]，Cb∈[123，139]，Y<40。

2.2基于肤色和头发颜色的人头标记

Anil K Jain等人从HHI图像库中选出853571个肤色像素点，并绘制在YCbCr颜色空间中。结果发现肤色聚簇类似于纺锤形状，沿着Y轴方向不同Y值其聚簇范围大小不同，呈现两头尖的状态。由此必须考虑Y轴方向，对YCbCr颜色空间进行非线性分段色彩变换。经过变换处理之后发现肤色聚簇在YCb′Cr′空间，并将其投影到Cb′-Cr′之后，得到的是一个类似于椭圆形状的肤色区域，并且可用表达式表示：

(7)

式中：a、b中较大者为椭圆长半轴长，较短者为短半轴长；x、y分别为像素的坐标值。公式(7)中的常量值分别为:cx=109.38,cy=152.02,θ=2.53,ecx=1.60,ecy=2.41,a=25.39,b=14.03。人脸肤色的判定决策是：若像素坐标(Cr,Cb)落在椭圆内，即可判定为人的肤色像素点，否则不是肤色像素点。针对肤色模型和发区域的阈值范围对图5做皮肤和头发标记，肤色部分用红色标记，头发部分别用蓝色标记，背景部分则为白色。其处理效果图如图6所示。

图6　肤色头发标记效果图

2.3改进的连通区域人脸检测

针对处理后的红蓝白“三值”图，对传统的二值图像的连通标记法做出改进。考虑到头发像素(蓝色)应该在脸部像素(红色)的上方位置，认为若图像中的蓝色区域在红色区域的外部或是上边位置，则表示红蓝区域连通，并且需要分别标注红蓝区域；若蓝色区域的上边位置是红色区域，则可认为它们不属于一个连通区域内。这样便可排除把前后排人头部区域被划成同一连通区域的可能。

改进后的4连通标记法，须既包含所属连通区域值，也包含代表此像素属于头发或是皮肤区域的值。所以标记值由两部分构成，一部分是连通标记值，另一部分是红蓝标记值。红蓝标记值只需通过扫描图像时此像素的索引值(1代表红色，2代表蓝色)来确定。连通标记值改进了传统标记算法。同样对图像按从左到右，自上而下的顺序扫描图像。若扫描的此像素是白色，则连通标记值为0，并扫描下一个像素。若此像素为蓝色(可能是头发像素)，分以下几种情况分别讨论：

1)判断左边和上边的像素，若都为蓝色且连通标记值相同，赋此像素为相同标记。

2)若左边和上边像素都为蓝色且连通标记值不同，则赋此像素为与其中一个相同的标记，并做个表明这两个是等价标记的记号。

3)若左边和上边像素都为白色，则赋予此像素新的连通标记值。

4)若此像素的上边像素为红色，无论左边像素是什么颜色，则赋予此像素新的连通标记值。

5)若此像素的左边为红色，上边为蓝色，且连通标记相同，则赋予此像素相同的连通标记；若连通标记不同，则赋予和蓝色相同的连通标记。

若此像素为红色像素，也分几种情况进行讨论，其中1)、2)、3)条和上述的类似：

1)判断左边和上边的像素，若都为红色且连通标记值相同，赋此像素为相同标记。

2)若左边和上边像素都为红色且连通标记值不同，则赋此像素为与其中一个相同的标记，并做个表明这两个是等价标记的记号。

3)若左边和上边像素都为白色，则赋予此像素新的连通标记值。

4)若左边和上边像素都为蓝色且标记相同，则赋予此像素相同的连通标记；若同为蓝色标记不相同，则赋予此像素和上边像素相同的连通标记值。

5)若左边和上边的像素是一蓝一红，则赋此像素与红色像素相同的连通标记。

第一遍扫描结束后，把等价的标记全部归类到等价组，并对每个等价组标以不同的记号。再进行第二次扫描时，用标记所在的等价组的标记去替换图像在第一遍扫描时的标记。判定为人的头部应该满足：相同的连通区域并且此区域中的红色和蓝色面积要符合一定的范围和比例，通常考虑人员低头和抬头两种情况下的比例，得出判定公式：

(8)

式中：S(hair)、S(skin)表示同一连通区域中蓝色、红色区域的面积；α、β是常量。

3人员数量检测结果与分析

图7为利用改进的连通区域标记法对教室人员进行检测的效果图。采用数码相机取景于本校的大教室。

图7　人员检测效果图

本实验采集了不同数目人员的教室图像样本进行检测实验，用文献[5]的Haar分类器方法和本文的方法对图像进行检测，并比较这两种方法的检测结果，如表1、表2所示。实验证明Haar分类器方法和本文方法检测正脸人数均有较好的效果。对于图像中的一些特殊姿势如低头、侧脸或是有被部分遮挡的人员，Haar分类器方法有明显的不足，而本文方法检测效果良好，对比结果如表3所示。

表1　Haar分类器方法检测正脸人员结果

表2　本文方法检测正脸人员结果

表3Haar分类器法和本文方法检测特殊姿势人员的对比结果

测试方法特殊姿势人员实际数目检测出的特殊姿势人员数目Haar分类器法115本文方法1110

4结论

提出一种改进的连通区域标记法。先用背景差分算法分割出人员目标，用彩色全方位腐蚀膨胀方法对图像进行去噪处理，良好地保护了图像的颜色信息。然后利用肤色模型和头发颜色信息对人员头部的肤色和头发进行不同颜色的标记。最后采用针对三值图像的改进的连通区域标记算法检测教室人数。实验结果表明，本文提出的方法对于教室人员无论在抬头、低头、侧脸或是被遮挡情况下，都具有较高的正确检测率。

参考文献：

[1]傅莉.公共场所照明节电智能控制系统设计[J].电子科技，2011，24(5)：85-88.

[2]陈九江，吴桐，王术，等.教室照明系统的智能控制[J].黑龙江大学自然科学学报，2006，23(3)：314-316.

[3]聂雄，黄斌全，陈华.一种教室节能照明系统的人员识别算法[J].电视机术，2011，35(15):16-20.

[4]王飞杰.基于头肩特征的人体实时检测与跟踪[D].长春：吉林大学，2010.

[5]李长风.基于AdaBoost算法的人脸检测研究[D].兰州：兰州理工大学，2014.

[6]孙统义.实时视频监控人数统计关键技术研究[D].长沙:国防科学技术大学，2011.

[7]杨枝灵，王开.VC++数字图像获取、处理及实践应用[M].北京：人民邮电出版社，2002：153-170.

[8]Heikkila J,O Silven.A real-time system for monitoring of cyclists and pedestrians[C]//Sccond IEEE Workshop on Visual Surveillance,Fort Collins,1999:74-81.

[9]杨国林，冯乔生，张亚萍.基于肤色的人脸检测综述[J].软件，2013(3)：7-9.

[10]易轶虎，曲道奎，徐方.基于参数查找表的肤色检测算法[J].计算机科学，2010(3)：262-264.

[11]张犀.复杂背景下肤色检测的研究[D].杭州：杭州电子科技大学，2011.

(责任编辑：马金发)

Research on People Counting Detection in Classroom Based on Connected Labeling

MA Shuang,JIANG Yueqiu,ZHAO Yang,GAO Hongwei

(Shenyang Ligong University,Shenyang 110159,China)

Abstract：An improved people counting detection algorithm based on connected labeling is proposed.In this method,background subtraction method is used to achieve the segmentation of foreground from background.For human detection,skin and hair are marked in different colors based on skin model and hair color information.Based on the three values image,an improved connected labeling method is used to detect human,the test results can be used in automatic lighting control system and classroom management.Experimental results show that this method has a higher detection rate.

Key words：human detection;object segmentation;head labeling;connected labeling

中图分类号：TP391.41

文献标志码：A

文章编号：1003-1251(2016)01-0017-05

作者简介：马爽(1989—)，女，硕士研究生；通讯作者：姜月秋(1975—)，女，教授，博士，研究方向：图像处理。

收稿日期：2014-12-09