基于帧间特征和连通域检测的人数统计

朱家新，郭德全，兰时勇,3

(1.四川大学 视觉合成图形图像技术国防重点学科实验室，四川 成都 610065；2.成都信息工程大学 控制工程学院,四川 成都 610225;3.四川大学 计算机学院，四川 成都 610065)

基于帧间特征和连通域检测的人数统计

朱家新1，郭德全2，兰时勇1,3

(1.四川大学 视觉合成图形图像技术国防重点学科实验室，四川 成都 610065；2.成都信息工程大学 控制工程学院,四川 成都 610225;3.四川大学 计算机学院，四川 成都 610065)

为了更好地管理机场、火车站及汽车站等人流密集的固定场所，文中提出一种简单、高效的人员流量统计算法。首先，将视频序列中的图像转化为灰度图像，利用帧差法提取前景图像并将其二值化；然后，利用上下边缘点匹配的连通域检测算法对前景图像中的连通域进行提取，利用人头的形状信息和灰度信息对连通域进行筛选；最后，通过对人头连通域的跟踪实现人数统计。在提出的人头跟踪计数算法中，利用人头连通域在视频帧中的信息和容器对人头特征进行跟踪计数。实验结果表明，该算法具有良好的人头跟踪和计数效果。

人头特征；跟踪；计数；连通域

1 概 述

随着视频监控系统的广泛应用，利用计算机图像技术自动处理视频监控中的信息，减少人工参与，是视频监控和数据分析未来发展的方向。人数统计在现实生活中有很广泛的应用，例如，大型场馆客流量的统计，如火车站、机场及汽车站等等；公交线路的客流量统计；超市、博物馆、展览馆等一些公共场所人数的统计等等。这些统计数据能够帮助决策者更好地进行资源规划和管理，例如在火车站或机场可以根据不同时段客流量统计的数据开放售票或检票通道的数量；交通部门可以根据公交线路的客流量统计来规划公交线路以及安排公交车的数量；公共场所可以根据客流量的数据来规划展览路线、方式，及开放时间或工作服务人员的排班等等，同时为人员密集区的安全提供监测保障。

人体目标的识别和跟踪是目前计算机视频处理的难点，目前，对视频中人体目标识别和跟踪有以下几种方法[1]：基于特征的人数统计算法[2-4]、基于区域的人数统计算法[5-8]、基于模板匹配的人数统计算法[9-10]。

文献[4]根据图像中行人占有面积分裂和合并前景，在理想情况下有比较好的计数效果。文献[6]利用人头的形状和颜色信息对人头区域进行检测，它包含两个步骤：黑色区域的提取和形状分析，通过对图像HSV空间V通道的像素设定阈值，可以得到黑色区域，这种方法能抵抗光照的变化和阴影的影响。文献[9]通过使用半圆模型对前景图像的人头肩所在位置进行搜索，然后利用Snake模型与卡尔曼滤波结合跟踪目标，但是Snake模型比较适合单目标的跟踪，当目标有重叠时，精度会下降。

采用垂直摄像头的方法可以有效减少行人之间的遮挡[11]，在这种情况下，行人通常只有头部表现的较为完整[12]，并且行人的头部部分基本不会发生遮挡。文献[13-14]在提取出运动目标后还需对重叠的目标进行分割。

文中采用在顶部安装垂直摄像头的方式，统计经过的行人。人数统计的具体步骤如下：

对于采集的视频图像，首先对其进行预处理，调整视频的大小，如果视频为彩色图像，将其转换成灰度图像，减少计算量；然后对预处理得到的视频做帧间差运算，提取运动目标，划定行人人头部分候选区域；最后根据人体先验知识和现实中人头特征对人头部分候选区域进行筛选，对符合要求的人头部分进行跟踪并计数。

该方案的优势如下：计算量较小；受光照变化和阴影的影响小；在多行人情况下，不需要进行分割。

2 人头特征提取

2.1 预处理和前景提取

首先，对输入的视频进行预处理，如果视频格式是三通道的彩色图像，将其转化为灰度图像并调整视频尺寸，减少计算量，加快处理视频的速度。

对于预处理得到的视频，每隔两帧处理一帧，采用帧差法对前景进行提取，直接对当前帧与背景图像作差分，可有效得出运动前景图像，然后将背景图像更新为当前帧，直接差分可以表示为[15]：

d(x,y)=|a(x,y)-b(x,y)|

(1)

其中，a(x,y)和b(x,y)分别是当前帧图像和背景图像位于坐标(x,y)处的像素灰度值；d(x,y)是运动前景图像在相应坐标处像素的灰度值。

得到的运动前景图像，存在很多的噪声干扰。这时，先对前景图像做二值化处理，滤除噪声，得到运动候选区域。二值化处理表示为：

(2)

其中，d(x,y)是运动前景图像位于坐标(x,y)处像素的灰度值；g(x,y)是相应位置的二值图像的值，取值是“0”或“255”。

基于OpenCV对预处理得到的图像进行数学形态学处理，进一步减少噪声并增加人头候选区域的特征[16]。通过这种方法，可以滤除一些突变的噪声点。

2.2 连通域检测和筛选

在垂直摄像头的实验环境下，人的头部有近似圆的形状，但是不同人的头部之间也存在差异[10]。利用数学形态学处理减少前景提取的误差之后，对前景图像基于上下边缘点匹配进行连通域检测[17]，计算连通域的面积s和长宽比例t，要求s>C,a≤t≤b。其中，C为指定的人头部分连通域面积的最小值；a和b分别为指定人头区域长宽比例的最小值和最大值，C、a、b的值均根据实际情况调整。根据这个条件，剔除不符合大小和形状要求的连通域，并且针对检测的连通域，返回到初始图像进行颜色信息匹配，当连通域对应区域的颜色信息符合头部区域的颜色信息时，就认为该连通域代表的就是行人的人头特征。检测并筛选连通域过程如图1所示。

图1 人头连通域提取标记过程

3 跟踪与计数

对每一帧的运动前景进行连通域检测，检测到几个连通域即表示有几个行人在当前帧的画面中出现。采用连通域以下的几个信息来唯一地标识行人T：检测到该连通域时视频的帧数Tf，连通域中心点的坐标Tp，连续检测到该行人对应的连通域的帧数Tn(用以判定响应强度)，行人的速度矢量Tv。每一个行人的信息都保存在容器S中，在处理每帧图像的前后，对容器里所有行人的信息进行动态更新。对人头连通域跟踪与计数的流程图如图2所示。

图2 跟踪计数流程

当在某一帧的前景图像中检测到连通域时，首先对其信息进行初始化。其中Tf，Tp均可由连通域的信息获得，Tn=0，Tv=0。然后判断其对应的行人是否为新进入监测区域的行人，原则如下：设容器此时的元素个数为n，则

A=

(3)

其中，Tpx、Tpy表示当前检测到连通域中心点的横坐标和纵坐标；S[m]px、S[m]py表示容器S中第m个元素中心点的横坐标和纵坐标；D表示判定两个连通域是代表两个行人的最小值。

当A>D时，表示该连通域对应的行人是新进入监测区域人员，将该连通域的信息添加保存在容器S中，同时总人数计数加1。

当A

(4)

更新完信息后如果S[m]n=1，则可以对行人的行进方向做出判断，此时如果S[m]v>0，表示相应的行人是出去的，则行人出去的计数加1；如果S[m]v<0，表示行人是进入的，则行人进入的计数加1。

由于现实中环境复杂，行人在通过视频监测区域的时候，并不是每帧都能被检测到。在处理完每一帧图像后，会对容器中没有更新信息的元素进行处理，表示该元素对应的行人是“实际”出现在视频中并被检测到的。根据S[n]f是否与当前视频的帧数一致判断S[n]元素是否被更新过。

假定S[n]的信息在当前帧没有被更新，会对其做如下更新处理:

(5)

及时更新位置是为了保证以后再检测到已检测行人的连通域时，不会误判为新的行人，减少误差。更新完信息后，若S[n]n=0，表示该连通域代表的行人已经走出视频监测区域，则从容器中删除该行人的信息。

文中采用每隔两帧处理一次的方法对视频进行处理，一方面加快了视频的处理速度，另一方面减小了对进入或进出行人分别计数的误差。

4 实验结果与对比分析

4.1 实验结果

实验所用硬件环境：CPU为Intel(R) Core(TM) i5-2300 CPU @2.80 GHz，内存4.00 GB。软件环境：操作系统Windows 7，实验开发工具Microsoft Visual Studio 2010，采用.NET Framework 4.5框架。使用C++语言和OpenCV 2.4.3实现算法，原始的输入视频尺寸为1 280×720，帧速率为25 帧/秒，实验的场景是在某公司的走廊。

在测试中，为了减少干扰，前景图像像素的灰度值只有大于阈值B(设定为100)，才被认为是人头目标区域的像素；C取值为4 000；a和b分别取值为0.5和2.0；D取值为5 000。

实验总共进行了三组，其中两组分别为只有单向行人的情况，另外一组为有双向行人，存在行人交错的情况。设正确检测人数为p，误检人数为q，漏检人数为r，则正确率PT=p/(p+q)，查全率RT=p/(p+r)，调和准确率FT=2*PT*RT/(PT+RT)，实验结果如表1所示。

由测得的数据表明，平均处理一帧图像的时间为0.078s，多种情况下，文中算法有90%以上的精确度。

实验结果表明，文中算法计数的准确率高，对于特殊情况下行人的跟踪计数也有很好的效果，例如行人交错行走或三行人并肩行走等，均能很好地检测出每个行人的头部连通域并进行跟踪。

三人并肩行走情况如图3所示。

图3 三行人并肩行走跟踪

同时，存在少量误检和漏检的情况，当出现以下情况时，系统不能很好地跟踪计数行人：

(1)行人戴浅颜色的帽子或者行人头发稀疏，由于前景提取是用帧差的方法，容易漏检。如图4所示，右下角的行人因头发稀疏其头部区域不能在前景中提取出来。

图4 行人头发稀疏情况

(2)行人经过视频监测的边缘区域，前景头部提取不完整或者头部区域仅有少部分出现在视频监测区域内，容易漏检。

(3)行人穿戴黑色衣物时有可能造成误检。

4.2 算法分析及对比

文献[6]使用一种融合颜色、距离和形状信息的跟踪方法对人头进行跟踪，通过对跟踪轨迹的分析，对行人进行计数。但是，该方法在行人遮挡严重的情况下准确率低，当行人有交叠时，容易造成误检。文献[7]将目标分割成多个区域，每个区域由一个团块表示，每个团块包含了相应区域的所有像素的平均值、形状和位置，通过团块匹配跟踪目标。但是，文献[7]需要对目标的初始状态进行记录，对行人的初始状态依赖大，在行人有粘连时，容易漏检。

具体实验对比结果如表2所示。从表2可以看出文中算法优于其他算法。

表1 计数结果

表2 算法对比

5 结束语

文中利用视频图像处理技术实现了对一个固定场景的出入人数和总人数的统计。研究目的希望将该技术应用到多种场景中，例如火车站、机场、大型场馆、展览馆等等，利用人员流量计数的数据，为资源配置最优化提供支持。文中使用的跟踪和计数人头特征的方法简单、易于实现并且精确度高。

实验结果表明，文中算法有效、可靠。但是也有部分不足之处，需要进一步改善，如：对头发稀疏或戴帽子行人的检测识别问题、对视频边缘行人的检测问题等。这也是下一步工作的方向，考虑提高算法的鲁棒性，或改进监控方式，如采用多摄像头进行检测。另外，对算法在不同应用场景中的适应性，有待进一步验证。

[1] 赵明瀚，王晨升.基于视频的人数识别方法综述[J].软件，2013,34(3):10-12.

[2] Albiol A,Silla M J,Albiol A,et al.Video analysis using corner motion statistics[C]//Proc of IEEE international workshop on performance evaluation of tracking and surveillance.[s.l.]:IEEE,2009:31-38．

[3] 吕济民，曾昭贤，张茂军．基于非最大抑制聚类的视频人数估测方法[J]．模式识别与人工智能,2012,25(1):150-156．

[4] Chen Thouho,Hsu Chewei.An automatic bi-directional passing-people counting method based on color image processing[C]//Proceedings of 37th IEEE international Carnahan conference on security technology.Piscataway,NJ,USA：IEEE Press，2003:200-207.

[5] Yu Shengsheng,Chen Xiaoping,Sun Weiping,et al.A robust method for detecting and counting people[C]//Proceedings of international conference on audio,language and image processing.Piscataway,NJ,USA:IEEE Press,2008:1545-1549.

[6] 王 强，冯 燕.基于颜色和形状信息的快速人数统计方法[J].计算机测量与控制，2010，18(9):2157-2159.

[7] 王书朋，姬红兵.利用团块模型进行目标跟踪[J].西安电子科技大学学报:自然科学版，2008，35(5):799-804.

[8] 郑翔翔，张 怡.基于头部检测和跟踪的人数统计方法[J].计算机应用与软件，2011，28(2):44-46.

[9] Jaijing K,Kaewtrakulpong P,Siddhichai S.Object detection and modeling algorithm for automatic visual people counting system[C]//Proc of 6th international conference on electrical engineering/electronics,computer,telecommunications and information technology.[s.l.]:IEEE,2009:1062-1065．

[10] 刘子源，蒋承志.基于OpenCV和Haar特征分类器的图像人数检测[J]．辽宁科技大学学报，2011，34(4)：384-388.

[11] 文嘉俊，徐 勇，战荫伟.基于AdaBoost和帧间特征的人数统计[J].中国图象图形学报，2011,16(9):1729-1735.

[12] 于海滨，刘敬彪，刘济林.用于行人头部特征提取的目标区域匹配方法[J].中国图象图形学报，2009,14(3):482-488.

[13] Septian H,Tao Ji,Tan Y.People counting by video segmentation and tracking[C]//Proceedings 9th international conference on control,automation and robotics and vision.Piscataway,NJ,USA:IEEE Press,2006:1-4.

[14] Chen Chao-Ho,Chen Tsong-Yi,Wang Da-Jinn,et al.A cost-effective people-counter for a crowd of moving people based on two-stage segment[J].Journal of Information Hiding and Multimedia Signal Processing，2012，3(1):12-23.

[15] 李衡宇，何小海，吴 炜，等.基于计算机视觉的公交车人流量统计系统[J].四川大学学报:自然科学版,2007,44(4):825-830.

[16] 闫敬文，樊秋月.基于视频图像处理的人数统计方法[J].汕头大学学报:自然科学版，2008,23(2):69-73.

[17] 谢 贵，彭嘉熊.基于上下边缘点匹配的连通域搜索算法[J].华中科技大学学报:自然科学版，2002,30(4):64-65.

People Counting Based on Inter-frame Features and Connected Domain Detection

ZHU Jia-xin1,GUO De-quan2,LAN Shi-yong1,3

(1.State Key Lab of Fundamental Sci. on Synthetic Vision,Chengdu 610065,China;2.School of Control Engineering,Chengdu University of Information Technology，Chengdu 610225,China;3.College of Computer Science,Sichuan University,Chengdu 610065,China)

In order to manage airports,railway stations and bus stations and other crowded places fixed with a better way,a simple and efficient personnel traffic statistics algorithm was proposed.First,the video images was converted into grayscale images,and then the foreground image was extracted using the frame difference method and was converted into binary image.Second,connected domain was detected based on matching between the points of up-contour and down-contour,and then head features were extracted using shape and gray information of head.Finally,people was counted by tracking head connected domain.In this head tracking and counting algorithm presented,use the basic information and container of head connected domain in the video image for tracking and counting.Experimental results show that the algorithm has a good head tracking and counting results.

head features；tracking；counting；connected domain

2015-05-26

2015-08-31

时间：2016-01-

国家“863”高技术发展计划项目(2013AA013802)作者简介：朱家新(1992-)，男，硕士生，研究方向为图像处理、计算机视觉；郭德全，博士，研究方向为图形图像、信号与信息处理；兰时勇，博士，研究方向为图形图像、计算机仿真。

http://www.cnki.net/kcms/detail/61.1450.TP.20160126.1521.068.html

TP391

A

1673-629X(2016)02-0101-04

10.3969/j.issn.1673-629X.2016.02.023