基于线性内插权值人群密度估计的方法研究

张朋 温宏愿

摘 要： 针对密集人群环境中行人相互遮挡造成人数难以准确统计问题，提出一种基于线性内插权值的人数密度统计方法。系统从视频监控设备获取图像后，首先对图像进行预处理以减少原始图像的干扰，通过混合高斯建模提取前景图像，然后通过线性内插权值进行透视矫正，最后通过构造和提取能量、对比度、熵和相关性四个特征参数进行人数统计。结果表明，在不同的测试环境下所提方法的准确率在90%以上，能够达到人群密度监控的基本要求。

关键词： 人群密度估计； 混合高斯建模； 透视矫正； 能量； 对比度； 相关性

中图分类号： TN911.73?34 文献标识码： A 文章编号： 1004?373X（2018）14?0079?04

Research on crowd density estimation method based on linear interpolation weights

ZHANG Peng， WEN Hongyuan

（Taizhou Institute of Sci. & Tech.， NUST， Taizhou 225300， China）

Abstract： In allusion to the problem that it is difficult to accurately count the number of pedestrians in a crowded environment due to people′s blocking from each other， a population density statistical method based on linear interpolation weights is proposed. The image obtained from the video surveillance equipment of the system is preprocessed to reduce the interference of the original image and extract the foreground image by using the mixed Gaussian modeling， and then the perspective correction is performed by using the linear interpolation weights. Population statistics are obtained by constructing and extracting the four characteristic parameters of energy， contrast， entropy and correlation. The results indicate that the method in this paper has over 90% of accuracy rate in different test environments， which can meet the basic requirement of population density monitoring.

Keywords： crowd density estimation； mixed Gaussian modeling； perspective correction； energy； contrast degree； correlation

0 引 言

隨着视频监控技术的快速发展，采用视频图像处理技术可以为公共场所，如：车站、商场、公园等提供人群密度估计，为安全管理及社会经济效益提供准确的数据依据。人群密度估计系统包括视频采集、图像预处理、前景图像提取、图像透视矫正以及图像特征参数提取，最后通过特征参数估计出人群密度及人数。

人群密度检测系统研究现状，美国 Silicon Recognition 公司的 Passenger Counting System 和美国 Shopper Track 公司的 Orbit 系统采用视觉分析技术完成行人的统计任务，在正常行人流量的情况下，其统计准确率[1]维持在94%左右。英国的Central London Partnership（CLP）在 2005 年开展了一个自动行人统计的项目，以更好地了解和展示伦敦户外环境中的现有产品。美国马里兰大学研究的 w4 系统和美国 FDI 公司推出的智能视频监控系统（Smart System）等都涉及人流量统计功能的实现[2]。

1 人群密度估计

人群密度统计系统采用混合高斯模型建模的方法提取前景像素，由于图像从三维空间转换到二维空间后存在图像畸变情况，需要进行透视矫正后才能对前景图像进行纹理特征提取，最后根据特征量进行场景人数密度估计。

1.1 图像前景提取

摄像机采集到的图像首先需要进行图像预处理然后才能够进行图像前景提取。图像前景提取就是将视频图像中有效变化的像素提取出来。但是现场视频采集过程中，存在各种背景因素的干扰，如：随着时间的变化光照角度及强度不断变化，随风摆动的树枝或波光粼粼的水面等。这些看似是静止的背景因素，却在图像前景提取过程中都会造成不同程度的影响。针对上述背景的微小变化，本文提出了采用混合高斯模型进行图像前景的提取。混合高斯建模是一种密度分布模型，是在图像采集过程中对每一帧图像中的某一个像素按时间序列进行概率统计，其分布模型由K个高斯模型组成。假设某一位置的像素在一段时间内像素值为{X1，X2，…，Xt}，某一个时刻该像素值概率为：

[P（Xt）=i=1kωi，tηXt，νi，tΣi，t] （1）

式中：[ωi，t]表示t时刻第i个高斯分布权重；[η]表示高斯分布密度函数；[νi，t]表示t时刻的第i个高斯分布均值向量；[Σi，t]表示第i个高斯分布的协方差矩阵。

将生成的K个高斯分布与每一个新采集的像素值进行匹配，若新采集的像素值[Xt]符合K个高斯分布中某一个分布，则更新高斯分布的权重值。更新权重值的方法如下：

[ωi，t=（1-α）ωi，t-1+αωi，t] （2）

[νi，t=（1-ρ）νi，t-1+ρXt] （3）

式中：[α]用来表示权重的更新率，[α]值越大则更新的速度越快，反之越慢；[ρ]是均值和方差的更新率：

[ρ=αηXt，νi，t，Σi，t] （4）

若新采集的像素值[Xt]没有落在K个高斯分布中，则权重值不变，不进行更新，并为[Xt]生成一个新的高斯分布。将原K个高斯分布中位于排序最后的一个高斯分布用该[Xt]高斯分布替代，系统重新将K个高斯分布由大到小进行重新排序：

[B=argminbi=1bωi，t>T] （5）

式中：B表示背景图像；T表示阈值；K个高斯分布中的K值大小由T来决定。在进行前景提取时，若新采集的像素值[Xt]不能够与系统中的所有高斯分布匹配，则这个像素值属于前景像素，反之则属于背景像素。

1.2 透视矫正

前景图像提取之后，需要对提取的前景图像进行透视矫正。因为监控设备将三维空间转换到二维空间时存在射影畸形现象。即同样的一个物体距离摄像机镜头近时在图像中占的像素空间比距离摄像头远时所占的像素空间要大的很多。

在人群密度估计中若不解决摄影畸形问题则无法准确估算出人群密度。所以透视矫正是人群密度估计系统必须考虑的一个重要问题。线性内插权值算法能够较好地解决射影畸形现象。线性内插权重是通过对摄像头采集的区域划定一个敏感区域，并根据距离摄像头远近将被采集物体的像素值进行权重矫正，具体实现如图1所示。在图1中：首先要测量出ab和cd两条水平线的长度；其次设定一个参考物，记录此参考物在ab水平线时的像素面积[S1=w1h1]和在cd水平线时的像素面积[S2=w2h2]；最后计算出此参考物在不同位置时的像素面积，得到系统的像素面积比率[μ]：

[μ=S2S1=w2h2w1h1] （6）

根据等比例原理，式（6）中[w1]和[w2]的比值可以通过ab与cd的比值进行相应替换，因此，式（6）可以转换成：

[μ=h2cdh1ab] （7）

式（7）可以计算出图像不同位置的像素面积比率[μ]的大小；也可以得出，距离镜头越近的物体所占的的像素越多，这就是射影畸形现象。若设ab水平线上的像素权重[w1]=1，则可得到cd水平线上的权重[w2=h1abh2cd]。

利用线性内插权值的方法可以得到水平线ab和cd之间的像素点的权重系数。

图1中，[li]位于直线ab和cd之间，距离之间ab的距离为[l2]，距离直线cd距离为[l1]，根据等比例的方法可以计算出在直线[li]处的像素权值[wi]，如下：

[wi=w0+l2l1wn1+l2l1=l1h2cd+l2h1ab（l1+l2）h2cd] （8）

式中，[wi]表示透视矫正参数，是描述图像中基于线性内插权值的某一点的透视矫正参数。图像中不同物体位于监控设备的距离不同，对应的[wi]矫正参数不同。通过这种方法来矫正射影畸形造成的误差。在人群密度估计中采用像素作为统计依据时，就必须通过[wi]视矫正参数对前景图像进行透视矫正。在统计时依据前景图像像素越多，图像中的人数越多的线性关系进行估算。若对未进行透视矫正的图像进行人数预估处理时，由于受人群分布的不同，相同的前景图像像素但实际的人数却不相同。通过对前景图像进行透视矫正，图像中不同位置的物体给与不同的像素权值，从而消除射影畸形所造成的误差，提高视频监控的人数密度统计准确率。

1.3 构造特征向量

经过前景图像的提取，并对前景图像进行透视矫正后，就可以对前景图像进行特征提取，在纹理特征提取中通常采用灰度共生矩阵的方法。灰度共生矩阵的主要优点是能够减小人群相互遮挡对统计造成的影響，对高密度人群的检测较为敏感。

在纹理特征提取过程中，一般不会直接采用灰度共生矩阵的数据，而是通过构建特征向量来处理共生矩阵产生的数据，最后通过依据特征向量的数据来估计人群密度及人数。构建的特征向量主要是以下四个：

1） 能量。其通过能量特征参数来表述前景图像的一致性：

[ASM=i=0N-1j=0N-1{P（i，jd，θ）}2] （9）

2） 对比度。其主要做反差统计量：

[Con=i=0N-1j=0N-1i-j2P（i，jd，θ）] （10）

通过对比度的大小可以描述前景图像的纹理特征，对比度数值越大，图像越清晰，反之图像较为模糊。

3） 熵。其主要是描述灰度分布的随机情况：

[Ent=-i=0N-1j=0N-1P（i，jd，θ）log P（i，jd，θ）] （11）

通过熵值的大小，可以反应出前景图像的纹理分布情况。纹理分布较为密则该数值较大。否则反之。

4） 相关性。其主要反应图像的灰度值：

[Cor=i=0L-1j=0L-1ijp（i，jd，θ）-μ1μ2σ1σ2] （12）

式中，μ和σ为灰度共生矩阵求得的均值和标准方差。

[μ1=i=0L-1ij=0L-1p（i，jd，θ）]

[μ2=j=0L-1ji=0L-1p（i，jd，θ）]

[σ21=i=0L-1（i-μ1）2j=0L-1p（i，jd，θ）]

[σ22=j=0L-1j-μ22i=0L-1p（i，jd，θ）]

通过相关性的大小来反应前景图像中像素的变化情况，若相邻像素的数值变化较小，则相关性值较大。

2 仿真与结果分析

通过选择实际测量环境来验证系统的实际应用情况。首先根据实际应用环境的情况将人群密度设定为3个等级：低密度人群、中密度人群和高密度人群。硬件平台为华硕I7?6700HQ，软件平台为Matlab R2015a。图像选择的是本校教学楼一侧的通道处，图像的视频大小格式为1 280×720像素，帧率为30 f/s。在视频图像预处理后，通过混合高斯模型和纹理特征对前景图像进行特征提取。选择第25帧图像、第12 198帧图像、第55 678帧图像为例进行人数统计，如图2所示。

通过灰度共生矩阵来分析人群图像纹理，4个参数设置如下：灰度级为32，方向为0°和45°，距离为4。先单独分析训练低、中、高情况下的人群图像纹理特征。

表1是基于纹理分析的人群密度估计训练样本估计结果，查全率均在93%以上；表2是基于纹理分析的人群密度估计测试样本估计结果，查全率均在90%以上。由仿真结果可得，基于问题分析的人群密度估计算法的查全率在90%以上，已达到算法设计的要求。

3 结 语

由于通过基于线性内插权值的人数统计方法，在处理过程中只对前景图像进行处理，并通过前景像素估算出人数。大大节省了系统的处理资源，提高了系统的处理效率。系统的三种不同人群密度的环境下测试结果都在90%以上，特别在中等密度人群时系统的准确率达到96.67%。

实验结果表明，基于线性内插权值人群密度估计的方法能够达到人群密度监控的基本要求。但是在低密度人群和高密度人群时系统的准确率出现下降。对于这种问题将是后期研究的重点。

参考文献

[1] 丁艺，陈树越，刘金星，等.基于归一化目标像素的人群密度估计方法[J].计算机应用与软件，2016，33（4）：212?214.

DING Yi， CHEN Shuyue， LIU Jinxing， et al. Crowd density estimation based on normalized target pixels [J]. Computer applications and software， 2016， 33（4）： 212?214.

[2] 任庆云.智能视频监控中的人群密度估计方法[D].石家庄：河北师范大学，2011.

REN Qingyun. Crowd density estimation methods in intelligent video surveillance [D]. Shijiazhuang： Hebei Normal University， 2011.

[3] 黄璐，林燕.一种基于视频的车站人群密度估计算法[J].计算机时代，2012（7）：23?25.

HUANG Lu， LIN Yan. Estimation of crowd density at the station based on video monitoring [J]. Computer era， 2012（7）： 23?25.

[4] 覃勋辉，王修飞，周曦，等.多种人群密度场景下的人群计数[J].中国图象图形学报，2013，18（4）：392?398.

QIN Xunhui， WANG Xiufei， ZHOU Xi， et al. Counting people in various crowd density scenes using support vector regression [J]. Journal of image and graphics， 2013， 18（4）： 392?398.

[5] 周芸韬.基于R语言的大数据处理平台的设计与实现[J].现代电子技术，2017，40（2）：53?56.

ZHOU Yuntao. Design and implementation of big data processing platform based on R language [J]. Modern electronics technique， 2017， 40（2）： 53?56.

[6] 李寅，王贵锦，林行刚.结合局部和全局特征的人群密度估计算法[J].清华大学学报（自然科学版），2013，53（4）：542?545.

LI Yin， WANG Guijin， LIN Xinggang. Population density estimation algorithm combining local and global characteristics [J]. Journal of Tsinghua University （Science and technology）， 2013， 53（4）： 542?545.

[7] 罗维薇，王阳萍，翟凤文.基于混合高斯背景建模的交通视频运动目标检测[J].兰州交通大学学报，2014，33（4）：26?29.

LUO Weiwei， WANG Yangping， ZHAI Fengwen. Moving object detecting of transportation video based on mixture Gaussian model algorithm [J]. Journal of Lanzhou Jiaotong University， 2014， 33（4）： 26?29.

[8] 白向峰，李艾华，李喜来，等.新型背景混合高斯模型[J].中国图象图形学报，2011，16（6）：983?988.

BAI Xiangfeng， LI Aihua， LI Xilai， et al. A novel background Gaussian mixture model [J]. Journal of image and graphics， 2011， 16（6）： 983?988.

[9] 王小鹏，陈璐，魏冲冲，等.一种改进的Retinex彩色图像增强方法[J].兰州交通大学学报，2015，34（1）：55?59.

WANG Xiaopeng， CHEN Lu， WEI Chongchong， et al. Color image enhancement based on improved Retinex algorithm [J]. Journal of Lanzhou Jiaotong University， 2015， 34（1）： 55?59.

[10] 王凯，黄山，赵瑜，等.面向图像目标提取的改进连通域标记算法[J].计算机工程与设计，2014，35（7）：2438?2441.

WANG Kai， HUANG Shan， ZHAO Yu， et al. Improved algorithm of connected component labeling for image targets extraction [J]. Computer engineering and design， 2014， 35（7）： 2438?2441.

[11] JACQUES JUNIOR J C S， MUSSE S R， JUNG C R. Crowd analysis using computer vision techniques [J]. IEEE signal processing magazine， 2010， 27（5）： 66?77.

[12] FRUIN J J. Crowd dynamics and the design and management of public places [C]// Proceedings of International Conference on Building Use and Safety Technology. Washington DC： [s.n.]， 1984： 110?113.