基于图像识别的人群活动数据分析与服务平台

匡涂上青 祁宏 周盛文

摘要：公共环境管理离不开对人群活动数据的采集与分析，人群数据同样也具有丰富的应用价值。本文从人群活动数据的潜在价值入手，分析其在公共管理、建筑改良设计、消防安全等方面的应用;结合现有技术手段和部署方法，主要包括图像识别方法和融合方法，讨论如何实现人群分布的识别与分析;通过举例分析应用场景和服务方式，例如web技术、公共环境显示等，拟结合技术构建一个人群活动数据分析与服务平台，探索得出具体可行的平台构建方式。

关键词：图像识别;图像融合;人群数据;公共管理;

一、引言

人类社会发展离不开对人类社会活动的研究。公共管理，建筑设计，消防安全等多方面的发展进步都需要此类研究作为支撑。但其重点研究对象不仅仅是个体，群体也是重点之一。对个体的研究主要采取调查和跟踪采访，但对于群体而言，仅能通过群体的分布信息或者活动轨迹来研究。因此，如何挖掘和分析这些有价值的人群数据并且将其应用到实际中来，成为了一种新的公共管理需求。以下通過三个章节分别论述人群数据的应用价值，技术路线以及应用场景和方式，深入讨论平台可行性。

二、人群数据分析的潜在价值

当下正是大数据技术爆炸时期，人们对于数据的分析需求越来越大，但数据的收集、处理能力也越来越强。例如，现今非常成熟的图像识别技术，蓬勃发展的数据挖掘、融合技术，为处理海量、复杂的数据提供了多种研究方法。因此，需要一个利用现有计算机技术，收集、整理人群数据的平台，满足不同场景下的需求，给需要这些分析建议的用户提供及时、可靠的服务。

因此，本文中对人群数据的深入探究，有助于发掘人群数据的潜在价值，对人类行为学、社会学、建筑学、公共管理学等有促进作用，其中有关公共环境合理性的改善、消防安全性的提升以及减少拥堵、踩踏事故的发生，更是有着直接的应用关联。

例如，通过分析人群的分布规律，对某些较狭小的公共场所的空间布置进行合理规划，提高空间利用率，减少拥堵情况的发生，那么在发生火灾或其他事故时，也有利于人群快速、安全地疏散，在一定程度上避免踩踏事故的发生，造成不必要的损失;亦或对于商场商家来说，某些柜台、广告牌的摆放，不一定具有科学性。通过平台的直观展示，能够及时调整这些设施的位置，带来更好的经济效益，这是平台数据的商业价值。

更加具体而又贴近生活的例子就是高铁站，而文章对于高铁站存在的空间管理以及人群引导问题有过专门的调查研究。传统高铁站区空间研究对于人群活动分析与定量研究不足。国外Schutz等人对车站区域空间研究较为成熟，通过对开发案例的总结，提出的“三圈层空间模型”，如图1所示，以距站点的距离为基准，从可达性、建设密度等方面表现圈层特征。“三圈层结构”在通常情况下被认为是一种理想的形态，能够产生外部集聚性，有助于促进站区的发展，因此成为当前高铁站区的模型支撑。

但是，以空间为基准的三圈层模型在人群行为活动的分析方面较为欠缺，而作为人口集散点的高铁站区，无论是交通出行的职能还是新城发展对人群集聚的需求，都体现了人群活动对高铁站区规划发展的重要意义。

通过以上举例分析，不难发现在现有公共环境管理的条件下，如果能够充分利用人群的活动数据，将其中潜在的有价值信息挖掘出来，并且找到一个或多个合理的应用角度加以落地，就有可能解决许多现有技术条件下难以解决的问题。

下一节中将讨论如何利用现有的技术手段，以及公共环境条件，对人群数据进行从识别到分析再到服务的处理，通过对技术路线和系统层次的讲解，来剖析技术难点，提出解决方案。

三、围绕图像识别与处理的技术路线

本节主要讨论实现平台的技术手段和构建方式。平台通过收集人群数据和在线分析，将处理后的可视化结果呈现给用户，并且通过隐结构信息挖掘，给用户提供空间利用率方面可能的改善建议，作为平台的辅助决策服务。

从需求分析，到方案提出，再到问题归纳，最后改进现有方案，这是系统中每一层次的技术路线，也是系统整体的研发路线。

根据平台功能模块的需求，如图2所示，横向部分将系统分为三层，采集层、分析曾和应用层，分别负责的是识别与采集、数据处理与决策和用户服务与反馈。

而纵向流程为每一层技术路线，均从需求分析出发，提出合理的方案、结合实际问题进行改进。并且，由于人群服务的场景大多不确定，空间结构复杂、难以形成统一结论，每一层级的研发将使用迭代的方式，在进行设计的同时挖掘新的问题和需求，不断提出改进方案，完善系统的功能，形成积极正反馈。因此，这不仅是层级内部的技术路线，更是本文所述系统的研发路线。

（一）采集层——识别与采集

近年来国内基本普及了监控设施，室内环境基本上能够做到多角度的图像信息采集，这也为人群图像识别提供硬件基础。本文拟采用基于监控摄像头画面的图像识别，因此对于监控图像的滤波处理以及特征的选取、模型（OpenCV）的训练和测试，是该层研究的主要内容。

本文使用模式识别来完成人群行为判断从而达到预定目标。基本的模式识别方法有两种：统计模式识别和结构模式识别。统计模式识别主要由四部分组成：数据获取、预处理、特征提取和选择、分类决策

模式识别主要分为三种：统计模式识别、句法模式识别、模糊模式识别。

图像处理的具体技术方面，一般依托OpenCV来实现。本文也采用这个强大的开源图形处理工具。如图4所示，本文的图像识别流程分为预处理和识别两个阶段。

本文中处理机制的直接输入数据为摄像头的画面（图像序列）。而项目需要获取的是某一些时刻或时间段的人群信息，因此我们需要先将视频文件抽取一定量的关键帧图像，对这些图像序列进行识别。

1. 获取到图像后，为了便于后续分析必须对图像进行预处理来去除噪声干扰，做几何、彩色校正等改善图像;

2. 对于当前图片还需要进行增强操作，对图像进行滤波处理，去掉不必要的高频部分，在尽量保持图像中纹线边缘完好的前提下，去掉图像中的粘连、断点及模糊的部分，以改善图像的质量，便于细化和特征提取，图像的膨胀与增强如图5所示：

3. 对图像进行细化处理去掉不必要的信息，降低图像数据量，为后处理提升效率和避免非预期操作;

4. 对当前得到的处理后数据，可以获取人群确切信息，对区域进行连接操作，将人群区域连为整体，并计算人群边缘位置信息转化为二维正交坐标后绘制在示意图上，便于决策人员做出决策与计算机进行分析。

（二）分析层——处理与决策

在实际情况中，一个摄像头的监控范围非常有限，往往需要多摄像头协作才能作到全面覆盖。因此，如何从多个监控画面中，无重复地识别目标，以及如何保证在人流量很大、地理环境复杂的情况下的识别稳定性，就是本小节的首要研究内容。

在摄像头之间的目标确认算法中，单应性约束是一种被广泛研究和应用的算法，其确认的精确度比较高。单应性约束是利用摄像头之间，摄像头和目标之间的几何位置来确定目标，避免了使用目标自身的特征作为确认目标的依据。

不过实际情况中，这种方法确认结果的好坏，严重依靠目标检测的精度，尤其是目标脚部位置检测的准确与否。为了更好的模拟真实情况中的各种不利情况，我们将3D模型以各种位置、角度摆放在场景中。其中我们发现，可能出现以下几点问题：

· 某个目标在某个摄像头中没有被检测到或是只检测到一部分;

· 某个摄像头检测到了一个虚假的目标;

· 目标出现相互遮挡的情况;

· 目标颜色与背景色相近，无法识别前景;

（a）暗部细节丢失 （b）相似目标 （c）目标互相遮挡

这些问题表明，仅仅利用单应性约束很难将目标在摄像头之间正确匹配起来。

为了解决上述三个问题，本文采用了一种基于目标相互之间距离的确认算法。通过实验的验证，该算法能很好提高多摄像头之间目标确认的精度。现在我们将场景中的两个摄像头分别指定为摄像头A与摄像头B。以下为算法的主要步骤：

步骤一：摄像头A 和摄像头B 同时检测到 N 个共同的目标，为了将A中的 N个目标与B中的目标准确的对应起来，首先需要计算A到B之间的单应性矩阵H：

该矩阵通过匹配多张画面目标的特征参数（位置，距离），来计算得到。具体方法和计算公式是UV坐标和世界坐标变换的常用方法，在此省略。

步骤二：获取目标的前景图，对每个目标分配一个标识号，并提取目标的脚部位置（识别框底边中心） ，并计算目标之间的距离 ，计算方法如下：

其中 分别表示摄像头A中目标 之间底部、中部和顶部的距离。按照公式图中，就是取最小值。

步骤三：根据单应矩阵H，将A中目标 变换投影至B中，得到在B中的位置 。

步骤四：将已经得到的投影（映射）位置，与其他目标的相对距离 。

步骤五：这一步进行目标的相互确认。继续以 （A中目标映射到B的虚拟目标）为例，确认方法如下：

1）如果 与A中对应原始目标的位置重合，则表明这两者为同一目标;

2）如果B中没有一个目标的位置与 的位置重合，则确定以 为中心，r为半径的区域内B中的所有目标（假设B目标个数为M）;对目标  与从A投影到B中的其他目标之间的距离 （ j =1， 2， ， NK且 j ≠i ），以及B中的这个 M 个目标分别与其他目标之间的距离 （ k =1，2， ， NK 且k ≠t ）进行从小到大的排序，得到集合 （t 表示 M 个目标中的其中一个目标）;分别计算  与  的和 ;从这 M 个目标中选择与 值最接近的目标 ，如果集合 中每个位置对应的值之差的绝对小于某个阈值θ，即

其中 分别表示集合 中的第 q 个目标。则将A中的目标 与B中的目标 确认为同一个目标。如果集合  不能满足上式，则选择下一个与  第二接近的目标，并检验该目标是否满足上式，若满足则确定 与该目标为同一个目标，若不满足则选择与 第三接近的目标，依此类推。

（三）应用层——服务与反馈

将（二）中得到的可视化内容，结合用户提供的其他实际数据，分析出一个合理的建议，以平台推送或者公共场景大屏显示的方式通知用户，实现平台服务;同时，提供反馈的接口给用户，对于平台的服务进行评价与建议，实现良性互动。（三）将在下文中以举例的方式详细讨论。

四、应用场景和服务方式

本文所述的技术路线实际也决定了应用的大致方向——图像及其可视化服务。那么结合近年来有关群体数据可视化以及应用案例，本文从中发现一个十分有应用价值的信息，并且能够与本文的技术高度融合——隐结构信息。

（一）隐结构信息

隐结构信息，既在特定的公共（地理）环境中，由人群运动的动态分布图像信息数据，通过图像处理、比对等方法，发掘对象环境中人流量较小区域的分布特点，从而得到的虚拟的建筑（地理）结构信息。文章在前人提出的“隐结构信息”的基础上，利用这一新兴概念，将平台可视化数据中的建筑结构，根据人群活动强弱、人流量大小，划分出相应的“隐结构”，展示在可视化界面上，便于用户直观的了解空间利用方面存在的问题并进行改善。而如何处理平面数据，获取“隐结构信息”，并且要保证科学性和有效性，这是本文在数据分析方面的研究重难点，也是平台可视化中的创新点。

本小节采用举例说明隐结构信息。我们还是以某高校图书馆为例。将前几阶段处理过后的圖像序列，抽取其中一定量的关键帧，使用Photoshop工具进行叠加，生成如下图的人群流量热成像图。

其中，深色的区域为人流量少的区域，可以考虑将其框选出来作为调整空间的候选区域，也就是“隐结构信息”。

接下来，通过这张隐结构信息图，我们将根据实际情况对用户的场景环境进行细致分析与建议，其中包括的内容有：

· 可能出现的安全隐患，例如某处空间的出入口过于拥堵，可能导致的疏散问题;

· 可以改善的空间布置，对于1中的情况，拟通过这种建议方式能够解决;

· 能够利用的闲置区域，提高空间利用率;

· 关于人流量管控方面的建议，例如如果区域人流量在某一时段过大，将建议用户控制区域时间段的人员流动。

（二）反馈方式

以上的包括隐结构信息在内的信息会以统一格式、在第一时间，以平台推送的方式通知用户。而具体的平台推送方式，主要包括两个方面：

1. 公共投放

在一般车站或商场，能够较为容易地配置大屏显示。这些设备往往用于广告投放或者必要信息地显示，对于显示地图像要求不高，因此本文所述的服务信息完全可以通过这种方式进行投放，让现场的公共用户群体最直观地查看。

2. 私有推送

如果将用户地范围缩小，限定于管理员类用户，那么公共投放方式显然不再适用。不过由于此类用户群体较小，本文将采取常规的web技術进行B/S架构应用的开发，将数据通过这种方式推送到用户的设备中，更加灵活且支持用户的定制化操作。

总结与展望

本文通过以上三个章节的内容，详细论述了有关人群数据的价值，相关图像识别、处理技术，应用场景和服务方式。但综合下来，本文所述系统还存在以下几点问题。

1、图像识别技术已经非常成熟，但实际上对于复杂公共环境，不可能有一个普适的模型来进行识别——实际情景下的模型参数调节，还需要项目在研究过程中探索经验，以达到一个更好的实际效果;

2、数据可视化，包括隐结构信息的挖掘的过程自动化。如果不能实现这一点，服务的环节就不能算得上完善;

3、如何根据可视化图像进行分析、建议。这是本平台的应用层（服务层）需要解决的问题，可能会涉及到决策树、决策模型以及深度学习方面的方法;并且，关于问题1中的识别模型适应性问题，或许可以通过机器学习方式进行自适应调整，减少人工调参的工作量。这也是本文作者后续的重要研究方向之一。

总之，人群数据的分析服务平台无论是在技术上，还是在实际场景中，都表现出高度的可行性，本文作者也会继续探索新的技术和方式完善系统。

参考文献：

[1]罗莉莎，钟嘉桐，王树同，陈龙，邵文泽.道路监控视频低清人脸重建与识别方法研究[J].计算机时代，2020（01）：26-29+34.

[2]崔颂懿，孔德文，王茉.客运枢纽“人群迷路区”的快速识别与优化——以北京南站为例[J].交通运输研究，2019，5（03）：34-41.

[3]梁茜. 基于视频的商场人群行为识别研究[D].天津财经大学，2016.

[4]崇信毅. 基于视频监控数据的人群行为分析[D].北京交通大学，2012.

[5]田玉敏.人群疏散心理及行为个体差异的探讨[J].人类工效学，2010，16（03）：53-55+82.

[6] 颜杰. 多摄像头目标检测与跟踪方法研究[D].华中科技大学，2011.

[7]杨立兵. 公共场所应急疏散系统及模拟仿真[D].中南大学，2009.

[8]单路. 基于多源数据的高铁站区人群聚集特征研究[C]. 中国城市规划学会、重庆市人民政府.活力城乡 美好人居——2019中国城市规划年会论文集（07城市设计）.中国城市规划学会、重庆市人民政府：中国城市规划学会，2019：544-555.

[9]邹富，周俊，范倩蓝，裴思垚.基于UP Squared的OpenCV物体图像识别应用[J].电子测试，2019（22）：62-63.

[10]刘军伟.基于OpenCV的图形识别系统设计[J].电子技术与软件工程，2019（21）：60-62.

[11]石泽琼，毛俊强，李双伟，徐丽蕊，董言治.基于OpenCV的运动目标识别跟踪[J].中国集成电路，2019，28（04）：20-25.

[12]任志敏.基于Android及OpenCV平台的形状及颜色识别系统设计[J].山西电子技术，2019（04）：51-53+62.

[13]田玉敏.人群疏散心理及行为个体差异的探讨[J].人类工效学，2010，16（03）：53-55+82.

[14] Kim K， Chalidabhongse T H， Harwood D， ct al， Real-time foreground-background segmentation using codebook model[j]Real-Time Imaging，2005 11（3）：172-185

作者简介：

匡涂上青（2000—），男，汉族，湖南省长沙市人，本科，中南大学计算机学院