基于手机信令大数据的疫情监控指挥中心人口流动监控方案研究
2020-09-03戴顺勇
戴顺勇,蔡 欣,郭 涛
(中国联合网络通信有限公司贵州省分公司,贵州 贵阳 550001)
1 疫情监控指挥平台功能分析
1.1 群整体态势感知
(1)人群筛选设置。可以根据需要进行监测人群筛选设置,筛选条件包括:来源城市、观测时间范围、人群性别、人群年龄段、来源城市驻留时间(如低于3天、3天以上、一周等)等维度。(2)人口驻留分析。通过对群体用户行为的OD分析,能够进行区域人群的来源地和去向地分析。(3)人口分布分析。按照月、天、小时,以网格为空间粒度统计分析,以3D柱图、蜂窝图、3D热力等形式,展现区域的人口数量分布情况。(4)人口属性分析。能够呈现人群人口年龄段、性别及年龄段性别交叉等人口结构情况。(5)人流预测分析。依据某个区域的历史数据,预测半小时后的人口数量[1]。
1.2 重点区域实时监测
(1)人流变化实时热力分析。通过对手机信令的实时处理,可以实现对设定重点区域的人流热力监测,功能包括:区域瞬时总人数(区域内某个时间点的总人数)、区域累积总人数(按照分钟/小时/天统计区域内人口数)、区域瞬时游客人数(区域内某个时间点的游客人数)、区域人口热力(可以显示区域范围内的人口热力情况)。(2)重点场所人流预警。在区域人口超过既定阈值时候,能够及时预警。(3)接触人群分析。可以筛选与疑似病患在一定空间范围下(如250×250 m)共处时间最长,或轨迹类似的其他人群,其中,共处时间和空间范围可以设置[2]。
1.3 短信触达预警和大屏可视化展示
(1)短信触达预警,可以实现对指定区域人群、重点个体的短信触达通知预警。(2)大屏可视化展示,新型肺炎疫情防控的主要需求在于人群范围广、变化快、无法快速锁定,中国联通提供的“基于手机信令大数据的人员流动分析平台”可以为疫情防控部门提供人群流动、特定人群轨迹分析等功能。以应急指挥中心为纽带,建设大数据可视化系统、视频协商系统,实现可视化指挥、应急处置功能。以应急指挥中心为手段,有效降低事件发生概率,提升事件处置效率,提供事件考核评估、人群流动分析存档依据。以应急指挥中心为载体,实现群众和执法人员问题上报,远程调解等实际应用,提高工作效率,加强疫情防控。
2 系统总体设计
(1)先进性。系统涉及的各类应用系统采用先进、成熟的技术,性能和质量指标应达到国际领先水平,以保证现有投资的有效性和延续性;同时,系统的安装调试、操作使用应简便易行,容易掌握。(2)实用性。项目建设的规划要高起点,功能要更切合实际,重在应用,坚持以需求为主导,落脚于满足需求,从实际需求出发,深入开展业务调研,保证系统顺畅使用,易于维护。(3)安全性。由于本系统汇集了关键、敏感资料以及对数据分析的结果,系统安全性尤其重要。在系统中,对外来侵入的控制应由路由器配合操作系统及数据库来完成,采用多级用户权限管理。(4)扩展性。系统要有良好的扩展性和升级前景,充分考虑其扩展性能,包括:系统总体框架的确定、系统功能的设计、数据格式的定义和系统间的数据接口,以为将来的发展提供扩展能力[3]。
3 监控中心建设
(1)数据要求:人口位置数据需要在空间上具备极强的拓展性;在时间上具有连续性,来源合法合规,需要基于人口扩样算法扩样后的数据。(2)技术要求:延时及刷新频率要求(实时监测部分)要延时1 h,瞬时数据为最快10 min刷新一次,累积数据可按每10 min、每30 min、每小时、每天更新。数据处理技术要求:需要采用实时流式计算,集成Kafka,redis,RabbitMQ等分布式大数据处理组件,实现毫秒级响应,实时批量处理数据达500 000条/秒,每天可处理1 000亿条数据。(3)核心算法要求:需要有自研知识产权的实时手机信令处理平台相关算法专利,能够进行多基站加权运算,自动降噪较准定位。能够建立基站小区间的flicker关系,动态观察分析信令,基于时长判断用户是驻留还是出行经过。(4)服务方式:支持云端服务和客户端本地化平台建设两部分。云端服务包含硬件资源服务和数据处理服务,由联通提供云端硬件资源,支撑云端数据处理服务。(5)客户端本地化平台建设:将建设大数据人流量监控系统,并部署在客户本地机房。监控中心的建设结构如图1所示。
图1 监控中心的建设结构
4 实时数据采集
4.1 数据采集层
数据采集层主要进行原始数据的采集,包括手机用户的信令数据(切换信令、位置更新信令、呼叫信令、短消息信令等)。信令数据主要用来处理分析得到用户的位置和轨迹相关的信息。
4.2 数据预处理层
从数据采集层传入的原始数据存在缺失、错误等问题,不具有可用性,而且格式不统一,因此,在建模计算之前需要进行数据预处理,主要包括:数据筛选、数据整理、数据汇聚。
4.3 数据存储层
数据存储层主要负责对整个平台的结构化数据和非结构化数据进行存储,采用分布式文件系统HDFS对汇聚后的文件进行存储,使用行式存储MySQL和列式存储Hbase对计算处理结果数据进行存储,以满足不同业务功能对数据查询操作性能方面要求。中间数据缓存相关功能则由Kafka消息队列方式提供,尤其对实时处理部分数据不经过HDFS而是直接通过消息队列传送到Storm计算模块,以保证最少时延。
4.4 数据计算层
数据计算层包括实时数据计算和历史数据计算两部分,实时计算主要采用Storm流计算进行人员实时轨迹的分析,历史计算采用Spark内存计算对人员的历史轨迹进一步细分,得出如居住地、工作地、常去地之类的信息,还包括对历史上网数据等信息的计算处理。
4.5 数据分析层
对计算处理后的结果数据进行分析挖掘,以供应用层功能使用,主要采用SQL语言对MySQL内存储的数据进行分析,采用Hive语言提供对HDFS的文件的查询分析,结合数据挖掘算法、实时分析等功能对数据进一步精化细分,为各种业务场景提供数据。
5 结语
手机信令是人口大数据的天然采集器,通信基站能够主动采集每个蜂窝站用户行为变化以及记录覆盖区域用户位置变化。本文以中国联合网络通信有限公司贵州省分公司为例,进行贵阳市开展基于手机信令数据的人群流动活动规律分析、城市特定人群监测优化的应用研究,以建立基于手机信令大数据的人流监测防控平台。