APP下载

疫情传播大数据分析预警平台的设计与实现

2021-01-14赵春燕房宗英姚徽王浩

现代信息科技 2021年12期
关键词:新冠肺炎大数据

赵春燕 房宗英 姚徽 王浩

摘  要:在新冠疫情常态化防控形势下,如何快速发现疑似病例并对疑似病例进行有效的管控仍是目前亟需解决的问题。为此建立可自我学习进化的疫情传播分析预警平台,实现对高危人员、公共场所的有效管控,可为政府、企业和个人做好疫情防范提供有效依据,同时有效提升高危人员来源地追溯的准确性、加快病例发现速度,提高各部门反应速度,补全发现机制,提高社会参与率和数据利用效率,提高疫情监控管理效率。

关键词:新冠肺炎;大数据;手机信令;疫情预警

中图分类号:TP311   文献标识码:A      文章编号:2096-4706(2021)12-0097-04

Abstract: Under the situation of COVID-19's normalization prevention and control, how to quickly identify suspected cases and effectively control suspected cases is still an urgent problem to be solved at present. To this end, a self-learning and evolving epidemic spread analysis and early warning platform is established to realize effective control of high-risk personnel and public places, which can provide an effective basis for the government, enterprises and individuals to prevent the epidemic. At the same time, it can effectively improve the accuracy of tracing the source of high-risk personnel, speed up the case discovery speed, improve response speed of various departments and complete the discovery mechanism, improve the social participation rate and data utilization efficiency, and improve the efficiency of epidemic monitoring and management.

Keywords: COVID-19; big data; cell phone signal; epidemic early warning

0  引  言

新冠肺炎疫情形勢严峻,目前确诊患者均已得到很好的治疗,但是对疑似病例的发现和管控还未形成一个行之有效的方案,如何第一时间筛选出疑似病例,并对疑似病例进行有效的管控,是当前疫情控制中亟待解决的问题。习近平总书记指出,要充分发挥大数据、人工智能、云计算等新一代信息技术的支撑作用;国务院要求各地充分利用各种信息技术手段(例如“大数据+网格化”等),做好疫情预警、监测、排查、检测等工作。

应对当前疫情防控的严峻形势,本文提出利用手机信令和关系图谱数据,基于大数据分析及人工智能等新兴技术,建立可自我学习进化的疫情传播大数据分析预警平台,将确诊病例、疑似病例、高危人员、移动信令等数据信息汇入平台,通过对数据进行清洗、挖掘和分析,实现疫情形势的空间化动态展示和分析,为疫情防控“早发现”提供数据支撑,对将疫情传播控制在萌芽状态具有极其重要的意义。

1  应用背景概述

近年来,随着计算机、互联网等新兴技术的快速发展以及传染病防控技术的不断创新和突破,我国的传染病监测技术手段得以迅速发展,许多省市地区也根据自身特点建设了区域性传染病监测系统。总结当前新冠肺炎疾病监测的过程,不难发现,传统的监测系统多为被动监测,不能主动及时地发现新的传染病和疑似传染病病例,同时各系统之间的资源互补性也不足,容易出现重复采样、重复建设的现象,且不同的系统之间存在信息传递不畅、信息化不够和数据挖掘程度不深等问题。

为解决上述问题,当务之急是采取更有效的措施,弥补现有传染病监测系统在应对如新冠肺炎等新的重大传染病方面的不足。

2  总体架构设计

疫情传播大数据分析预警平台是用于新冠肺炎传播人群、活动轨迹的大数据分析、预警、预测的平台。结合已有数据,分析数据特点和应用需求,搭建基于Hadoop的时空大数据索引与查询技术体系,为平台提供高稳定、高并发和高性能的支撑环境;基于手机基站定位数据及手机关系,在有限的信息资源约束下,采用系统的观点、方法和理论,结合机器学习技术,建立疫情等级评估模型,为用户提供疫情的风险评估。结合GIS技术和定位数据,建立基站-道路映射模型,实现对高危人员的历史轨迹分析,用于评估高风险人员同其他人现实接触的可能性;为科学评估疫情发展态势,精准部署防控提供了决策支持,平台总体框架如图1所示。

3  关键技术研究

3.1  海量数据并行处理模块

目前对时间序列数据存储和处理的研究采用Hadoop开源大数据技术,这些方法大多基于自建的Hadoop平台,存在集群规模小、维护困难等问题。为了满足系统海量数据存储与高并发的访问以及具备高扩展性、高容错性和高稳定性的要求,通过公有云免维护、弹性伸缩和按需租用等优点,结合MaxCompute大数据技术,设计实现了海量时间序列数据的MaxCompute表存储方法;基于MaxCompute提供的并行编程框架MapReduce,设计实现海量时间序列历史数据的并行处理。满足平台海量数据存储与高并发的访问要求,且可有效解决平台建设周期短的问题,降低研发成本。MaxCompute是阿里巴巴云提供的PByte/EByte数据存储与处理平台,提供海量结构化和非结构化数据存储、并行编程框架MapReduce、Graph计算模型和数据访问通道Tunnel等,非常适合海量历史数据存储和批量并行数据分析。在数据存储方面,MaxCompute的逻辑层采用表和分区的方式组织数据,便于使用SQL(结构化查询语言)接口进行数据访问;在物理层面,基于分布式文件系统存储数据的分布式三份副本,具有较高的数据可靠性和可用性;在访问接口方面,支持SQL用户自定义函数UDF、MapReduce和Graph。

3.2  疫情等级评估模型

逻辑回归(又称为逻辑回归分析),可用于分类和预测,是统计学中的经典分类算法。针对回归或分类问题,该方法首先需要建立损失函数,然后通过优化方法迭代求解最优模型参数,再利用已有数据检验求解模型的质量。基于逻辑回归模型构建原理,结合确诊患者数据(包括手机定位数据、信令数据、关系图谱数据等),利用逻辑回归算法对确诊患者数据集进行训练,最终获得分类准确度非常高的逻辑回归模型,建立新冠疫情等级评估体系,根据用户数据,预测用户感染新冠肺炎病毒的可能性有多大。逻辑回归算法的实现包含三个步骤。第一步是构造回归参数(θ)待定的h函数,第二步是根据h函数构造J函数(损失函数),第三步是最小化J函数,通过连续迭代得到回归参数(θ)。最后,将回归参数代入h函数,形成逻辑回归模型,进而实现预测,如图2所示。

3.3  高危人员路径匹配算法模型

基于高危人员过去14天所处的基站信息,通过GIS道路信息数据点建立K-D树,然后利用决策树算法实现基站定位信息与道路数据的快速匹配,建立基站-道路映射模型,构建原理如图3所示。

基于GIS+决策树的路径匹配算法流程为:

(1)首先对从开源地中下載的道路信息数据进行填充处理,基于处理后的道路信息数据点建立K-D树模型,进而提高匹配位置点的效率,加快待匹配的过程。

(2)在获取新的待匹配数据点之前,通过改进的基于决策树的预测算法,实现两个数据点之间最佳位置点的快速匹配。

(3)如待匹配位置点在两个数据点所在的道路上,则直接反馈该位置点,作为基站道路匹配算法的结果;如待匹配位置点不在两个数据点所在的道路上,则基于最近邻两个数据点进行计算,实现待匹配位置点在最近数据点道路上的匹配结果,得到高危人员所在的道路信息。

4  系统的设计与实现

4.1  客户端APP

疫情传播大数据分析预警平台客户端APP主要包括自我风险评估、扫码评估以及个人信息管理三大子模块,其中,自我风险评估模块通过提取本机的手机号码和通讯录,并将所提取的信息发送到后台服务器进行疫情风险评估。评估完成后,会在主界面中展示评估得分和对应风险等级,针对不同的评估等级系统将会给出相应的处置建议;通过扫码评估模块中的扫码功能,通过扫描由本平台为酒店、餐饮、公共交通或个人给出的指定二维码,获取相应的风险评估数据,同时可根据风险评估等级选择性地为用户服务或与用户开展接触;个人信息管理模块可实现个人二维码展示、扫码记录查询以及个人密码设置等功能,如图4所示。

4.2  PC端后台管理

疫情传播大数据分析预警平台PC端后台管理主要包括手机管理、疫情管理、预警分析、系统管理以及我的后台五大子模块,其中,手机管理模块主要实现高风险人员手机定位、轨迹、通讯录、通话记录以及短信记录等功能;疫情管理模块主要实现病例管理、风险人员管理、风险场所管理等功能;预警分析模块主要实现高危人员预警、疫情预警以及大数据展示等功能;系统管理模块主要实现用户角色权限管理、组织机构管理、系统管理以及数据传输等功能;我的后台模块主要通过控制台和仪表盘,将系统中的核心数据以及疫情发展趋势图表直接呈现出来,同时可对个人信息及密码进行修改,如图5、图6所示。

5  结  论

在当前新冠肺炎可能成为一种类似流感的常见病长期存在的形势下,疫情传播大数据分析预警平台可有效推进疫情传播的研判、分析和预测,有助于相关部门对疫情的发展态势进行有效评估,提前制定紧急情况下的应急措施,尽可能地降低传染风险,有助于政府监管部门对疫情传播进行实时监控和动态预测,提高疫情防控水平。

参考文献:

[1] 习近平.全面提高依法防控依法治理能力健全国家公共卫生应急管理体系 [EB/OL].(2020-02-29).http://www.gov.cn/xinwen/2020-02/29/content_5484903.htm.

[2] 卫生健康委网站.关于印发近期防控新型冠状病毒感染的肺炎工作方案的通知 [EB/OL].(2020-01-28).http://www.gov. cn/xinwen/2020-01/28/content_5472795.htm.

[3] 张媚,张永慧,程培明,等.广东省急性传染病防控动态监测系统建设与展望 [J].中国卫生信息管理杂志,2019,16(5):526-531.

[4] 吴凡.上海市创新传染病监测模式的实践和思考 [J].中华流行病学杂志,2019,40(8):880-882.

[5] 李耀辉.基于移动信令数据的用户出行行为研究 [D].重庆:重庆邮电大学,2017.

[6] 周成虎,裴韬,杜云艳,等.新冠肺炎疫情大数据分析与区域防控政策建议 [J].中国科学院院刊,2020,35(2):200-203.

作者简介:赵春燕(1979.12—),女,汉族,贵州贵阳人,副教授,博士,研究方向:旅游管理、计算机科学。

猜你喜欢

新冠肺炎大数据
情报体系在应急事件中的作用与价值
我国公共卫生突发事件应对的情报机制及体系
政府要做好公共价值的创造者和守护者
新冠肺炎疫情前期应急防控的“五情”大数据分析
科学与价值:新冠肺炎疫情背景下的风险决策机制及其优化
台陆委会正式改称“新冠肺炎”
大数据环境下基于移动客户端的传统媒体转型思路
基于大数据背景下的智慧城市建设研究
数据+舆情:南方报业创新转型提高服务能力的探索