大数据在社会治安防控体系建设中的应用

2020-11-19尹涛饶旻

警察技术 2020年6期

尹涛饶旻

1. 江西省南昌市公安局 2. 北京海致网聚信息技术有限公司

引言

随着国际国内环境的不断变化，治安防控信息化建设与应用存在的短板和问题日益凸显，主要表现在：一是大数据应用意识不强，公安机关内部，大数据、信息化思维不够，利用科技信息化技术破解难题、提升水平的积极性和主动性有待提高；二是缺乏大数据应用支撑平台，治安业务条线系统林立，传统的“烟囱式”业务系统建设不利于开展跨系统数据融合与综合应用；三是治安数据治理体系不健全，治安要素基础信息采集不全、底数不清，且未形成以人员、地址、物品、单位、案事件为主要内容的治安数据知识体系；四是大数据应用能力不足，不善于将积累的业务知识转化为信息模型，对海量数据背后隐藏的客观规律挖掘不够。在此背景下，研究如何利用大数据手段，创新警务机制运行模式，改进和完善社会治安防控体系，进一步适应未来社会治安治理需要，显得极为重要。

一、需求分析

大数据背景下，社会治安防控体系建设面临着新的任务和要求，主要体现在以下几个方面：

（一）数据整合汇聚的需求

需要汇聚公安检查站、街面巡防、安防小区、娱乐场所、特种行业、内保、地铁、公交、危爆物品、大型活动等业务数据，以及政务网、视频专网提供的部分结构化数据，从而形成社会治安防控数据汇聚库。

（二）数据加工治理的需求

在汇聚库的基础上，以现有数据治理为核心，融合至公安基础业务数据，重新形成内容更为丰富的标准库、专题库、主题库、标签库以及业务库，最终梳理形成治安要素库。

（三）数据分析研判的需求

建设社会治安防控应用支撑平台，打造基于海量数据的快速建模、图谱分析、可视化分析、地图分析能力，并构建一系列满足治安管理需要的治安模型体系，以模型或者数据支撑的方式对外提供共享。

（四）数据综合应用的需求

结合社会治安防控业务，按照圈层管理、单元管理、要素管理的思路，打造一系列特色应用，例如核心圈层管理、重点部位管理、智慧社区管理、新业态管控、重点人员管理、重点物品管理等，服务社会治安防控工作。

二、解决方案

通过视频、人脸、卡口、电子围栏、Wi-Fi热点等前端感知设备的建设，全方位采集人、车、电、网、像等各类要素信息，为预警感知与精准打击提供强大的数据支撑；以大数据平台为体系核心，强化各类数据资源的整合、汇聚、存储、加工、分析与应用，为社会治安防控提供数据支撑、计算支撑、模型支撑，通过对重点人员、车辆、物品、场所信息动态掌握和深度分析，构建支撑智慧公安的“最强大脑”，实现对城市社会面治安形势全面掌握，更好地实现预防和减少犯罪的目标。

（一）系统整体架构

系统整体架构分为IAAS、PAAS、DAAS和SAAS四层。IAAS为基础设施层，包括硬件、网络、安全管理等内容；PAAS为平台服务层，包括数据存储、数据计算、API网关等内容；DAAS为数据服务层，包括数据接入、清洗、加工、组织、对外服务等内容；SAAS为应用服务层，主要为治安防控的各类应用。其中，数据层和应用层为本平台的核心。数据层又可细分为：

（1）数据汇聚子系统：数据汇聚子系统采集前端感知设备传输的信息，通过统一的采集服务将数据接入到大数据支撑平台，进行后续的分析处理。基础网络服务平台可满足各种数据接入，同时支持大量客户端的并行处理。

（2）数据治理子系统：大数据清洗子系统负责数据清洗和规整，剔除无用、错误和冗余的数据，保证数据的质量。

（3）数据分析子系统：大数据计算是整个系统的核心，基于Mapruduce、Hadoop架构的分布式存储计算以及基于Flink流式计算可满足不同的计算需求。

（4）数据共享服务子系统：统一消息服务子系统为各种综合应用提供服务接口，可满足各种系统的接入查询。

（二）大数据处理流程

首先是数据接入，前端感知设备采集的数据通过安全边界发送到大数据支撑平台采集主机，采集子系统将处理后的数据分别分发给批量同步服务和实时同步服务，利用Flume、Datax等技术将数据同步到大数据存储/计算集群。

其次是数据管理，其中批量同步服务将数据存储到Hive、Spark为主的离线存储/计算集群主机，完成大规模数据集的大数据融合分析、标准化、指标数据等的计算和存储，包括基于大数据的治安态势分析、交通态势分析等。另一部分实时同步服务，将实时数据发给Kafka、Flink为主的实时消息队列和计算集群主机，完成实时数据规整、清洗、标准化、规则引擎等的计算和处理。

之后是知识管理，经过离线/实时的数据管理后，可以进一步使用数据生产出上层业务所需的具有知识属性的数据，并交给不同的在线存储引擎完成存储，如业务库MPP、时空库Geomesa、关系库Janusgraph等分布式数据库技术，之后能够通过统一消息服务平台将数据以服务和推送的形式提供给各应用子系统。

三、实现功能

社会治安防控体系建设的核心内容为大数据基础支撑平台、应用支撑平台和社会治安防控应用，本文主要阐述前两个平台的内容。

（一）大数据基础支撑平台

1. 数据接入汇聚

数据接入汇聚主要实现打破数据壁垒，适配多源异构的数据源实现数据统一输出的目的。公安数据来源广、格式不一、种类繁多。获取方式上包括技术手段和管理手段获取数据等“多源”数据；对接“异构”系统，在数据结构上，来源数据多种类型，如数据库表、消息数据、文本文件、二进制文件、加压加密文件等。对接系统上，来源系统涉及文件系统、关系型或非关系型数据库、消息中间件和FTP系统。通过构建规范的数据接入流程，建立可适配的多源异构数据接入模式，对接入进行统一输出，为数据处理做好前提准备。用户可通过页面进行数据源和任务的配置，管理任务状态，提高了用户友好性。主要利用的功能模块包括：数据探查、数据定义、数据读取、数据统计、数据对账、数据质量检测、任务管理、数据源管理等。

2. 数据处理

数据处理具备对接入的多源异构数据进行标准化处理的能力。通过对接入的源数据按照数据标准的约定进行提取、清洗、比对、关联、打标等规范化流程处理，以过滤掉业务不关心的数据，提高数据关联度和业务紧密度，进而提升数据价值密度，实现数据增值。

3. 数据治理

数据治理是数据接入、处理、组织、服务、应用全生命周期的规划设计、过程控制和质量监督，通过规范化的数据治理，可实现数据资源的透明、可管、可控，理清数据资产、完善数据标准落地、形成完整的数据资源目录、规范数据处理流程、提升数据质量、保障数据安全使用、促进数据流通与价值提炼。数据治理的内容如图5所示。

4. 数据组织

按照大数据使用目的分类建库的要求，对数据资源形成科学分类标准统一、流程规范组织方案，并满足各业务部门业务专题数据落地建库需求，支持数据分级分类的机制以及数据使用的优先级策略。考虑将数据从来源逐级提炼，形成分层存储、全局管理和使用的数据组织，主要包括数据控制分布、创建表与数据老化、PaaS库定义、平台库定义、多维数据展示等关键功能，支撑原始库、资源库、主题库、知识库、业务库等。通过这类模型将数据进行组织，达到数据融合和知识沉淀的目的，具体详细的数据组织架构如图6所示。

5. 数据服务

数据服务是指各类数据资源对外提供的数据访问和管理能力。对应服务涵盖的数据范围包含原始库、资源库、主题库、业务库、知识库以及元数据、数据资源目录等。数据服务可分为查询检索服务、比对订阅服务、模型分析服务、数据推送服务、数据鉴权服务、数据操作服务、数据管理服务等，并支持跨网跨域的服务能力。

（二）应用支撑平台

应用支撑引擎包括：数据模型构建引擎、多维可视分析体引擎、数据精准推送引擎、业务大屏应用引擎、精细化地图服务引擎，以及流程管理配置引擎。

1. 数据模型构建引擎

提供灵活可配置的数据建模界面，用户可以使用拖拉拽方式快速完成复杂的数据建模。通过基于表的关联挖掘建模进行自由组合，减少数据建模过程中的断点操作，保证用户在数据建模过程中的连贯性。

2. 多维可视分析引擎

提供自助式多维数据可视化分析展示环境，不再高度依赖于计算机和数据专家，自助式构建研判分析多维透视数据体系，构建全面数据驱动的规模应用并进行研判经验共享和知识积累。

3. 数据精准推送引擎

以推送引擎和数据算法为载体，以精准推送为目标，串联数据和各业务应用系统，形成精准数据推送体系。将各渠道构建的各类模型计算结果或预警信息，推送到各级流程管理平台中下发、核查、反馈。

4. 业务大屏应用引擎

随着数据感知体系的不断完善，如何有效将分析结果进行整体、美观的呈现，让信息接受者既能够掌握全局，也能够洞察微观，实现数据“一屏”可视应用，更加直观地将数据结果进行呈现。

5. 精细化地图服务引擎

提供基础地图服务支撑，在基础地图数据（行政区、水系、道路、楼块街区）基础上，添加城市自有的治安相关数据、更细粒度的城市建筑物（AOI、楼栋）数据等。

6. 流程管理配置引擎

通过流程管理配置引擎可以快速实现工作流程的快速搭建、应用搭建、应用发布以及数据采集工作。

四、应用效果

XX市公安局通过统一大数据平台的建设，建立起支撑全市各警种、各部门的大数据服务能力，围绕治安防控实战需求，搭建了面向人员管控、车辆管理、场所管理、指挥调度、应急处突、政务服务等业务应用20余个，研发重点人员管控、扫黑除恶、重大安保管控等实战应用模型100余个，配合移动警务终端，开发信息采集、人车核验、现场勘验、信息预警等应用工具40余个，有效支撑了大数据条件下精准“打、防、管、控”警务运行机制的建设。通过智慧小区、智慧检查站的建设，进一步完善了社会治安防控体系等圈层建设，提高社会治安形势的驾驭能力。2019年，XX市全年治安警情数量下降21%，刑事警情数量下降38%，八类案件数量下降32%，盗抢骗数量下降29%，电信网络诈骗立案数与涉案损失金额均实现大幅下降，破案数与追赃挽损金额实现显著上升，现行命案破案率达到100%。