警务时空大数据服务中心设计与实现

2022-04-24路治国新疆维吾尔自治区公安厅科技信息化总队

警察技术 2022年2期

路治国新疆维吾尔自治区公安厅科技信息化总队

引言

随着信息技术的高速发展，大数据成为国家基础性战略资源，大数据的发展应用为我国基础设施建设、社会民生和商业服务等领域提供了极大的便利。当前，我国公安部门的信息化建设也发展迅猛，各种移动设备和无线传感器的涌现产生了海量的结构化和非结构化的警务数据。2018年，公安部成立了全国公安大数据工作领导小组，并将“警用地理信息平台（PGIS）建设完善”项目列入《“十三五”平安中国建设规划》中，大力推进警用地理信息平台建设，最大限度地把地理信息平台建设成果转化为现实战斗力。

将地理信息科学与警务工作相结合，成为公安工作的重要发展趋势。目前，国内外许多学者都对警用地理信息平台建设进行了研究，毛伟佳等[1]探讨了多源大数据标准化治理和警务实战平台的建设；谭宁生等[2]研究了如何在公安内网搭建警用公众地理信息服务平台；张庆全等[3]阐述了如何建设二三维一体化的智慧警务地理信息平台；Niaraki[4]等通过收集德黑兰境内的犯罪数据建立警务地理信息系统，从而服务于社区警务；Vaz[5]等利用警务大数据建立预测性犯罪地图以预测未来犯罪活动的发生。然而，由于各级公安部门时空数据应用具有差异性，系统异构导致数据不一致，且其缺乏统一的组织和管理标准，各地区部门之间数据无法对接[6]。因此本文旨在对原始警务时空数据进行分析整合，以建设一个警务时空大数据服务中心，管理、更新人、地、物、事等各类公安业务图层及其关联的动态时空信息，建立数据的长效采集和更新机制，实现与公安大数据的深度融合。

一、警务时空大数据

时空数据是指具有时间信息、空间信息的数据，是描述地物要素的一种重要的表达方式。时空大数据不仅仅有着大数据的特征，还具有时间、空间、尺度、多源、可视化等特征。警务时空大数据是警务大数据的重要组成部分，具有多样的表达方式[7]。警务时空大数据有着如下的特征：

（一）数据多源，体量庞大

随着警务信息化建设的不断完善，警务系统所承载的数据量越来越大，数据来源也越来越广泛，不同类型、不同载体的时空数据源源不断地涌入到警务平台中去。因此警务数据有着多源异构的特点，需要采用大数据的分析思维来对其进行整合处理。

（二）时空特征明显

警务时空大数据具有典型的时空特征，其既包含有明显的空间特性，又有着多时间尺度的特征。从空间维的角度进行分析，警务活动大多是在某个空间区域内进行，警务数据大都记录着详细的空间位置信息。而从时间维的角度上看，警务活动大都包含警情发生的时间信息。因此警务时空大数据的时空特征十分明显。

（三）信息密度高但价值密度低

海量的数据资源导致警务数据有着极高的信息密度，通过对警务时空大数据进行挖掘和研究，可以帮助公安人员获取更加精准的情报，实现预防和打击犯罪的目标。因此警务大数据的应用价值极高，但是与之相对的是，由于获取数据的方式不同，数据的质量也不同，导致警务时空数据的价值密度较低，增大了数据分析和应用的难度[8]。因此，亟需建设一个警务时空大数据服务中心，以建立数据的长效采集和更新机制，实现与公安大数据的深度融合。

二、关键技术研究

（一）高性能分布式数据库

基于警务时空大数据，采用高可靠性、高性能、面向列、可伸缩的分布式数据库，实现可随时操作大规模的数据集。

基于海量数据，采用非结构化数据库HBase，HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在PC Server上搭建起大规模结构化存储集群。HBase架构如图1所示。

（二）高频数据采集与更新

数据探针是一类数据情况探查器，同时也是数据汲取器。数据探针提供元数据定时采集、源数据定时随需提取、数据源脱敏、数据压缩与加密的措施，保障在不影响业务系统正常运转的前提下，顺利完成数据的提取和汇聚。

使用PGIS数据探针，可以对公安内网现有警用地理信息数据进行汇聚、存储、管理和共享。分别汇聚PGIS系统的空间矢量数据、卫星影像数据及警用地理信息数据。从警种、地市等各种渠道，汇集全省警务要素图层，力争核心警务图层的上图率不低于95%。协调各警种部门和地市部门，实现要素图层数据的系统对接和数据共享，按照“谁负责、谁维护”的原则，建立数据的长效更新机制。

三、数据中心设计与实现

警务时空大数据服务中心包括警用地理信息数据中心和公众地理信息数据中心两个组成部分。地理信息数据中心通过各类数据探针汇聚数据，在数据仓库中存储和管理。同时，对所提取的多源数据进行标准化处理，建立一系列标准化流程，该流程包括有建立统一的数据库模板，多源数据空间范围、地名地址、时空信息的统一、不同空间坐标系的统一等。从而建立起标准一致的地理信息数据库，保障警务时空大数据的精确性。

（一）警用地理信息数据中心

警用地理信息数据中心包括警用地理空间矢量数据仓库、卫星影像数据仓库、警用地理信息图层数据库、警用标准地址数据库、警用位置定位数据库。

警用地理空间矢量数据仓库以及卫星影像数据仓库用于保存地理空间矢量数据和卫星影像数据。地理空间矢量数据包括全国范围内的省级、地市级、区县级、乡镇街道级行政区划、河流水系、绿地、建筑、道路、POI等，其中，道路分为：高速路、都市高速路、国道、省道、县道、乡镇村道、其他道路、九级路、轮渡、行人道路；POI分为：政府及管理机构、公安机关、教育、文化、医疗机构、社会保障机构、运动场馆、娱乐场所、餐馆、快餐、休闲餐饮、商业性住宿、居民住宿、综合零售、饮料及烟酒制品零售、医药及医疗器材零售、家用电器及电子产品零售、汽车及相关产品零售、汽车维护与保养、汽车销售及服务、金融服务、保险业、媒体、休闲度假、风景名胜、社会团体、协会、国际组织、商业设施、票费服务、公司厂矿企业、工业园、客货运输、道路附属设施、科研机构、农林牧渔生产及服务。

警用地理信息图层数据库负责将从PGIS系统及其他业务系统汇聚的其他警用地理信息数据入库保存。该数据参考需要与资源服务平台、警综平台、视频卡口平台、视频联网平台等完成对接，基于PGIS平台的地址比对功能模块实现警用业务数据的空间化处理，从而形成各类业务图层专题数据。以PGIS服务的方式为其他应用平台提供警用业务数据的查询、展示和分析功能。

警用标准地址数据库，结合公安部门统一开展的标准地址基础信息集中采集工作，为各地市门楼牌建筑物标准地址的全域采集提供地图服务保障支持，与互联网公司、物流公司等提供的地址数据进行交叉比对，建立数据可靠、持续更新的全省警用标准地址库，并向全警提供统一的标准地址应用服务。

警用位置定位数据库负责建立覆盖全省、精度可达到2＊5米的多层次警务网格体系，赋予每个网格固定的符号编码。将所有的标准地址、兴趣点、公安要素信息都关联到对应的网格中，从而建立全省的位置资源库，以网格中的各类已定位对象为纽带，实现各类静态、动态业务信息的空间定位和匹配上图。

警用地理信息数据仓库及数据预览如图2、图3所示。

（二）公众地理信息数据中心

公众地理信息数据中心负责对来自地图厂商、互联网公司及其他厂商的公众地理信息数据的汇聚、存储、管理和共享。公众地理信息数据中心主要是通过数据探针汇聚数据，分别汇聚来自地图厂商、互联网公司及其他厂商的道路路网、行政区划、绿地、河流等基础空间矢量数据，社会兴趣点、实时路况、交通出行等公众地理信息动态数据，存储到各类数据仓库。通过各类数据仓库进行数据的存储和管理，通过将数据封装成各类业务专题数据集，提供数据的使用和共享。

公众地理信息数据中心包括公众地理空间矢量数据仓库、实时路况数据仓库和数据加工厂。

公众地理空间矢量数据仓库：空间矢量数据仓库负责对道路路网、行政区划、绿地、河流等基础空间矢量数据的存储和管理。基础空间矢量数据都是带位置属性的矢量地图数据，通常在空间数据库中进行存储和管理。

实时路况数据仓库：实时路况数据仓库负责对汇聚的道路实时路况数据的存储和管理。实时路况数据通常是以流式数据或者文件形式存储。由于公安网的数据交换限制，无法支持流式数据交换，建议采用文件形式存储。

数据加工厂：是数据对外实现价值的出口。该子系统由数据处理引擎和数据集服务两部分构成。数据处理引擎可以进行数据清洗转换、多种类数据提取数据集定义，通过自定义时间版本、空间版本及数据字段过滤制作特定数据集。每个数据集是独立的、互不干扰；数据集内部提供的数据是完整的生态链，所有数据集来自于仓库母体，它们的目标是降低繁重业务负荷。各类公众地理信息数据被加工为数据集后，可以通过三种形式使用分别为在线REST服务、离线下载服务、在线分析支持服务。部分POI点信息表详见表1。

四、平台应用实例

基于警务时空大数据服务中心，构建一套警务云图大数据服务平台，充分利用各类地图数据资源，并符合公安部PGIS平台标准，支持现有平台对接，提供完善的警务地图服务。在公安网、视频专网等专用网络以及移动警务网络环境下的公共地图服务云平台。为公安机关各业务系统提供基础地图服务，同时在部署时需能够与地州使用的各类业务系统进行对接，警务云图服务平台提供标准对接接口，包括三台合一接处警平台、视综平台、指挥调度平台、公共安全视频图像联网共享平台、图像信息资源应用系统等业务系统。

分类展示发布后的数据，根据不同分组展示该分组下的所有数据资源。也可以直接预览数据资源，该资源中的数据均支持在地图中进行预览。查看数据详情页面展示以下信息：接口地址、所属数据救援、服务类型、数据类型、数据范围、空间参考、数据字段、修改数据接口等内容。

数据资源管理平台、数据预览、数据资源发布功能界面分别如图4、图5、图6所示。