浅议数据中台在公安大数据建设中的应用

●穆义龙

（中国人民公安大学，北京100038）

一、公安大数据建设面临的问题

公安部已成立全国公安大数据工作领导小组，以大力推进实施公安大数据战略，公安大数据建设是公安信息化发展的新阶段，能够不断提高维护国家安全和社会稳定的能力。[1]进入大数据时代以来，就公安领域来讲，随着数据的激增和技术跟进的缓慢，公安大数据建设面临着数据采集不全、数据处理不足、数据管理滞后、数据挖掘开发不足等问题。

（一）数据采集不全

1.数据来源广体量大

大数据时代，随着通讯、互联网、物联网、云计算、人工智能等技术的发展，我们进入了万物互联的社会，人、事、物的全息信息以数据的形式再现于虚拟空间中。然而这些数据分布广泛，主要来源有手机数据、计算机数据、汽车数据、打印机数据、智能摄像头数据、智能家居数据、智能穿戴设备数据、无人机数据、银行开户信息、公共场所数据、云端数据、政务数据等等。随着5G时代的到来，5G具有的极高安全性和极快数据速率，将进一步推动通讯、互联网、物联网、云计算、人工智能等技术的发展，在一定程度上促进商业模式的改造和带来一批新行业的兴起，届时数据将会进一步呈现大爆发的状态。巨大的数据增量以及体量，既使得以数据为载体的信息更为详尽，又导致数据采集所需的数据体量巨大，如何将巨大体量的数据提取，给数据采集工作带来了极大的挑战。

2.部分数据提取难度大

尽管当前数据分布广泛、体量巨大，其所蕴含的数据也相对完备、高值。但是，这巨大体量的数据就像一座冰山一样，其中能够直接通过资源管理器提取的数据就像冰山露出的部分仅占很少比例。很大一部分潜藏于底部，很难被发现和直接提取，在这一部分数据中，有一部分比如被覆盖的或者被删除的数据，可以通过数据恢复软件等技术呈现和被提取。又有一部分数据，由于被擦除或者结构特性等原因很难通过上述方法提取，必然导致部分数据所蕴含的信息不能被获取，对数据采集工作带来了巨大的挑战。

（二）数据预处理不足

就已采集的数据而言，因其来源广泛、结构不一等等，给后期的数据分析和数据利用带来了极大的麻烦，很难发挥数据的真正价值。目前公安工作面临的大多数原始公安数据具有不一致性、噪声和缺损高度敏感性等等，导致很多数据无法直接使用，并且，目前在实践中相关部门在数据的清理、转换、集成、简化等方面的相关能力还未能满足公安大数据应用的需求，在很大程度上造成数据资源的浪费。

（三）数据管理滞后

数据预处理后的储存、管理也相当重要，其主要包括数据资源目录管理、数据模型管理、数据标准管理、数据质量管理等方面。科学的数据管理是数据挖掘、数据分析、数据共享和数据综合利用的前提。然而，在实践中，公安大数据管理存在分散管理、重复建设等导致公安大数据流动性差和标准不一等问题；并且多年来，公安信息系统建设一直在采用多层体系技术架构的方式，该方式发挥了其历史性作用，但随着“人工智能+大数据”、云计算、移动互联等新技术的出现，传统架构方式可扩展性不强、集约共享性不彻底等，[2]致使目前公安信息系统中的数据管理只能实现对基础数据进行简单汇聚、较为粗略的分类和其他简单管理。很明显，在大数据时代，面对增速极快、体量巨大且结构不一的大数据和公安业务需求的多样化的现状，公安信息系统的数据管理能力相对滞后。

（四）数据挖掘不足

在万物互联的今天，数据不是独立存在的而是与其他数据相互作用和关联的，因此数据价值的充分实现不仅仅是对数据简单利用，更为重要的是对数据的开发和关联挖掘。然而目前在公安领域，大多数地方对数据挖掘技术停留在零散研究与应用，难以有效明确地集成众多挖掘关键技术。就数据的浅层关联性进行分析，往往得到的信息并不全面，不能充分发挥数据的真正价值。

二、数据中台赋能公安大数据建设

数据中台是指依靠人工智能等相关技术构建的一套统一的数据治理、数据挖掘、数据开发、数据管理和数据服务的数据系统，其集智能环境感知、强大计算能力、海量数据融合、智能应用服务、严密安全保障为一体。

（一）提升公安大数据的收集能力

随着物联网和各种新技术、新感知设备的广泛应用，结构化数据所占比例将越来越小。未来面临的公安大数据，99%的数据量将是非结构化数据。同时公安工作大多和空间位置相关，更加注重非结构化数据和时空大数据的使用，公安大数据不仅包含实体的属性信息，更包含实体的时空信息以及实体间的关系信息，[3]数据中台利用人工智能等相关技术从源头打破数据孤岛，把公安各个警种数据、政务数据资源、社会数据资源、重点网络数据、物联感知数据等等所有的、多元的、跨域的数据进行智能终端感知以及快速接入和相应的适配，并且利用相应的算法针对不同类型和不同来源场景的数据使用不同的采集服务方式处理，数据进来以后进行快速对账，并且依据相应标准对收集的数据进行分类、储存和管理。

（二）提升公安大数据的治理能力

公安大数据集合了多元的、跨域的数据，其中有很大一部分是非结构性数据，数据中台依据相关技术标准通过对ODS基础层的全量数据进行清洗、转化以及利用其相关技术处理使多源异构的基础数据向高价值结构化数据转换，从而最大限度地提高公安大数据的利用效率。

同时数据中台也在实时对数据进行相关的质量监控和提升，从数据接入开始利用一套灵活的规则机制对数据进行质量探查，为接下来的数据的自动化对标提供相关支撑。在这个过程中数据中台通过可视化的方式来检测数据的一些标准和一些字段空值，以及对数据的增量做一些同比、环比。并且根据每天的增量作出相关预警预测，及时提醒数据开发人员关注数据的接入情况，数据开发人员根据数据中台反馈的信息来进一步处理相关情况，以此提高数据的可靠性。

数据中台利用相关人工智能技术加强对元数据的管理以及基于元数据的数据开发管理。在对数据标准化处理的基础之上构建DWD数据标准层，再根据标准层的标准化数据结合多维元数据信息，利用关键特征数据结合业务核心算法不断优化数据模型进一步构建和完善公安业务所需的数据仓库。

数据中台利用人工智能等相关技术通过构建智能数据加大对数据的开发、挖掘其有效价值。对数据进行智能化标签，不断完善数据的深度关联实现具有置信度和亲密度的ID-Mapping（包括一些实体如：标签、关系、行为、轨迹、账户、资产、车辆、案件、地址等等），在此基础上结合业务构建DWS主题库（主题域可以实时共享，用户可以直接在主题域找到所需数据节约相关成本）和DM专题库形成开放结构化服务，并且利用相应的技术构建分析性数据库服务。

（三）提升公安大数据的共享能力

公安大数据在数据中台中通过挖掘治理之后汇聚到数据开发中心，数据中台利用人工智能技术不断提升业务生成开发能力和快速的服务开发能力，分别建立业务开发的能力工厂和服务开发的能力工厂。在对数据治理的基础之上，通过业务开发能力工厂利用相关技术不断沉淀业务，以及不断对业务进行抽象来生成业务，并且将生成业务所带来的结果形成服务，通过服务开发能力工厂开发服务，在专题库中进行中转和沉淀，通过以服务集市的方式来提供服务目录等方式进行分享。

三、数据中台对于实战应用的赋能

（一）建立数据业务模型

数据中台在对数据治理的基础上，将数据治理的成果结合公安工作日常业务进行模块化抽象并且不断沉淀形成各类的数据业务模型，如电信诈骗模型、犯罪高发热点区域分析研判模型、跨境诈骗类案特征分析、空港旅客多维防控系统、流动人口综合分析研判模型、高危对象预测预警模型、车险骗保分析模型等等，并且随着相关技术的发展以及业务环境的变化能够对数据业务模型不断更新完善，以更好地服务公安工作。

（二）智能数据标签

数据中台对大量数据建立很多数据标签，如基础类标签、行为类标签、关系类标签、业务类标签、背景类标签、算法类标签和其他标签，以平台管理的方式体现出来，同时，用户可以根据系统自动带出来的基础标签来做自己需要的自定义标签，并且这些自定义标签继续沉淀，方便后来者使用或者在此基础上对数据标签做进一步更改，智能数据标签实现用户对标签数据任意组合的解析，输出适用于任一警种、任一部门、任一场景所需的数据分析结果集。

（三）智能布控预警

布控预警对公安工作来说是非常重要的一块，数据中台在对数据的治理基础之上构建了自动化、智能化的预警系统，来解决通用性的、大部分应用场景。用户在数据中台中通过对目标人群、规则、区域、策略等的设置，结合具有置信度和亲密度ID-Mapping实现全息预警，在尽可能全面的数据基础上，对传统的关联关系进行进一步延伸和深化，构建和完善依托置信度和亲密度的实体关联，以人为出发，反应这个人的所有的物品、车辆、行为、轨迹等等相关信息的指数情况，利用全面数据通过特定规则和算法，计算出某个人的某方面，如车辆、地址的概率，从而进一步支持公安机关的智能化布控预警。

四、结语

以人工智能技术为支撑的数据中台具有多维智能感知体系、智能融合应用体系、大数据支撑体系、数据治理体系等等能够实现对数据的深度挖掘、深度治理、实现数据共池，形成各类数据业务模型，并且不仅实现传统意义上的数据共享，而且以服务的方式共享出来，能够更好地满足公安工作需要，进一步推动公安大数据建设。