情指行一体化体系中大数据技术的应用

张金鹏 王菁怡 孙慧超

摘要：作为公安机关提高犯罪侦查和治安防控能力重要的手段，大数据在公安工作中发挥着不可忽视的作用。但随着公安信息化的不断发展，信息量逐渐呈现出了指数级的增长，不断加强对公安内部的信息数据、社会资源和互联网资源信息的整合和处理以及对数据的深度挖掘，成为公安信息化新的发展方向。利用大数据技术将海量情指行相关的数据进行汇聚、清洗、治理、分析、预测，从复杂的数据中挖掘隐性规律和内在联系，构建立体化、空间化的信息关联体系，综合分析应用并产生巨大价值是构建智慧警务的重要途径。文章在深入分析情指行一体化建设的现状和问题的基础上，研究并设计了大数据融合应用平台，借助大数据技术实现情报、指挥、行动等警务活动的一体化协同运转，进一步提升公安机关在应急重大突发事件的处置能力。

关键词：大数据；情指行；数据挖掘；协同运转

doi：10.3969/J.ISSN.1672-7274.2024.03.027

中图分类号：TP 3          文献标志码：A           文章编码：1672-7274（2024）03-00-04

0   引言

随着互联网特别是移动互联网的发展，一个以信息爆炸为特征的大数据时代已到来，这对公安机关来说既是挑战，也是机遇。传统警务机制在处置突发性事件、預防与打击新型违法犯罪时往往“力不从心”，难以达到机制构建与运行之目的[1]。为此，公安部加快推进全国公安机关深化警务改革工作，要求加快构建适应新发展阶段要求的现代警务体系，深化推进情指勤舆一体化实战化运行机制改革。

按照公安机关深化警务改革总体要求，2019年6月，公安部成立了情报指挥中心，担负情报分析、研判预警、指挥调度、应急值守等重要职责，同时牵头推进情指勤舆一体化实战化工作机制并下发了《情指勤舆一体化实战平台建设任务书》，各省紧跟公安部的脚步陆续实现了情报和指挥部门的合并。

近年来，各地公安机关结合区域实际，积极探索，深入创新，延伸拓展，先行一步，积累经验，在情指勤舆探索和建设方面取得一定成效[2]。在情报会商研判、风险预测预警、指挥调度、舆情监测分析等方面已经取得了丰硕的成果。但是情报指挥工作仍面临着警情数量持续攀升、情报信息处理工作量井喷式增长，资源壁垒、手段壁垒、信息来源单一化等问题始终困扰着情报指挥工作的进一步提质增效[3]。同时由于情报平台与指挥平台都是旧有系统，处于条线建设、分散自治的情况，而且建设标准规范不一，难以适应新形势下情指中心的工作模式，主要表现为以下几个方面。

（1）基础数据支撑薄弱。信息采集、监测能力弱，现有基础数据难以支撑业务有效开展。情报指挥部门在可用信息监测、感知、探察方面缺乏基础数据支撑，可应用于预警监测、感知、探察的数据资源鲜活度、完整性不够。

（2）数据交换共享困难。由于现有情报与指挥业务系统是各自分散建设的，采取异构设计方式，数据建设标准规范不统一，导致“数据孤岛”“数据壁垒”“数据烟囱”等问题普遍存在，数据碎片化现象严重，信息交换和信息共享困难。

（3）数据应用能力不足。情报研判预警、情报协作的技术支撑能力不足，难以形成合力。一是缺乏统一高效的智能检索工具。现有智能检索工具智能化关联程度不高，各类数据资源需到多个业务系统查询。二是缺乏成熟、实用的预警发现、风险监测模型。通过系统分析研判为基层提供预警预判情报的智能预警模型仍然较少，无法进行深度合成研判，无法实现跨部门、跨警种、跨地区开展情报合成研判工作。

针对上述问题，本文深入研究了大数据在情指行一体化中的应用，设计了数据融合应用平台。

1   概述

数据融合应用平台为公安机关提供一站式的数据交换、数据开发、数据治理和数据服务能力，将海量、多源异构的数据整合并资产化，提升数据处理能力和融合能力，增强数据的及时性和一致性，解决公安机关内部数据孤岛问题。

2   方案设计

2.1 系统架构

数据融合应用平台各组成部分的主要技术框架均基于业内成熟的开源框架进行搭建，集成和扩展，支撑数据采集接入、数据存储、数据治理、数据服务、数据应用、安全管控、审计分析等方面的能力。

从分层的角度，平台分为数据集成层、数据治理层、数据开发层、资产目录层、数据服务层。

（1）数据集成。针对结构化和非结构化数据，通过前置机的方式采集，提供文件、数据导入；针对互联网数据，采用互联网爬虫抓取技术进行采集，同时对数据采集过程进行监控；然后对各种不同类型的海量异构数据进行存储与管理服务。

（2）数据治理。数据融合应用平台提供元数据服务、数据清洗、加工及增值数据产品制作的能力，包括元数据管理、数据清洗加工、数据血缘分析、数据质量分析等。

（3）数据开发。数据融合应用平台提供图形化大数据分析流程设计方式，用户可以通过平台的流程管理界面设计数据流（DataFlow）、工作流（WorkFlow）和实时数据流（Streamflow）。

（4）资产目录。数据融合应用平台通过资产目录树或多维度检索条件来查询数据资产信息，支持用户对资产溯源，查看具体的数据源，元数据等详情信息。

（5）数据服务。通过服务化的方式，在整合汇聚数据资源后，采用主题分类、模型算法、分析展现等数据服务方式，提供涵盖业务数据、共享交换数据、音视频数据等范畴的历史数据、离线数据、实时数据的服务发布，为上层业务应用提供数据支撑。

2.2 部署架构

数据共享平台采用微服务架构，支持分布式部署，最小支持单节点部署。

3   系统功能

3.1 数据集成

公安机关在履行社会管理职责过程中，已经掌握、管理、储存了各类数据信息，这使得公安机关掌握的数据储存海量化和类型多样化。针对这些互联网信息、生物特征信息、行为轨迹、图片影像等海量数据进行智能化处理分析，是公安机关应用大数据的优势，也是当前公安信息化建设的重点。

按照公安数据标准规范体系，全面汇聚人口管理、110警情、铁路购票、民航通行、旅店住宿、车辆卡口、人像卡口、出入境等公安系统内部异构数据，外部对接企事业单位和政府部门等数据资源，采用ETL技术抽取与情指业务相关的数据或调用相关的数据服务接口，形成情报类、指挥类、勤务类以及舆情类等4大类业务专题库，并以标签化的形式进行分组管理，为情指行上层业务应用提供基础的数据支撑。

3.2 数据采集

为了方便对大数据平台之外的数据源进行采集，除了直接连接各种数据库（Oracle、MySQL、SQL Server、PostgreSQL等），还支持在数据源处的前置机上部署采集器程序，通过对采集器进行采集任务下发、脱敏、数据同步等操作获取数据。

与传统的ETL工具最大的不同在于数据采集任务可以充分利用大数据平台的计算能力，采用分布式的方式并行执行采集任务，使数据采集过程中的数据加载和数据转换操作更加高效，保证了大数据量和高速数据流环境下的数据导入效率。

3.3 数据治理

（1）数据探查。通过对来源数据存储位置、提供方式、总量及更新情况、业务含义、字段格式语义、数据结构、数据质量等进行多维度分析，以达到认识数据的目的。

（2）数据质量定义。根据数据探查结果，结合情指行实际业务需求定义数据的完整性，格式的有效性、值域的有效性、逻辑的合理性、主键的唯一性、数据唯一性以及数据更新的及时性，从而保障接入数据鲜活、实用。

（3）数据读取。在完成数据探查及数据质量定义后，对抽取数据或者推送数据中检查其是否与数据质量定义一致，不一致的停止接入，并重新进行数据的探查和定义；一致的执行进一步接入、处理。

（4）数据质量校验。对读取后的数据进行评估，及时修改接入和处理中出现的问题，使数据质量提升形成闭环。

（5）数据质量校验。由于数据来源较为庞杂，海量的原始数据中存在许多不完整、不一致、有缺失、有重复、有异常的数据，直接进入各库会大幅降低数据质量，会影响基于这些数据进行的各类分析的执行效率，甚至可能导致分析结果的偏差，所以进行数据清洗显得尤为重要。在数据清洗的过程中，需要依据数据质量定义将不合符规范的原始数据转化为期望的格式、满足数据质量要求的数据。

（6）数据关联。数据关联以人员为核心，将公安机关内部业务系统数据，如常口数据、轨迹数据、监所数据等进行关联，并根据数据关联信息，将不符合数据质量定义的数据进行关联补充。

3.4 数据共享

情指行业务专题库的建立需要依赖各种数据来源，情指行平台是其中重要的数据来源，这部分数据如何安全可控地对接是一个很关键的问题。

为解决该问题，设计了数据共享架构体系，在数据融合应用平台汇聚上级单位、各业务警种、铁路、民航等数据的基础上进行清洗治理，从而形成数据资产，通过情指数据共享平台，以数据资源目录的形式共享给其他单位，其他单位可以申请需要的数据，申请通过后即可使用这部分数据，数据的使用和访问都是全流程记录的，这样可以在确保情指数据充分共享共用的基础上，保证数据的安全可控。

3.5 数据分析

数据分析是公安机关情报研判环节中重要的支撑手段。一是利用高效的智能检索工具，将人员、案件、车辆、警情、预警、轨迹等各类治安要素深度聚合后形成统一的知识库，为实际案件研判分析提供百科式的检索能力；二是构建算法模型加工厂，结合情指实际业务场景和公安实战经验，设计了数十种技战法模型。

（1）智能检索。将人员、案件、车辆、警情、预警、轨迹等各类治安要素深度聚合后形成统一的知识库，为实际研判分析提供百科式的检索能力。主要包括以下几点。

①可视化研判分析平台：通过直观的可视、交互手段，将与事件相关的多源数据关联并可视化展现、交互分析。

②全息档案：将关联的数据整合，通过以档案的方式集中展示人员的基础信息、管控信息、轨迹信息和关系信息等4大类70多子类的相关信息，并利用大数据进行人员的二次网络拓展，构建人员轨迹和知识图谱。

③会商研判管理：基于研判主题，构建研判主题、研判任务、研判协作请求、任务指令、研判结果、研判报告、研判交流的标准化管理体系。

（2）技战法模型。预防打击犯罪是我国公安工作的重要任务，讲求打防结合，重在预防[4]。在当前公安信息化建设不断深化的形势下，将应用模式由事后研判转向事前预防预警已成当务之急[5]。

情指行平台构建了丰富的战法模型，通过对社会治安相关的警情、安保、卡口、违法、事故、事件等多源数据的采集，运用大数据、机器学习等技术，深度挖掘数据背后的隐性规律，搭建监测预警模型，实现涉黄、涉赌、同行人分析、进入预警区域、离开指定区域、隐性重点人挖掘、群体异常串联等隐性社会风险的预测预警，助力公安各警种的执法能力提升、安全保障任务的高效开展。

4   结束语

情指行一体化建设是新时代公安改革的重要组成部分，顺应了中央深化公安改革的时代潮流，是提升公安整体战斗力的重要途径[6]。借助大数据技术打破部门警种壁垒，无障碍归集整合公安机关内部数据，建立数据标准管理体系，对入库的海量数据进行全面分类、清洗、标注，实现数据资源有效分流合流，把一个个“数据孤岛”整合成为一片“共享大陆”，实现数据价值最大化，将是推进情指行一体化体系建设的重要支撑手段，更是建设智慧公安，推进公安工作现代化的具体体现。

参考文献

[1] 王彬．论“情指勤舆”一体化运行机制之构建[J]．辽宁警察学院学报，2022（03）：1-7.

[2] 齊立伟．情指勤舆一体化实战化运行体系研究[J]．公安研究，2022（08）：34-39.

[3] 黄爱国．“情指行”一体化运行机制建设的实践与思考[J]．公安研究，2022（12）：20-24.

[4] 张鹤飞．大数据技术与公安工作：应用于挑战[J]．北京警察学院学报，2015（03）：77-81.

[5] 金吉．大数据背景下公安积分预警系统设计研究[J]．中国安全防范技术与应用，2019（01）：58-62

[6] 赵峰．新时代背景下“情指行一体化”建设的思考[J]．辽宁警察学院学报，2020（05）：12-15.