基于大数据的警用知识处理框架的研究

湛浩旻　吕益民　马　川　曲　平　李　牧　程　实

（1.北京仿真中心，北京 100854；2.广州市公安局，广州 510001；3.中拓联兴（北京）科技有限公司，北京 100080）

基于大数据的警用知识处理框架的研究

湛浩旻1吕益民2马川1曲平3李牧3程实3

（1.北京仿真中心，北京 100854；2.广州市公安局，广州 510001；3.中拓联兴（北京）科技有限公司，北京 100080）

当前，大数据已成为学术界、企业界乃至政府关注的焦点。将大数据应用于公安领域，将大大推动公安情报工作的发展与变革。分析了公安大数据知识处理系统的需求和关键技术，提出了警用大数据知识处理框架，为新一代协同智慧警用信息系统的构建提供了参考。

警用信息，知识处理，大数据

引　言

大数据的兴起，以一种前所未有的方式，改变着人们的生活、工作与思维方式。而随着大数据技术的不断发展，以及其应用范围的不断扩展，大数据也必然会对目前的公安情报工作形成冲击。目前，公安机关所拥有的信息资源多为结构化数据，公安情报部门主要从整齐划一、标准化的数据库中挖掘情报。据Gartner集团预计，全球信息量每年的最低增长率为59％，其中有15％是结构化数据，其余的85％则由各种非结构化数据组成。这就意味着，占绝大多数的非结构化数据尚未得到有效利用，未进入公安情报工作领域。因此，公安机关首先要在观念上容纳各种混杂无序的大数据，变“废”为宝，将本非“废品”的各种非结构化数据视为公安情报工作的重要工作对象。

目前，警用信息资源在获取、整合等方面存在一些弊端和问题，制约了知识层面情报工作模式的拓展。一是过于依赖源头信息采集，导致基层民警信息采集工作量大。尽可能广泛地获取各种信息资源，是确保公安情报工作有效开展的重要前提。目前，公安机关倡导信息“全警采集”，通过建立健全“信息工作基础化、基础工作信息化”的工作机制，将信息采集建立在扎实的基层基础工作之上。但是，由于信息采集覆盖面广，必然导致基层民警信息采集任务繁重，信息采集效率低下，也影响了日常警务活动的开展。二是信息加工处理及汇集整合面临诸多困难。面对庞杂而丰富的信息资料，只有进行整序、浓缩、升华、系统化，使之成为一个有机的整体即信息资源，才能发挥其整体效益、系统效益，并从中提炼出有价值的情报信息。当前，公安机关“条”与“条”、“块”与“块”、“条”与“块”之间缺乏有效的信息交流，不同部门、不同地区的信息资料互设壁垒、互不共享，导致信息资源网络化、集成化程度低。三是信息资源的时效性难以得到保障。目前，公安情报部门所掌握的信息资源一部分是从各公安业务信息系统中抽取的，一部分是从社会其他部门通过交流交换以定期复制、提取的方式获得的。这些信息资源都存在一定程度的时差，时效性较差，这使得情报分析及情报应用受到限制。

为了使公安信息化资源为整个社会提供及时有效的信息服务，与其他政法部门、政府机关、社会单位实现安全、有效的信息共享，浙江合众信息技术公司构建了公安信息通信网边界接入平台，如图1所示［1］。

图1　公安信息通信网边界接入平台

浙江平湖公安局以大数据为支撑，利用可视化智慧平台系统，各个派出所综合指挥室每天、每周、每月将辖区内的警情发生时间、地点自动生成图表进行分析研判，然后发布预警，合理安排警力开展巡逻和车辆视频侦察，对案件进行防控。而每天北京时间19时30分，各派出所将当天有关情况向局里汇报，再由局里预警分析统一部署各派出所警力，从而构建起了一个立体化的防控体系［2］。

随着公安信息化建设的不断深入开展，适应公安信息服务智慧化、协作化的发展趋势，必须基于网络（包括电信网、广播电视网、互联网、移动互联网等）建立警用大数据知识处理框架，用以解决结构化、半结构化及非结构化数据多维度处理问题。警用大数据知识处理框架是在大数据获取、存储、组织、分析和决策过程中产生的，体现了大数据生态系统对知识、服务、资源和过程等的知识服务配置和整合的能力。

1　警用大数据与知识处理

1.1大数据

大数据将现实世界中的事物和现象以数据的形式存储到赛博空间中，这些数据记录了人类的行为，包括工作、生活和社会发展。探索赛博空间中数据的规律和现象，是探索宇宙的规律、探索生命的规律、寻找人类行为的规律、寻找社会发展的规律的一种重要手段，例如：可以通过研究数据来研究生命（生物信息学）、研究人类行为（行为信息学）。与自然科学和社会科学不同，数据科学的研究对象是赛博空间的数据。

数据科学研究主要有两个内涵：一是研究数据本身，研究数据的各种类型、状态、属性及变化形式和变化规律；二是为自然科学和社会科学研究提供一种新的方法，称为科学研究的数据方法，其目的在于揭示自然界和人类行为的现象和规律［3］。

1.2警用大数据

公安情报工作是公安工作的重要组成部分。早期的情报工作以人力情报活动为主。进入21世纪以来，随着公安信息化建设的不断深入推进，公安机关实施情报主导警务战略，并大力推进公安情报体系建设，公安情报工作进入了全面发展时期。开发利用各种信息资源，从中发掘出有效的情报信息，成为当前公安情报工作的中心任务，形成了一种新的公安情报工作模式——信息资源开发模式。这一工作模式，既顺应了公安信息化发展的趋势，促进了公安信息化建设的高端化发展，实现了公安情报工作与公安信息化建设的紧密结合，也有助于公安情报工作的发展创新。

将警用信息与大数据处理相结合，具有多方面的优势：一是信息量大。大数据涉及与事物相关的所有数据，可以说是一种全数据模式，可以从不同角度，更细致地观察和研究数据的方方面面，提高分析预测特别是微观层面分析预测的准确性。二是信息获取便利。当前已经拥有最先进的数据处理、存储能力和分析技术，各种大数据的获取简单易行，无需付出很高的代价。大数据取之不尽，用之不竭。三是信息容错性提高。掌握大量甚至全部数据，可以抵消掉错误数据所造成的影响，因此，可以不用执迷于数据的精确性，不必以高昂的代价消除数据的不确定性。四是信息具有实时性。在大数据环境下，各种非关系型数据库允许处理超大量、结构多样化的数据，无需进行数据格式转换，可以实现对大数据的实时分析、应用。五是信息获取渠道公开。大数据来自日常生活产生的各种开源信息，可以采用公开的手段获得，在获取方式上与现有法律法规没有冲突，也不存在严重的部门或地区信息壁垒。

此外，一大批知名企业开发了一批大数据分析、应用产品（如IBM的InfoSphere大数据分析平台、亚马逊的弹性MapReduce、甲骨文的Oracle大数据机、Google的BigQuery服务、EMC的Greenplum统一分析平台等），为警用信息的利用提供了技术支持［4］。

图2　知识处理框架

1.3知识处理

知识是从给定的信息中抽取出来的并不明显知道的东西，而当人们想要懂得某一件事情的意义时，不管他是否自觉，总是采用了一定的定性处理过程。所以，知识的拥有（知识库）和定性处理的执行结合在一起，构成了知识处理的基本条件。图2即为一种知识处理框架。

2　警用大数据知识处理框架

大数据知识处理框架是一个实现大数据获取、存储、组织、分析与决策服务资源和服务能力共享、交易和协作的智慧平台，可依据不同行业、不同领域、不同需求的大数据处理需求，在平台上实现数据、知识、资源、能力、服务、过程和任务等资源和能力的共享、协作和交易，平台的服务内容是大数据知识服务全生命周期，服务对象是信息服务行业的上下游知识服务产业链。

构建大数据知识处理框架主要是将其作为一种研究方法或是一种服务工具，而不是把平台构建当成研究目标。而作为一种研究方法或工具，大数据的知识处理与数据挖掘、统计分析、个性化搜索等人工智能方法有着不可分割的联系，也与物联网、云计算等信息技术相辅相成，同时具有不同于统计学、人工智能方法和信息技术的本质内涵、典型特征及运行机理。

大数据知识服务平台的开发、实施和应用是一项复杂的系统工程，涉及诸多亟待解决的关键技术。结合大数据知识服务模式的内涵、典型特征、运行机理和概念模型，本文提出了一种警用大数据知识处理框架，如图3所示，主要描述了大数据知识处理框架形成过程，以及构建过程中所涉及的关键技术，共分5层。

图3　警用知识处理框架

数据来源层：提供大数据知识处理全生命周期管理过程中所涉及的各类大数据来源，如结构化数据、非结构化数据、半结构化数据和流数据。其中，传感器数据、社交网络交互数据及移动互联网数据将成为知识处理领域未来大数据的几个主要来源。

数据存储层：主要包括数据集市、数据仓库、知识库，实现对结构化、半结构化、非结构化海量数据的智能化清洗、整合、主题抽取等处理，从而为大数据知识处理平台对数据的智能化管理提供支持。

数据加工层：大数据知识处理系统的核心，包括数据挖掘、分类与聚类等功能。

业务应用层：结合用户的大数据处理需求及数据特征，提供各类大数据知识需求的发布、大数据知识处理过程的交互等。

前端展示层：是数据可视化过程，主要是利用图形、图像处理、计算机视觉，以及用户界面，通过表达、建模，以及对立体、表面、属性和动画的显示，对数据加以解释。

警用信息经过大数据知识处理后，进入前端展示层，图4显示了“用户画像”警用大数据知识处理的结果。

3　结束语

综上所述，发展迅猛的大数据分析、处理技术，可以为公安机关信息资源开发提供技术支持，促进情报分析能力的提升。目前，公安机关基本上是基于传统“小数据”来开展公安情报工作的，大数据尚未进入公安情报工作视野，制约了公安情报工作的发展。公安机关应顺应大数据发展趋势，提高大数据获取、处理及分析能力，加强大数据在公安工作中的应用，增强从大数据中挖掘价值的能力。

1公安信息通信网边界接入平台［EB/OL］.［2014-09-11］http://www.unimassystem.com/cshow/id-1.html

2平湖公安［EB/OL］.http://pinghu.jxgaj.gov.cn/

3孟小峰，慈祥.大数据管理：概念、技术与挑战［J］.计算机研究与发展，2013，50（1）∶ 146～169

4彭加辉.大数据∶开启公安情报工作新时代［J］.公安研究，2014，（231）∶ 77～78

图4　警用大数据分析结果

1009-8119（2016）10（1）-0063-03