基于大数据的公安交通便民服务平台构建

2019-03-26于志青

商丘职业技术学院学报 2019年1期

于志青

(河南警察学院交通管理工程系，河南郑州 450000)

目前，公众不能通过互联网直接访问公安部门的业务专网，互联网和公安业务专网之间是隔离的，公众要获得相应的信息，须通过互联网发出请求，经过专业的渠道送向公安业务专网，专网对信息进行处理后才能将结果反馈给用户。由于公安交通管理信息目前采用的是传统的数据处理架构，在处理信息量大的图片和视频时，处理时间长，造成公众查询时等待的时间较长，因此便民服务平台不对公众提供此类信息的服务。当前涉及的公安交通管理信息基本都是省级、省辖市级公安机关建库，如在构建省级、省辖市级公安机关交通信息综合平台时，以大数据技术构建，将为互联网便民服务提供更加有力的支撑。关于公安便民服务、公安大数据应用方面的研究，有从行政管理的角度研究公安互联网便民服务平台建设的[1]，也有讨论利用互联网与大数据如何支撑公安工作的[2-4]，用大数据技术构建公安交通集成指挥平台已取得较好的效果[5]，大数据技术在交通管理和公安工作应用已初见成效[6-9]，而基于大数据技术的公安交通互联网便民服务平台目前少有文献探讨。本文重点研究基于大数据的公安交通互联网便民平台，介绍其构建、设计方法，并分析其性能。

1 大数据技术

对大数据这一概念目前还没有统一的权威解释，综合各专家、学者和公司对大数据的说明，可以给出大数据的内涵：具有可用于发现规律和预测未来价值的多样或大量的数据。

面对大数据，原有的数据处理技术已不能完全满足需求，有必要研发适用大数据的数据处理技术。基于此，大数据技术应运而生。

目前，Hadoop是大数据基础技术的代表，它是一种大数据管理系统，源于谷歌的分布式模型，由Apache基金会开发，是开源的。中国也有许多机构研究、学习Hadoop平台，许多公司在Hadoop的基础上，开发了自己的大数据管理系统，如阿里、华为、浪潮、上海星环等。中国最早使用Hadoop技术的是中国电信运营商，使用该技术后，1 500亿条的网络日志查询，1 s之内就有结果；若采用传统的数据库管理系统，查询时间要用小时计算[10]45-47。

大数据管理要比传统的数据库管理复杂得多。大数据技术构件下，不同的子项目适用于大数据处理中的不同场景，子项目之间是互为补充的关系。大数据技术构件如图1所示[10]67。

图1 大数据技术构件图

在组件中，有用于分布式文件存储管理的HDFS，有用于分布式协调服务的Zookeeper, 有用于分布式发布订阅消息的Kafka, 有用于分布式实时列式存储的Hbase数据库等。

与大数据技术相关联的还有云计算技术。云计算是以提供服务为导向的分布式计算，其核心是分布式、虚拟式、多租户。云计算技术与大数据技术二者均源自谷歌的分布式模型，是分布式计算的实现。大数据技术重点是对数据的处理技术；云计算技术不但包括对数据的处理，同时也包括对各种资源的调度，如存储、数据、操作系统、应用软件等。因此，云计算技术包括大数据技术，但大数据技术也可独立部署。

2 公安交通互联网便民服务平台的构建

2.1 平台的基本体系结构

公安交通互联网便民服务平台是“互联网+政务”服务的重要组成部分。平台分为互联网端和公安交通业务端。互联网端的功能应以服务公民需求为原则，但这些功能是否实现、是否可以达到便民的目的，除网络传输的构建外，重点是公安交通业务端的业务系统及相关数据如何支撑公众从互联网端发出的请求。一方面，公安交通互联网便民服务平台的功能实现取决于公安交通业务端对业务系统和数据的组织形式。例如，公民由互联网请求办理驾驶证的审核，公安交通业务端的驾驶证管理系统应能找到相关的信息，并按相关规定处理，这就要求公安交通业务的处理平台能够高效地处理来自互联网端的不同请求。另一方面，公安交通业务端的平台也可把关于交通的有关信息，经分析处理后，推送至互联网端的公民，包括订阅的消息、实时或及时地推送消息等。因此，公安业务端的平台构建是公安交通互联网便民服务平台的关键。本文核心以大数据技术、云计算技术为基础，构建公安交通业务端的互联网便民服务平台或称为公安交通便民服务支撑平台。平台基本体系结构如图2所示。

图2 平台基本体系结构示意图

2.2 公安交通便民服务平台功能的设计

当前的部署在互联网端的公安交通便民服务平台功能模块一般有业务办理、信息查询、公告发布、办事指南等，这些功能的实现需要公安网端的公安业务系统支持，如业务办理、信息查询等；有些则不需要，如办事指南、服务导航等。当公安业务端的系统和数据基于大数据架构时，互联网端的功能将有所增加，效率将会提升。功能模块设计如图3所示。

图3 平台功能模块图

业务办理：包括机动车业务、驾驶证业务、违法处理业务等。这些业务已不是传统意义下简单的预约和办理过程查询，而是可实现真正意义的办理。

如违法处理业务，有些类型的违法处理不到违法处理地点，即可完成对现场抓拍图片、视频的调阅查询，并上交罚款等过程。而驾驶证业务，在一定条件下实现网上办理，如换证、审证等。

信息订阅：指公民由于对某类信息或事件比较感兴趣，从而订阅这类信息，平台会及时地发送这些信息给该类公民。如某一公民订阅了某一高架桥的交通信息，当有异常情况发生时，平台会立即将信息告诉给该用户。

信息推送：当公安交通部门有重要消息要发布时，平台会将此信息推送至每位用户，包括固定的和移动的信息接收终端。同时也可将特定信息推送至特定用户。如某一辆车被套牌，平台即可将此类信息推送至指定用户。

移动超市：这一功能主要指支持各种移动终端的应用，包括平板电脑、手机等设备。

3 公安交通便民服务平台大数据架构

公安交通部门掌握的数据可分为三类：第一类是公安交通自身业务活动和通过技术手段获取的数据，如车驾管信息、智能卡口抓拍的车辆信息、电子警察抓拍的车辆信息等；第二类是与政府交通部门共享的信息，如高速公路车辆通行信息、路况视频监控信息等；第三类是从社会单位获取的共享信息，如停车场信息等。这些信息有的是结构化数据、有的是非结构化数据，如车辆照片、视频录像等。如何存储、处理、管理这些数据，是十分重要的问题，搭建科学合理的数据处理架构，可为数据的综合应用提供有力的技术支撑。现根据公安交通数据的特性，利用大数据技术和云计算技术，构建公安交通便民服务平台。

3.1 总体框架

为了能够满足公安交通业务需求和便民服务需求，公安业务专网端的平台可采用大数据技术构建。目前比较成熟的大数据技术是Hadoop，国内许多厂商的大数据平台均是基于Hadoop的构建。利用该技术，可对公安交通数据进行智能处理，获取公安和公众需要的数据。系统架构如图4所示。

图4 系统架构图

资源层：主要是各种数据的采集和预处理，如来自智能卡口系统的数据、电子警察系统的数据、社会停车场管理的数据、高速交通管理系统的数据等，经初步处理后，送向存储层。

数据存储：数据资源层送来的数据，按其结构化程度，大致可分为结构、半结构、非结构。结构化数据的存储管理可采用Hadoop分布式架构；非结构化存储管理可采用Hbase+Hadoop+HDFS，以及MapReduce、 Spark计算模型，实现分布式并行处理，将Hbase作为中心数据库，利用Hbase分布式处理，将海量的车辆信息拆分成并行处理的小事件，利用Hbase分布式检索工具，通过分布式的读取和检索，可提高系统的性能。对原有的存储在Oracle数据库的结构化数据，迁移到Hbase数据库中，迁移时同步创建索引。

数据计算：数据计算包括静态数据计算和动态数据计算。静态数据计算主要指离线计算，实时性要求不高；动态数据计算实时性要求较高。如车流量预测等，Hadoop体系不具有向用户主动推送实时信息的功能，而公安交通业务和便民服务则需要这种功能，这就需要在Hadoop原体系中创建一个中心，负责对信息的过滤和实时推送。在数据计算层还包括对各种数据的统计分析，这主要基于Spark/MapReduce实现，可根据针对不同的需求进行各种统计分析，如在路口某一时段、路段的统计，可用这些结果开展更好的便民服务。同时，也可以进行各种分析，将分析结果告知用户，如套牌、假牌等。在套牌方面，可将分析结果告知被套牌方；也可将结果告知套牌方，起到警示作用。

业务应用：业务应用既有基于民警的应用，也有基于其他政府部门的应用，同时具有便民服务方面的应用。民警应用方面，主要包括民警各种业务应用，如车辆追踪、车辆布控、异常车辆分析等；其他政府部门应用，如城管、交通等，可通过政府部门间信息共享平台将数据送向政府部门；便民服务方面，主要指通过安全通道，将信息送向互联网端便民服务平台，支持各种便民服务功能的实现。

3.2 平台的特点

该平台采用的大数据技术中的分布式数据库(Hbase)，可对海量数据进行有效的管理；分布式的搜索引擎构架，可提供海量数据的秒级查询响应。分布式的计算框架可对海量数据进行深入挖掘，支持高效迭代算法的Spark集群计算框架，可提升多种不同类型、数据挖掘算法的性能。不仅具有较强的集群系统计算资源和集群扩容能力，检索功能强大，支持多条件查询、相似性查询、模糊查询等；而且具有高效强容灾备份的机制，集群中的单点故障不影响查询功能。

3.3 平台的云计算支撑

在公安机关，用大数据技术构建的大数据平台有多种，如交警、治安、刑侦等；但云计算中心只有一个，负责各大数据平台的资源调度，如数据、存储、计算资源等，并由云计算中心统一对公安机关内部及外部提供服务。因此，与互联网对应的对接及处理，实际是由公安业务网端的云计算中心完成的，云计算中心也是公安交通便民服务平台的支撑。具体构建如图5所示。