大数据在危化品运输监管平台中的应用

武翠芳

(东营市交通运输局，山东 东营 257091)

1 引 言

伴随着化工产业的日益发展，我国危化品需求也不断增长。在各种运输方式中，传统的公路运输方式存在灵活易组织的特点，为实现“精准到户”的运输，危化品使用公路运输方式优势明显。据数据统计，公路运输危化品运输占运输总量的80%左右，是危化品运输的主要选择方式。由于危化品易燃、易爆、易腐蚀具有的特点，给运输过程带来较大风险。

2 项目目标及意义

本文研究的项目是基于东营市危化品运输管理现状及存在问题而产生的，目的是执行东营市政府加强对危化品运输监管的精神，建立起一套对于危化品运输全过程监管监测的平台，提高对于东营市整个危化品运输行

业的监管水平，同时可以随时接收车辆上危化品状态及车辆位置信息，将这些数据实时保存之后，指挥中心用户可以发送警示及指导指令给行驶中的车辆，提示驾驶员及时更正危险驾驶行为；可在客户端任意调取任意车辆上运载的危险化学品信息，为可能实施的救援提供技术保障。结合东营市危化品运输企业及政府管理部门的需求，本文设计实现了一套基于GPS/GIS架构的危化品运输行为智能监管平台。平台的数据服务中心(Data server Center)简称DSC，是危化品信息管理系统中服务器软件所有功能单元的核心。车载终端设备与指挥中心服务器端通信，数据服务中心负责与用户端界面交互管理，同时负责客户端与云平台数据库的交换数据的任务。本文会系统性地分析该数据服务中心的数据实现，以及具体功能实现的问题，例如与用户客户端的交互，与云平台数据库的交互，与车载终端设备的通信以及数据服务中心内部数据同步管理的问题。

3 东营市危化品车辆管理需求分析

东营市作为全国危险品运输行业的焦点，有着得天独厚的运输优势，也给政府监管带来更多挑战。有的危化品运输企业重效益轻管理，安全措施不落实；有的危化品车辆和从业人员资质未经行业管理部门认证，许多车辆也有超载超限、非法改装、未安装紧急切断装置的现象。有效建立危化品运输监管体制，是监管部门追求的目标。市面上正在使用的平台有部门的、企业的，如果没有良好的政府监管平台对它们进行监控，这些平台就会形同虚设。

危化品运输企业的管理包括企业级、车辆、人员、油气储罐等许多环节，由交通、安监、公安、应急、质监等多部门监管，监管与数据的分隔性，亟待催生一种新的管理模式打破监管壁垒，优化监管环节，成为监管本地危化品运输行业向好发展的手段。

本文依据东营市危化品运输行业现状及需求，设计实现了一个政府监管平台，该平台是基于JT/T809协议的规范的，即上级监控平台，对企业端使用的车辆监控平台(简称为下级监控平台)进行了整合监管。

主要工作包括以下内容。

设计政府监管平台、下级监控平台、JT/T809通讯协议网关(简称为809通讯平台)之间的通信方案。该通讯平台是基于809网关协议的，它是在NIO的Netty框架基础上进行编写的，再加上WebSocket技术及RabbitMQ服务为政府监管平台前后端与下级监控平台前后端之间相互通信提供技术支持，完成了通信模块开发。

(2)设计政府监管平台的数据库方案设计。本系统中数据类型种类较多，需要根据不同数据的特点采用不同的数据库进行存储，数据库存储总体方案为MongoDB+Redis缓存+Mysql。

(3)设计和实现政府监管平台。

政府监管平台后端采用SpringMVC+Hibernate框架、前端采用Vue.js进行设计和实现。系统中相关功能的实现符合模块化设计原则，包括基本信息管理功能、综合交通运行监控、电子运单管理功能、车辆预警处置、化工企业过车监控管理、数据统计分析功能六大模块功能。

4 设计方案及主要技术

4.1 危化品道路运输过程风险分析

危化品运输路径上出现的安全风险因素，可以理解为在未来某段时间内，在危化品运输路径中可能发生的人身伤亡或财产损失事故，这些事故因为与危化品运输行为有密切联系，其危害性经常不可预测。通过查阅交通事故数据，我们发现危化品运输路径交通事故的诱因，通常是驾驶人的危险驾驶行为、运输车辆的非法改装和没有按时检修、运输货物的不合规储存、道路与交通路况及交通规则不合理、交通管控策略不适应实际运输要求等五个方面。

东营市交通部门从技术上已经实施了一些监管措施，如配载车辆IC信息卡、安装4G视频监控设备，实现了车辆危险驾驶行为“六预防”；增加了接打电话、吸烟、打瞌睡等危险驾驶行为提醒功能，构建起了一套安全运行预警系统和车辆紧急避险提醒监管系统。

4.2 大数据与危化品车辆动态监管平台的融合

对“大数据”的定义有多种，最为流行的定义被称为“3V”数据，即Volume、Velocity和Variety。从容量、速度、多样性层面对数据进行了定义。传统的关系数据库无法处理大量的数据存储信息，现在亟待一种新的数据处理技术，可以帮助人们以极快速度分析处理使用大数据的技术。

随着各种传感器技术的成熟应用，危化品运输载体每天回传大量的信息数据，如智能卡数据、危化品车辆GPS轨迹以及承运危化品信息等，这些数据记录了危化品车辆的运行情况和进出货信息。从前的存储方式，使得回传数据数据存在运输轨迹缺失、时空信息混乱等问题。车辆动态监管平台存在数据孤岛，各监管部门之间系统互相独立，技术标准不一致。要实现更全面的监管职能，就需要整合多源数据，结合大数据技术深入分析挖掘，才能为危化品企业营运车辆监管平台提供可靠的数据来源。

Apache开发了一种新的分布式系统框架即Hadoop技术，它为最底层的分布式文件系统提供了一种使用性能，可以较高容错、快速处理数据文件；MapReduce作为一种编程模型，它提供了一种并行化编程框架，用户不需要清楚系统内分布式和并行化的编程细节，只需要通过实现一个简单的Map函数，指定并发的归约函数，对这两个类进行编写就可以实现分布式系统架构的实现。本系统平台的实现是指定了一个映射函数，用来把之前的键值对与新的键值对形成映射关系，从而可以保证每个键值对共享相同的键组。Hadoop技术具有最简单的并行计算平台，还有可以存储大量数据的数据存储平台，这样为传统的数据算法提供了新的技术基础。该系统将数据挖掘算法和Hadoop平台细节进行封装，对外提供Rest接口，用户通过Rest接口调用并行化的数据挖掘算法进行数据分析，无需了解底层的具体实现。

5 系统实施

5.1 开发实施步骤

实施步骤主要包括准备阶段、用户需求调研分析、产品分析设计、系统顶层设计、服务端架构搭建与测试环境准备、设计库表结构、微服务模块设计开发、前后端接口标准设计开发、程序代码编程开发与系统集成与测试等。

5.2 系统总体架构设计

本平台总体上基于云计算、云服务、大数据开发技术，采用分层、SOA的架构模式，各功能尽量采用SOA模式，各模块对外提供完整的接口(API等)，服务模块的粒度基于角色、二级功能模块。

总体架构为分层和SOA服务模式相结合，纵向分层，横向按业务切分SOA服务模块，业务服务模块贯穿各层，各组件之间通过消息中间件、Restful API、Web service、Socket等网络调用方式进行交互。所有服务功能模块都必须通过服务接口公开数据和功能；服务模块之间须通过这些接口来进行沟通，不能有其他形式的进程间通信，没有直接连接。大服务模块之间不允许直接读取数据存储，不使用共享内存模型，没有任何形式的后门，唯一允许的方式是通过网络调用服务接口，所有服务接口必需从底层设计上支持外部变化，各模块设计必须在外界的接口上规划和设计该模块的内容。各服务支持桌面Web、移动APP、智能移动终端、C/S客户端各终端模式接入。

层次大致分为物联网/自动化控制层、基础支撑层、大数据层、服务层、用户访问层。

(1)物联网及自动化控制层：包括物联网设备接入、网络通信及自动化控制处理。物联网设备接入：包括各机械、车辆等传感器设备数据采集、控制、通信、数据接入汇集、设备远程监控管理服务。自动化控制：主要是对设备进行远程自动化控制，包括：PLC、DCS、控制网络、控制指令管理等，与管理对接。本层接入的数据自动给大数据层进行统一管理。

(2)基础支撑层：对上层各类软件服务的基础支持环境，软硬件环境、操作系统、数据库、运行环境、中间件、基础平台等。包括：云计算和大数据环境；数据库；Java Web应用服务；数据实时发布服务；消息中间件、业务规则引擎、设备状态监控Web组态件、Web图形化交互编辑、企业消息总线、地理信息系统、物联网接入；移动应用环境支持移动设备接入；内存数据管理；高性能网络应用框架；操作系统等。

(3)大数据层：对平台各类数据进行统一管理。此层次对多类型、多数据源、高速数据进行统一管理，支持对大数据分析展示。对于业务管理类数据，比如申请、审批、电子运单等固定数据的业务，采用传统记录型关系数据库。对于电子运单、视频图像、图片、网页内容、客户交互数据等散数据，不适合用关系型数据库，需要采用大数据模式的NoSQL等方式处理或单独处理。对于来自物联网的实时性的设备状态数据、车辆动态数据、实时作业数据等需要高速缓存，实时处理方式。对于设备状态、车辆等动态目标，业务办理数据等需要实时的，采用分布式缓存技术，达到高并发读写。

(4)服务层：基于SOA模式和SaaS平台方式，针对各功能和角色，包括各类终端服务、地理信息服务、大数据服务、设备管理、视频服务、物联网设备云服务等。支持各类服务模式的接入，包括桌面、移动终端等设备，服务调用Restful API等。现有系统集成服务，通过各类接口和ESB进行集成。

(5)用户访问层：各类访问模式和终端，包括来自企业操作人员、政府监管等用户，访问渠道包括浏览器、移动终端、控制中心、移动APP等。

SOA服务模块按业务进行划分，基于上述分层，按角色、业务功能分块，形成各功能独立的服务模块，每个SOA模块都提供服务接口，各SOA模块之间通过网络互相调用服务接口。服务各模块通过网络调用进行交互。各服务之间可自由组合，定制不同的产品。平台各部分之间相对独立，有相互交互，每个部分都可以独立运行，自由组合配置。

6 结 语

大数据在危化品行业管理平台中的应用，连通了各监管部门及运输企业之间的数据孤岛，提高了危化品车辆道路事故救援的及时有效性，交通运输管理部门可以制定更加详尽的管理方案及应急事件预警方案，降低重大危化品运输事故发生率，推动行业良性发展。