油品运输物联网日志分析系统数据库设计
2017-06-01张宏
张宏
摘要:随着物联网和石油化工业的快速发展,出现了油品运输物联网。其中车载油罐智能锁就是典型的物联网在成品油运输过程中的应用。但是为了降低盗油事件的发生概率,需要对车载油罐智能锁的日志文件进行分析。由于人工对日志文件的解析难度较大,耗时耗力,不利于企业的发展,所以油品运输物联网日志分析系统就来做此项工作,只需较少的劳动力,并且快速解析进行结果反馈。该系统主要作为分析,那么数据的存储访问就成了一项重要环节,至此要针对所要分析的日志文件中的数据,设计一个优良的数据库。在数据库的开发中,选择建模清晰功能俱全的PowerDesigner工具进行开发设计;在数据库的选用上,选择成本低,开源的MySql数据库。
关键词:油品运输物联网;日志文件;My SQL;PowerDesigner
中图分类号:G250.74 文献标识码:A 文章编号:1009-3044(2017)08-0274-03
油品运输物联网是由机械结构、传感器、计算机网络、计算机软硬件等部分组成的高科技产品。管理人员通过油品运输物联网可以控制油品运输车辆各个阀门的开启,并可以获取各个阀门的开启状态、车辆位置等实时信息,实现对油品运输过程的实时跟踪和监控。油品运输物联网的作用首先是提高了油品运输的安全性。汽柴油属于易燃易爆物质,而加油站多在城市中心、高速路旁、建筑物边等人口密集区,一旦发生燃烧爆炸事故,将严重危害到人民的生命财产安全。油品运输物联网的第二个作用是,通过向管理人员提供实时信息,管理人员可实现最优调度,提高运输效率。油品运输物联网的第三个作用是,各个阀门的开启动作由管理人员通过互联网操作,各个阀门的开启状态受到管理人员监督,防止了油品盗窃现象的发生,给企业带来经济效益。应市场之需,车载油罐智能锁被研发出来,该产品由车载智能控制设备以及后台管控软件组成,通过对油罐车进油口、出油口在配送运输途中的全程锁闭控制,以及在油库、加油站的定点开启控制等控制机制,结合全过程流程操作规程和库、站、运输公司管理机关处室各级管理规则,相互配套,相互制约与监督,为客户构建起油罐车在油库装油、配送运输、加油站卸油、油罐车返空各环节的全程管控体系,可有效防范油品配送过程中的偷盗油问题。但是关于每部车的异常情况以日志文件的形式进行记录,需要工作人员自己通过日志文件进行判断,但这种方式相对而言,准确性,高效性,及时性都很难达到。所以油品运输物联网日志分析系统来完成文件的分析和数据的记录。
1日志文件数据分析
1.1油品运输物联网智能车罐锁的日志文件产生
油品运输物联网智能车罐锁是将司机与油罐分开,所有的开关都由操作人员进行操作。在油罐车上有中控主机,人孔盖控制器和海底阀控制器,如图1所示。油罐车只会在到达油库或加油站时,通过申请开锁,即向中心管控发送指令,然后由中心管控发送开锁指令,才能进行装油或卸油的操作,具体流程
在这个过程中,车辆运行过程中,锁和中控机的状态都被记录到日志文件中,如果鎖被异常打开,我们就要去判断是本身故障,还是司机实施盗油。通过对日志文件的分析,得出合理的判断。
1.2日志文件数据分析
在日志文件中,不仅存在可以分析盗油问题的数据还有一些对设备的正常记录,所以要进行筛选。日志文件部分数据如图3所示,剩余的部分以14秒的间隔不停记录。在图中,我们首先获取车辆的相关信息,车牌号,设备编号,传输通道,通讯设备,通讯协议版本,密码版本,IP地址,因为要确定司机在运油过程中是否盗油,关键的就是记录以上车辆的相关信息;其次车上的锁都有几个是什么类型的,锁的状态,对应参数气压,线圈和仓门状态,这些是辅助人员对车辆进行判断的依据;然后就是车辆的位置,经度,纬度,以及当前的速度这些状态,对于所打开时的状态,对应仓门状态和报警的信息,以上就得到了所有必要的数据信息。
2数据库表设计与实现
数据库的选用,当然是开源的My SQL。原因有三:1)轻小便捷;2)降低总成本;3)有较高的插入和查询速度。
数据库设计工具为Power Designer。Power Designer最初由Xiao-Yun Wang(王晓昀)在SDP Technologies公司开发完成。Power Designer是Sybase的企业建模和设计解决方案,采用模型驱动方法,将业务与IT结合起来,可帮助部署有效的企业体系结构,并为研发生命周期管理提供强大的分析与设计技术。PowerDesigner是Sybase公司的CASE工具集,是能进行数据库设计的强大的软件,是一款开发人员常用的数据库建模工具。并J~Power Designer有以下优点:
1)Power Designer系列产品提供了一个完整的建模解决方案、它将对象设计、数据库设计和关系数据库无缝的集成,在一个集成的工作环境中能够完成面向对象的分析设计和数据库建模工作;
2)支持开发生命周期的所有阶段、在软件的生命周期内,提供了完整的分析设计和建模解决方案、它提供了三级建模功能,即概念数据建模、物理数据建模、面向对象建模,同时它还可以生成模型报告;
3)具有良好的性价比,更能迎合市场潮流、已经有许多成功的案例。
鉴于此,我们选择了PowerDesigner作为数据库设计的工具软件。
2.1概念模型设计
概念数据模型描述的是独立于数据库管理系统(DBMS)的实体定义和实体关系定义。根据概念模型的定义,确定具体的实体个数和它们之间的关系。打开PowerDesigner工具,点击菜单“File”“New Model”,然后选择“Conceptual Data Model”。
依据第一部分日志文件分析所得,实体确定如下:日志文件本身,车辆,车辆锁。各个实体的属性如下:日志文件(id,名称,车辆,文件日期),车辆(id,车牌号码,设备号码,车辆锁,车辆的仓门,通讯协议,通讯版本,密码版本,车辆的经度,车辆的纬度,车辆的速度,车辆,车辆ip地址,仓门的状态与报警,配送单号,配送订单号),车辆锁(id,车辆锁编号,车辆锁的类型,车辆锁仓门的状态,线圈的状态,气压的状态,时间)。
分析日志文件我们得出:一个车辆在运油过程中会产生多个位置需要我们去记录,其中包含锁的状态,仓门的状态和车辆的速度会一直发生变化,每个时间段都需要记录;一辆车有多个锁和多个仓门,而且仓门的状态与报警会随着时间不停地变换,并且每个仓门对应唯一的订单号和配送号,所以一辆车就有多个配送单号和订单号。依据数据库的设计原则满足第三范式,不能有数据的冗余。日志文件不存在数据冗余,对于实体车辆而言不仅有大量的数据冗余,而且不符合第一范式(原子陛,表中字段不可再分解),故重新确定实体及其属性:车辆(id,车牌号码,设备编号,传输通道,通讯协议,通讯设备,密码版本,IP地址,状态),车辆锁(id,车辆锁类型id,仓门id,编号,气压,线圈,时间,状态),车辆锁类型(id,类型名称),车辆仓门(id,编号,订单号,配送号),仓门状态(id,仓门id,状态,报警),车辆位置(id,车辆id,经度,纬度,速度,时间)。据以上实体属性关系确定完毕,概念模型CDM设计如图4所示。
2.2物理模型设计
物理数据模型是在概念数据模型的基础上针对目标数据库管理系统的具体化。PDM和CDM中的对象之间的对应关系如表1所示。
我们通过CDM转为PDM时,遵循文献里所涉及的原则,得到物理模型PDM后,将具体的id(主键)重新命名建立相关表之间的索引,则物理模型PDM如图5所示。
2.3数据库建立
Power Designer建模工具支持将PDM模型生成对应的mysql可以运行的文件。打开Power Designer,点击Database菜单,选择Generate Database选项,先点击Preview,查看SQL语句,回到General选项卡下,做两项工作:第一,设置好導出的sql文件存放路径;第二步,设置好导出脚本文件名;最后确定执行,可以执行的文件就导出了。
接下来打开My SQL通过第三方软件Sqlyog可视化工具打开,执行导出的文件,得到空间数据库后,右键新建好的数据库找到属性值,进行编码设置,通常都是“UTF-8”,最终日志数据的空间数据库如图6所示。
3结束语
在日志文件解析过程,一个员工一天最多分析5份日志文件,但是在油品运输物联网日志分析系统中,分析一个日志文件(经过分析存入数据库后的),1个小时就可以分析上百个日志文件,远远大于人的效率。在油品运输过程中,不仅要考虑运输的安全和高效性,而且要保证其经济效益。油品物联网智能车罐锁在盗油方面虽然做到了人车隔离,但是当出现油品异常情况时,依旧不能准确判断是人为还是设备故障。但油品车在运输过程中的所有状态都记录在日志文件当中,所以对文件的分析得出的结论有助于盗油问题的分析。