浅析分布式管理交通平台的应用特点

2018-11-30王艳

科技与创新 2018年21期

关键词：交通管理日志组件

王艳

浅析分布式管理交通平台的应用特点

王艳

（无锡商业职业技术学院，江苏无锡 214000）

简单概述了分布式管理交通平台的应用背景及基本架构，着重介绍了基于当前公安交通管理综合应用平台的主要特征而建立的分布式管理交通平台的应用特点，并对每个特点进行了详细分析。

分布式管理交通平台；数据处理能力；可靠性；安全性

1 分布式管理交通平台的应用背景

以前交通管理行业主要以传统的关系型数据库（Oracle数据库）进行数据的存储与管理。而传统的关系型数据库主要通过传统的数据组织形式、模型，以及传统的查询语言和分析技术，聚焦于事务性结构化数据处理。然而随着海量数据时代的到来，数据积累数量和速度已超出了关系型数据库的管理范畴。随着道路交通业务的不断深化，交通数据内容庞杂、存储分散、访问困难、结构不统一、编码不一致等问题，限制了科技管理部门对交通管理数据的管理和维护，海量数据的存储、备份、扩容和日志信息的管理都成为目前亟待解决的问题。在这样的大背景下，搭建一个具有较强的管理能力、具备先进技术、能够高效快速实现的综合应用平台分布式数据库尤为必要。根据不同的数据内容和特点，分门别类存储结构化数据和交通管理图片等非结构化数据、日志数据；全面整合各业务与管理数据；检索机动车、驾驶人、证据、业务日志等实时数据并进行统计分析，提高交通事故处理、交通证据处理的效率和精准性，优化道路交通管理水平；同时保证数据的安全性和系统的稳定性。协助交通管理部门解决交通管理行业科技管理难题，达到建以致用、深化科技强警的战略目标。

2 分布式管理交通平台的基本架构

综合应用平台分布式数据库基于交通管理综合应用平台的基础数据和技术架构，承载图片数据、日志数据高并发读写和实时访问要求；业务数据实时同步、实时统计分析，以减轻ORACLE业务数据库的存储和计算压力，提高综合应用平台的工作效率和数据服务能力。

基于交通管理综合应用平台的数据特点和安全特点，综合应用平台分布式数据库采用业界主流成熟的计算框架，采用稳定可靠组件与工具，通过可视化的一站式管理平台，实现综合应用平台数据的全流程管理，降低交通管理部门的数据运维成本。

3 分布式管理交通平台的应用特点分析

3.1 数据处理能力

3.1.1 多源异构的数据接入整合能力

文本数据接入非结构化、半结构化数据；关系数据库与大数据平台的接入能力，支持MySQL、Oracle、DB2、SQL Server数据库，可以扩展到Teradata、Informix等以JDBC、ODBC相连的数据库；实时接入用户行为数据，互联网公开数据以及第三方数据；文件传输和数据桥接系统支持从各部业务系统与大数据平台之间的数据导入导出，在内部带宽资源充足的情况下每分钟可导入、导出30 GB数据，速率每秒达到0.5 GB。

3.1.2 一站式数据处理能力

建模、脚本开发、业务流调度一站式完成；在线IDE编辑工具，支持shell、Python、Hive SQL、Spark-SQL、自定义MR、自定义Spark类型脚本；工作流在线监控，查看脚本日志，在线修复问题，即时重跑、恢复、版本管理；离线计算框架每天支持10 TB级别的数据计算，并且可扩展至100 TB级别。

3.1.3 平台安全处理能力

保证主机安全，操作系统内核安全加固、采用操作系统稳定版本、操作系统权限控制、操作系统端口管理、操作系统协议与端口防攻击、主机防火墙配置；数据安全，数据容灾、备份、加密；应用安全、身份鉴别和认证、审计安全、密码安全等；平台主要组件实现HA.

3.1.4 平台运维监控能力

简单的操作包括权限设置、参数设置、作业配置、预警设置等，响应时间不超过1 s，99%的简单操作响应时间在500 ms内；大数据平台全年对外正常服务运行时间超过率为99.99%，即每年无法提供服务的时间小于1 h；大数据平台的所有应用软件系统都具有自动恢复功能，任何故障都可以在1 min内自动发现并自动恢复。当应用软件系统出现故障时，允许有1 min的服务降级；对于操作系统和硬件设备故障，大数据平台的能够在30 s内自动发现，并通知系统运维人员。出现操作系统和硬件设备故障时，大数据平台允许有1 h的系统服务降级。

3.1.5 丰富的底层技术组件支持

融入了CDH、HDP等底层开源平台的优秀技术组件，有机结合在一起，比如CDH的Impala，HDP的Ambari、Ranger、Spark、Map-R的Drill等；各个组件整合统一，可统一高度管理。

3.2 高可用性和可靠性

所有核心组件均实现HA，保证平台的稳定性和高可用性，保证客户的业务连续性，为客户提供不间断的服务。在单个节点出现故障无法使用的情况下，节点暂时不参与集群运作，整体集群仍可继续支持业务，而在完成服务器故障修复的同时，节点可再次参与集群运作。单个节点故障时正在处理的任务不丢失，继续分配到其他节点执行。平台出现50%以上的服务器故障的极端情况下，快速切换业务到冷备节点，保障平台的快速恢复。集群内主机一旦发生故障，一般情况下将自动切换至可用的备用服务器。如果无法自动切换，则可采用人工干预的方式，12 h内可切换到备用服务器。

3.3 可扩展性

可扩展性具体包括：①组件可扩展。面向不同业务可个性化定制组件，随时接入各种大数据处理组件如Spark-SQL、Impala等。②容量可扩展。当客户系统业务数据量增加时，只需要水平增加服务器数量而不需要进行架构和模块代码的调整，性能随节点数量上升同步线性上升。③数据接口可扩展。RESTfull API数据接口能够极其简单的实现不同类型、不同格式的数据接入，满足客户多种数据格式的需求。④应用可扩展。通过可视化操作界面，用户可在系统上添加任何需要应用。⑤数据库可扩展。目前支持MySQL、ORACLE、DB2、SQL Server数据库，如果客户有需要，可以随时扩展到Teredata、Infermix等以JDBC、ODBC相连的数据库。

3.4 开放性

开放的构架，提供标准的开发接口，支持二次开发，并提供规范的开发文档、开发包和服务支持；支持异种平台上异种数据平台的良好互联，支持对文件数据和桌面数据库数据、文件系统的访问；支持对大型异种数据平台的透明实时SQL读写访问；支持高可靠性数据技术导入导出；支持通过API、SDK的方式对外提供数据。

3.5 安全性

3.5.1 访问安全

基于用户和角色的权限控制，设置和授权用户对集群数据的访问权限：①用户审计包括底层数据操作的审计和用户对平台功能。对所有用户的操作和数据的变更日志永久保留，提供日志检索功能。提供完整的审计机制，包括账号操作日志、hadoop组件访问日志。实时监控并查询整个平台上所有用户的操作日志和数据访问情况。②功能权限管理。功能的控制粒度细化到按钮级别，不同用户角色具有的功能权限不同，登录到系统后所展示的功能权限即为该用户所有的权限，当前用户不具备的功能权限会直接被屏蔽。③数据权限管理指控制用户所能访问的数据内容。对于不同数据库数据内容细分的粒度不同。④资源权限管理指通过设定租户实现对资源独立管理，实现多租户之间的资源彼此隔离；同时每个租户Owner可以为其成员用户进行资源授权，不同用户所拥有的资源权限不同，避免不同用户对未经授权资源的访问。

3.5.2 环境安全

通过网络安全、防火墙和物理安全设置组织对集群的非法访问，确保集群访问安全。

3.5.3 数据安全

数据脱敏即根据不同数据，采用适当的脱敏算法进行规则配置，完成敏感信息匿名化处理，防止敏感数据被滥用、被泄露，保护敏感数据免于未经授权的访问。数据加密即采用MD5和KMS等加密算法，实现密文存储和存取控制，防止非法用户存取数据或合法用户越权存取数据。通过数据加密、脱敏、屏蔽等安全技术确保数据在存储、传输和使用过程中的安全。