探讨山西省高速公路收费中心数据处理系统架构改造设计

郭军梅

（山西省交通信息通信公司，山西 太原 030006）

近年来，山西省高速公路建设规模发生了突飞猛进的发展，当前信息化及网络化技术日新月异，随着山西省高速公路里程数的逐年增长，车流量及网络数据流量也成倍增长，对网络带宽与数据存储、处理的要求也越来越高，山西省收费中心机房是全省收费数据转发、处理及存储的中心，其核心地位要求所有设备及配置具有高可靠性、可扩展性、先进性的架构设计，所以应配置较高端、可灵活扩展的核心处理存储设备。而目前收费中心服务器及存储设备是2007年建设并运行的，随着长时间的运行，收费结算中心的设备面临着老化，系统设计瓶颈、性能基本饱和、业务需求增加等现实问题，升级改造迫在眉睫，为此，本文主要研究收费中心数据处理及存储改造时架构设计问题。

1 山西省高速公路数据处理存储系统现状

数据处理存储系统是收费中心网络系统的核心，由4台小型机、一台磁盘阵列、两台光纤通道交换机及备份软件组成，小型机采用N+1热备运行方式，利用集群软件组成一个3节点的cluster，其中两台小型机sever195sever196运行两个数据库实例，分别对全省收费数据进行处理及存储，另外一台sever197做为备份服务器，平时3台主机同时工作，两台承载生产业务，当其中一台出现故障，应用业务自动切换到备用主机上，故障修复后，应用业务切换回原主机运行，sever194做为应用测试及备份数据恢复测试使用，结构网络图如图1、图2。

图1 收费中心数据处理存储系统现状结构网络图

图2 收费中心数据处理存储系统现状架构图

1.1 系统设备老化

4台小型机、光纤交换机及磁盘阵列是2007年更换的设备，24 h不停机已运行8年之久，一般根据电子设备工作寿命及更新换代5～8年来计算，该批设备已停产，配件已无法在市场上采购到，而且在运行当中多次出现主板、电源、光纤模块老化等故障。

1.2 系统性能及设备容量基本饱和

根据2007年收费存储系统更换方案的设计，当时山西省高速公路通车里程约为2000 km，而2016年通车里程达5265 km，约是当时的2.6倍，当时全省通车运营的收费站有160个，目前通车运营的收费站为307个，是原来的1.9倍。现金及非现金的磁盘阵列存储量及每天数据增长量如表1所示。

表1 数据量增长表

随着高速公路通车里程的增长，收费站数量逐年增加，随之带来的是网络边界与设备的不断扩容，以上数据表明2011年以后数据量呈现猛增的趋势，因此对数据处理系统提出了更高的要求。通过查看服务器设备CPU使用率与内存占用率，发现CPU使用率已达90%，内存占用率已达95%以上，磁阵硬盘剩余空间只有1.5 T左右，因此数据处理服务器处于高负荷运行状态，升级更换核心存储设备迫在眉睫。

1.3 未来业务应用的需求

在信息化蓬勃发展的今天，应用业务及新技术应用增长异常迅猛，高速公路产生的收费数据业务不仅内容多，结构也会发生较大的变化，尤其是在2015年全国29省市ETC联网以后，新业务形式会在收费系统中大量地应用，根据山西省高速公路管理局2017年的计划，本年度内将在全省所有车道增加全车牌高清识别系统，收费数据中不仅有各类报表、还增加了图片，以后还可能有视频、音频等，另外管理者对数据的专项校核、数据的查询频率也相应增大，全国联网前收费中心要求数据进行月报，联网后交通部路网监测及应急处置中心要求数据进行旬报，数据的查询、统计消耗大量的系统资源，对小型机处理能力提出了极大的挑战。因此，不仅需要提升网络设备性能，增加网络的接入带宽，更主要的是提升核心服务器的数据处理及存储的性能和容量。

2 改造的架构设计

2.1 新架构设计原则

2.1.1 可用性

分为用、可用两个方面，满足需求，考虑应用增速，预留富余能力。

a）用 系统能力要符合应用需求。

b）可用 要有足够的冗余度，考虑今后5～8年应用需求，保证应用持续可使用。

2.1.2 成本

分为构建成本、运维成本两个方面，满足第一原则的前提下，越低越好。

a）构建成本 系统构建需要的硬件、软件、实施费用等。

b）运维成本 系统上线后，维保、升级、扩容的费用。

2.1.3 可扩展性

每一个方案在设计时不能只针对当前需求去设计，在设计之初就要考虑好扩展的问题，扩展性从两个方向考虑。

a）技术的发展方向。在目前技术的基础上，要考虑未来5年之内技术的发展方向及业务需求。

b）选择的自由度。

2.1.4 日常运维

应考虑有效监控、维护简单、便捷与可视化。主要有以下4点：

a）易检查；

b）易管理；

c）维护简单；

d）能耗低。

2.2 新架构设计方案

根据以上数据处理服务器、存储系统现状及问题本文提出3种改造架构。

2.2.1 传统UNIX小型机架构

图3 传统UNIX小型机架构图

传统UNIX架构，3台小型机+SAN网络+FC存储+SF+Oracle+NBU，将目前oracle9i升级到11g或12c。

a）采用2+1集群配置，搭建oracle集群，一备二有效利用硬件资源。

b）通过SF软件强大的snap功能，每日进行数据库快照容灾，有效保障数据安全，将数据恢复时间从天缩短至分钟级，规避人为误操作。

c）通过SF软件专有的ODM功能，大幅提升oracle运行速度。

d）当前7.1版的NBU不支持oracle11g，需升级NBU到最新7.7.2。

优点 技术成熟，稳定性高。

缺点 硬件成本高，后期维护费用大。小型机技术处于淘汰阶段，发展不明朗。

2.2.2 X86超融合架构

图4 X86超融合架构图

全新X86 VSAN架构，X86服务器+IB网络+SF+Oracle+NBU，将目前oracle9i升级到11g或12c。

采用4节点集群配置，搭建FSS集群，2U机架式X86服务器，本地高性能SSD盘+大容量SAS盘混用。

a）FSS软件搭建VSAN架构，利用本地盘替代传统存储，在节省成本的同时，大幅提高IO性能。

b）通过SF软件专有的ODM功能，大幅提升oracle运行速度。

c）当前 7.1版 NBU不支持oracle11g，需升级NBU到最新7.7.2。为提高备份速度建议采购专用的X86服务器用于备份，配合未来机房的万兆网环境，实现数据库快速备份。

优点 IT技术发展方向，价格低廉、高性能、低维护成本。

缺点 X86架构稳定性差，日常故障较小型机多。

2.2.3 X86高可用架构

图5 X86高可用架构图

传统架构X86化，X86服务器+万兆网络+混合式存储+SF+NBU，将目前oracle9i升级到11g或12c。

采用2+1集群配置，搭建X86集群，一备二有效利用硬件资源。

a）采用混合式存储，充分利用闪存盘的高性能和SAS盘的高容量特性，配合先进的消重技术，用最小的空间，获取最大的容量，最高的性能。

b）通过SF软件强大的snap功能，每日进行数据库快照容灾，将数据恢复时间从天缩短至分钟级，有效保障数据安全，规避人为误操作。

c）通过SF软件专有的ODM功能，大幅提升oracle运行速度。

d）当前7.1版 NBU不支持oracle11g，需升级NBU到最新7.7.2。为提高备份速度建议采购专用的X86服务器用于备份，配合机房的万兆网环境，实现数据库快速备份。

e）利用混合式存储大容量特性，结合NBU7.7.2新特性将日常备份任务从物理带库迁移至磁盘空间，大幅提高备份速度。

优点 IT技术发展方向，价格低廉、高性能、高容量、低维护成本。

缺点 稳定性介于1、2方案之间，成本介于1、2方案之间。

2.3 选择一种方案应主要从3方面考虑

2.3.1 技术发展方向，X86替代小型机为大势所趋

目前整个电子行业增速最快的两个行业就是手机和服务器。服务器每年有6%以上的增速，而这些年Intel X86架构的服务器已经占据了90%以上的份额，随着英特尔至强处理器的性能不断提升，业内有种说法是X86服务器有抢占小型机市场的趋势。

图62016 年——2018年全球服务器出货量（单位：千台）

2.3.2 数据处理能力

新的X86架构CPU突破了主频，核数的瓶颈，计算能力有质的突破。

表2 服务器与小型机数据处理能力比较

2.3.3 经济性、稳定性、可扩展性

表3 各种服务器成本费用、性能值比较表

从以上分析可以看出，X86服务器在稳定性方面不及小型机，但是硬件成本、软件成本、后期的维护成本要远低于小型机。中国移动设计院根据河南移动实际情况进行的对比分析，小型机、X86服务器5年的成本TCO分别为702万及47.3万元，按照相同可靠性组建小型机及X86服务器集群，X86服务器的投资效率比小型机高58%[1]。

在可扩展性能上，X86平台横向的向外扩展功能能满足大多数企业关键应用环境的负载需求，包括对内存和CPU要求都较高的数据库、商业应用和虚拟化。

X86经过20多年的发展，通用性和标准化相当成熟，更加适合于企业长远应用和需求扩展，更加容易维护与更新。

通过以上的分析，综合考虑各种因素，结合收费中心数据存储系统现状及未来发展方向，推荐采用X86高可用架构，进行系统有计划、有重点、有步骤地设计及改造。