大众燃气《客户管理信息系统》的技术路线

上海大众燃气有限公司 王正喜

大众燃气《客户管理信息系统》的技术路线

上海大众燃气有限公司 王正喜

通过重建大众燃气《客户管理信息系统》来解决原有的《客户信息管理系统》所存在的不足，同时引入新的管理理念、优化业务流程管理、拓展新的功能、新的服务内容与方式，努力提升公司管理水平和为客户服务的质量。实现了燃气客户数据的集中管理，构建了完善的数据库结构和完善的系统备份机制，技术架构合理，系统运行安全可靠。

燃气 信息系统 技术路线

0 概述

大众燃气的《客户管理信息系统》是公司对外服务的重要信息管理系统，承担着公司约170万燃气客户各类帐务、业务以及其他信息数据统一采集、存储、管理等职能，是整个公司最主要的核心系统之一。重建的《客户管理信息系统》将以原有的《客户信息管理系统》为基础，结合当今其他行业成熟的管理和服务理念，融合本公司今后发展需要，涵盖大众燃气对外服务和对内管理的内容，通过重建大众燃气《客户管理信息系统》来解决原有《客户信息管理系统》存在的不足；同时，引入新的管理理念、优化业务流程管理、拓展新的功能、新的服务内容与方式，努力提升公司的管理水平和对客户服务的质量。

1 系统架构

图1 系统网络架构示意

1.1 体系结构

《客户管理信息系统》提供民用业务管理、抄表开账管理、收费管理、账务管理、催缴诉讼管理、财务管理、工办管理、表务管理、安检管理、报修管理、咨询投诉管理、燃气具销售、表务仓库管理及用户档案管理等功能。

1.2 网络架构

系统网络架构见图1。

2 方案设计概述

硬件方案设计主要采用设备冗余方式来提高各个层面的数据安全及系统的高可靠性。在应用服务器前段，利用路由器冷备的方式实现应用前段的路由，并利用负载均衡设备提高应用服务器的处理能力及容错能力；数据库服务器主要利用Oracle的RAC技术，存储方面采用IBM的LVM技术进行镜像备份。设计方案见图2。

图2 设计方案示意

2.1 数据库服务器

2.1.1 方案设计

根据系统设计原则及通过对系统配置分析，本系统采用业界占有率较高的IBM小型机及存储解决方案。

(1)使用双主机、双存储、双交换机保障每个关键硬件设备无单点故障；

(2) IBM P750是IBM的中端服务器，有良好的扩展性及稳定性；

(3)双主机能实现数据负载均衡，在保证冗余的情况下，是资源最大的使用主机；

(4)双存储做到实时数据同步，任何一台存储损坏都不影响数据的读写访问；

(5)由于备份系统对系统资源要求高，系统增加一台PC服务器用来执行全备份服务器角色；

(6)原来两台H85小型机和7133-D40存储设备的利用：①利用Oracle的RAC技术实现负载，采用Oracle 11G的Data Guard技术，实现数据同步到该老设备当中，保证此环境与正式环境数据一致；②也可作为生产系统恢复还原的环境，可定期数据还原，作为备份数据验证，灾难恢复演练及开发测试等角色。

设备功能应用见图3。

图3 设备功能应用示意

2.1.2 Oracle的RAC

配置两台主机利用Oracle的RAC功能实现两台小型机既能同时使用，提高性能，又能保证任何一台小型机宕机或损坏均不影响生产业务系统运行。

在应用环境当中，所有的服务器使用和管理是同一个数据库，目的是为了分散每一台服务器的工作量，硬件上需要两台服务器和一个共享存储设备，同时还需要两类软件，一个是集群软件，另外一个就是Oracle数据库中的RAC组件。所有服务器上的操作系统都应该是同一类，根据负载均衡的配置策略，当一个客户端发送请求到某一台服务的监听后，这台服务器根据系统的负载均衡策略，会把请求发送给本机的RAC组件处理，也可能会发送给另外一台服务器的RAC组件处理，处理完请求后，RAC会通过集群软件来访问我们的共享存储设备。

2.1.3 硬件存储

2.1.3.1 RAID磁盘冗余

利用数组方式来作磁盘组，配合数据分散排列的设计，提升数据的安全性。配置光纤存储阵列，完成后能达到2.4TB左右的容量，能满足10年内的数据增长。

2.1.3.2 LVM双硬盘逻辑镜像备份

考虑到数据存储系统是整个客户系统的关键所在，数据的安全性和整个系统的可靠性都集中到唯一的磁盘系统，一旦磁盘存储系统发生故障导致业务不能顺利进行，将会对外服务造成不可挽回的损失。

本系统建立了完全冗余的数据存储系统，其数据存储系统采用LVM技术进行磁盘存储系统之间的接管，实现了应用存储系统的高可用性。即使有一半的主机系统和一半的存储系统发生故障，不能正常工作，整个系统也不会发生瘫痪，仍旧可以继续运行，能充分满足高可靠性和连续可用性的要求。

应用LVM的方案对现有环境没有改变，不存在数据集中迁移的问题，系统能保持同时在线，不存在系统接管、应用重新启动的问题，可以实现系统的平滑过渡。

2.2 负载均衡

使数据始终以一个稳定、安全的方式处理系统，即便存在单台核心应用服务器不能提供服务时，仍能保持整体服务器群数据的完整性。通过服务器负载均衡技术，使整体应用持续稳定运行，即便发生单点或多点故障仍然能够保证正常提供服务。

在使用负载均衡算法方面，Array APV支持多种服务器负载均衡算法(持续性的和非持续性的)。非持续性算法包括轮循算法、最少连接算法、最短响应时间算法、散列算法等等；持续性算法从任一个特定的客户端发出的请求都被分配到一个实服务组中的同一个实服务器上进行处理。

本系统采用最少连接算法(Least Connection)和基于IP算法相结合的方式来保障系统稳定的同时提供负载的均衡。

2.3 查询服务器

本系统是基于数据库进行开发的，数据库的性能决定了本系统性能的好坏。所有的数据库性能瓶颈都集中磁盘I/O中，为了提升系统的速度，最好的直接的方式就是改进磁盘的I/O。如替换SSD，采用类似PCI-e的缓存硬件等。由于SSD的速度相对内存来说还是差了一个数量级别(10倍差距)，所以最好的方式就是应用系统通过控制内存，将数据库中的常用数据进行缓存。

本系统性能提速方案的意图是将数据流直接在内存中进行控制，使用一个驱动控件配合系统的架构完成这个过程。

本系统采用驱动控件为SC Express，它能把从硬盘中读取的数据存入系统内存或闪存，使系统在下次访问该数据时可以很快从内存读取，避免再次读取速度较慢的硬盘，从而突破硬盘瓶颈，提升系统性能。

其基本原理：系统设计将硬盘分配内存作缓存，并拦截系统发送至硬盘的I/O请求。如果I/O请求读取的数据已经在缓存中，则直接读取缓存中的数据并完成I/O请求。否则数据则从硬盘中读取出来，并存入缓存，同时完成I/O请求。由此可见，从缓存读取的数据量越多，则系统性能提升的越多。

2.4 链路聚合的应用

链路聚合功能是将交换机的多个低带宽端口捆绑成一条高带宽链路，可以实现链路负载平衡，避免链路出现拥塞现象。通过配置，可通过两个三个或是四个端口进行捆绑，分别负责特定端口的数据转发，防止单条链路转发速率过低而出现丢包的现象。

它可以充分利用所有设备的端口及端口处理能力，增加设备间的带宽，并且在其中一条链路出现故障时，可以快速地将流量转移到其他链路，这种切换为毫秒级。总之，链路聚合增加了带宽和可靠性，具有很高的灵活性和负载均衡能力以及系统容错。

2.5 架构的可扩展性

随着外部环境和管理需求的不断变化，对应的系统必须能够有足够的技术保障来应对这些变化。在软件方面，用户可以根据需要通过系统提供的功能配置模块增删组件或简单配置，而不需要对软件系统本身做任何程序上的修改就可以达到目的。同样在网络架构方面，便捷的通过配置和简单增添硬件数量就满足系统运行需要。

2.6 系统的可维护性

本系统使用四层架构进行软件开发，使得开发人员只需关注整个结构中的其中某一层，当发生变更时可以很容易用新的实现来替换原有层次的实现，降低了层与层之间的依赖从而使得软件易于理解，方便改动。由于系统能有效保证所有补丁和升级将在用户登录系统时自动检测新的版本，自动升级，升级模块仅需发布在版本控制服务器上，而不是直接针对客户端，升级过程完全不影响正常使用，使得软件的发布安全可靠。

2.7 集成工作流平台

本系统借鉴了目前比较流行的K2等工作流系统，设计出符合本系统简单流程审批的工作流系统。利用此系统可方便的定义工作流，包括相关步骤及处理角色。比如审批、民用流程、表务工单管理等。使用工作流引擎后，公司员工只需将精力集中在处理自己关心的数据上，从而达到缩短业务的处理周期，提高工作效率的目的。

2.8 统一的接口平台

系统建立了统一的接口平台，不管公司内部的系统还是外部系统都最终将通过接口平台和客户管理信息系统进行交互。本系统主要接口有：962777热线接口、银行和付费通等接口、公司内部系统接口。系统所有的对外接口均采用WCF的形式实现。

2.9 数据结转

为优化系统性能、固化历史数据，系统采用月结方式将账务、业务等关键数据在每月工作结束后自动归档到历史库。

每月工作结束后，本系统将定期自动将系统数据库中上月的客户基本信息、抄表开账信息、缴费信息、账务处理等信息在历史库数据库中制作快照，并以所属账务年月命名，随后在当前库中删除已销账的燃气账单记录。这样做基于以下考虑：

(1)控制当前库中数据量的大小，提高各类操作速度。目前燃气用户数约在170万左右，大部分采用双月抄表，则每月新增抄表数据量约在80万条，每年则会超过960万，这仅仅是抄表情况，如考虑收费、报修、账务处理方面的数据，每年新增数据量则会超过3 000万条。

(2)月度结转后历史数据固定不变，报表统计不会因为后续操作而出现变化，以保证在不同时期查询同一年月的报表时提供一致的数据及可追溯用户的历史基本信息和用气情况。

(3)由于部分数据需要跨月查询，考虑采用月度分区、年度结转实现缩减当前库的压力。Tivoli Storage Manager(以下简称TSM)来实现对存储管理的需求。

针对不同类型的主机系统、数据保护和存储管理的要求，系统使用了TSM提供的两种级别的备份方式：一种是基于文件级别的备份；第二种是基于数据库级别的备份。

为了确保Oracle等数据库7×24小时的运行状态，系统采用TSM和TSM for Databases来实现这两类数据库进行数据库的在线备份和恢复的功能。

系统的备份机制采用以下三种方式进行：

(1)数据库同步Golden Gate。Golden Gate TDM (交易数据管理)软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增删改变化，再将这些变化应用到目标数据库，实现源数据库与目标数据库同步。此环境主要用于查询和报表打印等。

(2)数据库同步Data Guard。原来两台H85小型机和存储设备利用Oracle的 RAC技术实现负载，采用Oracle11G的Data Guard技术，实现数据同步到该老设备当中，保证此环境与正式环境数据一致。一方面增加数据库的备份提高安全性，另一方面可利用同步环境实现外部查询接口，缓解正式库的整体压力。此环境主要用于各银行及付费通接口的使用。

(3)完全备份。主要是将除结转以外的数据全部备份到本地。利用Oracle本身的RMAN脚本，实现数据备份。每天全备份数据存入小机本身，之后将文件拷贝备份服务器中，系统将每天进行一次完全备份。目前系统能保存一个月的完整备份，其内容包括数据库文件、日志文件以及控制文件等。

2.10 系统安全策略管理

2.1 0.1 管理方面

安全管理主要有：权限控制、敏感数据、输入校验、异常处理、系统监控、日志等管理。

2.1 0.2 数据备份与恢复

为了提高数据库性能和系统的安全性，系统采用Golden Gate的方式建立快照数据仓库，利用数据库底层日志传输功能，实现快照库与正式库的同步，保证快照数据库的数据及时性与准确性。

在备份和存储管理解决方案中，系统采用IBM

图4 数据备份示意

3 软件架构体系和开发环境

3.1 软件架构体系

本系统应用微软DotNet4.0体框架，采用C/S架构，基于多层(N-Layer)架构进行设计和开发。系统分为表示层、应用层、业务逻辑层、引擎调度层、引擎层、服务层、基础架构层、实体层、资源层等多层。

开发环境

基于Microsoft.NET4.0的技术，C#语言开发，Oracle11G，利用WCF三层应用程序架构。

服务器运行环境：Windows Server2008及以上，IIS6.0及以上。

客户端运行环境：Windows XP/Windows 2000 /Windows Vista/Windows 7操作系统。

4 系统调试

本系统的测试分为几个阶段：编码阶段、综合测试阶段、UAT阶段以及压力测试阶段。

4.1 编码测试阶段

完成一个功能模块后，采用“白盒”测试方法对该功能模块进行单元测试，保证这些单元模块的正确性、有效性，从根本上保证系统的正确实现。

4.2 综合测试阶段

检测各个模块之间的接口是否正确，系统能否正常工作，此外审核系统的功能是否符合需求说明。

4.3 UAT阶段

客户现场测试各模块功能是否符合要求，主要是针对易用性等方面进行现场调试。

4.4 压力测试

由全体业务、账务及相关平台操作人员，模拟极限场景集中压力测试。

5 结语

本系统采用设备冗余方式来提高各个层面的数据安全及系统的高可靠性。在应用服务器前段，利用负载均衡设备来提高应用服务器的处理能力及容错能力；交换机采用链路聚合技术实现链路负载平衡，具有很高的可靠性、灵活性和负载均衡能力及系统容错；数据库服务器采用Oracle的RAC，存储方面采用IBM的LVM技术进行镜像备份。

本系统是基于数据库进行开发的，为了提升数据库的性能，系统采用了SC Express底层驱动控件，它把从硬盘中读取的数据存入系统内存或闪存，使系统在下次访问该数据时可以很快从内存读取，避免再次读取速度较慢的硬盘，从而突破硬盘瓶颈，提升系统性能。

本系统采用多种模式的数据备份机制，既有实时数据同步备份，又有每晚的完全备份；既有支持异构(可以跨不同数据库、不同操作系统、不同硬件)，又有支持同构的实时备份；能确保实时性、交易完整性和数据安全性。

基于冗余技术的硬件系统，能保证整个系统安全可靠运行，任何单点的硬件故障不会影响到整个系统的正常运行。

综上所述，本系统实现了燃气客户数据的集中管理；构建了完善的数据库结构和完善的系统备份机制，技术架构合理，系统运行安全可靠。因此，预期在此平台上的管理，将是全方位和前瞻性的。

Technical Route of Customer Information Management of Dazhong Gas Company

Shanghai Dazhong Gas CO., Ltd. Wang Zhengxi

The customer information management is established to make up the shortcomings of the existing system, and to realize the centralized management of the customers’ datum, which has the perfect database structure and rational technical framework and can make the system more safety and reliability.

gas, information system, technical route