电网GIS平台内存数据库优化技术应用研究

杨沂婷，吕舒清，颜康，李颖，白晓龙

（1.国网山东省电力公司电力科学研究院，济南250003；2．国网山东省电力公司，济南250001）

电网GIS平台内存数据库优化技术应用研究

杨沂婷1，吕舒清2，颜康1，李颖1，白晓龙1

（1.国网山东省电力公司电力科学研究院，济南250003；2．国网山东省电力公司，济南250001）

随着国家电网公司信息化建设步伐的加快，日益增长的业务应用规模和海量数据给GIS系统的安全稳定运行带来困难，系统性能和可靠性成为信息化建设过程中的突出问题。提出一种基于内存数据库性能优化技术，形成从主机、中间件、数据库、存储及应用程序监控、分析和优化的整体方案，可以有效地解决电力行业海量数据造成的响应延时、性能下降、数据库访问中断等问题，提高系统的稳定性、安全性及经济性。

海量数据；内存数据库；多级缓存优化

0　引言

随着电力行业运检、营销系统业务量和数据量的不断增长，现有电网GIS系统及配置环境难以满足海量数据处理需求，存在着系统响应延时、性能下降、数据库访问中断等风险，给运行维护工作带来很大困难。山东省电力公司电网整体规模大，近年来电网改造工程量大，电网管理水平提升要求高，随着电网GIS平台应用的全面开展，运检、营销等相关专业对于电网GIS平台的运行效率、应用实现效果及业务应用拓展支撑能力提出了新的需求。由于核心系统存在无法通过提升硬件来解决存在的问题，导致处理器、磁盘及内存长期处于高负荷状态下，严重影响了系统的安全性、稳定性和经济性。主要体现在以下方面：一是数据存储容量不断增长且难以预估，对数据库性能产生严重的影响；二是存储数据的成本在不断地增加，如何削减开支，节约成本以保证高可用性成为亟待解决的问题。针对山东省电力公司运检、营销系统的业务特点、业务容量及用户需求，开展了电网GIS平台深化应用工作。

在电网GIS平台深化应用中，充分利用现有计算机硬件技术提供的大内存、多CPU多核等特点，将全省规模的电网模型、拓扑和图形缓存于多台服务器群集的内存中，通过地理分区、电压等级分区等多种分区方式在多机群集间分担负载和故障切换，通过内存数据库技术，避免I/O操作，通过访问缓存数据进行图形浏览显示和拓扑分析，能够为大规模应用提供高性能的访问服务，提升了系统性能和稳定性。

1　电网GIS平台系统结构

电网GIS平台服务器部署架构如图1所示。电网GIS平台由客户端根据分区规则将部分数据缓存在本地，应用程序访问本地缓存数据进行图形的浏览和编辑，待编辑完成需要提交时或网络重新连通时本地缓存数据与服务器数据进行同步，保持缓存数据与服务器同步。电网GIS平台为全在线模式，本地不再下载缓存数据，采用实时栅格化进行图形浏览，通过数据代理的数据访问接口直接连接数据库，进行编辑和数据提交保存。

图1　电网GIS平台服务器部署架构

2　内存数据库性能优化技术应用

2.1内存数据库技术

传统的数据库把所有数据都放在磁盘上进行管理，磁盘数据库需要频繁地访问磁盘来进行数据的操作，磁盘的读写速度远远低于CPU处理的速度，所以磁盘数据库的瓶颈出现在磁盘的读写操作上。内存数据库是将全部或者大部分数据放在内存中进行操作，可以更有效地使用CPU周期和内存来提高处理速度。从计算存储技术的角度看，由于服务器在处理数据时，CPU首先会从其缓存中查找数据，缓存中查找不到，再从内存中查找，内存里没有，再从硬盘上读取，如图2所示。

图2　内存数据库技术

在传统数据库查询中，磁盘访问时间是一个主要的瓶颈，如果查询在读写速度快很多倍的内存中进行，而不用访问物理磁盘，将会大大提升处理性能。

近十几年来，内存的发展一直遵循摩尔定律，内存的价格一直下降，而内存的容量一直在增加。现在的主流服务器，几百GB的内存都很常见，内存的发展使得内存数据库得以实现。

内存计算是CPU直接从内存而不是硬盘上读取数据，进行计算、分析，是对传统数据处理方式的一种加速。内存计算非常适合处理海量的数据以及需要实时获得结果的数据。通过内存计算技术，将来自数据库的数据，实时地分发到内存计算集群中。内存计算根据服务的特性，重新组织数据，优化数据结构，保存在内存中。在用户端进行服务请求时，内存计算再根据具体的请求，用重新组织过的数据，进行快速的计算分析，将结果返回给用户端。

通过内存数据库优化技术及多种技术手段，如高效、紧凑的数据结构设计、大量运用内存库缓存技术、采用多级缓存及多种缓存机制等方法着力解决在集中部署模式下大并发访问的性能问题。

2.2多级缓存优化

电网GIS平台的图形图像数据量大，大量用户并发访问对网络和服务器产生很大的冲击，部分用户网络带宽不能满足实时传输大量数据的要求，业务操作受到严重影响。因此需要在图形应用服务器、空间信息服务器和C/S客户端采用多级缓存技术，降低网络数据下载、提交频率及网络数据流量，提高客户端响应速度，解决集中部署的并发维护性能瓶颈及效率问题，降低建设、维护的成本。

图形应用服务器在内存中缓存电网资源数据、源数据，采用哈希索引机制，对象查找效率高；对于几何数据采用多级空间索引机制，空间分析效率高；网络拓扑模型采用拓扑索引机制，连通性分析、带电计算等网络应用效率高，能够满足实时表达电网、动态着色的需求。

由于数据库服务器处理能力较难平行扩展，如果图形应用服务的每次请求都需要访问数据库服务器，将产生严重的性能瓶颈。因此，对于图形应用服务的设计和实现，充分利用最新计算机硬件技术提供的大内存、多CPU多核等特点，将全省规模的电网模型、拓扑和图形缓存于应用服务器的内存中，通过优化的内存数据库访问算法和负载均衡策略，在图形应用服务器上承载绝大部分数据访问压力，尽量降低对数据库数据通道的占用，提升服务器吞吐能力。

图形渲染、查询定位、拓扑分析基于内存缓存，不直接对数据库进行操作。对于电子地图、遥感影像等不经常变化的数据，采用切片地图技术或客户端本地缓存技术提高数据访问性能。横向上，采用多机、可平行扩展的服务器集群技术，通过按地理分区、版本分区或者功能分区等方式在多机群集间分担负载，并实现故障热备切换，提升电网GIS应用服务的性能、可靠性以及可扩展性；纵向上，通过多级缓存技术来延伸和扩展数据库服务器的I/O及运算能力。

2.3低带宽占用的缓存部署方式

电网GIS平台管理的图形图像数据量大，大量用户的并发访问对网络和服务器的压力很大，而且有些用户网络带宽不能满足实时传输大量图形图像数据的要求，因此需要在应用服务器和客户端采用缓存技术提高系统运行效率和可用性。数据缓存包括如下几个方面的内容。

电网空间信息服务器的内存缓存。大量B/S用户访问应用服务器，如果应用服务器每次请求都访问数据库服务器的话，将会产生非常巨大数据需求。因此电网资源数据在空间信息服务器的内存中进行缓存，不直接对数据库进行访问。

空间信息服务的矢量缓存和切片缓存。对于电子地图、遥感影像等不经常变化的数据，采用切片地图技术提高数据访问性能，同时极大程度降低数据库服务器压力。亦可采用DDC（直接数字控制）等技术对电子地图进行缓存。

C/S客户端的缓存。C/S客户端从数据库服务器下载管辖范围内的数据至缓存，采用内存数据库技术访问缓存数据进行图形浏览显示和拓扑分析，避免I/O操作。为确保数据一致性，电网修改的更新数据在更新缓存的同时同步写入数据库服务器。

2.4缓存数据同步实现方式

由于运用了数据缓存机制，在数据库与内存库之间，数据支撑层、服务支撑层、客户端多级缓存之间、服务支撑层内部服务之间，C/S与B/S之间，都涉及复杂的缓存数据失效处理、数据同步的一致性和可靠性问题。分析内存数据库的特点，针对内存数据库的数据组织、查询技术与优化、并发控制等方面进行研究，采用空间海量多元数据同一索引算法，快速定位索引实时数据；基于自适应电网资源拓扑结构变化多服务器缓存同步技术，快速同步拓扑数据；基于智能算法，优化海量连续实时数据的查询技术；基于统一的网络通信基础平台，实现在线横向、纵向即时数据同步，增强协同工作能力。图形数据编辑由图形服务完成，数据库提交与图形服务内存库的更改同步完成，对于图形服务无法感知的数据编辑，通过后台同步服务实现数据一致性的保障机制，确保数据存储高效、同步准确。

2.5应用效果

通过内存数据库优化技术，制定合理的内存表存储策略，数据访问速度提升效果明显。内存数据库优化前后性能指标对比见表1。

表1　内存数据库优化前后性能指标对比

3　结语

分析内存数据库技术、多级缓存优化、低带宽占用的缓存部署方式、缓存数据同步实现方式等一系列内存数据库优化技术及实现方式。通过“山东GIS深化应用”系统的应用实践，表明内存数据库优化技术很大程度上解决了电力行业高访问量、高并发量及复杂数据处理引发的应用瓶颈，极大地提高了系统的稳定性、安全性及经济性，可以对电力行业海量数据进行有效处理。同时，也为其他电力企业重整信息系统架构、建立一体化信息支撑体系提供了有益借鉴。

［1］GARCIA MH，SALEMK.Mainmemorydatabasesystems：An overview［J］.Knowledge and Data Engineering，IEEE Transactions on，1992，4（6）：509－516.

［2］李华植.VIP——海量数据库解决方案［M］.北京：电子工业出版社，2011.

Optimization Technology of the Power GIS Platform Memory Database

YANG Yiting1，LV Shuqing2，YAN Kang1，LI Ying1，BAI Xiaolong1
（1.State Grid Shandong Electric Power Research Institute，Jinan 250003，China；2.State Grid Shandong Electric Power Company，Jinan 250001，China）

With the quickening pace of the informatization construction of the state grid corporation，the increasing business application scales and mass data have brought difficulties to the security and stability of GIS.The performance and reliability of GIS became prominent problems in the process of information construction.A new method based on memory database performance optimization is proposed，which formed the overall solution from the host，middleware，databases，storages and application programs.The system can effectively solve response delay，performance decline，database access caused by mass data，and improve the stability，security and economy of GIS.

mass data；main memory database；multi-level cache

TP311.13

B

1007－9904（2015）12－0058－03

2015－10－20

杨沂婷（1980），女，工程师，从事信息化管理咨询工作；

吕舒清（1983），男，工程师，从事信息化咨询工作；

颜康（1986），男，工程师，从事信息化管咨询工作；

李颖（1988），女，工程师，从事信息化咨询工作；

白晓龙（1986），男，工程师，从事信息化咨询工作。