海量数据管理技术在桥梁结构监测中的应用

海量数据管理技术在桥梁结构监测中的应用

周兵1，周锋2

(1. 中交公路规划设计院桥梁结构安全监测事业部，北京100088;
2. 河南中原水利水电工程集团有限公司，河南濮阳457000)

摘要：介绍了桥梁结构监测中海量数据管理的现状，提出大型数据存储技术在桥梁结构监测中的应用，着重论述了海量数据存储与管理系统的总体方案，提出了数据管理平台的总体架构，构建了一套架构先进、性能高效的海量数据存储与管理平台。基于数据库集群技术，通过ORACLE数据库平台，有效地实现了大数据的管理使用，为大型桥梁的状态评估和日后的状态预测、溯源提供数据依据。

关键词：桥梁结构健康监测；海量数据管理；ORACLE；数据库集群

近年来，随着桥梁建设的蓬勃发展，国内面向大中型桥梁结构实时监测和评估预警的安全监测系统得到了迅速发展。据统计，全国已有数百套桥梁结构安全监测系统，每天采集有效数据信息近百万条，为桥梁信息化管理、全寿命的桥梁养护和结构评估预警发挥了巨大作用。但是，目前桥梁结构安全监测系统每个都是一套独立方案，没有统一地、跨地区的大型计算机网络和结构信息数据库支持，采集的数据分散在各地，无法实现桥梁结构的长期离线评估分析，且大多数功能仅限于监测预警，应用范围限于单座桥梁，时间跨度较短，不能实现在全国范围内的集中管理，同时，随着时间跨度的增大，信息系统数量的增加，采集有效数据量以每天上千兆的速度递增，给后期的数据管理和有效信息挖掘带来很大的难度。

为了帮助桥梁管养部门方便高效地管理养护桥梁，帮助桥梁设计者和关注者实现桥梁状态监测和评估报告自动化，开展基于大型数据库的海量数据处理与存储管理系统研究开发是十分必要的[1]。

1海量数据管理系统设计原则

数据存储服务平台主要用于海量历史数据的存储管理。根据功能和需求，采用数据库集群的方式实现海量数据的存储，解决数据读取困难的问题。此平台依托于互连网、4G和VPN，在北京数据中心建立数据管理中心，采用网格计算技术实现系统整体调度，实现信息资源的综合利用。数据中心负责各地区桥梁结构数据信息的整理和数据采集汇总存储，系统入口管理中心统一提供。系统整体结构基于B/S，由数据处理、整合与分析、数据存储与管理3部分构成[2]。

2海量数据管理系统的总体设计

海量数据管理系统总体架构设计为两层，按照功能划分为北京数据中心和全国现场数据中心，如图1所示。

图1　海量数据存储与管理系统总体架构图Fig.1　The overall architecture diagram mass data storage and management system

2.1　中央数据库

中央数据库部署在北京数据中心，采用Oracle/SqlServer群集，具体随方案选择而定。入库方式：通过人工或网络传输的方式获取数据库备份，经过导入程序入库；中央数据库存储项目的历史数据，其存储数据量比现场数据库要高出1～2个数量级。中央数据库要支持快速的数据查询、文件导入导出和Web访问，主要功能如下：将经过处理的实时数据写入现场数据库；支持数据的历史回放和离线分析；支持历史海量数据库的实时备份、清除和异地恢复；提供与评估软件平台的文件导出和数据接口；支持数据的后期操作和查询、编辑、更改[3]。各模块功能见表1，整体结构设计见图2。

图2　数据中心数据库设计功能结构图Fig.2　Data center database design function structure

2.2　现场数据库

现场数据库针对具体项目，部署在现场监控中心，存储的是处理后的实时数据，要求定期备份、删除、异地恢复、更新。实时数据的特点是数据量大，数据入库较快。在设计现场数据库的时候，主要考虑如下：各个监测类型原始数据互不干扰；数据写入要求实时，考虑拥堵策略和故障恢复策略；灵活配置监测项、监测点的数据存储库表结构[4]；一定时期的历史数据在线回放和分析；单一监测类型数据存储(由于处理系统需要在较长时间内持续对采集数据进行处理，即使一种设备，持续累计多天的时候，数据量也会非常大，需要考虑以何种方式对多天数据进行组织)。现场数据库配置版本为SQLServer数据库。

2.3　结构特征值数据库

本数据库主要存储桥梁结构采集数据的特征值，包括结构应变、加速度、索力等原始数据的最大值、最小值、平均值及方差等，特点是数据量相对较小，但数据计算频繁，使用频率较高。此数据库数据量小但关系较复杂，由于其入库频率相对于原始数据来说比较低，故采用较为简单的单库表结构。特征数据库配置版本为SQLServer数据库。

表1　中心数据库模块表

2.4　海量数据库详细设计优化方案

2.4.1高速大容量数据存储与管理

通过对系统的总体评估，拟采用以下措施解决系统中大数据量的存储与管理问题。

通过使用Oracle RAC(集群)模式加强底层数据库的处理性能；使用存储过程的方式来进一步加强数据库的交互性能；定期进行数据备份与清理，避免存储过多的低使用率数据(比如，数据库一般可以保持6个月到1年的数据，其它数据通过磁带库等存储介质将数据备份转移，减轻数据库的处理压力)；对海量数据进行分区操作(例如针对按年份存取的数据，我们按年进行分区，不同的数据库有不同的分区方式，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷，而且还可以将日志、索引存放于不同的分区下)；建立广泛的索引[5]。对大表建立索引，例如针对大表的分组、排序等字段，都要建立相应索引，一般还可以建立复合索引。当插入表时，首先删除索引，插入完毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引。要注意索引使用的时机，索引的填充因子和聚集、非聚集索引都要考虑。在对海量数据进行查询处理过程中，查询的SQL语句的性能对查询效率的影响是非常大的[6]。在对SQL语句的编写过程中，例如减少关联，少用或不用游标，设计好高效的数据库表结构等都十分必要。

2.4.2数据库优化设计

桥梁索力数据量较大，由于实时数据处理系统平时的主要操作是桥梁索力的插入及数据查询，对数据的实时性及可恢复性要求不高，并不要求绝对的精度，允许一定的数据损失，对数据库的一致性、并发性及事物的隔离性要求不高，但对于大数据的吞吐量要求较高，故可将其定位为针对插入操作的OLTP系统及部分的OLAP系统[7]。所以考虑降低数据库的隔离级别和并发一致性控制以提高数据库性能，优先满足海量数据插入的吞吐量要求。Oracle版本的数据库优化设计如表2所示。

表2　数据库优化设计表

图3　南京四桥数据处理界面示意图Fig.3　Data processing interface sketch

图4　南京四桥数据存储界面示意图Fig.4　Data stored interface sketch

3系统应用项目及领域

本系统已经软件实现并应用到南京第4长江大桥的结构监测后期运营管理中，不但能较好的弥补新系统的数据处理与存储管理短板，还能完美融合到已经投入使用的大型结构监测系统中。

同时，本系统力争建立一个基于结构监测的北京大型数据中心，中心数据库主要服务于建立全寿命期的数字化、信息化桥梁数据中心，用于桥梁结构海量历史数据的存储管理和挖掘分析，为日后的离线数据分析和历史状态追溯提供支持。同时，以中央数据库为基础和平台，根据结构的分析和报告编制需求，可以单项和并行的完成数据应用和管理。

参考文献：

[1] 蒋凤珍.Oracle数据库性能优化技术[J].计算机工程,2004(S1):94-96.

[2] 周兵,李娜.基于CRIO的大型桥梁结构安全监测系统的研究[J].仪器仪表学报,2010(8):302-306.

[3] 韦峻峰.信息系统虚拟化技术的研究及在河南联通的应用[D].北京:北京邮电大学,2012.

[4] 陈亮.基于带外控制的虚拟存储系统实现与应用研究[D].上海:上海交通大学,2011:17.

[5] 卢朝霞,习捷,王剑.基于数据库分区的海量数据存储技术的研究[C]∥张嗣瀛，王福利.2006中国控制与决策学术年会论文集.沈阳：东北大学出版社，2006:29-30.

[6] Melnik S, Raghavan S, Yang B.Building a Distributed Full-Text Index for the Web[C/OL]. [2014-11-10].http://www10.org/cdrom/papers/275/.

[7] 胡学庆.集群环境下海量数据存储管理技术的研究[D].大庆：东北石油大学,2010:26.

Application of Massive Data

Management Technology in Bridge Structure Monitoring

ZHOU Bing1, ZHOU Feng2

Abstract：This article introduces the current situation of massive data management in the monitoring of bridge structure, the application of large data storage technology in the bridge structure monitoring. It emphatically discusses the overall scheme of massive data storage and management system, puts forward the overall architecture of data management platform, and constructs a set of advanced architecture, high performance of the massive data storage and management platform. Database cluster technology based on the ORACLE platform, effectively achieve the use of large data management and provide data basis for state assessment, future state predicting and past state tracking for large bridge.

Keywords：Structural health monitoring; Massive data management; ORACLE; Database cluste

(责任编辑：张英健)

作者简介：周兵(1983-)，男，河南濮阳人，高级工程师，博士，主要研究方向为计算机测控。

基金项目：国家科技支撑计划(2008BAG07B05)

收稿日期：2014-08-18

中图分类号：TP2

文献标识码：A

文章编号：1671-5322(2015)01-0001-04

doi:10.16018/j.cnki.cn32-1650/n.201501001