大数据分析技术在桥梁健康监测中的应用

杨　军

（江苏省交通工程建设局，江苏 南京 210004）



大数据分析技术在桥梁健康监测中的应用

杨军

（江苏省交通工程建设局，江苏 南京 210004）

摘要：文章首先对大数据的基本概念进行探讨，在此基础上提出桥梁健康监测大数据中心的概念，并对其处理系统的功能与内容、总体架构进行介绍，指出了大数据分析技术在桥梁健康检测中的应用前景和方向。

关键词：桥梁健康监测；大数据分析；数据融合；数据挖掘

1　概述

数据科学的发展经历了数据的产生、数据的形成和大数据的诞生三个阶段。三个阶段的不断发展改变了也加深了人们用数据看世界的观念。随着现代测量技术和智能设备的发展，数据的形式由传统单一的结构化数据演变为由结构化数据、半结构化数据和非结构化数据组成的复杂的数据形式。而互联网、移动互联网的快速发展，人们得以分享这些数据的平台，由此产生的海量数据被人们发现和利用，就产生了新型的大数据概念。大数据分析是大数据应用的重要技术手段，大数据分析从技术手段上采用了最新的数据分析模型，通过数据之间特有的相关关系可以得出许多有关联、有价值的结论。

近十年来，我国的桥梁健康监测技术也有了很大发展［1-2］，大部分大跨度桥梁都建立了健康监测系统。为了对系统产生的大量数据进行分析与处理，需要通过数据中心对不同桥梁的健康监测系统集中管理，提供决策支持。数据中心的建立为桥梁健康状况的分析与预警提供了很好的基础，使健康监测技术得到大大的提高。但是管理者们更希望能够通过系统数据的综合分析并比较世界范围的相关桥梁曾经发生的事故原因，给出桥梁存在的问题以及如何解决这些问题。为此除了需要健康监测系统本身的数据，也需要大量的社会（世界各地桥梁）数据来建立一个全新的数据中心-桥梁健康监测大数据中心，来解决桥梁健康与安全问题。

2　大数据分析处理系统［3］

2.1大数据基本概念

什么是大数据，迄今并没有公认的定义。从宏观世界角度来讲，大数据是融合物理世界（physical world）、信息空间和人类社会（human society）三元世界的纽带，因为物理世界通过互联网、物联网等技术有了在信息空间（cyberspace）中的大数据反映，而人类社会则借助人机界面、脑机界面、移动互联等手段在信息空间中产生自己的大数据映像。从信息产业角度来讲，大数据还是新一代信息技术产业的强劲推动力。所谓新一代信息技术产业本质上是构建在第三代平台上的信息产业，主要是指大数据、云计算、移动互联网（社交网络）等。大数据被普遍认可的是4V定义，即规模性（Volume）、多样性（Variety）、高速性（Velocity）和价值性（Value）。大数据处理和分析的终极目标是借助对数据的挖掘，为人们在各类应用中作出合理的预测或决策。深度学习、知识计算和社会计算是大数据分析处理系统的重要手段：深度学习提高精度。数据挖掘中，要挖掘大数据的大价值必然要对大数据进行内容上的分析与计算，而传统的数据表达模型和方法通常是简单的浅层模型学习，效果不尽人意。深度学习可以对人类难以理解的底层数据特征进行层层抽象，凝练具有物理意义的特征，从而提高数据学习的精度。因此，深度学习是大数据分析的核心技术；知识计算是数据挖掘的深度。每一种数据来源都有一定的局限性和片面性，只有对各种来源的原始数据进行融合才能反映事物的全貌，事物的本质和规律往往隐藏在各种原始数据的相互关联之中。而借助知识计算可以将碎片化的多源数据整合成反映事物全貌的完整数据，从而增加数据挖掘的深度。因此，基于大数据的知识计算是大数据分析的基础；社会计算促进认知。互联网技术的发展使得社会媒体成了一类重要的信息载体，承载着对事物的客观或主观描述信息。因此，通过基于社会媒体数据的社会计算可以促进人们对事物的认知和辅助决策。但是，社会媒体大数据往往蕴含着一个体量庞大、关系异质、结构多尺度和动态演化的网络，对它的分析既需要有效的计算方法，更需要支持大规模网络结构的图数据存储和管理结构，以及高性能的图计算系统结构和算法；桥梁健康监测大数据中心的建立与运行正是使用这些大数据分析技术来实现的。

2.2桥梁健康监测大数据中心的功能与内容

桥梁健康监测大数据中心是以桥梁健康、安全预防评估与诊断信息为基础，以现代信息技术为支撑，能够及时为桥梁及其群体的健康评估、诊断防治等提供科学指导，以提高综合防治质量和效率为目的的联合机构。中心应集中信息技术和桥梁科学领域雄厚的技术与人才优势，构建能够涵盖全国性的大中小型桥梁的健康、病害、预防、诊治一体化管理的分析、整合、规范、指导的信息数据链交互平台，提供一个可靠、高效并能够不断优化服务的保障系统。桥梁健康监测大数据中心的大数据主要有以下三个方面。

（1） 健康监测系统本身产生的海量实时数据

健康监测系统通过安装在大桥上的各种传感器对大桥关键结构部位信息进行不间断采集，再对这些数据进行存储、传输、处理、分析，同时各个大桥上的数据也实时传送到数据中心，最终产生海量实时数据。在大数据背景下，这类数据处理源于数据的实时采集，数据处理的目标是将 PB 级数据的处理时间缩短到秒级，而对应的处理工具则需具备高性能、实时、可扩展等特性。

（2） 桥梁的设计、施工监控等资料数据

桥梁的设计、施工监控、竣工动静载试验、年度或定期检测等大桥相关资料也是桥梁数据的重要组成部分，这些数据可使用常规数据库的形式存储，属于结构化数据。目前分析工具与手段较多，属传统数据分析，但需要使用大数据分析软件来与之比较与分析。

（3）社会数据

桥梁科技人员以及新闻报道人员针对桥梁的设计、施工以及运营等方面出版的书籍，发表的论文和报道属于社会数据，可从中可检索出相关有用信息来辅助健康与安全判断。社会数据绝大部分是非结构化数据或半结构化数据，要使用这部分数据难度很大，是研究与开发的重点。社会数据的搜索与提取主要使用大数据分析中的2个工具：语义搜索引擎和数据挖掘算法。

桥梁健康监测需要的本质功能是预测，而运用大数据的“样本=总体”的全新概念的本质功能也是预测，通过数据融合和数据挖掘方法达到预测桥梁损伤的目的。

2.3大数据分析处理系统

随着大数据技术的发展，科学家们能够充分利用数据密集型环境，在保证不丢失健康问题现实复杂性的同时提出一个统一的建模方法。在这种建模方式下，所有的桥梁专业评估和健康知识都作为依据，嵌入桥梁的电子健康档案和通过渠道收集来的大量相关数据，用统一的建模方法，综合各项数据进行规模化的推测，得出一个多层次、多系统的关于健康领域研究、评估、修复方面的结论。在这些结论的基础上通过继续收集数据的反复论证从而反过来优化模型结构。这种模型的提出可以将关于评估诊断、维护修复、混杂因素和修饰因素的知识都捕获到，并由概率图模型框架予以表达。所以它不仅可以收集大量的数据，还可以用于挖掘电子健康档案中日益增长的统计数据来提出针对性的解决方案。

大数据分析处理系统有5个基本功能［4］：可视化分析（Analytic Visualizations）；数据挖掘算法（Data Mining Algorithms）；预测性分析能力（Predictive Analytic Capabilities）；语义引擎（Semantic Engines）；数据质量和数据管理（Data Quality and Master Data Management）。其总体架构图见图1。

图1　桥梁健康监测大数据分析处理系统平台总体架构图

随着大数据分析的迅速发展，相应的数据分析系统也相继开发出来，目前主要有以下几种［5］：

（1）Storm。Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠地处理庞大的数据流，可用于处理Hadoop的批量数据，Storm支持许多种编程语言。Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC（远过程调用协议，一种通过网络从远程计算机程序上请求服务）等。Storm的处理速度惊人，经测试，每个节点每秒钟可以处理100万个数据元组，并具有可扩展、容错，容易设置和操作的性能。该软件主要用来处理桥梁健康监测大数据中心的各个大桥健康监测系统本身产生的海量实时数据。

（2）RapidMiner。RapidMiner是世界领先的数据挖掘解决方案，其数据挖掘任务涉及范围广泛，能简化数据挖掘过程的设计和评价。RapidMiner具有如下功能和特点：免费提供数据挖掘技术库；数据挖掘过程简单，强大和直观；内部XML保证了标准化的格式来表示交换数据挖掘过程；多层次的数据视图，确保有效和透明的数据；图形用户界面的互动原型；强大的可视化引擎，许多尖端的高维数据的可视化建模；400多个数据挖掘运营商支持。该软件主要用来处理桥梁健康监测大数据中心的社会数据。

（3）Pentaho BI。Pentaho BI平台是Pentaho Open BI 套件的核心架构和基础，是以流程为中心，其中枢控制器是一个工作流引擎，可以很容易地定制流程和添加新的流程。BI平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要功能包括报表生成、分析、数据挖掘和工作流管理等等，这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中。该软件主要用于桥梁健康监测大数据中心的大数据处理与分析；

3　结语

桥梁健康监测技术是近几十年来发展的新技术，它的海量数据，单系统的片面性还没有得到很好的解决；同样，大数据分析技术是近几年来发展的全新技术，利用大数据分析扩展认知能力有着广阔的应用前景，深度学习、知识计算、可视化等大数据分析技术已被广泛应用于不同的行业和领域。本文提出了使用大数据分析技术建立桥梁健康监测大数据中心的新概念，给出了大数据分析技术在桥梁健康监测中的应用前景和方向。随着大数据时代的到来，桥梁健康监测技术也会有突飞猛进的发展，从而构建一个全国性的大中小型桥梁的健康、病害、预防、诊治一体化管理的用于分析、整合、规范、指导的信息数据链交互平台，提供一个可靠、高效、并能够不断优化服务的健康与安全保障系统。

参考文献

［1］Bruschetta，F，Zonta D，Cappello C，et al. Fusion of monitoring ［1］data from cable-stayed bridge［R］. Environmental Energy and ［1］Structural Monitoring Systems，2013：1-6.

［2］孙利民，周毅．桥梁结构健康监测技术面临的机遇与挑战［1］［C］∥第五届大跨径桥梁结构损伤预警及状态评估技术［1］研讨会，2014．

［3］程学旗，靳小龙，王元卓，等．大数据系统和分析技术综述［1］［J］.软件学报，2014（9）：1889-1908.

［4］36大数据．大数据分析与处理方法介绍［EB/OL］.（2013-［1］09-23）［2016-03-07］. http://www.36dsj.com/archives/3512.

［5］中国大数据．大数据处理分析的六大最好工具［EB/OL］. ［1］（2014-01-11）［2016-03-07］http://www.csdn.net/article/2014-［1］04-11/2819267-Cloud-BigData.

Application of Big Data Analysis Technology in Bridge Health Monitoring

Yang Jun
（Jiangsu Transportation Engineering Construction Bureau， Nanjing 210004， China）

Abstract:In this paper， the concept of big data is discussed firstly， then the concept of big data center for birdge health monitoring is put forward， the function， content and architecture of big data processing system are introduced. Thus the application prospect and direction of big data analysis technology in bridge health monitoring system are given.

Key words:bridge health monitoring； big data analysis； data fusion； data mining

中图分类号：U446.2

文献标识码：A

文章编号：1672–9889（2016）03–0030–03

收稿日期：（2016-03-07）

作者简介：杨军（1971-），男，江苏阜宁人，高级工程师，主要从事高速公路建设管理工作。