桥梁健康监测系统数据传输方案探讨

贾　勇，周子裔

（1.安徽省高等级公路工程监理有限公司，安徽 合肥 230022；2.苏交科集团股份有限公司，江苏 南京 211112 3.在役长大桥梁安全与健康国家重点实验室，江苏 南京 211112）



桥梁健康监测系统数据传输方案探讨

贾勇1，周子裔2,3

（1.安徽省高等级公路工程监理有限公司，安徽 合肥 230022；2.苏交科集团股份有限公司，江苏 南京 211112 3.在役长大桥梁安全与健康国家重点实验室，江苏 南京 211112）

摘要：针对桥梁结构健康监测系统中的数据传输滞后问题，文章对面向消息中间件（MOM）技术在数据传输中的应用进行分析，结果表明MOM技术传输技术更快、更稳定，能满足实时传输要求。

关键词：桥梁工程；健康监测系统；数据传输；MOM技术

桥梁结构健康监测系统需要把各个数据采集工作站采集的大量数据实时传送到监控数据中心，因此大型桥梁结构健康监测系统一般都在桥梁上建立一个大型的光纤局域网［1］。同时为了集中资源进行对数据进行处理、统计与分析，各个大桥的健康监测数据又都通过INTERNET实时传送到数据中心，构成了一个庞大的广域物联网［2］。面对海量的数据，如系统硬件发生故障或软件不能及时处理，就会造成数据传输滞后。因此，在整个桥梁结构健康监测系统中，网络通信协议与软件传输方法［3］是核心模块之一，它关系到数据分析质量，甚至桥梁的安全。本文分析数据传输滞后的原因，从软件方面找出解决的方法，以提高数据传输速度和安全性。

1　现有数据传输技术存在的问题

桥梁健康监测系统中的数据是非关系型数据，数据存储中大量使用了二进制文件和文本文件［4-5］。这些文件结构简单便于使用，但占用的存储空间较大，影响传输速度。同时，由于当前文件系统的原因，文件存储不仅包含其自身数据，也包含在磁盘扇区中的登记信息，导致非常小的文件会占用远大于自身尺寸的存储空间。以 NTFS 为例，所有文件都会在MFT（主文件表）中记载该文件的大小、时间戳、安全属性和数据位置。

此外，系统中这些文件的传输主要利用诸如Windows 文件共享（SMB）或者是 FTP 等一些成熟的传输协议进行的，但是这些协议并非为少量数据的传输所设计，因此带来了效率低下的问题。SMB 和FTP 协议的传输需要数个往返的通信，以FTP协议为例，每一个文件传输至少需要如图1所示的几次往返通信（这其中已经省略了传输开始连接之前的TCP 三次握手和每条消息传输完成之后的 ACK）。

从图1可以看出，文件中的数据传输只是通信协议中的一小部分，普通体积或者大体积的文件传输时，这些“额外开销”（overhead）是完全可以接受的，然而系统中文本文件仅十几字节，使用相同的协议，其“额外开销”确实是非常大。

图1　使用FTP协议进行数据传送流程

以最常见的 FileZilla Server 搭建的 FTP 服务器在局域网中进行数据传送试验，并抓包查看数据包的往来记录及其细节。结果表明，通过 FTP 传输一个仅 20 字节的文本文件，实际在网络上需要传输1 053 字节，共发送了 15 个数据包。其中仅 protocol 为 “FTP-DATA”的数据包传输文本文件的数据，其它均为协议所带来的“额外开销”，如图2所示。

图2　数据传送试验信息

SMB 协议（即 Windows 文件共享）的数据传送流程与FTP类似，同时SMB协议还是微软的闭源协议，不容易深入研判。为了确保数据传输的准确性，耗费一定的额外开销是需要的，但是FTP 此类针对大文件系统管理所设计的协议，给健康监测系统中某些特殊应用带来了很多的额外开销，显著地增加了网络传输压力、拥塞甚至数据丢失。这就需要寻求更好、更先进的方法来解决这一问题。

2　MOM技术在数据传输中的研究与应用

中间件（Middleware）是一种可以独立于系统和平台的服务或者应用程序，位于操作系统和应用程序之间的中间层［6］。消息中间件作为一种重要的中间件技术，是以消息为基本的数据传输工具，可以应用于极其复杂的异构环境。面向消息的中间件（MOM，Message Oriented Middleware）提供了以松散耦合的灵活方式集成应用程序的一种机制［7］，提供了基于存储和转发的应用程序之间的异步数据发送，即应用程序彼此不直接通信，而是与作为中介的MOM 通信，由 MOM 负责尽可能地保证数据的正确发送，其传输结构图如图3所示［8-9］。

图3　MOM数据传输结构图

消息中间件技术具有如下特点：

（1）满足多种通信方式。既可以点对点通信，也可以进行多对一、一对多或者多对多的通信；

（2）松耦合。数据发送端和接收端不必建立连接就可以进行数据传输，大大降低了服务间的依赖和耦合，也避免了因为通信状况不佳而导致的数据传输速度缓慢及丢包率高的问题；

（3）高可靠性。由于消息队列对数据进行了本地化处理，所以当发生网络故障可以迅速地恢复传输，保证传输的可靠性；

（4）高可控性。使用消息队列，可以轻松地控制发送和接受的数据大小，对数据传输速度进行有效控制。

MSMQ是Windows操作系统中面向消息的中间件，是用于创建分布式、松散连接的消息通讯应用程序的开发工具［10］。改进的桥梁健康监测系统中数据传输使用MSMQ开发出一套用于数据传输与交换的消息中间件系统MOM-QHMQ，解决了数据传输滞后的问题。数据传输系统MOM-QHMQ由图4所示的4个部分组成。第1部分为通信管理模块，主要负责通信线程的控制；第2部分为数据报文封装模块，主要负责传输数据报文的封装；第3部分为节点数据传输模块，主要负责数据传输的中转；最后一部分是中心数据同步模块，主要用于同步节点数据。通信管理模块是整个系统的基础，其他3个模块是在这个基础之上完成数据可靠、高效传输的。

图4　数据传输系统的整体框架

采用MOM-QHMQ系统和FTP方式进行数据传输，并在马鞍山大桥健康监测系统中进行了测试，结果如表1所示。从表1中可以看出，传输同批量数据文件，MOM技术传输速度比普通FTP技术快得多，并且传输速度稳定，能够满足实时传输要求，也能满足健康监测系统传输数据量的总体要求，系统运行稳定。

表1　使用FTP与使用MOM-QHMQ传输数据比较

3　结论

桥梁健康监测系统每时、每刻都在产生大量的数据，数据从传感器的采集到数据中心的汇集需要进行多层网络传输，网络传输特别是INTERNET传输往往会产生数据传送滞后甚至丢失或造成网络堵塞等问题。随着计算机网络技术以及大数据技术的发展，数据传输软件技术也有很大的发展。本文对面向消息的中间件（MOM）技术在数据传输中的应用进行了探讨，结果表明MOM技术不仅提高了数据传输的速度，解决了健康监测系统中海量数据传输滞后实际问题，同时也保证了系统数据传输的实时性和稳定性，满足了系统数据传输总量要求，为健康监测系统大数据分析和桥梁安全保障提供了必要的基础。

参考文献

［1］李惠，周文松，欧进萍，等．大型桥梁结构智能健康监测系统集成技术研究［J］.土木工程学报，2006，39（2）：46-52.

［2］物联网应用技术［EB/OL］.［2016-02-22］． http：//baike. baidu. com/link？url=Q32Ja7PVr2kgTHhh5qjB4SBFn_pH11MGddYJ qlqsS-VROLjKBpMz23hO5h-zm2TvdSfU06sU4Agjkb_bxwxQa.

［3］ 网络通信协议［EB/OL］.［2016-02-22］． http：//baike. baidu. com/link？url=jwO3GeZs73b2SoGxrH-zqTgl2jYR0Zb8UV6f9b_ wSRgbZ05LtCgq668lII_CCPc5W2BjiPidzn1U_DT1AFnHqK．

［4］ 文件格式［EB/OL］.［2016-02-22］．http：//baike.baidu.com/ link？url=DoVjk2BJjFVNw3swKuSlPrZI2UZydW-P8-MiWgX 7H3I6Xmaj6WO59ZnOZSDrZ9X0rQizTdk2PTQKfg5wtHwtIK.

［5］ 刘超，胡成玉，姚宏，等．面向海量非结构化数据的非关系型存储管理机制［J］.计算机应用，2016，36（3）：670-674.

［6］消息中间件原理及JMS简介［EB/OL］.（2008-01-27）［2016-02-22］． http：//www. blogjava. net/orangelizq/archive/2008/01/ 27/178026. html.

［7］浅议消息中间件技术标准与开源实现［EB/OL］.（2008-01-27）［2016-02-22］． http：//blog.csdn.net/mikeszhang/article/ details/9222221.

［8］梁彦杰，廉东本．基于消息中间件的数据交换平台传输框架设计［J］.计算机系统应用，2012，21（4）：10-13.

［9］王海华，徐剑．基于消息中间件通信的网络平台MOM系统［J］.中国西部科技，2008，7（21）：37.

［10］使用C＃和MSMQ开发消息处理程序［EB/OL］.（2000-11 -30）［2016-02-22］． http：//www. wzsky.net/html/Program/ net/28658. html

Research on Data Transmission Solution in Bridge Health Monitoring System

Jia Yong1， Zhou Ziyi2，3
（1. Anhui High Grade Highway Engineering Supervision Co.， Ltd， Hefei 230022， China；2. JSTI Group， Nanjing 211112， China；3. The State Key Laboratory on Safety and Health of In-service Long-span Bridges， Nanjing 211112， China）

Abstract:In this paper， the application of message-oriented middleware（MOM）technology in data transmission is analyzed to solve the problem of data transmission delay in bridge health monitoring system. Results show that the transmission of MOM technology is faster and stable which can meets transmission requirments.

Key words:bridge engineering； health monitoring system； data transmission； message-oriented middleware technology

中图分类号：U446.2

文献标识码：A

文章编号：1672–9889（2016）03–0033–03

收稿日期：（2016-02-22）

作者简介：贾勇（1975-），男，安徽合肥人，工程师，主要从事高速公路及大桥工程监理工作。