大数据在公路工程质量监控中的应用与挑战
2017-06-27肖祥林周春容
肖祥林， 周春容
(四川交通职业技术学院 信息工程系，成都 611130)
大数据在公路工程质量监控中的应用与挑战
肖祥林， 周春容
(四川交通职业技术学院 信息工程系，成都 611130)
大数据的产生为公路工程质量监控技术带来机遇与挑战。公路工程质量监控大数据具有典型的“4V”特征。为深入分析大数据在公路工程质量监控中的应用，从公路工程质量监控大数据的产生、处理流程与关键技术等方面进行论述。分析了公路工程质量监控大数据的存储结构、计算过程以及数据可视化处理的流程，提出了公路工程质量监控大数据应用时所面临的问题与挑战。
大数据； 公路工程； 质量监控； 应用与挑战
0 引言
近年来，随着交通建设的迅速发展，截止2015年我国公路总里程将达到450万公里，其中高速公路通车总里程达到10.8万公里，全国高速公路路网已基本形成规模，促进了区域经济的发展，社会效益较好。在交通部发布的《国家公路网规划(2013年—2030年)》发展规划中，全国高速公路通车里程预计达到40万公里, 我国将基本实现省际多路连通、地市高速通达、县县国道覆盖的目标[1]。
从上述规划来看，仅高速公路的建设缺口就近30万公里，其建设任务较重，另一方面,在工程建设过程中的质量监控也提出了新课题。以西部地区为例，交通运输部质量监督局已在2012年3月启动了西部项目“公路工程质量安全过程控制智能化与远程监控技术研究”的研究工作，项目要求采用信息化技术手段，融入现代计算机技术、实时信息传输技术，人工智能化技术到工程监督中，对重点工程、重点部位的实时监控，实现工程质量安全监管的实时化、智能化、远程化，弥补人为管理的漏洞和缺失，提高质量监控和监管效能，以保障公路工程的建设质量[2]。
公路工程建设的智慧化监管，需要对在其在建设过程中产生的大数据进行透彻分析，服务于管理者和决策者，便于及时排查和纠正在工程施工过程中潜在安全隐患，为生命和财产提供安全保障。
1 公路工程质量监控大数据来源及其特点
就大数据而言，是一个抽象模糊的概念，大部分人也只是从数据量的大小和规模去感知，像TB、PB、ZB、YB这样的数据量存储单位被理解为大数据与传统数据的区别，很显然这仅仅是海量数据，在IT界被公认的具有Volume(容量大)、Variety(种类多)、Velocity(速度快)和Value(价值密度低)特征的数据，才能被称为大数据，简称大数据4“V”特征[3]。
1.1 公路工程质量监控中大数据的来源
公路工程建设在开始施工到验收竣工，要产生大量的、类型各异的数据，其主要有以下几种来源：
(1)施工试验数据：道路在施工前需要对工程中的各种使用材料在该项目环境条件下做实验，以得出在该环境条件和地理区域条件下相应材料的使用混合比及用量等。如：筑路用土，砂石材抖、石灰和水泥，普通水泥混凝土，稳定土和建筑砂浆，沥青材料，沥青混合料等相关实验数据，用数据来保障施工质量，确保规范施工。
(2)施工监控数据: 在工程项目施工阶段，人员行为规范、施工操作规范、压力传感数据，施工环境温度(湿度)等产生的文字、图片、声音和视频数据。
(3)施工应急数据:在施工过程中会有各种突发事件，如何科学地把突发事件带来的危害降到最低，最大程度减少人员和财产损失，是工程应急处理的难题。在施工过程中，利用各种传感器对突发事件进行动态监测，将对应急处置起到关键性的作用，而该过程中将产生大量的数据。
(4)工程竣工检测数据:在工程项目施工验收阶段，需对路基、路面、交安设施、机电系统等进行标准检测，判断各项功能是否能达到标准规范。如路基压实度，路面承载能力、应力数据，标识标线厚度、反光标志系数等相关检测数据。 根据《公路工程质量检验评定标准》JTGF80-1-2012和JTGF80-2-2004相关要求[4]，需产生大量的数据。
随着交通建设的快速发展，工程质量监控面临新的挑战，沿用以往“人工+纸笔”的管理方式，基本不能实现工程质量的科学化管理，根据工程质量“终身制”的相关要求，在工程设计使用年限内，承担相应的质量终身责任，如沿用以往的管理方式也不便于责任的追溯。当今“互联网+”时代，利用云计算对工程施工中产生的大数据进行分析，用数据来实现工程项目中全过程跟踪管理和全方面实时监测监管，实现工程实体和质量行为的实时自动监管巡查和预警，将有助于提高工程质量，保障国家财产安全。
1.2 公路工程质量监控中大数据的特点
(1) 数据规模
在工程质量监控中，以施工人员行为监控为例，一个质量监督点采用720P高清视频图像采集设备，每小时图像采集数据经压缩处理后可达到3 GB左右的大小，全天候采集一个月，产生的数据量约为2.16T[5]。在工程施工过程中隧道掘进、路基路面、桥梁结构、材料搅拌、设备操作等等都需要对施工人员行为和过程进行视频监控，按上述计算，每月产生的数据能至少为PB级以上，按照交通部发布的《国家公路网规划(2013年—2030年)》发展规划，监控视频数据就将产生海量的数据。
(2) 数据类型
在公路工程施工过程中产生的数据类型种类繁多，除工程质量视频监控数据外，有影响工程施工质量的环境检测数据(如：温度、湿度)，施工材料检测数据，工程质量试验检测数据，潜在地质灾害等数据，数据类型多样。
(3) 数据价值密度
对于在公路工程质量监控中产生的数据本身而言，数据量大，但其价值密度较小。如施工人员操作不符合规范，通常情况下就只有几秒或几分钟，在PB级以上的数据量里，其占有的价值密度较低。
(4) 高速性
在公路工程质量监控中，除对工程质量本身监督外，还应对工程质量进行把控和预警。如：路面未达到养护期要求而强行进行下一周期施工，此时系统就应快速地对大数据进行分析，并及时发出预警提示。
2 大数据的处理
随着“互联网+”时代的发展，人们对各行各业中产生的大数据进行分析，给众多决策者提供了有力的决策支持[6]。如：沃尔玛超市通过大数据分析在超市行业中曾经取得的辉煌成就；阿里巴巴通过大数据分析在电子商务行业取得的突破；滴滴打车或Uber通过大数据分析在出租车行业中取得的地位等等；均是基于大数据分析或处理而取得的成功案例[7]。然而在公路工程施工质量监控方面，大数据的应用还较薄弱，通过对公路工程质量监控中产生的大数据进行分析，对不合格或不符合规范的工程质量及时的启动预警机制，将减少国家的财产损失，保障交通参与者的生命安全，为公路工程建设提供技术支撑。
2.1 云计算
公路工程质量监控大数据中，核心是对于数据的分析和处理。“云计算”是大数据处理的基础，为数据分析提供技术保障。云计算利用Internet和虚拟技术把计算机各种软、硬件资源融为一体，形成大规模的共享资源池，为用户提供IaaS(基础设施即服务)，PaaS(平台即服务)，SaaS(软件即服务)[8]。云计算是典型的分布式模型，为公路工程质量监控大数据并行处理提供平台。
Google、 IBM、阿里云等知名公司大数据分析处理和应用都是基于云计算为基础，最典型的应用就是分布式文件系统 、批处理技术、分布式数据库等[9]。
2.2 大数据存储技术
公路工程质量监控中产生的大数据在PE级以上，怎样降低存储成本、提高数据并发吞吐量是大数据存储的关键。分布式文件系统，是大数据在存储中的一种关键技术，Google公司研发的GFS(Google File System)分布式文件系统是大数据在存储中的典型应用。其与后来研发的MapReduce、BigTable技术构成了Google搜索引擎大数据存储的三大核心技术[10]。
公路工程质量监控中产生的海量异构数据，存储架构分为存储层、基础管理层、应用接口层、访问层。存储层主要完成数据接入与信息集成、存储虚拟化存储设备；基础管理层主要包括集群数据、并行数据仓库盒实时数据库；应用层接口主要完成任务管理、调度与监控；访问层主要包括视频监控系统、环境监测系统、应急指挥系统、实验检测系统和工程档案系统等，如图1所示。
公路工程质量监控大数据与其它类型的大数据有所不同，有的数据需要急时处理，响应急时的特点，以便于做出急时的应急响影决策，否则会造成重大经济损失和人员伤亡。故需要研究公路工程质量监控大数据在存储结构上的特点，为后续的数据分析提供支撑。
2.3 实时数据处理技术
在公路工程质量监控产生的大数据，类型多样，包括声音、图像、文本等结构化和非结构化数据，通过数据清洗来消除数据不一致是非常有必要的，也是数据处理的关键因素。在大数据实时处理流程中数据分析(Data Analysis)是核心，为提高数据的访问速度，建立分布式数据库，利用各种类型的大数据分析技术，对各种异构的数据进行分析，最终利用可视化技术，把数据分析结果展现给用户，以满足公路工程在施工过程中监督和决策的需求。
传统数据，一般采用关系数据库来进行存储，OLTPT和OLAP是传统数据的主流应用，SQL是传统关系数据库存系统的存取标准[12]。但在公路工程质量监控中产生的数据，有很多不具有关系数据库的条件，很多数据是非关系数据，故需要其它方式的数据分析管理技术。
Google公司于2004年推出的Map Reduce技术，它的并行数据处理方式是大数据分析和处理的典型应用，其主要包括分布式文件系统(GFS)，并行编程和并行执行三个方面。GFS为大数据的储存和并行计算提供平台基础支撑，采用键/值(key/value)方式对数据进行分布式存储[12]。
Map Reduce是一个通过将任务独立化进行计算的一种模型技术，主要有Map和Reduce两个阶段，首先把公路工程质量监控中产生的大数据按算法进行以
图2 公路工程质量监控大数据计算过程
公路工程质量监控大数据Map Reduce并行计算模型,将简化数据的计算过程，减少数据传递开销，使公路工程质量监控中各类应用程序设计直观化。
3 大数据在公路工程质量监控中的机遇与挑战
3.1 大数据可视化分析技术
可视分析技术的定义是指：一种通过交互式可视化界面来辅助用户对大规模复杂数据集进行分析推理的科学与技术[14]。大数据可视化分析是指在对数据挖掘分析的同时，利用可视化用户界面以及人机交互技术，融合人的辨别能力与计算机的数据计算能力，为决策者提供更加科学、合理的决策依扰。
公路工程质量监控大数据可视化分析关键核心是数据的集成和接口，而其数据规模大、快速多变、数据源异构，使得对大数据的处理、分析和可视化带来具大的挑战。数据信息的可视化根据其特征分为一维信息、二维信息、三维信息、多维信息、层次信息、网络信息、时序信息可视化，在公路工程质量监控大数据中主要包括文本可视化、网络或图可视化、时空数据可视化、多维数据可视化等。文本信息是非结构化数据的代表，是公路工程质量监控大数据中的主要信息类型，是记录施工数据的重要环节，文本信息可视化可采用把文本语议结构以树的形式进行可视化操作；网络或图是大数据中最常见的关联关系，是记录施工过程状态的重要信息，网络或图可视化可采用基于节点和边的可视化方法；时空数据是带地理位置标签的数据，是记录施工环境状态的重要信息，为反应时间与空间的变化，一般采用流式地图来展现；多维数据是多个维度空间的数据，是记录整个施工过程的重要信息，一般可采用基于几何图形的可视方法来实现[15]。
3.2 大数据在公路工程建设中的应用
大数据在公路工程质量监控中的应用还处于起步初级阶段，依托大数据建立质量监督管理、安全监督管理、监理行业管理、试验行业管理、工程竣(交)工验收管理、突发应急预案、事件检测、应急响应、现场救援、总结评估等平台，以数据指标为度量，直观、全面、准确地监测和分析各个环节要素的动态变化数据信息，为管理者提供科学决策依据，提高监管效能。如：工程建设过程中突发事件应急处理，可利用地理信息系统(GIS)平台，对基础地图数据、应急资源数据、重大危险源数据进行管理并以电子地图显示，可及时预测突发事件危险存在范围，辅助突发事件应对机制的决策。在建项目监督管理，通过对试验检测实验室、各种机械设施设备的数据采集，实现试验检测数据、设施设备主要数据的采集与汇聚，生成质量监控大数据。通过对大数据的分析和规范性电子监控比对，实现工程实体和质量行为的实时自动监管巡查和预警等。
4 总结
这是一个数据信息时代，不管是商业领域还是工程建设领域，都与数据有联系，如何科学的运用这些数据来分析和解决问题，是各领域应重视的问题[16]。本文对公路工程建设质量监控中大数据的产生、存储、处理和数据特点等进行了深入分析，详细介绍了大数据处理的关键技术，对大数据在公路工程质量监控中带来的应用进行了论述。但大数据在公路工程质量监控中的运用还处于起始阶段，如何提高数据的采集质量，解决工程建中大数据传输、提高数据可靠性等方面还存在着研究的空间，需要更多的研究者去探索和研究。
[1] 国家发展改革委.国家公路网规划(2013年-2030年)[EB/OL].(2013-5-24). http://zfxxgk.ndrc.gov.cn/PublicItemView.aspx?ItemID={93c7d13b-aa0d-4beb-955e-268adade8a8f}.
[2] Hui Zhen,Li Hao,Zhang Min,et al.Risk-adaptive access control model for big data in healthcare[J].Journal on Communications,2015,36(12):190-199.
[3] 刘智慧，张泉灵.大数据技术研究综述[J].浙江大学学报(工学版)，2014，48(6):957-972.
[4] 冯朝胜，秦志光，袁丁.云数据安全存储技术[J].计算机学报，2015，38(1):150-163.
[5] 程学旗，靳小龙，王元卓，等.大数据系统和分析技术综述[J].软件学报，2014，25(9):1889-1908.
[6] 李卫榜，李战怀，姜涛.分布式大数据多函数依赖冲突检测[J].计算机学报，2016，39(97):1-17.
[7] Hong Cheng,Zhang Min,Feng Deng-Guo.Achieving efficient dynamic cryptographic access control in cloud storage[J].Journal on Communications,2011,32(7):125-132.
[8] 任磊，杜一，马帅，张小龙，戴国忠.大数据可视分析综述[J].软件学报，2014，25(9):1909-1936.
[9] 宋亚奇，周国亮，朱永利.智能电网大数据处理技术现状与挑战[J].电网技术，2013，37(4):927-935.
[10] Meng Xiao-Feng,Ci Xiang.Big data management:Concepts,techniaues and challenges[J].Journal of Computer Research and Devlopment,2013,50(1):146-169.
[11] Jafarian J H,Takabi H,Touati H,et al.Towards a general framesork for optimal role mining:A constraint satisfaction approach[C]//Proceedings of the 20th ACM Symposium on Access Control Models and Technologies (SACMAT).Vienna,Austria,2015:211-220.
[12] 覃雄派，王会举，杜小勇，王珊.大数据分析—RDBMS与MapReduce的竟争与共生[J].软件学报，2012，23(1):32-45.
[13] 崔纪强.交通建设工程质量安全监督中存在的问题及对策[J].工程管理，2015，29(2):281-283.
[14] JTG B01-2014，公路工程技术标准[S].
[15] 范林眼, 柴金义.包树高速公路黄河特大桥施工监控数据分析[J].公路，2010，(12)：32-35.
[16] 王珊，王会举，覃雄派，等.架构大数据：挑战、现状与展望[J].计算机学报，2011，34(10):1741-1752.
[17] 黄鹏.高速公路工程管理信息系统[D].成都：电子科技大学，2013.
[18] 王林.高速公路大修工程施工区交通组织与应急预案研究[D].西安:长安大学，2010.
[19] 冯登国，张敏，李昊.大数据安全与隐私保护[J].计算机学报，2014，37(1):246-258.
Application and Challenges of Big Data in Quality Monitoring of Highway Engineering
Xiao Xianglin, Zhou Chunrong
(Department of Information Engineering, Sichuan Vocational And Technical College of Communications, Chengdu 611130, China)
Generation of big data brings opportunities and challenges to quality monitoring technologies of highway engineering. Big data of highway engineering quality monitoring is featured by typical “4V” characteristics. In order to deeply analyze application of big data in quality monitoring of highway engineering, the paper discusses generation, processing processes, key technologies as well as other aspects of big data of highway engineering quality monitoring. The paper analyzes storage structure, computing courses and data visualized processing processes of the big data of highway engineering quality monitoring and points out the problems and challenges encountered by application of big data in quality monitoring of highway engineering.
Big data； Highway engineering； Quality monitoring； Application and challenge
四川省公路工程远程监控研究可行性报告研究(厅级横向课题)
肖祥林(1981-)，男，四川省隆昌县人，实验师，硕士，研究方向：大数据应用研究。 周春容(1981-)，女，四川省简阳市人，硕士，副教授，研究方向：大数据应用研究。
1007-757X(2017)06-0024-03
TG409
A
2017.02.15)
