APP下载

大数据视域下基于BIM的数据存储框架研究

2020-10-09熊国华

电脑知识与技术 2020年18期

摘要:随着BIM技术在建筑业的普及使用,工程项目所产生的数据种类越来越多,且越来越复杂,这些将严重影响着工程项目管理中的沟通效率和数据交付的效率。特别是在大数据的视域下,BIM项目中的“信息孤岛”问题将变得日趋突出,而解决“信息孤岛”的首要条件就是如何设计一个BIM大数据的存储框架。为此该文基于对BIM常用数据标准和Hadoop存储机制研究的基础上,设计了一个基于BIM的大数据存储框架,该设计可为相关行业基于BIM的二次开发提供一个有价值的参考,也为后续的BIM大数据研究提供理论基础。

关键词:BIM;大数据;Hadoop;数据存储

中图分类号:TP311 文献标识码:A

文章编号:1009-3044(2020)18-0044-02

开放科学(资源服务)标识码(OSID):

1 背景

建筑业是我国的支柱产业,在迎来大规模应用建筑信息模型(Building Information Model,简称BIM[1])技术的同时,也在进行着大规模的信息化进程。BIM的出现,使建筑行业发生了由2D到3D再到nD的变革,它将建筑相关的数据(如图纸、模型及相应的计算结果等)进行工整合,那么随着数据整合的积累将产生大量的数字化信息,据广联达预估,平均一个建筑生命周期大约产生10T级别的数据,而随着工程规模的增大和工程数量的增多,工程项目所产生的数据将成指数级增长,同时数据变得更加复杂,种类也变多,从而严重影响工程项目管理中的数据交付的效率和沟通效率。

特别是当工程项目是由多个子项目构成,而这些子项目又由不同的企业来完成时,由于缺乏统一协调处理的平台,那么这些子项目的BIM数据将成为一个个“信息孤岛”。为消除上述的“信息孤岛”,首先要解决的就是如何将如此庞大的BIM数据进行统一存储,即设计一个合理的并支持大数据处理的数据存储框架变得势在必行。

2 国内外研究现状

2.1 国外研究现状

BIM技术由于起源于国外,因此技术优势比较明显。对于BIM技术的研究起步较早,如加拿大基础设施研究中心(Centrefor Sustainable Infrastructure Research)的Halfawy、Mahmoud M.R.等人對建筑信息集成相关技术进行了研究,主要完成了建筑构件数量统计、工程概概算、图形编辑与工程管理等方面功能的开发;英国索尔福德大学的Faraj等人实现了IFC文件在数据库中的存储、工程的概预算、显示等功能,设计了基于BIM技术的WISPER( Web-based IFC Share Proj ect Environment)平台。

2.2 国内研究现状

相比国外,国内对BIM技术的研究相对较晚。随着BIM技术的引入,我国部分学者对BIM技术进行了相关研究,主要研究的重点是利用IFC标准在不同系统之间进行数据交换和信息共享,如清华大学的张建平[2]、上海交通大学的赖华辉[3]等人,而对于BIM数据库方面的构建仅有上海交通大学的李犁[4],他仅实现了IFC格式数据文件在关系数据库中的存储与查询。

通过分析发现,上述研究仅基于单一的IFC标准实现了IFC格式的数据在关系数据库中的存储与查询,而对于数量极其庞大的非结构化数据(如图片、视频等)或半结构化数据存储方面则没有涉及。

3 BIM常用数据标准

在建筑信息模型领域,目前数据的基础标准主要有数据语义(Terminology)、数据存储(Storage)和数据处理(Process),分别对应为国际语义字典框架(IFD:International Framework for Dic-honanes)、行业(T业)基础分类(IFC:Industry FoundationClasses)和信息交付手册(IDM:Information Delivery Manual)。

其中由IAI(International Alliance for Interoperability国际协作联盟)制定的IFC标准是建筑业通用的国际数据标准,它采用面向对象的数据模型,由类别定义来代表这项目建设和设施管理的构件、过程和形状等信息,实现跨领域的数据共享和交互[5]。

IFC模型体系结构可以被分为4层:最高层是领域层(Do-main Layer),其主要作用时是深入到各个应用领域的内部,形成专题信息;第二层是交互层(Interoperability Layer),该层为领域层服务,主要解决了领域信息交互的问题,并且在这个层次使各个系统的组成元素细化;第三层是核心层(Core Layer),主要是提供基础的IFC对象模型结构,描述建筑工程信息的整体框架,将资源层信息组织起来,成为一个整体,来反映现实世界的结构;最底层是资源层(Resource Layer),为其他层所引用,主要是描述标准中用到的基本信息,不针对具体的行业本身,是无整体结构的分散信息,作为描述基础应用于整个信息模型。

4 Hadoop的存储机制

Hadoop( Hadoop Distributed File System)其实是一个软件框架,由Apache基金会所开发,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集,旨在从单个服务器扩展到数千台机器,每台机器提供本地计算和存储。是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。

在整个hadoop框架中,其核心组件有两个:HDFS(HadoopDistributed File System)和MapReduce。HDFS是一个分布式文件系统,引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode,对数据进行分布式储存和读取,其架构如图1所示[6];MapReduce是一个计算框架,MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分(Map映射/Reduce归约)再根据任务调度器(JobTracker)对任务进行分布式计算。

5 存储框架设计

针对BIM大数据存储和管理的需要,本文提出一种基于Hadoop大数据架构的BIM数据云存储方案,具体如图2所示。

实现思路:1)为降低BIM数据处理的复杂性,将BIM数据分为建筑、结构、设备、施工和运维五大类[7];2)将该五类数据输入共享数据中心进行处理,分析出非结构化数据和结构化数据;3)对于非结构化数据(包括半结构化的数据),如图片、工程文档等数据统一使用HBase数据模型并存储,而关系数据库主要存储结构化数据,存储之前需要利用IFC模型解析器进行预处理。

6 结束语

本文在研究BIM数据标准与Hadoop存储机制的基础上,针对大数据背景下的BIM项目所存在“信息孤岛”的问题,设计了基于BIM的大数据存储框架,该框架能基本解决BIM数据的存储需求,但对存储框架的中“共享数据中心”还需要在以后的研究中进一步优化,提高对非结构化数据与结构化数据分析的效率与准确性,以提高整个系統性能。

参考文献:

[1] National Institute of Building Science.Untied States NationalBuilding Information Modeling Standard. Version l-Partl[S].2007.

[2]张建平,曹铭,张洋.基于lFC标准和工程信息模型的建筑施工4D管理系统[J].工程力学,2005,22(S1):220-227.

[3]赖华辉,邓雪原,刘西拉.基于IFC标准的BIM数据共享与交换[J].土木工程学报,2018,51(4):121-128.

[4]李犁,邓雪原.基于BIM技术建筑信息标准的研究与应用[J].四川建筑科学研究,2013,39(4):395-398.

[5]沈力.基于BIM的建筑业大数据研究初探[D].成都:西南交通大学,2016.

[6] HDFS Architecture[EB/OL].[2019-12-30]. https://hadoop. apache. org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDe-sign.html.

[7]林良帆,邓雪原.BIM数据存储标准与集成管理研究现状[J].土木建筑工程信息技术,2013,5(3):14-19,36.

【通联编辑:谢媛媛】

作者简介:熊国华(1979-),男,江西临川人,广东建设职业技术学院建筑信息系讲师,硕士,研究方向为移动应用开发、算法和计算机网络与分布式信息处理。