基于深度学习三维重建技术的建筑施工进度管理自动化系统构建

苏阳,毛超,郭鹏飞

（重庆大学 管理科学与房地产学院，重庆 400045）

建筑工程施工进度管理贯穿施工的全生命周期，是保证施工项目中人工、材料和机械设备有序运转的基础[1]。然而，建筑项目的日益复杂化、巨大化，以及当前建筑施工进度管理的实际操作仍主要依赖传统的人工管理方式等原因，导致施工进度管理效率低，造成工期延误，产生成本超支及法律纠纷问题[2]。这一问题在发展中国家尤为严重，如2017 年沙特市政和农村事务部（MOMRA）公布的数据，约75%的公共建设项目超过了计划时间[3]，而在尼日利亚、埃及、马来西亚等国家，有约70%的建设项目工期延误[4-6]。在中国，尽管建设工程进度很快，但却并不是完全建立在对建筑施工进度的高效管理基础上，而是主要通过增加劳动强度来实现[7-8]。因此，在智能建造时代背景下，如何高效实现建筑施工进度自动化监控，提高施工进度，管理效率是一个亟待解决的问题。

1 研究背景

针对建筑施工进度自动化管理，已有学者结合各类技术进行了大量研究，然而已有研究难以满足复杂的建筑施工管理实践需求。已有研究主要集中在3 个方面：基于BIM（Building Information Modeling）技术的管理方式[9-10]、基于RFID 技术与BIM 相结合的管理方式[11-12]以及结合三维重建技术的Scan to BIM 管理方式[13-15]。如在进度管理方面，基于无人机搭载LiDAR 技术并结合BIM 技术，刘莎莎[16]进行了建筑施工进度的研究，实现了建筑施工现场室外进度自动监控。Pučko 等[17]提出了一种通过移动激光雷达重建技术和BIM-4D 技术获得的点云数据来识别已执行的施工现场工作与计划工作之间的偏差。现有建筑施工进度自动化管理方式存在两个方面的缺陷：其一，过高的设备依赖性造成管理成本高昂，如LiDAR 造价普遍上万美金，倾斜摄影法所需的无人机造价高昂且在使用期间还需支付较高的维护成本，导致难以在实际管理过程中应用[18-20]。其二，自动化可操作性较差导致自动化水平较低，如LiDAR 的使用对现场环境有较高要求[21]，而倾斜摄影法需要经过训练的无人机专业人员操作、需要在特定航道工作且在实际操作中要考虑避障等复杂问题[22-23]，需要较高程度的人工参与。近年来，深度学习等人工智能技术在建筑工程领域逐渐体现出强大的生产力[24-25]，而结合人工智能技术的低成本、自动化、智能化的能够适用于建筑施工现场环境的建筑施工进度管理方式尚待研究。

因此，笔者提出基于深度学习三维重建技术的建筑施工进度协同管理系统，并对该系统的有效性及实用性进行了案例研究。

2 基于深度学习三维重建技术的建筑施工进度协同管理系统搭建

为实现具备实时性、便捷性及经济性的建筑施工进度自动化管理，基于智能建造领域已有的建筑施工进度自动化管理框架提出了基于深度学习三维重建技术的建筑施工进度协同管理系统框架，如图1 所示，并对系统核心部分三维重建深度学习模型搭建以及系统运行流程进行了描述。

图1 基于深度学习三维重建技术的建筑施工进度协同管理系统框架（DLR-P）Fig.1 Framework of the collaborative management system for construction progress based on deep learning 3D reconstruction technology（DLR-P）

2.1 系统框架

基于深度学习三维重建技术的建筑施工进度协同管理系统框架由以下4 个部分组成管理闭环。

1）施工现场信息。建筑施工现场信息作为框架的基础数据，为管理闭环提供管理数据依据，系统采用高速摄像机传感器对建筑施工现场进度三维信息进行采集，随后再通过三维重建深度学习模型实现施工现场进度的数字化模型构建。

2）施工进度三维重建模型。以施工现场实时采集到的多视图图片、相机内参、相机外参及数据匹配信息为基础，通过特征提取、构造代价匹配、深度估计优化及点云模型融合等技术流程获得建筑施工现场的实际三维点云模型。

3）理想BIM 施工进度模型。即建筑项目施工进行前由设计单位、施工单位及业主共同制定的预期BIM 施工进度模型（既4D BIM 模型），其中既包括施工过程中的三维信息，也包含施工过程中施工进度随时间进程展开的进度信息。这一部分信息在施工开始前已经制定完备，在施工进程中，通过该模型与2）中所获得的点云模型进行交叉对比，获得施工进度差异信息，进而生成相应的施工现场资源调整意见。

4）施工现场资源信息。建筑施工进程中，现场管理人员基于3）过程中生成的施工现场资源调整意见，组织现场人工、材料、机械等资源进行响应，以实现对于现场进度的调节目的，并在调节后动态调整理想BIM 施工进度模型，以满足总体进度需求。

2.2 三维重建深度学习模型

三维重建深度学习模型是系统的核心部分。DLR-P 系统所使用的深度学习模型为Yaoyao 等[26]提出的MVSNet。该方法为近年来提出的经典三维重建方法，在取得良好重建效果的同时，也被作为基础模型，延伸发展出了一系列深度学习模型[27-30]。

模型原理：MVSNet 是一种监督学习的方法，以一个参考影像和多张原始影像为输入，从而得到参考影像深度图的一种端到端的深度学习框架。网络首先提取图像的深度特征，然后通过可微分投影变换构造3D 的代价体，再通过正则化输出一个3D的概率体，再沿深度方向求取深度期望，获得参考影像的深度图。最终将不同空间位置的深度信息相融合，从而构造出物体的表面三维模型信息。

模型结构：如图2 所示，按照其功能，MVSNet主要包括特征提取、构造匹配代价、深度估计与优化3 个部分。其中，1）特征提取：指通过神经网络提取的影像特征。经过视角选择之后，将已经配对的若干张图像即参考图像和候选集输入网络模型，利用一个8 层的二维卷积神经网络提取立体像对的深度特征，输出32 通道的特征图。为防止输入的图像被降采样后语义信息的丢失，临近像素之间的语义信息已经被编码到此32 通道的特征中，并且各个图像提取过程的网络权值共享。2）构造匹配代价：该模型利用平面扫描算法[30]构造参考图像的匹配代价。在特征提取过程后，每张图像可获得一个对应的特征图，根据先验的经验深度范围，对于参考图像以其主光轴方向进行扫描，将参考图像按照某一深度间隔从最小深度至最大深度进行映射，可得到一个处于不同深度间隔的相机锥体，如图2 所示。将候选集中的特征图映射到该相机锥体中，通过投影变换,若干张图像可形成对应个数的特征体，这个特征体就是匹配代价的表示。最后，通过构造一个由长、宽与参考影图像长、宽一样的代价图在深度方向连接而成的三维结构作为代价体，实现MVSNet 的代价累积。3）深度估计与优化：MVSNet 的深度估计是通过深度神经网络直接学习得到的。网络训练方法为输入代价体和对应的深度图真值，利用SoftMax 函数回归每一个像素在深度θ处的概率值，以此完成从代价到深度值的学习过程。最终模型生成的深度图与RGB 图像即可融合为点云模型。

图2 MVSNet 模型结构示意图[24]Fig.2 Model structure of the MVSNet[24]

模型训练：为使该模型适用于建筑施工现场场景，通过迁移学习方式对原始模型进行针对建筑施工各类场景重建的训练。模型训练过程中除采用包含图像数据、相机参数、匹配数据共计10 000 余项数据在内的主流三维重建数据集DTU[31]数据集外，还针对选取部分建筑施工现场场景进行训练，最终获得适用于建筑施工现场场景的三维重建模型。

2.3 DLR-P 系统运行流程

基于深度学习三维重建技术的建筑施工进度协同管理系统的主要运行步骤如下：

1）理想BIM 模型搭建。在运行DLR-P 系统前，应就工程项目任务目标、工程特点及项目环境等条件搭建施工项目的BIM 模型。模型应包含项目的三维信息、预期进度信息、预期成本信息、人工需求信息、材料出入场信息、机械设备需求信息等。

2）协同系统搭建。系统搭建主要包括信息采集模块和后台处理模块两部分。信息采集模块指需根据不同项目要求，将相机传感器安置在施工现场所需位置，若干传感器组成阵列，对各类施工现场进度管控目标进行实时外观数据采集。后台处理模块包括由高性能计算机组构成的数据处理部分和由高清显示器组成的进度管理图形化部分。上述两个模块间由无线局域网络连接，实现通信。

3）系统运行。确保系统各部分搭建完成后，将系统各部分链接在同一局域网环境下，设置图像传感器抓取角度和抓取周期。随着施工进度发展，确保系统实时运行及传感器组能够抓取到不同适宜角度的目标图像。

施工现场采集到的图像数据由无线网络传入后台，首先利用Colmap 软件进行稀疏重建计算相机位姿匹配信息等数据，随后通过MVSNet 三维重建深度学习模型，生成对应场景的点云模型。系统后台将点云模型导入Revit 软件，与BIM 理想模型进行尺寸对比，根据施工进度点云模型与理想BIM 模型进度计划对比计算，最终系统在图形化显示器中输出当前进度进展情况及相应的施工现场调控意见。

4）施工进度调整。根据DLR-P 系统输出的调控意见，现场管理人员对施工现场各相关工序的人员安排、材料进出及机械设备使用等进行统一调配，优化施工进度管理。

5）模型调整。将现场进行的人员安排、材料进出及机械设备使用等主动调节信息输入到理想BIM 模型中，根据工期、成本等项目要求，对后续项目施工工作进行调整优化，形成系统内信息的及时反馈闭环。

3 案例分析

3.1 案例背景

为验证提出的DLR-P 系统的可行性，在重庆市巴南区某建筑施工项目现场进行实地验证。该项目为民用住宅类项目，建设面积50 000 m2，建设周期2.5 a，总投资21 亿元人民币。

3.2 案例研究设计

为便于研究与试验实施，选取外墙脚手架施工、外墙防护网施工、外墙涂料施工3 项常见施工工序进行研究。具体案例试验流程如图3 所示。

图3 案例实验流程Fig.3 Case study process

系统布置：首先按照工程与其建设目标搭建理想BIM 模型，随后将图像传感器布置在目标位置并搭建DLR-P 系统处理后台及系统总控制台。

模型对比：将理想BIM 模型转换为点云形式，并利用点云配准技术与系统生成的施工现场实际点云模型进行工序交叉比对。通过面积、体积等指标确定项目施工现场进度是否与预期进度相同，随后输出工序比对结果到总控制台进行处理。

施工计划调整：根据工序对比结果，以项目流水施工为原则对施工人员、施工材料以及施工机械进行重新配置，形成新的施工计划，并将计划信息传回系统总控制台。

现场资源响应：根据系统总控制台的调度意见，现场施工人员、材料和施工机械进行响应，实现建筑施工现场进度与理想进度的协同管理，并将调整后的理想BIM 模型信息反馈至系统总控制台，形成管理闭环。

3.3 运行结果

基于系统高速摄像头对建筑工程施工现场实时场景各角度图像数据的采集（如图4 所示），DLRP 系统对项目施工现场的实时场景进行自动分析，并分别全自动获得3 项施工工序的以点云模型为展现形式的实际进度情况，如图5 所示。通过点云模型与BIM 理想模型点云进行数据交叉对比，自动算得实际施工进度与预期理想进度的直接差异。

图5 DLR-P 系统运行结果Fig.5 Operation results of DLR-P system

进度对比。通过将转化为点云格式的理想BIM 模型（含三维信息、施工进度及成本计划信息）与基于深度学习的三维重建技术自动识别的工程现场实际三维点云模型进行对比，得出施工现场进度相对各项计划的差异，如表1 所示。在此基础上，DLR-P 系统对施工现场计划自动进行调整，以适应总工期进度需求，并根据工程量与工期自动提供现场人工、材料及机械资源响应意见。

表1 进度计划差异及响应Table 1 Schedule difference and response

运行速度。为实现建筑工程DLR-P 系统的实时自动化管理，对各类场景的三维重建过程所消耗的时间进行记录，如表2 所示。运行速度是指从高速相机获取图像的时刻开始，直至系统输出最终点云模型时刻为止所需的时间。然而，由于三维重建过程主要涉及稀疏重建和稠密重建两部分，其各自消耗的时间与重建相关图像数量、图像分辨率、系统后台算力及图像的复杂程度等众多因素相关，因此，案例研究中所记录的系统运行速度仅代表相关场景三维重建所需的平均速度。

参试品种（系）播量均为525万粒/hm2，但是通过田间考种结果表明：最终产量较高的品种（系）保苗数均较高，甘啤6号保苗474万株/hm2，居所有参试品种（系）第二位；垦啤6号保苗552万株/hm2，居所有参试品种（系）第一位；产量最低的甘啤4号保苗321万株/hm2，居所有参试品种（系）第七位。试验结果表明：不同品种对春旱的抗性不同造成单位面积保苗数差异显著，最终导致产量结果与单位面积保苗数成正相关关系。

表2 DLR-P 系统三维重建运行速度Table 2 3D reconstruction running speed of DLR-P system

运行成本。如表3 所示，DLR-P 系统实现了无需人工的全自动施工进度管控，主要运行成本由系统后台和系统传感器两部分硬件成本组成，其硬件设备成本仅33 000 元。而以无人机方法为基础的管理方式实现硬件成本约为370 000 元，基于手持LiDAR 设备的实现方式则成本更高，约为820 000元。案例研究过程中，仅对项目的部分施工内容进行了研究，因此，若对项目整体进行管控，则DLR-P系统的布设成本较以上数据更高，原因主要是由于摄像头传感器数量的增加。然而，相对其他两种进度管理实现方式，本文所提出的DLR-P 系统仍具有显著成本优势。

表3 基于三维重建技术的施工进度管理方式成本对比Table 3 Cost comparison of construction schedule management methods based on 3D reconstruction technology

3.4 讨论

在对DLR-P 系统的案例研究过程中，基于深度学习三维重建技术的建筑施工进度协同管理方式展现出三点显著优势。

1）自动高效。相较于传统建筑施工现场依赖人工巡场的施工进度管理方式，本文提出的管理方式极大地提升了管理效率，实现了全过程无人化运行，从而在降低现场管理人员劳动强度的同时，实现了更加客观的现场进度监控，摒除了人工管理过程中的各类影响因素。

2）成本经济。相较于目前已有的“无人机+BIM”和“LiDAR+BIM”的自动化管理方式，本文提出的管理方式极大地压缩了系统布置所需的成本，具有更高的推广价值和实用价值。此外，在低廉的系统自身成本控制的同时，该方法还能够从节约人工成本、降低施工进度因素导致的返工浪费及优化人员、材料、机械进场配置等角度提升建筑施工项目的经济效益。

3）应用便捷。建筑施工项目的进度管理是一项贯穿于项目施工全阶段的工作，具有长期性和动态性两个重要特征，因此，实现进度管理的自动化、智能化方式必须能够适用于在各类变化的施工场景中展开工作。相较于基于无人机或LiDAR 设备的方式，以高速摄像头为数据采集方式的自动化进度管控系统更加便于使用。在项目进度管控过程中，无需训练无人机操作人员以及为避免碰撞而设置复杂的循行路线，也无需考虑现场特殊位置无法架设扫描仪器的限制，极大解放系统信息采集能力的同时，最大程度降低了进度管理工作对于各项施工工序的影响。

1）精度不足。提出的施工进度管理方式其技术基础是通过深度学习模型对自然光线条件下同一物体在不同视角中的视觉深度推测构建三维模型实现的。因此，相对于LiDAR 等激光扫描设备，受光照条件等影响，该方法的数据基础具有较大的不确定性。在案例研究过程中，以该方法获得的点云模型能够实现对于较大尺寸场景的重建工作，但对于细节众多而复杂且特征区别对比不强的场景（如钢筋绑扎场景）重建效果较差，因而限制了其在更加复杂场景中的应用潜力。如图6 所示，相对较大尺寸的外立面防护网及尺寸适中的门洞模板重建工作，钢筋绑扎工作的重建效果明显不足。

图6 基于DLR-P 的不同尺度对象三维重建效果Fig.6 3D reconstruction results of different scale objects based on DLR-P

2）重建速度较慢。建筑施工现场时刻处于动态变化过程中，为合理高效地对项目施工进度进行控制与优化，管理方式应具备快速重建的能力。然而，限制于算力条件等因素，在案例研究过程中，该方法平均重建用时61 s，未能符合实时重建效果的需求。在实际应用过程中，系统所实现的重建已能够满足基础施工进度管理需求，但面对规模更大、更加精细化、更加复杂化的施工进度管理任务时，重建速度仍需进一步提升。针对这一限制点，解决的路径主要有两个方向：其一，从硬件角度考虑，发展具有更加强大算力的方式；其二，优化重建模型，降低权重参数数量，以获得更好的轻量化模型。

4 结论

基于深度学习框架建立了基于深度学习三维重建技术的建筑施工进度协同管理系统，且通过工程案例分析，验证了DLR-P 系统的可行性，通过对比不同环境条件，得到以下主要结论：

1）基于深度学习的三维重建技术能够适用于建筑施工现场的实时进度管理工作，结合BIM 技术能够实现对于建筑施工项目现场进度的自动化、智能化管理。相较基于LiDAR 激光扫描技术或无人机倾斜摄影等技术实现的建筑施工进度自动化管理，该方法更加适合工程实际应用，具有更强的现场施工条件适用性，且能够与目前施工现场实践中已有的智能化传感器有效融合，具有较好的工程实践前景。

2）在建筑施工进度管理工作中，基于深度学习的三维重建技术体现出良好的经济性。相对目前主流研究中的无人机方法或激光雷达方法等，由于仅需高速摄像头作为传感器采集数据，在设备成本、操作人工成本及现场配合成本等方面具有显著优势。建筑施工进度的自动化、智能化管理贯穿施工全周期，该方法的经济性特征能够较好地满足施工管理单位成本敏感的特征。

3）虽然基于深度学习的三维重建技术在建筑施工进度管理工作中表现出良好的使用前景，但重建精度问题对其使用潜力造成了较大影响。尤其在对于精细尺寸场景的重建过程中，该方法表现出明显偏高的重建损失，且耗时较长。若无相应场景的技术改进，在建筑施工现场进度管理工作中则无法实现对于细致小尺寸场景的有效管理，同时也无法在该场景下扩展到其他管理实践领域中。