计算机视觉在建筑工程施工领域的研究与应用

房霆宸 左俊卿 龚 剑

1. 上海建工集团股份有限公司 上海 200080；2. 同济大学土木工程学院 上海 200092；3. 上海超高层建筑智能建造工程技术研究中心 上海 200080

计算机视觉（computer vision）是研究如何采用机器看 的科学，通过对采集的图片或视频进行处理以获得相应场景的三维信息，类似于给计算机安装眼睛（照相机）和大脑（算法），让计算机能感知环境。作为一门综合性的学科，计算机视觉是当今全球科学领域和工程领域中一个富有挑战性的研究领域。计算机视觉已经吸引了来自各个学科的研究人员参与研究，包括计算机科学和工程、信号处理、应用数学和统计学、物理学以及神经生理学和认知科学等；其应用范围覆盖各个领域，包括航空航天、医疗诊断、土木建筑、军事、金融、贸易等。

由于其应用的重要性，计算机视觉受到全世界的广泛关注和研究。西方发达国家如美国将其列为对经济、科学有广泛影响的科学和工程中的重大挑战。关于计算机视觉的研究起于20世纪50年代，主要针对二维图像的分析处理。

1959年，Hubel等[1]对大脑视皮层细胞感受野进行了研究。感受野是一个感觉神经元的某个位置受到适当的刺激，引起该神经元反应的区域。Hubel等以猫为试验对象，从简单的形状开始研究视觉识别。首先将微电极植入猫的视皮质细胞，然后在屏幕上打出一些光影和图形，通过固定猫的头部控制视网膜上的成像，并测试细胞对线条、直角、边缘线等图形的反应。研究发现，猫在看到鱼和老鼠投像后，视觉处理流程的第一步不是对整体的鱼或者老鼠进行处理，前期的视觉处理只是对简单形状的结构处理、边缘排列，只有当图片切换时才产生激烈的反应。

1963年，Lary Roberts运用计算机程序根据线画图来理解由多面体构成的景物，并对物体形状及物体的空间关系进行描述，试图从图像中阐释出如立方体等多面体的边缘和形状。Roberts的研究采用计算机理解三维场景，将计算机视觉从二维层面引入到三维领域[2]。作为一门人工智能领域学科，计算机视觉的研究始于1966年。美国麻省理工学院（Massachusetts Institute of Technology）人工智能实验室成立了计算机视觉学科。自此，人工智能领域中发展得最快的门类ü ü 计算机视觉学科正式诞生。但直到20世纪70年代后期，计算机视觉才得到了正式的关注和发展。这一时期，计算机技术快速发展，计算处理性能得到提高，能处理图像这样的大规模数据。然而因受限于不同行业的需求，计算机视觉问题始终没有得到正式定义，如何解决计算机视觉问题也没有成型的公式。20世纪80年代，计算机视觉基础研究取得重要进展。美国麻省理工学院人工智能实验室David Marr[3]首次提出视觉分层的观点：第1层次为计算理论，研究对什么信息进行计算以及为什么要进行这些计算；第2层次为算法，研究如何进行所要求的计算，即设计特定的算法；第3层次为实现算法的机制或硬件，研究完成某一特定算法的计算机构。David Marr认为视觉是个信息处理任务，从以上3个层次进行理解和研究。随后，计算机视觉持续保持较快的发展趋势，主要经历了2个阶段，一是以流形学习为代表的子空间法，二是目前以卷积神经网络和深度学习为代表的视觉方法。卷积神经网络和深度学习推动着计算机视觉软件和硬件的快速发展、服务收入的快速增长。据Tractica预测，到2025年，全球计算机视觉市场规模将从2016年的11亿美元增长到262亿美元。

1 基于计算机视觉的建筑施工技术应用

计算机视觉支持从制造业到零售业再到金融业、土木建筑等一系列行业，帮助政府和企业扩展边缘、增强人工智能。在土木建筑行业，计算机视觉有广大的应用前景。计算机视觉的对象识别和能力可用于评估混凝土裂缝，识别明显的质量问题或外观缺陷，监测结构位移、识别模态参数以及检测施工作业安全等。

1.1 基于计算机视觉的混凝土裂缝识别

基于计算机视觉具有先进的图像处理能力，通过分析结构表观图像可以识别裂缝及外观缺陷再进行评估，是建筑施工领域结构状态损伤识别的研究热点之一。Yeum等[4]采用一种基于视觉的自动分析方法，通过目标检测和分组进行自动处理，可以探测和评估构筑物中螺栓附近的裂缝。Jahanshahi等[5]调研了基于图像分割等传统图像处理结构裂缝检测技术，通过比较研究结构在不同时期的图像，掌控结构变化情况，实现基于图像识别的结构外观缺陷检测，并通过非接触式遥感裂缝检测方法，量化了裂缝指标。Sakagami[6]研发了一种基于红外热成像技术的无损评估方法，实现结构疲劳裂缝监测和结构完整性评估。Lee等[7]开发了基于视觉的图像采集机器人装置系统，自动识别通过数字图像处理软件采集到的裂缝大小情况。这一先进的自动视觉监控系统提高了检测过程的便捷性、安全性和可靠度，且成本可控。Liu等[8]结合二维图像处理与三维场景重构，对裂缝边缘进行三维定位的视觉检测，为混凝土的健康状况监测评估提供了一种新的方法。Oullette等[9]提出了一种基于遗传算法和卷积神经网络的裂缝检测方法。Makantasis等[10]也是采用2个卷积层和1个全连通层的浅层卷积神经网络，对隧道结构裂缝进行检测。周颖等[11]基于计算机视觉识别技术，采用消费级照相机检测裂缝，通过图像模糊、图像增强、形态学运算、图像畸变校准、连通域标记、孤立点消除、裂缝碎片拼接等进行图像预处理和裂缝识别，并针对提取出的裂缝区域，统计裂缝发展方向，计算其对应的裂缝长度和宽度。综上所述，计算机视觉可以很好地应用于混凝土裂缝识别，显著提高施工工效，有效降低对结构表面进行裂缝识别的经济和时间成本。

1.2 基于计算机视觉的钢构件焊缝识别

计算机视觉技术的应用既能提高钢构件焊接无损检测的准确性，也能量化检测结果，包括焊缝的位置、大小和性质等。Valavanis等[12]通过研究大量焊缝X射线图像几何特征与纹理，提出了一种基于SVM与神经网络的焊缝缺陷检测与分类算法。李尚仁等[13]设计了一种基于机器视觉的焊缝表面下塌缺陷检测系统。通过配置CCD（charge coupled device，电荷耦合器件）相机与辅助光源实时采集焊缝图像，针对焊缝表面下塌缺陷增强、分割、提取、识别进行算法组合，并使用改进的GrabCut算法解决了焊缝下塌缺陷和背景分割的难题，快速精确地识别焊缝下塌缺陷，可代替人工检测。Malarvel等[14]改进了Otsu图像分割算法，精确分割X射线图像焊缝缺陷。杨燕萍等[15]研发了一种基于计算机视觉的钢结构特种焊缝无损检测与缺陷信号识别系统。该系统采用摄像装置获取模拟/数字式的超声波探伤设备显示屏幕上的视频数据。首先，通过图像分割差分阈值算法抽取出波形图像，通过计量静态波的个数自动确定是否分析动态波形。然后，系统自动对回波生成包络线，为实现焊缝缺陷的定位、定量和定性评定分析提供数据。利用计算机的存储功能记录整个测量过程的波形数据，并用三维图像立体视觉表示测量过程中的波形变化情况。最后，根据存储在计算机中的波形分析专家知识表、检测中自动生成的包络线和三维波形变化图像进行数据融合以及综合分析判断，实现钢结构特种焊缝无损检测和缺陷信号自动识别。综上所述，计算机视觉可以很好地应用于钢构件焊缝识别，提高钢构件焊缝的识别和检测效率，加快钢构件工业化生产加工进程，提高钢构件焊接质量。

1.3 基于计算机视觉的位移测量

传统的位移测量技术发展至今已经在建筑施工过程中得到了广泛的应用，近十年来由于位移测量对智能化、便捷性和精准性的要求越来越高，相比许多传统方法，计算机视觉新技术逐渐展现出优越性。计算机视觉应用于位移测量最早出现于20世纪80年代，主要是通过对图像信息的分析，得到结构振动位移测量。Lee等[16]对比研究了分别采用传统位移传感器技术和数字图像处理技术对实验室4层框架结构进行同步振动测量的结果，分析结果表明，2种方法测得的数据拟合相关性较好。Ho等[17]研发了基于多点视觉的基础设施动态位移测量方法。Chen等[18]提出了一种采用数字视频摄像机来检测高层结构变形的方法。该方法以不同频率为工况进行振动测试，具有良好的稳定性和测量精度。对高层建筑的振动测试结果表明：与传统方法相比，基于计算机视觉的位移测量可以反映结构的振动特性，同时此方法可以测量2个方向上的位移，体现了计算机视觉测量技术的优越性。Zhao等[19]在土木工程桥塔结构动态位移的监测中，采用支持向量滤波及KLT特征点匹配追踪相结合的方法。先利用支持向量滤波方法选出大致的区域，再利用KLT实现精确跟踪，同时具备了鲁棒性和精确性。Shan等[20]基于立体视觉坐标系变换原理，提出一种基于立体视觉的位移测量方法。基于该技术进行砌体模型试验验证，分析得到三维位移时程曲线，结果表明，该方法可靠度高，适用于结构三维变形的监测。综上所述，计算机视觉可以很好地应用于位移测量，有利于提高建筑现场场地测量、建筑结构和部件变形控制的精度和工效。通过分析以上学者的研究结果发现，计算机视觉在混凝土裂缝识别、钢构件焊缝识别、位移测量等方面的研究与应用已有很好的基础，但相关理论研究和应用大数据开展相关研究的情况较少。建立混凝土结构裂缝、钢构件焊缝损伤、结构变形损伤等建筑工程施工技术方面的图像数据库，基于大数据和计算机图像识别开展检测识别技术，是探索计算机视觉在建筑工程施工技术领域研究与应用的关键。

2 基于计算机视觉的施工控制与质量管理

2.1 基于计算机视觉的施工人员管理

建筑施工人员的安全管理，是施工安全管理的重点和难点。随着计算机信息技术的进步，基于计算机视觉的施工人员管理得到越来越多的关注和研究。基于计算机视觉技术的施工人员面部信息的疲劳检测为施工人员疲劳状态评价提供了一种有价值的技术手段。崔兵等[21]研究构建了一种基于计算机视觉技术的施工机械操作员疲劳作业检测方法。采用图像处理开源库（dlib）模型标注68个人脸特征点，计算实时的眼纵横比（eye aspect ratio，EAR）和嘴纵横比（mouth aspect ratio，MAR）值，并取前30 s视频作为样本计算出相应的阈值，进而计算出眨眼频率、平均眨眼时长、眼睑闭合时间百分比（PERCLOS）以及哈欠频率这4个指标值，利用归一化方法进行指标融合，依据综合疲劳指标的取值和持续时间采取不同的疲劳应对措施。最终通过试验验证该方法的准确性，结果表明该论文提出的综合疲劳指标能够反映不同情境下检测对象疲劳状态的变化趋势，其眨眼状态判定的正确率为95%左右。Li等[22]提出基于三维人体骨架模型来获取每个关节的三维坐标，结合人体工程力学分析建筑工人的姿态和运动，通过评估动作频率、姿势和持续时间来评估疲劳状态。但这种方式容易受到关节点三维坐标数据误差的影响。Cheng等[23]通过视觉检测技术实时采集、处理工人和施工设备的位置数据，并将相关安全和活动绩效信息实时、可视化地向决策者显示，从而实现对建筑工人安全的管理。Wu等[24]提出基于OpenPose算法以施工人员姿态估计为辅助的安全帽佩戴的检测方法。将人体姿态估计应用于自动检测施工人员是否佩戴安全帽的场景中，设计了整合人体姿态估计与目标检测的自动检测系统。首先将目标检测模型输出的人物边框与对应的人体姿态估计模型输出的人体姿态进行匹配，然后遍历人物边框，根据空间关系将安全帽与人体配对，并根据安全帽与人体面部中心点的空间位置关系判断安全帽是否被正确佩戴。综上所述，基于计算机视觉可以很好地实现对施工现场作业人员的生理健康、行为安全的管理，可以显著提高施工现场的安全水平。

2.2 基于计算机视觉的临边洞口安全管理

临边洞口处的高处坠落事故仍是建筑施工安全事故防范的重点。计算机视觉技术的迅速发展为实现施工现场的自动化安全管理提供了新的解决思路。目前，针对施工过程中的临边洞口安全管理方面的研究，主要集中于探究建筑信息模型（building information modeling，BIM）技术在临边洞口安全管理上的应用，结合BIM和射频识别（radio frequency identification，RFID）技术，对工人定位跟踪，在其靠近临边洞口等危险区域时发出预警，探究在模型里如何正确地设计临边洞口防护，为现场安全管理人员提供可靠的搭设管理思路。王丹爽[25]通过人工操作无人机监测临边洞口，从人、机、材3个角度进行评价，划分安全等级并对施工现场提出整改建议。张根杰等[26]利用无人机自动采集施工现场的照片，通过HOG＋SVM算法实现临边洞口的自动识别，实时反馈存在安全隐患的临边洞口，并根据BIM模型提供的先验信息，判定存在安全隐患的临边洞口的方位，通过有效识别防护措施不到位的临边洞口，对现场安全隐患进行自动化排查，降低高处坠落事故发生的风险。徐峰等[27]从空间建模和人员伤害程度评估的角度出发，对危险源影响空间展开研究，将建筑施工中临边坠落的特性模型化。综上所述，基于计算机视觉可以很好地实现对施工现场临边洞口的安全管理，避免发生安全事故。

2.3 基于计算机视觉的施工现场车辆管理

在大型工地施工现场出入的施工及其他车辆很多，对车辆的管理直接关系到施工现场的秩序和安全。如不对出入施工现场的车辆数量加以控制，会造成施工工地内部拥堵和混乱。针对大型施工工地对车辆统计和监控的需求，刘云波等[28]提出一种基于计算机视觉的施工现场车辆监管方法。首先，采用高斯背景建模方法得到高精度的监管区域背景；然后，运用背景差分结合二值化方法实时提取运动目标，根据车辆尺寸和形状特征识别车辆的运动目标，并通过尺寸和形状滤波等方法对车辆进行分类，识别出工程大车和小型机动车。另外，该研究对车辆速度进行了基于视觉的虚拟检测线法估计，当车车超速时进行抓拍和警告。即在道路中心位置平行设置2条虚拟检测线，当车辆通过其间时，对车辆速度和数量进行统计。试验结果表明，该方法基本达到了大型工地现场对车辆监管的需求。综上所述，基于计算机视觉可以很好地实现对施工现场车辆和施工机械的管理，但相关研究并不多，且缺乏相应的控制机理，将计算机视觉技术应用于施工现场大型施工机械和施工车辆的管理，可以提高现场施工效率。

通过以上学者的研究结果，我们可以发现，计算机视觉在施工人员管理、临边洞口安全管理、施工现场车辆管理等施工控制和质量管理方面的研究与应用已有很好的基础，但关于风险机理、算力算法等方面的研究较少，在建立相关风险耦合模型、场景演化数据库与施工装备结合等方面的研究与应用，对于提高施工控制和质量管理水平具有重要意义。

3 结语

本文从计算机视觉基本概念、发展现状、建筑施工技术、施工控制和质量管理等方面阐述了计算机视觉在建筑工程施工领域的相关研究和应用现状。计算机视觉在建筑工程施工领域的研究和应用仍处于起步阶段，具有很大的发展空间。为使计算机视觉理论与技术更好地应用于建筑工程施工，推动计算机视觉在土木工程学科的发展，需要在以下方面进行系统的科学研究和技术研发。

1）结合建筑工程施工学科特点，建立建筑工程施工的计算机视觉理论体系。

2）采用深度学习等理论深入挖掘结构健康监测、检测、试验、数值模拟等大数据，剖析风险控制机理，发展建筑工程施工大数据挖掘的计算机视觉方法。

3）基于计算机视觉理论的智能建造等相关的软件和硬件装备升级发展。深度融合计算机视觉与建筑工程施工，将推动我国的土木工程进一步向绿色化和智能化的可持续方向发展。