基于计算机视觉的预制墙板临时支撑安全合规性检查

孙亚康，郭红领，罗柱邦，张智慧

（清华大学 建设管理系，北京100084，E-mail：hlguo@tsinghua.edu.cn）

国内在大力推进装配式建筑发展的背景下[1]，其施工过程中的安全问题也随之出现。高处坠落和物体打击仍然是装配式建筑施工中伤害最大、占比最高的事故类型，并且施工现场中最显著的事故致因就是“不稳定的结构”[2]。在竖向构件（如预制墙板）临时支撑安装过程中，构件就处于一种不稳定的状态。然而，为了追求速度，施工现场经常出现不符合相关标准[3]中构件安装要求的作业情况。可见，在竖向构件安装过程中，有必要对其临时支撑的安全合规性进行检查，以有效防范上述风险。

预制构件安装是装配式建筑施工中的主要作业类型，目前对于安装作业的安全管理仍然以人工检查和现场旁站为主，部分学者也从事前预防的角度提出了一些解决方案。然而，相关研究主要利用数学模型进行施工现场风险的量化分析[4，5]、等级评估[6，7]、监测和预警[8]等，缺乏对施工现场实时作业过程安全性的监控，同时也无法聚焦到具体的作业场景。快速发展的计算机视觉技术为此类监控提供了一种有效手段。从计算机视觉技术辅助施工安全管理的方法来看，可以分为对象识别、对象跟踪及动作识别[9]，其中，对象识别是后两种方法的基础，旨在识别施工现场的各种实体对象，如工人[10，11]、施工器具[12，13]、施工机械[14，15]、建筑结构[16]等。具体到建筑构件的识别上，Zhu Z 等[16]尝试从构件的几何特征出发，利用Canny 算子、霍夫变换实现了对混凝土柱的检测，为大型混凝土表面缺陷检测提供了基础；Hou 等[17]采用深度学习算法开发出一种结构构件检测方法，可同时检测同一场景中的多个结构构件，在图像质量高时可达到95%的准确率。在装配式建筑场景中，Zhou Y 等[18]从未来自动化吊装作业的实际需求出发，实现了预制构件的准确检测和定位。综上，相关研究在施工现场对象识别方法上具有参考价值，但尚未将计算机视觉引入具体装配式建筑场景的安全管理中，因此有进一步研究的必要。考虑到预制混凝土墙板是装配式施工现场最为常见且具有代表性的竖向构件，本文将以此类构件为例，提出一种基于计算机视觉的预制墙板临时支撑的安全合规性自动检查方法，以提升预制墙板安装的安全性，并为其他类型预制构件安装的合规性检查提供参考，从而推进装配式建筑的健康发展。

1 研究方法

本文将结合《装配式混凝土建筑技术标准》[3]和计算机视觉实现预制墙板临时支撑的安全合规性检查。根据标准对预制墙板安装临时支撑的要求，斜支撑不宜少于两道，每道斜支撑包含上部和下部斜支撑，且上部斜支撑的高度不应小于墙板高度1/2。可见，对于一面预制墙板，安全合规性检查的关键在于识别其对应的斜支撑数量及上部斜支撑的支撑点位置。而这些可以通过基于计算机视觉的对象识别方法来实现，且可以满足施工安全监控的实时性要求。基本理念是：通过计算机视觉识别出安装场景中的要素（即墙板和斜支撑）及要素之间的关系，如共存关系和位置关系[19]。考虑到预制墙板和斜支撑的轮廓比较简单，只需准确找到对象的外接矩形框即可实现对两类对象数量和位置的识别，故本文选用YOLO-v5 网络来构建预制墙板与斜支撑的识别模型。

1.1 图像采集与处理

图像采集与处理是构建对象识别模型的基础。图像采集需要根据模型训练的需求，保证图像数据的数量和质量。一般来说，采集的数据样本量越大，模型会有更好的效果，当样本较少时可以合理利用数据增广的方式扩充数据集。对于采集质量而言，图像的分辨率要达到一定的要求，同时在采集过程要保证数据的多样性，即尽量覆盖不同的拍摄角度和场景。然后，通过图像处理，一方面筛除一些场景高度相似、拍摄质量不佳等影响训练效果的图像，并统一图像的格式和分辨率及命名；另一方面进行图像标注，具体方式结合模型训练和对象识别的需求选择。

1.2 模型训练与评估

模型训练与评估是对象识别模型的关键。根据YOLO-v5 模型训练的一般做法，本文将采集的图像按照一定比例分成训练集、验证集和测试集。训练集用于模型训练，通过不断的调整模型参数，从而找到针对于训练集表现最优的模型；验证集用于对被选择的模型进行初步检验并据此调整模型的超参数；测试集用于测试模型最终的效果。3 个集合相互排斥，以保证训练好的模型具有良好的泛化能力。

式中，TP（True Positive）是针对某类对象的识别结果中正确的数量，FP（False Positive）则是其中错误的数量，FN（False Negative）是未被识别出的某类对象的数量。

mAP则是由不同对象所对应的AP值，通过计算平均值的方式得出。计算方式如式下：

式中，N为对象的类别数；APi为其中第i个对象的AP值。

需要说明的是，每次测算出的mAP值是在交并比（Intersection over Union，IoU）设置为某一阈值时所计算出的。常用的评价指标有mAP@0.5，表示在IoU 阈值设置为0.5 时的mAP。

1.3 合规性检查方法建立

合规性检查实质是确定每面预制墙板与其对应的斜支撑是否满足标准所要求的数量及位置关系，实现这个过程的关键在于YOLO-v5 对象识别模型的检测结果。在结果中，预测框用以表示对象在图像中的位置，同时会被标上类别标签。通过对大量斜支撑安装合规的场景图像进行分析，总结其预制墙板和斜支撑的预测框之间的几何关系规律，从而反向推导出斜支撑安装合规场景中两类对象的预测框位置需要满足的各种条件。最终，整理出判定上述条件成立的顺序和逻辑，建立安全合规性检查方法。

2 对象识别模型构建

2.1 图像采集与处理

（1）图像采集。本文用于模型训练的所有图像均是在装配式施工现场实地拍摄所得，项目位于北京市丰台区，为装配式高层住宅小区。采集工作分为摄像和照相两种方式。其中，摄像方式主要是对预制墙板的整个动态吊装过程进行记录，然后再间隔抽取视频中的图像帧。在视频拍摄中，设置了一个固定机位和一个移动机位，以更好地获取在不同角度拍摄到的场景图像。

（2）图像处理。通过筛除场景高度相似和拍摄质量不佳的图像，得到有效图像共计1427 张。由于图像分辨率超出了模型训练所需要的分辨率，为减少模型的训练时间，在不影响训练质量的前提下，将所有图像进行压缩，即将所有图像纵横比调整至4:3，分辨率统一为640*480，并统一命名。图像筛除和调整完成后，对图像进行标注。按照YOLO-v5 模型的训练需求，选择二维边界框标注方式在Labelme 中对采集到的图像进行统一标注。

2.2 模型训练与评估

本文模型训练所划分的训练集、验证集和测试集的数量分别为1167、130 和130。通过不断在训练集上优化模型，得到在验证集上表现最优的模型用于最后的测试。在0.6 的置信度阈值下，预制墙板和斜支撑的识别查准率与查全率如表1 所示。通过对比可以看出，本模型对预制墙板的识别效果与Hou X L 等[17]对建筑结构构件的识别效果较为接近，而对斜支撑的识别效果则相对较弱。究其原因，一是本文识别的是施工现场的构件，杂乱的环境影响了模型的效果；二是斜支撑的面积小，特别是在远景图像中会成为较难识别的“小对象”，这进一步导致模型对斜支撑的识别精度较低。可见，本模型在对象识别上的效果是可以接受的。

4.3 精心驾驶这是提高机插秧质量和夺取高产的重要环节。在插秧作业时，一是插秧机要保持匀速前进，不能忽快忽慢或频繁停机。作业行走路线要保持直线性，行走中尽量不用捏转向手把或猛烈扳动扶手架方法来纠正插秧机前进作业的直线性，以防急弯造成漏插或重插。二是边插秧边观察，发现问题，及时解决排除。同时注意送苗辊在苗箱槽口的工作情况，若发现槽口有秧根或粘土，要及时停机清理，以免影响插秧质量。三是初装秧苗或秧苗全部插完后，必须把插秧机苗箱移到最左或最右侧，以保证栽插质量。

表1 对象识别的查准率和查全率与其他研究的对比

图1 展示了最优模型的P-R 曲线，可以看出在IoU阈值设置为0.5 时，预制墙板（Wall）和斜支撑（Inclined Support）的平均精度AP分别为0.986 和0.920，两类对象的平均精度均值mAP@0.5 为0.953。这说明模型具有良好的准确度和泛化性能，能够满足之后安全合规性检查中对象识别的要求。

图1 最优模型P-R 曲线及mAP 值

3 临时支撑安全合规性检查方法

在预制墙板落吊之后必须完成临时支护作业，否则不允许摘钩并进行下一构件的吊装工作。同时，在作业面内相机近景所能覆盖的区域，不可能同时出现两面或以上预制墙板同时吊装的情况。因此，对预制墙板临时支撑安全合规性的检查，重点在于判断处于安装过程中的一面预制墙板是否按照标准要求完成临时支护作业。基于以上分析，本文将合规性检查限定于仅有一面完整预制墙板的图像，建立预制墙板临时支撑安全合规性检查的基本流程，如图2 所示。

图2 预制墙板临时支撑安全合规性检查流程

首先，需要针对输入的图像，调用对象识别模型检测出场景中存在的预制墙板和斜支撑。然后，基于两类对象的预测框，计算出预制墙板和斜支撑之间的从属关系及平面位置关系。从属关系即判断场景中哪些斜支撑属于该墙板，从属关系的判断主要通过判断斜支撑预测框与预制墙板预测框是否相交而定。当至少有4 个斜支撑从属于一面墙板时，再进一步对端点位置的合理性进行检验。平面位置关系即标准中要求的第二个条件，上部斜支撑的支撑高度不应小于墙板高度的1/2。可以通过上部斜支撑的端点位置和墙板的顶点位置粗略计算支撑高度相对于墙板高度的比例，从而判断第二个条件是否满足。

4 方法测试与验证

4.1 测试方案

（1）测试环境。本文所用的安全合规性检查程序采用Python 开发，在Win10（64 位）操作系统中运行，CPU 为i7-10870H 的八核处理器，主频2.20 GHz，显卡为Nvidia GeForce RTX 3080（GPU），内存32GB，硬盘容量2TB（固态）。

（2）测试数据。本文按照预制墙板安装场景实际的识别需求，选取或截取了共99 张典型的图像进行测试，每张图像中最多包含一面完整的墙板。这些图像拍摄于3 个装配式建筑工地，以便尽量考虑工地上实际可能出现的各种情况，覆盖了不同的墙板类别、拍摄角度、光照条件、遮挡情况等因素。从实现难度上讲，图像中预制墙板支护合规需要满足很多条件，所以将支护合规的图像识别正确更具有挑战性，而将支护不合规的图像识别正确则不能说明算法的有效性。因此，本次用于测试的数据集中绝大部分是支护合规的图像，只有少量支护不合规的图像。

（3）测试方法。本测试即对图像中存在的完整墙板进行临时支撑安全合规性检查。如果该墙板支护符合规范，那么图像中所识别到的墙板所在区域会被打上标签“Y”，否则会被打上标签“N”。当然，如果程序识别出待判定墙板两侧的不完整墙板，或者由于误识别原因识别出其他墙板，那么也会对这面墙板进行检查并打上标签。具体的测试方法为：利用本文开发的“安全合规性检查程序”对上述99 张图像进行逐张检测，输出标记了检查结果的原图；进而根据对每张图像中完整墙板的检查结果，计算整体的检查准确率。

关于实时性的测试，对上述99 张图像的原图进行检查，不保存标记有检查结果的原图，而只返回每张图像的检查结果。通过5 次测试，计算其检查速度的平均值。

4.2 测试结果

对于准确性测试，检查结果混淆矩阵如图3 所示。可以看出，99 张图像中，共有70 张图像的检查结果准确，即55 张合规和15 张不合规，其余29张则将实际合规的图像判别为不合规，准确率为70.7%。如前文所述，由于合规需要满足很多条件，因此只有在极特殊情况下才会将不合规场景判别为合规，本测试也证明了这一点。可见，在实际应用中，程序在很大程度上不会将不合规的危险场景漏报，而可能在小概率下将合规的场景错报，故该程序能够满足实际应用的需求。

图3 检查结果混淆矩阵

对于实时性测试，检查共进行了5 次，平均检查速度为10 fps，超出Fang Q 等[20]提及的标准（5 fps），完全满足施工现场安全监控的实时性要求。另外，本测试使用的图像像素较高（平均2000*2000左右），而在实际施工安全监控中只需针对单面墙板拍摄近景图像即可满足要求，所以在实际检查时可以压缩图像以实现更高的检测速度。

4.3 结果讨论

为了提升本文所构建的安全合规性检查方法的性能，分析判别错误的原因，并提出改进措施。对于判别错误的29 张图像，其错误原因的统计结果如表2 所示。表中统计的原因数量不与判别错误的次数一一对应，因为一次错误判别可能会涉及多个原因。可以看出，由于遮挡或者YOLO-v5 对象识别模型自身准确率原因所导致的斜支撑漏识别问题最为严重。一方面，因为斜支撑比较细，特别是下部短支撑在距离较远时属于小对象，在对象识别中具有更大的难度；另一方面，斜支撑的面积较小，更容易产生大面积遮挡从而导致漏识别。此外，相对于正对墙面拍摄而言，拍摄偏离的角度过大也是导致判别错误的主要原因。

表2 判别错误的原因统计

针对上述问题，可从以下两个方面进行改进。一是针对YOLO-v5 对象识别模型，增大其训练集的数据量及丰富程度，包括针对性地加入有更多遮挡情况的图像数据，以及从较大角度拍摄的墙板图像，从而进一步提高模型的泛化能力和鲁棒性；二是在施工现场的实际应用中，采集图像可以尽量正对墙板，从而提高对象识别的准确率。

此外，从整体测试结果来看，该合规性检查方法在出现遮挡、光线变化、周围墙板斜支撑干扰的情况下，仍然表现出了较高的鲁棒性。

5 结语

本文基于YOLO-v5 网络开发了适用于预制墙板及其斜支撑的识别模型，据此提出了一种预制墙板临时支撑安全合规性自动检查方法。测试结果表明：预制墙板识别的查准率和查全率分别达到了97.7%和92.0%，斜支撑识别的查准率和查全率分别达到了95.0%和83.2%，两类对象的mAP 达到95.3%；在充分考虑施工现场各种不利因素情况下，检查方法的准确率达到70.7%，并且在一些复杂场景中仍然拥有令人满意的效果。可见，本文构建的预制墙板临时支撑安全合规性检查方法是适用的、有效的，可为装配式施工安全管理提供有效支持。