塔吊施工重物坠落情景智能感知方法研究

冯凯伦，唐一栋，梁 森，刘昌永，王要武

（1. 哈尔滨工业大学 土木工程学院，黑龙江 哈尔滨 150001，E-mail：kailunfeng@hit.edu.cn 2. 中建四局第一建设有限公司，广东 广州 510000）

塔吊的使用贯穿于建筑施工作业全过程，是现代施工技术依赖的主要机械之一。但目前塔吊相关的安全事故不断发生，成为了施工现场主要的事故来源。根据中国住房和城乡建设部发布的《房屋市政工程生产安全事故情况的通报》，2015～2019 年国内共发生工程生产安全事故3275 起，其中与起重相关的事故257 起，占事故总数的7.85%。Tam，VWY 等[1]研究发现，人为因素是影响塔式起重机安全性的主要因素。进一步，Zhang，X 等[2]通过统计分析2013～2018 年中国塔式起重机事故调查报告共141 份，总结出塔吊事故的主要原因包括：工人的错误行为、安全培训不足、安全检查不充分、安全意识低下、安全工程师管理不善等。

在安全管理理论中，风险识别与感知是安全管理中重要环节，在风险被识别与感知之前，安全管理工作难以进行[3]。传统的建筑施工现场安全管理完全依赖于安全管理人员在现场进行监管，但“人容易犯错误”，与物相比，人的行为有较大的自由度，且人会因为疲劳而犯更多错。计算机视觉[4]被认为是补充人工观测的有效解决方案，未来可以帮助自动执行目前需要大量人工参与的目视检查任务。随着施工现场信息化设备的普及，摄像无人机、监控摄像头等设备已经可以实时地在施工现场中采集大量的可视化数据，这些数据中包含着施工过程中的大量有价值信息。在此背景下，计算机视觉技术能够提取塔吊使用过程中的可视化数据，故障树分析技术能够对各种场景进行判断，塔吊危险情景的实时自动感知成为了可能。

为提高塔吊使用过程安全管理效率，促进施工过程安全管理智能化，提出了集成计算机视觉技术和故障树分析技术的塔吊施工重物坠落情景智能感知方法。考虑到上述情景在施工现场复现可能会引起安全风险，利用提出智能感知方法对塔吊重物坠落危险情景展开了实验室研究。

1 塔吊施工重物坠落情景与抽象

1.1 情景分析

在塔吊起吊重物的过程中，重物坠落是最常见的安全事故之一。当起吊的重物脱离吊钩的一瞬间失去了牵引力的作用，会在重力作用下坠落，若此时下方坠落区域范围内有工人未离开，便存在起吊物坠落伤人的可能性。《塔式起重机操作使用规程》（JG/T 100-1999）规定，塔吊在起升或下降重物时，重物下方禁止有人通行或停留。因此，塔吊施工重物坠落的危险情景可以抽象为如图1 所示。若能对此危险情景进行智能感知，便能有效地避免事故的发生。

图1 塔吊施工重物坠落情景抽象

1.2 坐标系构建

为直观刻画危险区，描述重物掉落情况，在此建立一个以双目系统中左相机为坐标原点，以重力方向为Y 轴正方向，以左相机到右相机的连线方向为X 轴正方向的右手直角坐标系（见图2），Z 轴正方向与X 轴与Y 轴方向向量的矢量积方向一致。

图2 塔吊施工场景现实坐标系

2 基于计算机视觉的施工现场感知方法

2.1 空间距离信息双目视觉感知

（1）视觉系统中的坐标系。计算机视觉在距离信息的感知过程中会涉及世界坐标系OW-XWYWZW、相机坐标系OC-XCYCZC、图像坐标系o-xy和像素坐标系uv，图3 是视觉系统中的坐标系[7]。世界坐标系是描述目标物在真实世界中的位置的空间右手直角坐标系；相机坐标系用于从相机的角度描述物体位置，通过旋转和平移两种刚体运动方式与世界坐标系互相转换。图像坐标系用于描述相机成像的过程中各成像点由相机坐标系到图像坐标系的投影透射关系。像素坐标系描述物体在数字图像上的坐标，是计算机从图像内直接获取位置信息的坐标系。

图3 视觉系统中的坐标系

（2）基于视差法的位置信息感知。图4 为一个标准的平行式光轴双目视觉系统模型[8]。点（XC，YC，ZC）为实际空间中的一点P在相机坐标系中的坐标，该点左右相机所成图像中的像素坐标分别为Pl（ul，vl）和Pr（ur，vr），由于两个相机平行安置，可知vl=vr。由三角形相似原理可得P的坐标计算公式：

图4 平行式光轴双目视觉系统模型

（3）坐标系变换。相机坐标系与本系统所定义的施工场景现实坐标系原点重合，只存在旋转变换关系，坐标系转换关系如图5 所示。通过双目相机系统上安装的三轴加速度计获取相机姿态，求解由相机坐标系到施工场景坐标系的旋转矩阵，以此完成相机坐标系到施工场景现实坐标系的转换。

图5 坐标系变换方法

2.2 施工场景动态目标实时检测

在利用计算机视觉技术检测复杂施工现场危险情景时，识别作业人员、建筑材料及施工机械等目标在现场监控图像中所处的位置是首要工作。基于深度学习的目标检测技术可通过建筑工地的数字图像准确地检测和识别移动物体（如工人、装载机、挖掘机、起重机等）[9]。建筑施工现场移动目标数据集（MOCS）包含了来自174 个建筑工地的41668 张图像[10]。

将MOCS 数据集在YOLOv5s 模型上进行训练，将数据集中共41668 张图像样本划分为训练集19404 张，验证集4000 张，其余为测试集。测试集不参与训练，图6 为YOLOv5s 模型在MOCS 数据训练后所得权重在测试集图像上的检测效果。

图6 目标检测效果验证

3 基于故障树的塔吊施工重物坠落风险辨识模型

3.1 塔吊施工重物坠落的故障树模型

使用故障树分析的目的是寻找导致施工事故发生的致因[11]。在施工过程中，事故的发生虽然都存在一定的偶然性，但事故发生的背后却无一例外存在必然因素。

根据《塔式起重机操作使用规程》（JG/T 100-1999）规定，塔吊在起升或下降重物时，重物下方禁止有人通行或停留[12]。在此情景中，判别因素主要有两个：X1：吊钩上有重物；X2：下方危险区域有人停留。若两个条件均满足，则存在风险发生的可能，以此构建图7 所示故障树模型，该故障树所有底事件信息均可通过计算机视觉获取。

图7 塔吊施工重物坠落风险辨识故障树模型

3.2 计算机视觉－故障树的重物坠落感知

由图7 可知，实现自动感知“塔吊起吊重物坠落伤人” 这一危险情景的关键因素在于自动感知塔吊是否运行及感知重物与工人所在位置。在实际使用过程中，对模型做出如下简化：

塔吊作业过程可简化为一个刚体运动模型，根据运动学理论，重物掉落位置与其脱钩前的运动状态有关。如图8 所示，为降低模型复杂度，提高模型易用性，本系统将重物及人简化为质点，被提起重物—人连线的方向与重力方向的夹角为θ，被提起重物与下方危险区域边界上点的连线为θd。综上所述，本方法可根据角θ是否在（0，θd）范围内判断相机视野内的人员是否处于危险区域，若0θθd，则该塔吊系统存在起吊物脱钩坠落伤人风险。

图8 简化系统模型

4 实验过程与结果验证

为验证提出的基于计算机视觉和故障树分析方法的有效性，在实验室环境下进行试验验证。硬件系统包括双目相机和计算机。相机型号为ZED2i，计算机主要配置为Intel i7-11800H 2.30GHz CPU，Nvidia GeForce Rtx 3070 Laptop GPU，16G 内存。危险情景感知系统利用Python 语言编程实现。

4.1 感知模型建立

（1）位置感知模型。相机标定的目的是获取三维世界坐标与图像坐标的对应关系，求解出相机的内部参数和外部参数。采用张正友法标定获取相机标定[13]。参数如表1 所示。

表1 相机参数

表中，Al是左相机内参矩阵；Dl是左相机误差系数；Ar是右相机内参矩阵；Dr是右相机误差系数；R是旋转矩阵；t是平移向量。

通过在相机所获取图片的像素坐标系中取3 个不同位置的点（见图9），采取表1 中的相机参数。本文使用基于SGBM 立体匹配的双目测距算法进行测距[14]。这里规定进行100 次测距试验，求得平均距离、平均误差及平均误差的方差如表2 所示。

图9 测距点选取方案

表2 测距实验记录（距离单位：mm）

（2）目标类型感知模型。在实验室环境下，使用佳能M6 mark 2 相机搭配15～45mm 变焦镜头在不同角度共采集包含塔吊吊钩、提起重物模型（以木材模型为例）及人物模型的图像，为提升图像数据样本量，增强模型的鲁棒性，在此进行数据增强，最终获得包含595 张图像的数据集。

利用LabelImg 数据集标定工具对所有图像数据集手动标定人（Person）、重物（Wood）及塔吊吊钩（Crane Hook）三类目标。

将自制塔吊风险感知系统数据集分别在YOLO v5s、YOLO v5m、YOLO v5l、YOLO v5x 等4 个模型中进行训练（见表3），模型均设置Epoch 为300，选取SSD 优化器。

表3 目标检测模型训练结果

表中P 为精确率（Precision），表示检测结果中实际为正样本的数量占所有被识别为正样本的数量中比例；R 为召回率（Recall），表示检测结果中，实际为正样本的数量占所有实际为正样本的数量比例；IoU 表示目标检测工作中，预测框（Predicted Box）和真实框（Ground-Truth Box）之间交集与并集比较所得的值；mAP 是均值平均精度（mean Average Precision），用于衡量目标检测模型识别多类目标时的准确性。

根据模型训练结果可知，4 个模型在此构建的数据集中表现差异不大，因此在保证精度的前提下选取检测速度最快、训练耗时最低的YOLOv5s 模型作为本文的主要方法。

4.2 结果验证

为检验系统的有效性，实验室中设立两种情景并分别检测。情景一中，塔吊#1 下方放置两个人物模型，但吊钩上不放置重物，塔吊#2 下方不放置人物模型，图10 为情景一检测人结果。情景二中，塔吊#1 吊钩上提起重物，下方危险区域放置人物模型，塔吊#2 下方不放置人物模型，图11 为情景二检测结果。

如图10 和图11 所示，两个情景中均识别出了目标角度数据，可以判断两种情景是否为危险情景，识别频率约为2 次/秒，满足实时性的要求，故该方法可以对危险情景进行智能感知。

图10 情景一：非危险情景

图11 情景二：危险情景

5 结语

本文以塔吊使用过程重物坠落危险情景为例，结合计算机视觉技术、安全管理理论及故障树分析方法，提出了一套基于计算机视觉和故障树分析的智能感知方法。施工风险来源于施工过程中人的不安全行为、物和环境的不安全状态。因此，在施工场景中需要感知相关的目标类型、目标位置，以及它们的相关关系。本文构建了一套“空间距离+动态目标” 的计算机视觉感知模型，可以对施工现场的信息进行实时感知。此外，本文将视觉信息输入到故障树，作为故障树分析的底事件，以实现故障树分析和计算机视觉技术的有机结合，实现塔吊使用过程重物坠落危险情景智能感知。

本文为实现建筑施工危险情景的智能感知提供了重要的理论与方法支持。该方法不仅适用于塔吊风险感知，也适合于其他类型场景施工风险的实时感知，具有广阔拓展空间。在未来的研究中，可对事故发生机理进行深层次剖析，实现从风险感知到风险预测的发展，最终达到风险控制的目的。