基于深度学习的起重机械螺栓识别方法研究

陈松

（福州大学物理与信息工程学院，福建 福州350108）

1 起重机械的螺栓检测问题分析

随着钢结构在高层和超高层建筑中迅速发展，被大量应用在土木结构工程中。钢结构采用钢板逐渐代替了钢筋混凝土，比钢筋混凝土具有更高的强度和更好的抗震性能。而且其组件可以在工厂预制，从而大大缩短了施工周期。作为起重机械中重要的接头，高强度螺栓广泛用于钢结构中。与其他起重机系统相比，在建筑工地上建造高层建筑时，塔式起重机具有不可替代的优势。随着塔式起重机日益广泛的应用，其安全问题也引起了关注。如今，几乎所有塔式起重机仍然依靠手动操作，这不仅需要经验丰富的操作员，而且不能保证准确的定位或高效率。此外，人工操作具有重大的潜在风险，轻微的错误可能导致严重的事故和无法弥补的损失。为了确保起重机械的安全使用，国家质检总局批准颁布的《起重机械定期检验规则》对建筑工地使用起重机械的检测和使用进行了规定。

1.1 塔式起重机在使用过程中应经常进行周期性检测与日常维护。塔式起重机、升降机、流动式起重机每年检验1 次。对那些易损部件必须时常检查或更换，至少每隔半个月左右检查一次。尤其要经常检查塔身连接的螺栓是否松动。

1.2 检查主要受力结构零件的焊接是否有裂纹，结构是否变形损坏，金属疲劳强度等。如果检查中发现异常情况，应立马进行处理。塔吊在每工作80 小时后应进行一次由上而下地检查、紧固两侧的螺栓，直至全部检查、紧固完成。且塔吊司机在交接班时，也应做好各连接部位螺栓的紧固情况记录。

目前，自升式塔式起重机是建筑工地塔式起重机的首选。塔吊采用高强度螺栓连接并紧固标准节，各标准节承载着螺栓预紧力引起的接合面摩擦力。理论上讲螺栓不能抵抗剪力。而松动的螺栓既受拉力又受剪力。塔架支撑着塔式起重机的全部组件传递的轴向压力，水平力。因此，在塔吊螺栓连接松动后，塔式起重机标准截面的接触面的摩擦力会受到载荷的影响,有减少甚至丢失的现象[1]。此时，冲击载荷会使得塔身断裂，引起安全事故。常规的结构健康监测方法主要收集加速度、位移和应变。然后通过小波变换和贝叶斯变换对这些特征进行分析，得到损伤的位置和大小。然而，这些方法依赖于大量的分布式传感器，并且特征提取过程需要干预。损坏特征参数直接确定损坏检测的结果，而目前大部分塔吊巡检采用的是人工爬塔检查。

基于上述塔吊巡检过程中存在的问题，用深度学习识别螺栓松动将成为提高巡检效率、解放劳动力、减低塔吊维护费用的必然趋势。塔吊螺栓松动识别的关键步骤就是先识别出螺栓，需要将螺栓从复杂的环境中快速准确的识别出来，获取螺栓的大致位置信息。

近年来，随着深度学习的迅速发展，各种算法已经出现，具有高精度分类和识别结构特征的能力。这样可以实现自动化，并且无需手动处理和比较处理过的图像结果与假定的恒定基线之间的需求。事实上，到目前为止，深度学习已经广泛应用于自动驾驶[2]，以及文学翻译、医学诊断[3]，数据挖掘取得了显著的成果。特别是由于卷积神经网络（CNNs）的显著性能，在图像分类方面取得了显著的成就。因此，将深度学习与机器视觉相结合，可以很容易地应用于土木工程结构的损伤识别。

在此基础上，文章提出了一种基于深度学习的起重机械螺栓识别方法。为后续寻求出高精度、准确的损伤检测，实现自动、端到端、螺栓松动损伤检测提供了基础。

2 图像数据处理

本文选用无人机拍摄的60 张塔吊螺栓照片作为训练图片。数据集从不同角度不同光照的情况下拍摄塔吊螺栓照片，来模拟工地施工时户外的复杂环境，以提高识别的准确度。

图1 塔吊螺栓

3 系统设计

基于百度的图形化深度学习平台EasyDL，训练塔吊螺栓检测模型。该平台采用PaddlePaddle 深度学习框架，结合自动搜索模型技术（Auto Model Search），保证模型效果领先训练物体检测模型，支持选择多种算法，可满足不同场景对性能、效果的不同需求[4]。目前，EasyDL 基于少量数据就能获得出色性能和模型效果，可支持创建图像分类、物体检测、图像分割等模型。

3.1 主要技术手段

AI Workflow 是百度用于机器学习从培训到上线构建工作流引擎。EasyData 提供覆盖采集、清洗、标注、加工等一站式数据处理功能。百度AI 开放平台为了满足人们在图像识别领域的个性化需求，结合了AI 模型训练与大数据的工程系统。它包含了存储培训数据，ETL（提取，交互式转换和加载），启动模型培训任务，调度培训集群资源，同步培训状态监视，自动部署模型，发布上线服务等全部环节。

通常，AI 工作流的主要过程可以细分为四个步骤：第一步创建系统模型，确定模型功能，再将准备好的数据集进行图像规格化，尺寸裁剪和数据增强等。第二步是训练模型，将处理好的数据集提交上传。第三步在模型训练好后，验证模型的效果，以云端API 的方式进行部署，用上传的数据一键训练模型并校验模型效果。第四步是服务的启动或训练对象的部署。在此过程中，我们可以将训练后的模型加载到云中并提供外部服务，也可以将其打包为一组移动开发工具包，以进一步集成到其他任务提供接口。

3.2 EasyDL 训练步骤

该系统主要基于对象检测技术来训练塔吊螺栓监控模型。对象检测模型可以识别图像上的对象的名称、数量和位置，并且可以识别图像中具有多个对象的场景。当用户进入平台后，一开始先自定义创建模型和数据集，上传螺栓图像，并在数据集管理中标记图像。然后，基于百度PaddlePaddle 框架进行模型训练并检验模型结果。最后，可以选择将模型上线以获取API，步骤如图2 所示。

图2 EasyDL 训练步骤

3.3 主要参数说明

mAP 作为评估模型效果的指标。在不同的阈值下进行多次计算或实验后，可以得到每种类型的P-R 曲线，计算出曲线下的面积就是AP 的值。“mean”是指平均每个类别的AP，结果是mAP 值。mAP 值越接近1，说明创建的模型效果越好。对不同的检测对象，将计算出不同的准确性和召回率。召回率是代表正确识别的对象数与实际物体数之比，准确度是代表正确识别的对象数和识别对象总数之比。

4 测试结果分析

当选择的应用程序类型为云服务且版本为v1 时，该模型最终训练结果的mAP 值高于99%，其训练准确性也高达92.3%，各训练参数值如表1 所示。

表1 云服务测试结果

对云服务模型识别螺栓的效果如图3 所示，实验结果表明，该训练模型可以更准确地识别图像中的螺栓，并在图中标记出螺栓的位置和螺栓的数量。在Easy DL 训练模型的基础上，通过扩展训练，它可以提高不同情况下螺栓的识别能力，并支持公共云部署、本地服务器部署、常规小型设备部署，以满足各种场景的需求，用户可以根据自己需求部署。

图3 云服务模型检测结果

5 结论

目前，塔式起重机的螺栓检测主要基于人工定期检查，使用深度学习来识别螺栓是不可避免的趋势。本文基于百度定制的图像识别系统平台Easy DL，为了验证该方法的可行性和实用性，设计并完成了一系列实验。对螺栓识别模型进行了训练。基于深度学习的螺栓检测方法操作过程方便简单、识别速度快、检测精度高，为以后对起重机械设备的螺栓松动识别技术的研究奠定了基础，也为促进AI 在塔吊螺栓检测方面的应用提出了新的思路。