特种设备高空结构件无人智能检测技术研究

周前飞 丁树庆 冯月贵 庆光蔚 胡静波

（南京市特种设备安全监督检验研究院 南京 210000）

1 引言

随着经济社会的发展，特种设备逐渐向大型化、高速化、专业化的方向发展，例如振华重工22 000 t龙门吊、徐工2 600 t 超级移动起重机、中联重科T1200-64W 超大型平头塔式起重机、超大型过山车和摩天轮、长跨距客运索道、架空敷设压力管道、超大型LNG 储罐等，对于这些室外大型特种设备高空不易达部位的金属结构及钢丝绳、滑轮等零部件，传统人工检测方法存在检测盲区、高空作业危险、劳动强度大、效率低等问题。目前，大型特种设备高空结构件无人智能检测主要有地面高清摄像设备远距离拍摄检查、爬壁机器人或缆索机器人接触或贴近检测、无人机智能检测3 类方法，其中无人机智能检测具有非接触、高精度、高效率和远程可视化等特点，尤其适合超大型特种设备高空结构件远程检测，国内外很多检验机构、高校和使用单位，纷纷掀起了以无人机为载体的大型特种设备高空结构智能检测技术研究与应用热潮。

南京市特检院在面向起重机的倒置式无人机检测系统设计[1]，路径规划与自动巡检[2]，裂纹[3]、腐蚀[4]和螺栓脱落[5]等缺陷识别方面有深入的研究。上海市特检院Chen Qingcheng[6]设计了一种基于无人机的起重机轨迹规划和三维建模的高效检测方法，通过非结构化工作环境的三维建模过程实现无人机自主飞行、轨迹规划、避障等智能检测功能，更容易发现起重机钢结构的焊接、裂纹等缺陷。浙江省特科院Tian Wei等人[7]搭建了基于无人机的热管巡检与安全管理系统平台，实现了飞行控制、自动巡视、视频推送直播等功能，能够自动分析采集到的图像数据，记录并定位过热现象。Maboudi 等人[8]利用无人机进行基于图像的集装箱起重机表面损伤检测，使用Na ïve 贝叶斯分类器对图像进行分类，对锈蚀等关键缺陷进行识别，检测召回率达到87%。Bobbe 等人[9]使用基于无人机的自主航空摄影测量来检查轨道式龙门吊轨道，为了避免起重机遮挡轨道图像对摄影测量过程的不良影响，设计了几种智能无人机任务规划策略，并在仿真环境中进行了测试，以最大限度地缩短飞行时间。

甘肃省特检院敬东等人[10]利用无人机对大型起重机进行高清图片和视频的拍摄，通过红外热成像快速锁定缺陷，搭载动刚度检测仪获取起重机工作时的振动频率。福建省特检院潘健鸿[11]、杨静[12]采用搭载高清变焦摄像头、激光测距仪、GPS 定位控制系统的无人机检测方案，利用改进的八方向Sobel 算子处理裂缝图像，通过边缘分析提取出裂缝位置。浙江大学王鑫远等人[13]根据无人机位置姿态信息进行坐标转换，进行塔身垂直度检测等。上海交通大学孙东晓等人[14]利用旋翼无人机搭载任务检测设备，对大型起重机表面锈蚀与裂纹进行检测。广东省特检院郭晋等人[15]通过无人机搭载可见光相机和红外热成像相机对特种设备和危化品储存容器进行巡检，不仅可实现全方位的目视检查，还可有效发现温度异常、介质泄漏、火灾烟雾等问题。武汉市锅检所卢军等人[16]提出利用无人机携带红外检测摄像头对架空敷设的在役高温和低温压力管道进行宏观检验。天津市特检院郑桂红等人[17]探讨了电站锅炉及垃圾焚烧锅炉内部的无人机检验方案和方法，王金钊等人[18]探讨了无人机检测技术在起重机械、大型游乐设施检验检测中的应用前景。

目前，很多检验检测机构和高校开展了特种设备无人机智能检测领域的研究和应用探索，但仍然存在很多技术难点亟待解决，例如室外强光、逆光、弱光、过曝、机身振动、镜头离焦等导致的图像对比度差、“鬼影”、眩光、模糊、畸变和噪声问题；由于无人机及图像采集硬件制造方、图像AI 识别系统开发方、检验检测业务需求方在检测系统软硬件接口方面不统一，图像多次压缩传输引起清晰度降低、马赛克问题；起重机、大型游乐设施等不同类型特种设备复杂结构件的检测路径智能规划问题；类间差异小，背景复杂，伪缺陷干扰多，焊接纹理、雨痕、漆膜开裂等线状物体在多种缺陷或者无缺陷情况都有出现；类内差异大，腐蚀、裂纹缺陷的大小、形状、方向、位置多变，进而影响模型的学习能力，微裂纹、钢丝绳断丝等复杂背景小目标缺陷检测难问题，裂纹、腐蚀、变形、破损、螺栓脱落、钢丝绳损伤等多尺度复杂多样缺陷检测评价问题。因此，本文针对上述难点问题，开展特种设备高空结构件无人智能检测系统设计、检测路径智能规划与自主巡检方法、多尺度复杂缺陷智能识别模型、全过程智慧巡检管理软件等关键技术研究，对进一步提高特种设备无人机巡检工作质效具有重要意义。

2 无人智能检测关键技术

2.1 上置/下置式无人机智能检测系统设计

无人机智能检测是通过无人机平台搭载高清相机、红外热像仪、机载激光雷达等检测设备，获取结构件高分辨率可见光图像、红外图像或三维点云模型，通过图像处理算法对结构件表面裂纹、腐蚀、涂层劣化、螺栓脱落、破损、局部变形以及钢丝绳断丝、锈蚀、磨损、畸形等缺陷进行智能识别，见图1，对结构整体变形、动刚度、电气老化（异常发热）进行自动检测。

图1 无人机图像识别的主要缺陷类型

为了便于拍摄龙门吊主梁下盖板和支腿上部、门座式起重机象鼻梁和人字架顶部、塔式起重机塔帽顶端和臂架端部、储罐外立面、过山车框架及支撑结构、摩天轮拉索等人员不易到达的关键受力部位，将相机云台设计为既可搭载在无人机本体上方[上置式，见图2（a）]，又可搭载在无人机本体下方[下置式，见图2（b）]，使云台垂直方向俯仰角范围达到±90°，既能向下俯视成像，又能向上仰视成像，能够对大型特种设备各种关键部位进行多方位拍摄无视场死角，支持六向定位避障、飞行路径规划和自动巡检功能，抗风能力达7 级，最大续航时间达55 min，起飞重量为7 kg，具备良好的适应性。

图2 上置、下置式无人机智能检测系统

无人机搭载由变焦主相机、广角相机、激光测距仪组成的混合传感器，其中变焦主相机图像分辨率为2 000 万像素，支持23 倍光学变焦（最大焦距为120 mm），通过光学无损放大与数码放大结合，可对微裂纹、钢丝绳断丝等微小缺陷目标进行200 倍放大拍摄观察，距离目标10 m 能分辨0.1 mm 微裂纹；搭载激光测距仪测量范围为3 ～1 200 m，测量精度为±0.2 m，可实现裂纹尺寸等缺陷量化评价；搭载1 200 万像素广角相机，可实现第一视角飞行功能。

2.2 无人机检测路径智能规划与自主巡检方法

大型龙门吊、门座式起重机、塔式起重机、过山车、摩天轮、客运索道、压力管道、储罐等特种设备结构形式复杂多样，对于箱型梁、工字梁、桁架结构、空心圆柱结构等形式的金属结构，以及拉杆、钢丝绳、管道等线状圆形目标，无人机采用牛耕式全覆盖巡检路径，如图3 所示，与结构之间的安全距离为无人机结构尺寸的3 倍以上。

图3 面向特种设备典型结构件的路径规划方案

根据规划的巡检路径，有2 种巡检航迹生成方法：第1 种是由人工操控无人机进行初步巡检，采集并记录若干航迹点的经纬度和高度数据，根据航迹点绘制生成航迹；第2 种是通过无人机搭载的激光雷达以待检测设备为中心进行环扫，获取设备三维点云模型，进行无人机巡检场景模拟仿真，求解基于牛耕式全覆盖巡检路径的巡检点坐标和相机云台拍摄参数，生成大型特种设备自主巡检航迹。第2 种方法巡检精细程度高，适用于储罐等静态设备巡检，但对于起重机等动态作业设备，其三维点云模型的位置、角度每次作业后都不一样，需频繁通过三维建模仿真生成航迹，耗时长、效率低，因此适合采用人工操控无人机打点生成航迹进行自动巡检，具有航迹生成速度快、便于实际操作的优点。

进行自主巡航时，按航迹自动飞行，飞行过程中可以控制飞行速度，可控制飞机悬停拍摄待检测部位图像，发现缺陷时可记录拍摄点的经纬度和高度数据，下次飞行时根据起飞点和记录的缺陷点位置生成航迹，自动飞到该缺陷部位进行进一步的拍摄和甄别。

对于三维建模巡检场景仿真生成航迹方法，可以构建电池能耗成本和背光回避成本最低的目标函数，见式（1）和式（2），并通过改进A*混合算法对规划路径进行进一步优化。式中：

α1，α2—— 控 制 能 耗 和 背 光 成 本 的 参 数，α1+α2=1；

δi——悬停时的能量消耗；

δj——相邻2 个航迹点之间的巡检能量消耗；

χk——背光回避成本，表示太阳照射方向与相邻2个航迹点形成的线段之间的夹角；

根据结构件三维点云模型，并输入检测过程中各视点坐标。采用改进的A*混合算法，通过设置启发式函数求解相邻2 个航迹点之间的最优飞行路径，见式（3），最终输出最优检测路径。

式中：

h(n)——任意2 个航迹点的能量消耗之和；

δs——起始航迹点s 的能量消耗；

i——当前的航迹点；

δt——目标悬停视点t 的能量消耗；

δ(s，i)，δ(i，t）——巡航状态下的能量消耗。

2.3 基于改进YOLOv3 神经网络的缺陷智能识别算法

通过无人机平台搭载高清摄像机获取结构件高分辨率可见光图像，提出改进YOLOv3 深度神经网络算法，实现结构件表面裂纹、腐蚀、涂层劣化、磨损、局部变形、螺栓脱落、破损以及钢丝绳断丝、锈蚀、磨损、畸形等缺陷智能识别。

针对上述多尺度复杂多样缺陷的检测问题，为提高模型检测未知尺寸和形状缺陷的能力，对YOLOv3深度卷积神经网络算法进行改进，通过K-means 聚类方法实现anchor 聚类，生成锚框的尺寸，从而正确选择锚框大小，具体步骤如下：

1）输入所有目标边界框的实际宽度和高度数据集T，见式（4）：

2）从T 中随机选取9 个元素作为初始聚类中心，见式（5）：

3）计算T 中各元素到簇中心的交并比 （Intersection Over Union，简称IOU），见式（6）。

设 ji*＝ argmin IOUij, i ＝1, 2,…, n,则 （ Bwidthi,Bheighti）∈ cluster ji*。

4）计算新的聚类中心 ｛（clusterwidthj,clusterheightj）,j ＝ 1, 2,… , m｝，其中：

5） 如果新的聚类中心与原聚类中心相同， 则算法终止并输出最终的聚类中心｛（clusterwidthj,clusterheightj） , j ＝1, 2,…, m｝， 否 则 返 回步骤3）。

然后，利用改进YOLOv3算法对点腐蚀、晶间腐蚀、缝隙腐蚀、全面腐蚀等不同形态和尺寸的缺陷进行检测，并用腐蚀的最小外接矩形框标记缺陷位置，算法流程如图4 所示，主要由4 个部分组成：Darknet-53网络，YOLOv3-Scale1 网络，YOLOv3-Scale2 网络和YOLOv3-Scale3 网络。

图4 基于改进YOLOv3 深度神经网络的腐蚀检测算法流程

为了提高检测速度，对YOLOv3 网络进行了模型压缩与优化提速。不同于原始YOLOv3 网络需要检测20 种类型的目标，本文只包含11 种类型缺陷目标检测，所以减少网络大小不会显著降低检测结果的准确性。为了减小网络的规模，使用Darknet-19 网络代替Darknet-53 网络作为改进YOLOv3 网络的骨干，删除YOLOv3-Scale1、YOLOv3-Scale2、YOLOv3-Scale3 中的重复层，从而减少检测时间。最后，为了充分利用从网络中提取的特征，增加了2 个特征连接路径，可以改善检测精度，改进后的YOLOv3 网络结构如图5 所示。

图5 YOLOv3 深度神经网络模型压缩与优化提速

在通过深度神经网络算法检测出裂纹缺陷及位置后，利用最大熵阈值分割、Canny 边缘检测、投影特征提取和骨架提取等方法，对裂纹宽度、长度、方向等相关参数进行量化识别及分析[3]。在利用缺陷分类网络检测出腐蚀缺陷及位置后，以腐蚀面积、形状和腐蚀率识别为对象，提出腐蚀定量检测与分级评估算法[4]，参考ASTM 标准进行腐蚀分级评估，并根据相关等级建议需要重新油漆的区域，降低腐蚀扩展和截面损失的概率。

2.4 无人机检测流程与智慧巡检软件开发

开发了无人机智慧巡检软件，包括web 端的大型设备智慧巡检管理平台和遥控器端的平台调飞App，调飞软件通过4G/5G 网络将无人机采集的图像视频流高保真传输到平台，平台调用部署在远程服务器或便携式工作站的缺陷检测与识别算法，完成缺陷的智能检测评价，自动出具检测报告，作为起重机检验的辅助和安全评估的有效补充。无人机检测流程如图6 所示，包括检测路径规划、在线检测、缺陷复核、报告生成等步骤，具体步骤如下：

图6 无人机检测流程

1）开启并连接无人机和巡检平台，在平台新建检测任务，根据待检测设备的结构形式和重点检测部位，参考2.2 节的路径规划方案，在巡检管理平台进行检测路径规划；

2）将检测路径下发到无人机，无人机按路径进行自动巡检，操作无人机相机云台采集待检测部位图像，并通过调飞软件将图像视频流传输到平台进行处理；

3）开启平台AI识别模块，选择要识别的缺陷类型，为裂纹、腐蚀、涂层劣化、螺栓脱落、破损、变形以及钢丝绳断丝、锈蚀、磨损、畸形等缺陷的一种、几种或全部，调用改进YOLOv3 神经网络算法对当前帧图像是否存在缺陷进行定性检测，如果检测到有缺陷则用缺陷最小外接矩形框标记缺陷位置；

4）对于检测到的裂纹、腐蚀缺陷，可以调用2.3节的裂纹尺寸识别、腐蚀评估分级算法进行量化评价；

5）检测任务结束后，对检测出的缺陷图片进行人工复核，删除误检的缺陷图片，合并由于视频信息冗余导致的重复检测缺陷图片，缺陷复核无误后，点击生成检测报告；

6）对于存疑的缺陷，可以根据任务记录的拍摄点GPS 位置和相机角度参数，生成航迹自动飞行到该拍摄点，进行不同角度拍摄、变焦放大、调节清晰度、调节亮度等，对缺陷进行辨别复核确认。

3 实验结果及分析

3.1 缺陷智能检测算法仿真实验

实验采用Tensorflow 作为深度学习框架，使用GPU 对训练过程进行加速，其使用的硬件配置为Xeon E5-2620 v4 处理器、128 G 内存、NVIDIA GTX1080ti GPU；软件环 境 为 Linux 系 统，python3.7，GPU 加速库采用CUDA 9.0.176 和CUDNN 7.0.4。采用精度（Precision）、召回率 （Recall）、F1-Score 来评估缺陷检测效果，见式（9）～式（11）。

式中：

TP——正确检测标记的缺陷边界框数量；

FP——将其他非缺陷区域误检为缺陷的数量；

FN——漏检的缺陷数量；

Precision——正确检测到的缺陷个数占所有被检测到的缺陷个数的百分比；

Recall——正确检测到的缺陷个数占实际所有缺陷个数的百分比；

F1-Score——精度和召回率之间的平衡点。

采用4 000 张起重机金属结构图片作为训练集，并通过对获取到的数据集采用翻转、平移、角度旋转等方式增强该数据集，还利用已有的带钢、磁瓦、铁轨、桥梁等表面缺陷数据集进行模型训练和迁移学习，采用1 000 张起重机金属结构图片作为测试集，部分图像检测结果见图7，在图像缺陷边界框左上角用中文标记缺陷类型，例如裂痕、点蚀、面状腐蚀、涂层劣化、螺栓脱落、破损、变形、断丝、锈蚀、磨损、畸形等，后面的数字表示算法判定该区域为该类型缺陷的概率（0 ～1）。

图7 部分测试图像的缺陷检测结果

从图7 的检测结果可以看出，改进YOLOv3 深度神经网络检测识别算法能够准确检测出图像中各种不同尺度、颜色、形状、纹理的复杂多样缺陷，对微小的裂纹和断丝、螺栓脱落、破损、变形、磨损、腐蚀、涂层劣化等均能很好地识别，并对缺陷区域进行精确定位，按式（9）～式（11）统计测试集的检测结果，并与原始YOLOv3 算法检测结果进行对比，见表1，可见改进后YOLOv3 算法的精度（查准率）和召回率（查全率）分别提高了4.04%、0.79%，检测精度达到94.31%，召回率达到98.03%，是一种高精度、高效的缺陷检测方法。

表1 与原始YOLOv3 算法的检测精度对比

在相同的计算机硬件条件下，输入同一段待检测1 080p 视频图像，比较了Fast R-CNN、Faster R-CNN、SSD、原始YOLOv3 和改进YOLOv3 等不同方法的检测速度，结果见表2。

表2 与其他深度学习算法的检测速度对比

从表2 可以看出，改进YOLOv3 算法检测速度最快，约为原始YOLOv3 算法的2.33 倍，达到了17.00 fps，通过在软件中设置合适的取帧频率，可以实现缺陷的在线实时检测，这也证明了本文提出的改进YOLOv3 算法是正确和有效的。

3.2 大型设备智慧巡检系统研发与应用

开发了大型设备智慧巡检管理平台，简称慧眼检测，其主要界面见图8，为用户提供包括航线规划、设备管理、在线检测、离线检测、系统管理等基础功能的同时，亦支持云AI 与本地AI 两种部署方式检测和多场景数字化管理，具有在巡检过程中对识别缺陷实时分级预警等特色功能，用户通过大型设备AI 巡检系统即可对巡检场景进行全方位掌控，实现设备缺陷精确识别，快速处理生成检测报告。

图8 在线检测AI 识别主界面

1）在线检测。当无人机开始执行任务，用遥控器控制采集待检测设备图像，选择识别缺陷类型，开启AI 识别模块，即可在平台查看第一视角画面（原始视频）和AI 识别检测页面。现阶段平台支持AI 识别场景有涂层劣化、面状腐蚀、点蚀、裂痕、螺栓脱落、局部变形、滑轮破损、钢丝绳断丝、钢丝绳磨损、钢丝绳锈蚀、钢丝绳畸形，任务过程中根据用户需求进行实时预警和显示右侧的预警信息（见图8），直至任务结束。

巡检任务结束后，进入时空大数据界面，包括历史预警、历史报告、飞行历史3 个子模块，见图9。在执行巡检任务中实时弹出的预警信息由历史预警模块收集，并进行告警等级分类，用户可对巡检任务的预警信息进行AI 类别筛选后的人工复查、批量删除、图片合并等操作，选择确认后的缺陷图片生成检测报告。飞行历史模块可对AI 巡检任务进行回溯，查看无人机编号及站点名称等信息，对于巡检路线以视频流进行回放，巡检数据一键复查。

图9 在线检测任务的历史预警界面

2）离线检测。离线检测模块包括离线任务、离线预警、离线报告3 个子模块。在离线任务界面，平台支持用户手动上传导入无人机拍摄的原始图片和视频进行离线检测处理。检测完毕后，用户可以在离线预警界面查看检测结果，进行人工复查、批量删除、图片合并等操作后，选择确认后的缺陷图片生成检测报告。在离线报告界面，用户可自行筛选报告类型后下载或在线查看AI 检测报告。离线检测界面见图10。

图10 离线检测界面

检测报告格式包括封面、结论概述和附录3 部分，结论概述主要包括检测的缺陷类型和检出的各类型缺陷数量统计；附录为本次检测任务的所有缺陷图片，在每张图片上以不同颜色目标框标记缺陷类型、位置和数量。

利用自主研发的上置/下置式无人机智能检测系统和智慧巡检软件，配合起重机定期检验和安全评估，在江西省特检院、杭州市特检院、南钢、南京港、金陵船厂、南京大吉铁塔等检验机构和生产企业开展无人机检测技术应用，检出人员不易发现的裂纹、破损等设备隐患多处，为企业日常维护保养和特种设备的安全管理提供了有力依据。

4 总结与展望

1）本文设计了上置/下置式无人机智能检测系统，基于无人机可见光图像对特种设备结构件表面缺陷识别技术进行了研究，通过无人机检测路径智能规划、基于改进YOLOv3 神经网络的缺陷智能识别模型研究和无人机智慧巡检软件开发，实现了结构件表面裂纹、腐蚀、涂层劣化、螺栓脱落、破损、局部变形以及钢丝绳断丝、锈蚀、磨损、畸形等典型缺陷智能识别和评价，快速出具检测报告。

2）下一步可以通过无人机搭载高精度激光雷达，对设备主要受力构件进行三维建模，对结构整体变形检测与有限元应力分析、模态分析进行研究，搭载红外热像仪获取设备热红外图像，对设备电气部件老化、接触不良（异常发热）等故障检测进行研究。目前无人机检测技术应用对象主要为门式/门座式/塔式起重机和一些大型游乐设施设备（例如高空飞翔等），下一步可以向超大型过山车和摩天轮、长跨距客运索道、架空敷设压力管道、超大型LNG 储罐等特种设备扩展，结合这些设备的检测项目和缺陷特征进行模型定制开发。

3）在特种设备无人机检测领域，国内目前尚无相应的国家标准、行业标准和地方标准（含制修订计划），在巡检系统、巡检作业、数据处理等方面缺少统一的标准和规范，各检验检测机构、使用单位的检测仪器和设备、检测方法和流程、检测报告形式等都不统一，无人机检测作业不规范、作业精准度和可重复性差，亟须制定统一标准规范，进一步提升特种设备无人机巡检工作质效。

4）无人机智能检测技术可以辅助特种设备检验检测人员对大型设备高空不可达结构部位进行智能可视化检测和安全状态评估，提高检测精度和效率，提升检验检测服务能力；帮助广大特种设备使用单位更科学有效地进行特种设备日常检查和维护，快速有效检出企业不易发现的设备隐患，有效预防并控制事故的发生，减少人员和设备财产的损失，对促进企业安全生产具有重要意义；促进机器人、人工智能技术与特种设备检验检测行业的有效融合，提升特种设备安全和智能化水平，创新培育新业态，发展壮大新动能，推动特种设备行业高质量发展。