基于无人机系统的起重机结构状态自动评估系统

何 炅 徐元斌 陈 昆

武汉理工大学物流工程学院 武汉 430063

0 引言

起重机械是现代物流的重要组成部分，作为关键的设施部件，必须保障其持续的安全性和可维护性。起重机的老化与机械损伤导致结构性能下降，通过定期的结构评估和维护，以确保起重机在其预期设计寿命期间甚至更长时间内的安全使用。对于起重机的常规检测大多基于受过专门训练的起重机检测人员进行相关的目测巡检及专业检测，然而因起重机结构尺寸较大，部分构件位置难以到达，检测耗时长，且存在一定危险性，故需采取新的技术手段。

在检测的基础上，考虑到起重机整体的结构健康和经济效果，还需有系统性的维保方案。然而，延时的维保导致许多港口起重机使用寿命不及预期，并存在安全隐患，这就需要智能和准确的状态评估模式。

基于新兴数字化方法的无人机系统将为这种新评估模式铺平道路。基于传感器的结构健康监测（SHM）作为一种获取结构状态关键信息的方法已被广泛接受和实施。最近，配备高清晰度照相技术的小型电动和遥控无人机系统（UAS，亦称无人机）的突破，引起了人们对基于图像的方法作为结构状况信息来源的兴趣[1]。GB/T 31052.1－2014《起重机械 检查与维护规程 第1部分：总则》[2]中要求传统的目测检查、数字成像与创新的摄影测量和图像分析方法相结合能带来新的策略。然而，只有通过开发组合评估方法才能充分开发潜力，这些评估方法允许有效地获取数据及对数据进行自动处理，从而得到定量的状况信息。只有将强大的算法集成到完全自动化的工作流程中，才能从根本上改变常规起重机检测及维保中存在的不全面、成本高、耗时长、危险度高、不及时等现象。

1 系统流程

该框架系统整合了适合无人机系统获取图像数据并进行诊断分析的算法组件。根据各领域的技术水平和实际考虑因素选择相应的算法组件，将它们结合到一个数据分析链中，使分析程序完全自动化。主要组成部分是基于无人机系统的飞行规划、数据采集、摄影测量、三维重建、图像分析、仿真建模和相对应的数据建模等，这些功能结合起来的目的是自动提取结构状态信息作为结构评估的基础。完整的框架包括算法组件及相对应的参数和数据集，如图1所示。某些流程步骤由外部数据集来提供，如参考地面控制点的坐标、有限元模型等。该框架由10个主要流程组成，由灰色方框表示，在流程开始前先对检查任务进行初步定义，并制定评估标准。

图1 基于无人机系统的结构状态评估的详细框架

1）最初的步骤对于具体检查来说是独一无二的，这个要求通过任务定义确定当前检查的目的，有可能是一个单纯的扫描任务，以获得结构的几何信息，通过对结构的重新计算进行安全评估，或是一个后续检查。在这个检查中，已确定的状态数据将被重新生成，以便确定损坏的扩展模式。任务定义是唯一的组成部分，在整个流程中保持不变。

2）评估标准的定义是指定如何以及基于哪些属性对先前定义的任务进行评估，并确定这些属性的极限值。例如，基于视觉信息的结构状态评估的评估标准是裂纹许用宽度或许用变形。评估标准的定义可作为流程迭代的一部分，其中从框架中获得的信息有可能不适合当前的任务，而需要一套新的标准，例如从基于损伤的评估转向基于变形的结构状态分析。

3）在评估标准的基础上，可选择用于表达结构状况的目标量，并根据已确定的标准进行检查。这些可以是起重机的几何形状、变形、裂纹属性（如宽度、长度和方向）、材料损失（如剥落和腐蚀），除目标数量外还需确定所需的识别质量，此可以是可检测到的裂纹宽度，也可以是在考虑测量原则和可能的不确定性前提下相应的准确度和精度要求。此外，还必须考虑外部参数以及使用无人机系统的法律规定或安全要求（如最大风速和光照条件），以选择合适的技术硬件（如飞行系统、相机和镜头）及其软件。因此，这一步骤称为准备工作（任务控制），为基于无人机系统的检测任务和后续的自动飞行路径生成过程提供了全面的面向结果的参数。

1.1 无人机飞行路径规划

摄影测量勘测和检查通常以足够数量的正射和斜射图像为基础，这种图像数据可通过配备摄像头的无人机系统沿多个视点飞行来获取。在手动飞行控制和导航的情况下执行这样的任务很有挑战性，通常需要第二个人操作相机以捕获合适的图像，图像在空间覆盖范围上的规则化分布很难实现。在扫描大型物体或地形的情况下，如不需要高分辨率的复杂结构细节，无人机系统可通过预先规划的飞行路径，在安全距离上记录一组重叠的正弦图像，然后自动进行表面重建。全球导航卫星系统（GNSS）允许无人机系统沿着一系列视点自动飞行，按照连续的、相对平滑的轨迹扫描整个区域。然而，在这种情况下，飞行高度以及观察方向通常是固定的。通过额外的斜向图像可实现对建筑外墙和简单结构件的视角覆盖。然而，目前还无法应用于复杂的起重机巡检任务，尤其是起重机的底部。商业化的飞行规划工具可用于辅助摄影测量的三维重建，如AscTec导航仪和Pix4D采集。然而，目前这些工具只支持简单的三维形状，并未利用所有可用的场景信息。因此，在场景上方的高空自动生成传统轨迹可能会产生不准确或不完整的3D模型。

适合于无人机系统摄影测量勘测的无人机系统飞行路径一般通过两步程序获得。第一步：必须找到一组合适的、覆盖表面的、图像质量不变的候选视图。第二步：计算出以最佳序列通过所有视点的飞行路径。基于初始三维模型生成优化飞行路径，该模型由概览飞行和稀疏三维重建生成，或直接从现有模型容器中提取，如地理参考几何模型。它用于计算合适的相机视点。相机规格如传感器尺寸和焦距，记录参数如光圈和快门速度等参数都包括在这个计算中，这些参数在规划阶段前的任务控制功能中定义。通过视点的最佳顺序产生了飞行路径，即GNSS位置、高度序列、相应的相机方向和图像捕捉参数。在实际工作中，由于影响图像数据质量的外部因素多种多样，基于无人机系统的自动数据采集程序是本框架中最关键的步骤。在数据质量不足的情况下，调整初始参数，作为检测程序的新的加载参数，从而得到可用于检测的图像数据。

1.2 摄影测量三维重建

密集的三维点云是结构三维建模和可视化的基础，可进一步形成点云分析的有限元模型输入。在无人机摄影测量中，基于立体原理的SfM方法被广泛使用。SfM可同时估计单个相机的运动、恒定成像特性以及三维物体信息，实现高度灵活的图像采集过程。该方法主要包括识别突出的对应图像点、计算初始成像几何体以及稀疏的三维点云、准确的全局优化等步骤。

一般来说，可以基于覆盖对象的无序原始图像集来进行摄影测量对象的三维重建。为了提高所建模型的质量，必须在预处理步骤中对图像进行辐射增强和几何增强。辐射增强包括对比度拉伸、白平衡、虚化去除和边缘保存降噪等，能确保得到辐射一致和降噪的图像集。几何增强可以基于已知的相机参数自动去除已知的径向和切向透镜畸变，也可在SfM方法的束调整步骤中进行补偿。虽然这种预处理能消除许多不利影响，但图像采集过程中一些光照条件的影响无法调整，如在采集相邻图像之间移动了阴影边界，SfM算法会尝试将该边界重建到一个点上，将不确定性引入到最终的点云中。

自动识别和匹配同源图像点，在同源点的识别过程中，每个图像的所有点都会与所有其他图像的点进行比较，即可构成识别匹配数量最多的图像对。如果将图像采集过程中记录的GNSS位置纳入其中，则可跳过空间上不重叠的图像，显著提高处理速度。由于有可能出现错误的点对应，特别是在视角变化较大的情况下，故通常使用迭代的RANSAC离群检测方案来估计相对方向。然后，将所有相对定向的图像对连接到一个网络。通过全局优化，改进完整的成像几何（所有摄像机的相对方向和校准）以及包括离散度测量的3D目标点，再应用密集立体匹配技术，以找到所有像素的点对应。在进一步分析步骤中，所得到的密集点云可转换为由三角形组成的纹理表面模型。

1.3 异常检测

识别结构中的异常和缺陷是许多无损检测方法所涉及的一个重要领域。在此，以钢结构裂纹的检测为例进行论述，目前已有多种裂纹技术（如红外、热、超声、激光和射线检测以及光学图像分析方法）[3]。本文所述图像识别检测法的主要困难来自于裂纹的随机形状、不规则尺寸、各种物体表面特征和纹理造成的误检。为检测具体异常和缺陷特征而对图像集进行自动分析时，应先进行图像冗余检查。为了减少图像分析中的计算工作量，应将摄影测量中的冗余图像集减少到覆盖整个物体表面的最小集。对于基于图像识别的钢结构表面裂纹检测任务，可采用Sironi等人[4]提出的多尺度中心线检测方法，该方法可得到较好的检测结果，而需要的训练图像数量相对较少。该方法可检测出具有不同特征的连续裂纹中心线，特别是具有不同宽度的裂纹。此外，裂纹宽度计算出来并存储在每个中心线像素形成的数组中。

在摄影测量中获得的成像几何图形有两方面价值：每个图像像素的物体尺寸信息可对检测到的裂缝进行度量表征；检测到的异常点集，包括其尺寸和其他属性可被整合到三维表面模型中，通过精确的摄像机位置、图像比例和曲面模型的地理参照物之间的关系来实现异常点的映射，异常点的映射能提供检测到的异常点尺寸和精确位置。

1.4 结构状态评估

所提出的框架的前几步已经提供了结构的几何信息，以及视觉识别损伤的表征。为了对结构状况进行定量评估（如在某些设计荷载下的承载能力和失效概率），需要建立一个有代表性的力学模型。为此，通常采用基于有限元模型的数值分析方法，结合起重机的结构健康监测（SHM）系统采集的应变数据，通过与设计阶段最初假设的不同材料参数来说明损伤和劣化效应或是这种模型已经存在，需要调整；或是所获得的几何数据需要通过额外的设计数据和基于工程判断的假设来修正，以生成一个有限元模型。实际行为特征的表示通过模型校准完成，这需要参数化（如构件的刚度）。在已知荷载作用下，可通过贝叶斯模型更新来校准测量的结构状态，以匹配测量的变形状态或发现的机械诱导裂纹模式（如参考文献[5]）。然而，这些程序的细节、其潜在的应用和准确性还待进一步的研究。

2 适用于框架的数据库设计

本文所述起重机检测数据采集由多个步骤组成，由于任务的连续特性，建立的数据集之间存在关联，例如飞行路径到相机视点，相机视点到图像（包括检测到的异常），图像到地理参照的三维点云中的点。代表整个流程的数据模型必须拥有足够的信息，以重现检查的任何任务。此外，需要保持连续数据集之间的关系，以确保每项任务的相互联系。这些数据集作为结果应为结构分析应用和状态评价提供基础。因此，对每个任务进行一致的数据建模和软件设计，对避免信息丢失和保证数据一致性至关重要。

根据项目的实际情况，起重机三维模型可由起重机设计过程的数据或对起重机的现场初步调研而生成。这些模型被存储在一个模型容器中，且必须包含足够的测量数据。模型容器中存有特定模型之间的链接，这些模型包括三维几何形状、材料定义或力学性能，以及所收集测量数据的检测数据库。此外，它还用于与其他应用程序和任务进行数据交换，如用于生成和调整有限元模型等。通过使用地理参考几何体的位置，可将起重机模型的对象与检测数据直接连接起来。图2所示为模型容器与检测数据库之间的关系结构，结构使用一对一或一对多的关系，并指出了连续数据集若干检测任务之间的相互关系。实体关系模式表示检查组件（如飞行路径和点云）之间的联系，作为与模型容器（包括特定模型）相联系的数据库实体（虚线框），它还显示了检查任务之间的关系，形成它们的关系表示度，也称为卡度，其中1:m意味着一对多的关系。对于包含的属性一对多的卡度用符号[ ]表示。

图2 检测数据库关系结构

图3中给出了一个由建立的关系管理进行数据请求的示例。在该示例中，起点是连接到单幅图像的相机视图，该图像用于异常检测。每幅图像与相应重建的三维点之间的对应关系能保证识别图像覆盖的点云表面，这样即可计算出图像中检测到的异常点的地理参照，从而计算出点云的映射，如此即可进一步与起重机模型的几何数据进行比较，例如有限元模型。图3所示的工作流程可在每次检测中重复进行，通过再次检测已发现的异常（如跟踪裂缝宽度和长度扩展趋势）来跟踪异常的发展变化，对起重机生命周期内的结构状况进行更全面、更透明的评估，以提取几何形状以及定位损伤的位置。

图3 数据模型对应关系示例

此外，在发生严重损坏的情况下，有针对性地规划维保措施，可根据起重机模型对象的异常描述做出相应处理。针对起重机寿命期间的检测历史，在时间历史数据库中保留每个检测视觉数据是很有必要的，可将后续检测数据与之前的检查数据进行比较，并更新模型与检查数据一起保存在数据库中。

3 结束语

本文介绍了使用无人机系统进行基于图像的起重机结构评估过程中，数据生成和处理的连续自动化工作流程的实现框架。该框架包含了智能路径规划、基于图像的异常检测、点云分析等。在全数字化工作流程中，现代无人机系统、成像技术与先进的数据分析方法相结合，能进一步优化起重机的评估。