基于无人机和图像识别技术的玻璃幕墙检测系统研究

黄启云，要东明

（广东省有色工业建筑质量检测站有限公司 广州 510725）

关键字：无人机；外墙检测；卷积神经网络；玻璃幕墙

0 引言

玻璃幕墙具有重量轻、采光性好、便于更换维护等优点，在现代建筑中被大量采用作为外观装饰，成为了现代建筑的美学代表［1-6］。玻璃在生产的过程中不可避免的存在一些内部缺陷，在日后的使用中可能会发生碎裂，导致楼下行人受伤，发生安全事故。既有玻璃幕墙建筑的玻璃碎裂已经成为玻璃幕墙最重要的安全问题，是否能在发生危险之前把存在危险的玻璃替换，是判定一个大厦物业管理方是否合格的重要指标。在2000～2020 年之间的我国既有玻璃幕墙建筑的安全性报道中，玻璃幕墙结构出现最多的安全问题是玻璃碎裂［7-9］。

根据《2000-2024 年中国建筑幕墙行业市场前瞻与投资战略规划分析报告》指出，在2001～2005这5年之间，我国的玻璃幕墙产量增长速度处于历史最高位。

在这之后的几年中，我国的玻璃幕墙产量保持稳定状态，到2018年初，玻璃幕墙产量已经达到15亿m2。因为玻璃幕墙具有自身重量轻的特点，在我国高度超过100 m 的建筑几乎都使用玻璃幕墙作为外部结构。根据《建筑结构设计可靠性统一标准：GB 50068—2018》［10］中的规定，玻璃幕墙建筑外围防护结构的设计使用年限宜为25年。根据文献［10］规定，我国的玻璃幕墙存量面积在1 000万m2以上，由此可以推断，随着时间的增长，我国玻璃幕墙会陆续达到使用年限。当今市场上，1 m2玻璃幕墙的人工检测费用在40元/人左右，一栋玻璃幕墙建筑中待检的面积一般都在10 000 m2以上，按此价格推算，每栋建筑的检测费用都在40 万元以上［11］。依据《玻璃幕墙工程技术规范：JGJ 102—2019》［12］规定，在玻璃幕墙工程完成后，需要以5 年为一个检查周期，对整栋建筑的玻璃幕墙进行完整的安全检测，这导致大厦的物业管理公司需要支付高额的检测费用［13］。此外我国没有现行的标准去规定玻璃幕墙的维护主体，这就造成了业主、开发商和物业互相推诿的局面，这种情况增加了玻璃幕墙的风险。依据文献［12］规定，玻璃幕墙采用抽样的安全检测方式，例如一些省份的省标规定取高层玻璃幕墙总量的5%进行检测，每层楼的检测样本数量不能低于1。以现在的这种抽样检查的方式，根本无法全面客观地判断整个玻璃幕墙的安全情况，并且以人工目视的方法去检查也造成检测效率低、精准度不高的情况。如今随着高层玻璃幕墙建筑数量逐年增多，如何快速并准确地检查建筑外观玻璃幕墙的安全性成为了一个亟待解决的问题。因为玻璃面板的损坏不仅会降低建筑物的防风保温能力，更重要的是玻璃面板破碎后，碎片会威胁到建筑物下行人的生命安全。对于高层建筑，其建筑内部结构空间限制，位于一些特殊结构区域的玻璃幕墙面板无法直接地观察到，也无法及时地进行检测，成为非常严重的安全隐患。以现有的人工目测的检测方式，几乎无法对现阶段玻璃幕墙进行全面的安全检测。随着人们对建筑安全的要求提高，传统的人工检测方法已经无法满足安全需求。因此，探索一个智能化、自动化的玻璃幕墙面板损伤检测方法是“智慧楼宇”的必然要求。

最近人工智能技术、数字成像技术以及无人机技术的蓬勃发展，已逐渐应用到玻璃幕墙检测中。数字成像技术精度高、存储性强，在桥隧的裂缝检测中已经得到了广泛的使用。无人机技术以高机动性的特点，可以快速到达高层建筑的指定检测位置，并搭配相机以采集数字图像信息，这种技术在施工现场检测、建筑三维建模等领域得到了广泛的应用。目前使用最多的是旋翼式无人机，这种类型的无人机可以稳定地悬停在待检目标周围。近年来，旋翼式无人机和数字成像融合检测技术，在建筑领域得到了广泛的应用［14-15］。以旋翼式无人机为眼，数字成像技术为脑的集成式应用是未来建筑检测信息化变革的主要方法。与传统的方法（如升降机、望远镜）进行目视相比，无人机可以显着降低时间消耗、劳动强度和安全风险，从而可以进行更频繁的检查。随之而来的另一个问题出现了，有没有一个方法可以快速地处理无人机拍摄的大量图像呢？答案就是卷积神经网络。卷积神经网络可以将完整图像作为输入并以合理的方式约束神经网络架构。与其他神经网络算法相比，卷积神经网络模型的特点是利用网络连接的神经元节点以非线性方法处理数据。这个特点非常适合于图像处理，可以对图像进行像素级分割并对损伤区进行量化［16］。

卷积神经网络是深度学习最具代表的算法，它与传统神经网络区别在于添加了卷积层和降维层模拟人脑对信号分级处理。卷积神经网络有输入层、卷积层、池化层、全连接层和输出层，包含了卷积计算和深度结构。输入层的功能和传统神经网络一样，作为接收和传递信息。图像预处理也是在输入层完成的。卷积计算属于隐藏层的操作，目的在于使用卷积核提取图像特征。具体操作是使用一个卷积核按一定步长规律在图像上滑动，每次滑动时覆盖的区域，卷积核与该区域元素对应相乘再求和，全部区域都计算完得到的就是一个新的特征图。不同的卷积核可以提取不同的特征。ReLu、tanh 和sigmoid 都是激活函数，目的是使输出结果呈非线性。池化层也称为下采样层，有最大池化和平均池化两种操作。与卷积操作相似，但是池化没有卷积核，而是在原图上按一定规律划分成多个小区域，每个小区域使用一个值替代，可以是该区域的平均值，或者最大值。目的是提取该区域特征，减少图片维度，减少过拟合。全连接层是连接前面隐藏层和输出层，将隐藏层的特征值映射到样本空间，方便后续做分类或者回归。神经网络是通过一系列卷积池化等操作实现像素到像素的分割。

本文通过采集玻璃幕墙图像数据，基于训练的幕墙破损识别模型对幕墙图像数据进行破损识别，利用无人机和卷积神经网络建立一种玻璃幕墙的快速检测方法。

1 实验方案

1.1 系统组成

⑴视觉系统主要由无人机与搭载的相机组成。相机会捕捉图像并传输至计算机图像处理系统。

⑵电脑负责控制视觉系统，并结合通讯模组，对视觉系统所接收及反馈到的信号进行处理。

1.2 检测方式

⑴玻璃幕墙处于闭合状态时：主要以自然光检测为主，在自然光光强无法满足对玻璃幕墙进行破损检测的情况下，再启用激光照射进行检测。

⑵玻璃幕墙部分打开时：由于自然光的强度在不同方位下的不确定性，故此将采用激光照射，偏振成像探测器获取图像并由电脑中的图像处理系统进行图像处理。

玻璃幕墙检测系统组成如图1所示。

1.3 系统结构

视觉系统由无人机和偏振光相机构成，偏振光相机对幕墙面板进行实时成像，将所得图像数据传递至电脑，通讯负责传递外部检测装置的检测信息与电脑发送至主控制器的命令，电脑负责对数据的分析及方便反馈操作人员的命令。玻璃幕墙检测系统运行方式如图2所示。

2 实验设备和算法

2.1 无人机

本文中使用是一种商用轻型无人机，无人机的自主导航系统可以实现高水平的自动化。

2.2 卷积神经网络

近年来，公开可用的开源软件库不断增加，用户可以使用开源的软件库构建人工神经网络，Keras 是最受欢迎的开源库。本文利用Keras 建立了一个网络，将收集到的玻璃幕墙图像片段分类为“含裂缝”或“无裂缝”。为了更好地使用卷积神经网络对图像进行分类，需要对卷积神经网络模型进行训练，图像数据集可以由自己或使用公开的数据集获得。

卷积神经网络模型对输入图像进行特征提取，通过全连接层进行分类，输出每个类的分数。每一层负责不同的函数，并使用来自上一层的结果作为输入，前馈特征使用过滤器分配初始随机权重和偏差预测类，计算损失预测分数和地面真相，应用反向传播不断调整过滤器权重和偏差，最终获得一个优化的模型。本文中卷积神经网络算法图像识别流程如图3所示。

算法操作步骤如下：①获取参考玻璃幕墙图像数据序列；②依据所述参考玻璃幕墙图像数据序列进行模型训练；③在预设破损属性网络未搜索到该幕墙破损定位区域对应的幕墙破损区域属性，则依据删除预设图像特征向量的图像数据以后的所述玻璃幕墙图像数据，基于特征提取网络生成所述玻璃幕墙图像数据对应的图像数据特征集。

本文实验中选择使用指数衰减学习率，即学习率会跟据训练下降的速度自行调节变化，防止产生震荡。指数衰减学习率的方程为［17］：

式中：φ为当前学习率；γ为初始学习率；η为学习率衰减系数；a为当前迭代次数；b为衰减速度。实验初始学习率设置为2e-3，学习率衰减速度为0.5，当前迭代次数为0，衰减速度为1 500，训练的总轮数为5 000轮。

3 实验过程

无人机按照爬行线的飞行模式自动捕捉玻璃物的一面墙。自主飞行算法以起始坐标、墙的长度、距离墙的距离和最小/最大高度作为输入参数。这些玻璃图像每分钟由无人机拍摄一次，并被转移到计算机上进行分析。使用摄影测量软件对获得的图像进行数字矩阵化处理。

在进行卷积神经网络模型训练之前，每个数字矩阵都会被标记，以指示该区域中是否包含一个对象。池化层进行向下采样，以减小输入数据的空间大小。本文的最大池输出（X2×Y2×Z2）的尺寸计算如下［19］：

其中，X1、Y1和Z1表示图形数据的宽度、高度和深度，而F和S分别表示池窗口大小和池步幅值。由于池化过程的不同参数导致不同的输出，通过调整参数可以实现不同模型的性能。池化时的滑动窗口为3×3，步幅为2。将局部邻域像素归一化后，值越大的像素越明显，更容易检测到高频特征。局部响应采用网络归一化，进行一种侧向抑制，增强更兴奋的神经元。卷积神经网络图像识别过程如图4所示。

⑴制作数据：active_samples=2000，test_samples=800；train_samples=200；

⑵用val_samples初始化模型；

⑶分别对active_samples目录下的数据进行方差测定，方差比较小比较稳定，也就说明具有一致性，将所有的数据方差排序，选择最大的200 张，将这200 张加入到train_samples里面；

⑷更新当前的训练数据train_sample-s，模型进行重新训练或者微调，得到新的模型；

⑸ 重复以上步骤，直到主动选择样本active_samples 的数量为0或者模型已满足需要，不需要再更新。卷积神经网络图像识别过程如图4所示。

精度和反馈率是大多数机器学习模型的典型指标，使用方程式进行计算［20］：

式中：真阳性TP 表示正确预测为缺陷的真缺陷数；FP假阳性指预测为缺陷的非缺陷数；FN 假阴性为预测为非缺陷的真缺陷数，表示检测模型中缺少缺陷。由于目标检测的特点，结果中不存在真阴性。对于每个检测，都会生成一个具有置信水平和一组坐标的边界框。对于TP，预测的边界框βp和真值框βg之间的重叠比必须超过一定的阈值α（在本研究中为0.5）。可用方程式计算［20］：

4 结果和讨论

无人机收集到了像素范围在1 440×720 到320×256之间的图像。缺陷检测模型可以使用不同大小的输入图像进行训练，理论上可以使用更高分辨率的图像提取更多的信息。卷积过程如图5所示。

高分辨率的训练图像同时会增加计算成本。本研究中所有的图像都被缩小到相同大小的224×224像素。像素较低的图像可能会影响模型的性能，需要进行数据增强。用于数据增强的方法包括垂直和水平翻转、旋转和缩放、颜色调整，即调整亮度、对比度和饱和度。卷积神经网络计算样品的准确度实例如图6所示。

实验结果表明，随着训练数据的增加，卷积神经网络模型从输入的图像中获得更准确、更全面地学习目标特征，从而获得更高的检测精度。更多的卷积层可以提取更重要的特征，但深层网络结构复杂，参数更多，计算成本更高，检测速度受到影响。本研究的结果表明，适当数量的额外卷积层可以有利于模型的性能，最大池化层中滤波器的池化步幅较小，可以防止下采样过程中的重要信息丢失。

5 结论与展望

本研究使用无人机、免费和开源的摄影测量软件和深度学习库来识别玻璃幕墙上的破损，该方法可以确定幕墙表面大多数破损的估计位置（即是否存在破损）。一旦确定了估计的位置，就可以在可疑区域重复这一过程，并使无人机更靠近玻璃幕墙，以便清楚地看到以进一步调查，并提供更多的信息，以及向业主和设施经理提供估计的维修范围和成本。