基于无人机图像拼接技术的大坝健康监测方法

王琳琳 李俊杰 康飞 马传波

摘要：为克服传统视觉检测方法的局限性，提出了一种基于无人机图像拼接技术的大坝结构损伤检测方法。该方法以无人机作为大坝结构表面损伤的图像采集工具，通过提出的图像配准和融合算法，将分布在若干张图像中的同一结构损伤拼接为完整的损伤图像，在保证图像分辨率和检测精度的基础上，扩宽了检测视野;所提出图像分组拼接的方法减少了多图像拼接时产生的累积误差。研究结果表明：与传统的视觉检测方法相比，研究提出的检测方法具有经济、高效、易于操作和安全性高的特点，并有利于观察坝面损伤情况，在大坝的健康监测中具有一定的应用价值。

关 键 词：大坝监测; 图像拼接技术; 无人机; 视觉检测

中图法分类号： TV39;TP391.1

文献标志码： A

DOI：10.16232/j.cnki.1001-4179.2021.12.037

0 引 言

大型水电站是大国重器。大坝作为最主要的水利枢纽建筑物，一旦失事，将造成重大的生命财产损失。根据《第一次全国水利普查公报》[1]的统计，截至2011年12月，中国水库已达98 002座，总库容超9 300亿m3。目前，有一些大坝由于水文、工程地质、设计、施工以及自然老化等原因，已被定义为病险坝[2-3]。因此，需要对大坝的安全性和稳定性进行监控。目前，大坝表面损伤检测仍然采用人工目视检测。该方法工作量大，成本高，且检测人员的安全很难得到完全保证[4]。不仅如此，由于大坝的特殊外观和所处位置等因素，使得在某些特殊情况下，无法实现对结构关键构件的检测[5]。为了解决上述传统视觉评估方法的缺陷，急需一种无损、高效、低成本、易操作而且准确又安全的检测方法。随着无人机（Unmanned Aerial Vehicle，UAV）技术的发展与普及，可以采用无人机来获取结构的视觉信息。基于UAV的视觉检测方法成本低，可操作性强且安全性能高[6]。

在对大坝损伤图像进行采集时，为了获取坝体表面的高分辨率图像，往往需要近场采集图像。这就使得每张图像仅可覆盖一小块区域，在各张图像中很难获得完整的坝面信息。因此，为了全面评估结构的健康状况，需要运用图像拼接的方法，将从混凝土结构表面采集的多个图像拼接成单个的宽视角图像。图像拼接是一种将重叠部分的多个图像融合在一起，以产生高分辨率全景图像的技术[7]。该技术已在土木工程领域得到了一定的应用。Zhu等[8]应用图像拼接技术来描绘桥柱区域，使得桥柱生成大图片以供进一步分析。Adhikari等[9]提出了一种基于图像处理技术的混凝土裂缝特征提取方法。该方法应用图像拼接技术，将分布在两张图像中的裂缝进行拼接。李新科等[10]使用图像拼接算法，将分布在2张图像上的桥梁拉索表面损伤进行拼接，以显示出完整的缺陷图。Chen等[11]介绍了一种无人机图像拼接方法，从而实现了遥感影像的全景拼接。但是，图像拼接技术目前尚未真正应用于水工结構中解决实际问题。

研究提出了以无人机作为大坝健康监测的图像采集工具，发展了一种新的大坝结构损伤检测方法，以克服传统视觉检测的局限性。应用图像拼接算法对采集到的损伤图像进行拼接，将分布在多张图像中的损伤完全呈现在同一张图像中，以实现在不降低图像分辨率的情况下提高检测的精度。

1 算法原理及实现

算法的实现步骤如图1所示，共分为3个部分：

（1） 图像采集，采用UAV作为图像采集工具，以获取损伤图像;

（2） 图像配准，应用Brown等[12]提出的尺度不变特征变换（Scale Invariant Feature Transform，SIFT）算法，提取图像中的关键点，并对其进行匹配;

（3） 图像融合，根据每幅图像间的匹配点，对采集到的损伤图像进行拼接，当图像过多时，则采用分组拼接的形式。

1.1 图像采集

为了更安全、高效地获取坝体表面图像，以无人机作为图像采集工具，通过控制无人机的飞行轨迹拍摄不同区域坝体表面的损伤图像。该采集工作需要一名具备无人机飞行操控和飞行规划能力的地面操作员来实现远程控制。本次研究选用大疆（DJI PHANTOM 4 PRO）无人机收集原始图像数据，配备1英寸2 000 M像素的CMOS图像传感器和高分辨率镜头，图像像素为5 472×3 078。在图像采集过程中，需尽量确保相机主光轴与坝面正交，而且与坝面保持相同的飞行距离（约5.0 m），对采集到的图像，需尽量保证至少有50%的重叠率。

1.2 图像配准

图像配准是将同一场景的2张或多张图像转换为同一个坐标系的过程，包括特征点检测、特征点匹配和图像变换。

1.2.1 特征点检测

特征点检测，即检测图像中的控制点。比如，一些独特的对象、边缘、线的相交点和角点等[13]。目前，SIFT特征点检测算法应用最为广泛，其检测的特征点不随比例和旋转的变化而变化，具有很高的辨识度，对图像噪声具有鲁棒性[13]，因此，更适合于无人机采集到的图像处理。

SIFT算法是通过在图像的尺度空间中找到局部极值来识别特征点。然后，对每个极值点一定邻域内的像素点计算梯度直方图。最终，通过梯度直方图生成一个由128个数据组成的特征向量来描述特征点。

1.2.2 特征点匹配

当提取SIFT的特征描述符后，需要在参考图像和待配准图像中提取正确的匹配特征点。

首先，根据描述符的欧式距离来判断特征点是否匹配。两幅待匹配图像所生成的特征描述符及其欧式距离为

Ri=ri1ri2…ri128，Si=si1si2…si128（1）

dRi，Si=128j=1（rij-sij）2（2）

式中：Ri与Si分别为待匹配图像生成的特征描述符，dRi，Si为特征点之间的欧式距离。

然后，采用如下2个步骤来对特征匹配点对进行筛选，以消除特征点的误匹配，保证关键点匹配的准确性。

步骤1。基于Lowe[14]提出的比较某个特征点E与其最近邻点P和次近邻点P′之间的欧式距离比率的匹配策略进行筛选。即，计算EP和EP′之间的距离比率R，如果R值比某一阈值T小，则认为（E，P）作为匹配点对匹配成功，反之，则为匹配失败。在本研究中，依据经验将阈值T设置为0.6，即所有匹配距离比大于0.6的匹配都将被拒绝。

步骤2。使用随机抽样一致性（Random Sampling Consensus，RANSAC）算法[15]，进一步删除错误匹配点对。计算2幅图像之间的单应性以及查找异常值，即不正确的匹配点，来提高图像特征点匹配率。

1.2.3 图像变换

在获得2幅图像的精确匹配特征点对后，可根据式（3）的图像变换关系求解出单应性矩阵H。通过H，可将待配准图像I′变换为与参考图像I相同的坐标系下。

x′y′1=Hxyz=h11h12h13h21h22h23h31h321xy1（3）

式中：（x′，y′）和（x，y）是待配准图像I′和参考图像I的匹配点对。

1.3 图像融合

将待配准图像I′与参考图像I转换为同一坐标系后，需选择适当的图像融合方法来完成图像拼接。鉴于本研究使用无人机作为图像采集工具，可更接近拍摄结构物，取景范围相对较小，而且相邻2幅图像的拍摄时间间隔很短，所以采集到的图像受光照等因素的影响较小，可以采用直接图像融合算法，即取单幅图像上的重叠区域进行图像融合，这样简单快捷。

为了克服在拼接多幅图像时产生的累积误差，选用了中间图像作为最佳参考图像，并提出了一种通过分组拼接实现多图像拼接的方法。即，先对组内的图像进行拼接，再进行组间图像的拼接。在组间图像拼接过程中，会重新计算相邻2组图像的配准参数，并以组的方式进行图像变化，从而减少图像的变换次数，进而降低拼接误差的累积。根据经验，当拼接图像数量不大于4张时，拼接结果未呈现出拼接错误及明显变形;当拼接图像数量多于4张时，拼接结果易出现明显的拼接错误和图像变形。因此，本文在保证有50%图像重叠率的前提下，选择以4张图像为一组的分组图像拼接方式，来解决多图像拼接易产生拼接错误的问题。

2 实验验证与分析

2.1 工程概况

以位于辽宁省太子河干流上的葠窝水库混凝土重力坝为例进行分析。该工程于1970年11月开工建设，1974年11月基本建成并投入运行，是以防洪、灌溉、城市供水为主，并结合发电的大（2）型水利工程，总库容为7.91亿m3。2013年，大坝被鉴定为三类坝。目前，存在开裂、渗水、溶蚀和冻融等损伤，严重影响到该大坝的安全性与稳定性。因此，需要对大坝状态进行评估。

2.2 实验结果与分析

为了验证所提出方法的可行性，选择该坝作为研究对象，图2为所研究大坝的上游面。矩形框是用于拍摄坝体表面图像的采集设备。

为了验证所提出的方法在大坝安全健康监测中的实用性，本研究将列举2个算例对其进行说明验证。算例1为无人机采集的该大坝25号坝段和26号坝段的7张分段图像，如图3所示。算例2为无人机采集的该大坝26号坝段、27号坝段和28号坝段的7张分段图像，如图4所示。各分段图像包括裂缝及其编号，图像间的重叠率不小于50%。此外，由于无人机采集到的图像为高分辨率图像，在拼接过程中，各图像将包含大量冗余信息，使得处理时间过长。所以，本文将采集到的图像下采样至1 824×1 026 像素。

图5为算例1中分段图像1-1与分段图像1-2实现图像拼接的过程图。图5（a）为利用SIFT算法提取的2个图像中的特征点，图5（b）为对匹配点对进行筛选后的特征点配准并连线，图5（c）为采用直接融合算法进行拼接后的拼接效果图。从图5（a）与图5（b）中能明显看出通过匹配點对的筛选，大部分错误匹配均被删除，即在图5（b）中存在很多并未被连线的特征点。

算例1与算例2均由无人机采集的7张分段图像构成，属于多图像拼接问题。在本研究中，为了减少图像拼接过程中产生的累积误差，将按组拼接所获取的多张图像。分组拼接情况如图6所示，将7张分段图像分为2个组，分别为分段图像组1和分段图像组2，然后再将这两组图像拼接在一起，以形成完整的损伤图。

图7（a）与图7（b）是按顺序依次拼接的算例1和算例2中7张分段图像的结果图，在图中均出现了明显的拼接错误，如图中矩形框所示。

图8（a）与图8（b）分别是算例1与算例2采用分组拼接方式获得的结果图，均由7张分段图像拼接而成，图像大小分别为6 748×1 026像素和6 590×1 026像素。从图8（a）和图8（b）中可以看出：结果图中皆未出现明显的融合错误与图像变形，而且都能够显示出各坝段的损伤分布情况。与图7相比可知：本文采用所提出的分组拼接方式，可以显著地提高图像拼接的整体效果。除此之外，在图8（a）中用矩形框出的26号坝段的2号裂缝，最初是分别分布在算例1的分段图像1-1、分段图像1-2和分段图像1-3中，而最终结果是完全显示在同一张图像中。因此，该方法可以将坝体损伤图像拼接在一起形成完整图，有助于更全面地观察裂缝走向及损伤分布，同时也有利于进行后续的损伤提取和分析。

表1列举出了2个算例中待拼接图像之间的匹配点数量，包括相邻图像与两组拼接图像之间的匹配点的数量。由表1可看出，大约有90%的错误匹配被删除，即提高了特征点的匹配率。

分组拼接算例1的计算时间为425.708 s，分组拼接算例2的计算时间为196.438 s。2个算例虽均是拼接7张图像，但是图像的特征点数量不同，使得在拼接时间上存在较大的差异。同时，本研究也计算出了未采用分组方式拼接2个算例的计算时间，分别为190.229 s和106.465 s。尽管采用分组拼接的方式略耗时，但可以减少拼接多幅图像产生的误差。

3 结 论

本文基于无人机获取坝体表面影像数据，采用图像拼接技术，将分布在若干张图像中的损伤呈现于同一图像中，形成了宽视野的损伤图像，实现了混凝土坝面高精度、高效率的损伤检测。

提出了采用分组形式来拼接多幅图像的拼接方法，减少了拼接多张图像带来的累积误差，从而避免了图像拼接错误及拼接变形。

该方法的图像拼接过程虽略长，但与传统的视觉检测方法相比，仍具有较大的优势。在后续的研究中，将在如何减少拼接时间且又不影响拼接质量方面加以改进。

参考文献：

[1] 中华人民共和国水利部.第一次全国水利普查公报[J].水利信息化，2013（2）：64-64.

[2] 王秘学，谭界雄，田金章，等.以ROV为载体的水库大坝水下检测系统选型研究[J].人民长江，2015，46（22）：95-98.

[3] 吴中如，徐波，顾冲时，等.大坝服役状态的合评判方法[J].中国科学：技术科学，2012（11）：1243-1254.

[4] 徐陈勇，李云帆，王喜春.基于低空无人机的大坝渗漏安全检测技术研究[J].电子测量技术，2018（9）：84-86.

[5] KIM J W，KIM S B，PARK J C，et al.Development of crack detection system with Unmanned Aerial Vehicles and Digital Image Processing[C]∥Advances in Structural Engineering and Mechanics，2015.

[6] MORGENTHAL G，HALLERMANN N.Quality assessment of Unmanned Aerial Vehicle（UAV）based visual inspection of structures[J].Advances in Structural Engineering，2014，17（3）：289-302.

[7] WANG Z，YANG Z.Review on image-stitching techniques[J].Multimedia Systems，2020，26（4）：413-430.

[8] ZHU Z，GERMAN S，BRILAKIS I.Detection of large-scale concrete columns for automated bridge inspection[J].Automation in Construction，2010，19（8）：1047-1055.

[9] ADHIKARI R S，MOSELHI O，BAGCHI A.Image-based retrieval of concrete crack properties for bridge inspection[J].Automation in Construction，2014，39（APR.）：180-194.

[10] 李新科，高潮，郭永彩，等.利用改进的SIFT算法检测桥梁拉索表面缺陷[J].武汉大学学报（信息科学版），2015，40（1）：71-76.

[11] CHEN J，XU Q，LUO L B，et al.A robust method for automatic panoramic UAV Image Mosaic[J].Sensors（Basel），2019，19（8）：1898.

[12] BROWN M，LOWE D G.Automatic panoramic image stitching using invariant features[J].International Journal of Computer Vision，2007，74（1）：59-73.

[13] JAHANSHAHI M R，KELLY J S，MASRI S F，et al.Survey and evaluation of promising approaches for automatic image-based defect detection of bridge structures[J].Structure and Infrastructure Engineering，2009，5（6），455-486.

[14] LOWE D G.Distinctive image feature from scale-invariant key points[J].International Journal of Computer Vision，2004，60：91-110.

[15] FISCHLER M A，BOLLES R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography[J].Communication of the ACM，1981，24（6）：381-395.

（編辑：赵秋云）

Dam health monitoring method based on image mosaic technology of Unmanned Aearial Vehicle

WANG Linlin1，LI Junjie1，KANG Fei1，MA Chuanbo2

（1.Faculty of Infrastructure Engineering，Dalian University of Technology，Dalian 116024，China; 2.Liaoning Water Conservancy and Hydropower Research Institute Co.，Ltd.，Shenyang 110003，China）

Abstract：

In order to overcome the limitations of traditional visual inspection methods，this paper proposed a dam structure damage detection method based on image mosaic technology of Unmanned Aearial Vehicle （UAV）.In this method，the UAV is used as a tool to collect damage images of the dam surface，and the same structure damage distributed in several images is stitched together by the proposed image registration and fusion algorithm to perform a complete damage image.This method can expand the detection field on the basis of ensuring the image resolution and detection accuracy.At the same time，the method of image grouping mosaic can reduce the cumulative error of multi-image mosaic.The results demonstrate that the proposed method is more economical，efficient，easy to operate and safer than traditional visual inspection methods，and is convenient to observe the damage of the dam surface，which can be applied in practical dam safety and health monitoring.

Key words：

dam monitoring;image mosaic technology;UAV;visual inspection