风电叶片图像直线特征检测与拼接方法

马宝琰 汤磊 赵晶 何勇军

摘 要：风电机组运行过程中需要定期巡检叶片表面。人工巡检方式工作量大、成本高且检出率低，迫切需要引入智能巡检系统。风电叶片图像的拼接是智能巡检系统的关键环节，直接决定着系统性能。目前的拼接方法在面对风电叶片这样结构与颜色单一的条形对象时无法提取出足够的特征点，拼接成功率低。针对这一问题提出了基于直线特征的拼接方法。该方法首先检测风电叶片图像中的直线，然后筛选去重作为特征进行图像配准，最后根据平移旋转矩阵拼接叶片图像。实验结果表明，所提出的方法能适应拼接结构单一、重合度小和背景多样等复杂的情况，具有较强的鲁棒性和稳定性。

关键词：图像拼接;直线特征;差异度

DOI：10.15938/j.jhust.2020.05.012

中图分类号： TP399

文献标志码： A

文章编号： 1007-2683（2020）05-0083-10

Abstract：It is necessary to periodically inspect the blade surface of the wind turbines operation. The widely used manual inspection method brings a heavy workload， high cost and low detection rate， so it is urgent to need anautomatic inspection system.Image mosaic of wind power blades is a key part of the intelligent inspection system， which directly determines the system performance. Current splicing methods cannot extract enough feature points when facing a strip object with a single structure and color such as wind power blade， causing failure in splicing success. A splicing method based on line features is proposed to solve this problem. This method first detects straight lines in the images of the wind power blade， then selects the de-duplication as the feature for image registration， and finally splices the blade image according to translation rotation matrix.Experimental results show that the proposed method shows strong robustness and stability in complex situations such as single structure， small coincidence degree and diverse backgroundstability.

Keywords：image mosaic; straight line features; degree of difference

0 引 言

目前我国风力发电机组装机容量高达6000万千瓦，已经超过美国，稳居世界第一。风电叶片是风力发电机组的核心部件之一，容易受到雷击、腐蚀等影响而损坏。定期巡检风电叶片，及时发现其表面缺陷并检修或更换，保证机组正常运行，以节约成本、降低损失。以往主要采用蜘蛛人、吊车、望远镜等形式检测，检出率低，迫切需要研发一种智能巡检系统。为了能够检测出毫米级的缺陷，巡检系统需要采集高分辨率的叶片图像。而风力发电机叶片长达40米，在拍摄同一叶片图像时，相机镜头需要连续移动、多次拍摄才能覆盖叶片所有区域。为了准确测量缺陷的大小、长度与面积，并准确定位缺陷，需要拼接拍摄到的多张图片。因此，图像拼接是自动风电叶片检测的关键技术。

图像拼接首先检测特征，然后配准图像[1]。现有的图像拼接方法有SIFT、SURF、BRISK、ORB、KAZE或AKAZE等算法。其中SIFT（scale invariant feature transform，SIFT）[2-3]首先通过不同尺度的高斯函数以及图像卷积构建图像尺度空间，再检测尺度空间的极值点，并筛选这些极值点，确定这些极值点的位置与方向，最后对这些点进行描述，得到具有128维的特征描述子[4]。与SIFT不同的是SURF（speeded up robust reatures， SURF）[5-6]首选引入了Hessian矩阵来构建尺度空间，再采用harr描述特征点，最后生成64维的特征描述子，特征数目比SIFT减少了一半[7]。BRISK（binary robust invariant scalable keypoints， BRISK）[8-9]是一种二进制的特征描述算子，首选使用FAST检测不同尺度空间图像的特征点，再用高斯滤波描述特征点。与BRISK一样，ORB（oriented FAST and rotated BRIEF， ORB）[10-11]也是用FAST检测不同尺度空间图像的特征点，但其描述特征点使用的是BRIEF（binary robust independent elementary features， BRIEF）方法。KAZE[12-13]是一种非线性尺度空间的特征检测和描述方法，利用非线性滤波改进了高斯尺度空间不能自然的顺应物体边界和平滑细节以及噪声的问题，相比SIFT和SURF具有更好的性能。AKAZE（accelerated KAZE， AKAZE）[14-15]对KAZE在构建非线性尺度空间与特征描述上进行了改进，即采用FED（fast explicit diffusion， FED）快速构建非线性尺度空间，并采用M-LDB（modified local difference binary， M-LDB）改进了特征描述，从整体上减少了内存与计算时间[16-17]。这些算法在背景复杂的情况下可以检测到足够合适的特征点，具有较高的拼接成功率。但是风电叶片结构、颜色简单，且明暗程度对比的不顯著。现有拼接方法很难在风电叶片上检测出足够且有效的特征点，其拼接成功率很低。

对叶片进行深入研究我们发现，叶片边缘的直线特征比较明显，而且相邻的两幅图像边缘上直线的斜率基本一致，而非边缘直线的斜率一致的可能性很小。根据这些特征本文提出了一种基于直线特征的叶片图像拼接方法。该方法要解决两个问题：一是如何检测并去掉图像上重合的直线特征，二是如何配准直线特征。对于直线去重，首先根据霍夫变换直线检测原理检测叶片图像上边的直线，选择其中一条直线，寻找其它直线与该条直线差异度较小的直线，再分别求出这些直线的斜率与截距的均值，计算出一条去重后的直线，最后重复以上操作确定用于配准的直线集。对于直线匹配，首先分别计算两个直线集中两两直线的交点，生成两个交点集，再根据交点计算坐标系的平移转换矩阵，从而减少直线所在坐标系的转换次数，然后采用直线差异度配准直线特征，计算出最大匹配数，最后计算出叶片图像的平移旋转矩阵。在直线特征配准完成之后，根据平移旋转矩阵实现图像拼接。

1 直线特征检测

风电叶片图像在采集时，会暂停风机，使叶片悬停在竖直方向，采集时相机沿着叶片从上到下拍摄叶片一个面的所有图像。因此，叶片图像上直线特征的方向大致竖直，采用图像微分可以使单方向的图像纹理表现的更为明显。由于拍摄角度不同，直线特征也会有一定的倾斜。为了能更好的检测出直线特征，本文采用加权的图像微分提出直线，即先分别求出横向与纵向的图像微分然后加权。轮廓提取公式如下：

在直线检测前需要计算出二值图像，即对滤波后的图像阈值分割，以便拟合出直线特征。不同的叶片图像的叶片边缘灰度值差别比较大。如果固定阈值很难适应各种光照强度与背景下的图像分割，分割效果比较差。对于这个问题本文采用加权灰度均值作为阈值来分割叶片图像，即对滤波后的图像计算灰度均值，再使用图像灰度值均值的ω倍作为图像分割的阈值。I1加权阈值分割可得I2：

本文检测直线所采用的方法为霍夫变换[18-19]，其检测原理如下：在极坐标系中，采用（φ，α）表示一条直线区域，其中φ（0≤φ≤n）为直线到原点的距离，n为图像对角线长度，α（0°≤α≤360°）限定直線斜率，α步长为1°。采用H（φ，α）记录经过直线（φ，α）的像素点次数。依次遍历图像中所有的像素，如果当前像素经过（φ，α），那么H（φ，α）的数值加1，最后根据经过直线（φ，α）像素点个数的阈值来确定所检测到的直线。

2 直线特征去重

叶片图像直线特征以竖直方向为主。但是检测出的直线特征也会有水平方向的，这些直线特征属于无效特征，会降低匹配效率。可以由ki>ε0去掉直线集Li中水平方向的直线生成直线集Lj：y=kjx+bj，（j=1，2，3…n2）。由于叶片图像的边缘轮廓宽度较大，且检测是存在偏差，不可避免地会在同一条轮廓上检测出有微小偏差的重复直线。重复直线只需要保留一条。为了进去掉直线集Lj中的重复直线，减少不必要的运算，把这些直线拟合成一条直线。为此，我们定义直线差异度：

3 直线配准与拼接

在采集叶片图像的时候，相机距离风柱100m。风柱高为80m，叶片长为40m。采集图像的时候保持风机停机，叶片向下垂直于地面，相机从轮毂处开始向叶片尖端依次拍摄。为了保证叶片图像有足够的重叠部分，采集完一个叶片需要拍摄20张左右的图像。每张图像的对应的叶片实际高度为2m左右，仰角变化约为1°，图像宽为4000像素。若以其中一张图像为基准，则投影后的图像宽约为3999.39（4000·cos1）像素。相邻两张图像的相对误差在1像素之内，所以本文在计算的时候忽略了仿射变换。

3.1 配准与拼接

对于一组叶片图像取连续的两张A、B，通过上述过程分别检测得到A与B上的直线集。定义图像A上的直线集：

其中j=1，2，3…n1，k为斜率b为截距。为了配准一组叶片图像上的直线特征，把第一张图像的坐标系作为基准坐标系，其它图像的坐标系进行平移旋转变换，变换到第一张图像上的坐标系，以方便直线特征的配准。如果直接用滑动窗口的形式配准直线特征，配准效率会大幅度下降。针对这个问题，本文引入了直线交点特征。每幅图像所检测出的直线集，经过去重后的元素个数在10以内。根据直线计算出的交点个数在50以内。由叶片特征可知，每幅叶片图像至少有两条直线可以配准成功。那么配准成功的两对直线的交点在误差范围内也会重合。如图1所示在直线特征配准的过程中，可以使用直线交点计算坐标系的平移旋转变换来代替滑动窗口以提高直线特征的配准效率。通过A上直线集中直线交点计算公式：

根据LAi与LBj中的直线交点计算从LBj所在坐标系到LAi所在坐标系的平移旋转变换。计算方法如下，首先分别任取点集PAr、PBs中一点（xr，yr）与（us，vs），通过式（16）把LBj所在坐标系平移旋转变换到LAi所在坐标系：

3.2 拼接图像修正

风电场提供的风电叶片具有相同的规格，每个叶片的两个边缘不是平行的，他们具有一定角度。相邻的两张图像中的叶片，其重合部分的边缘直线方向经过旋转后基本一致。如图2所示，我们根据风电场提供的叶片尺寸信息，利用叶片边缘建立一个标准的模型M。一组叶片图像通过上述方法拼接完后得到完整的叶片图像长度，该长度与标准模型长度的比值γ作为整组图像的缩放比例。最后采用叶片图像的边缘信息与缩放比例γ把叶片图像投影到标准模型上。这样可以在一定程度上较少累积误差。

图2 修正拼接图像

Fig.2 Revisingmosaic image

4 实验与分析

实验中选择了SIFT、SURF、BRISK、ORB、KAZE与AKAZE特征点的检测与本文方法对比，以验证本文提出的基于直线特征的拼接方法。用于实验的计算机CPU为Intel（R） Core（TM） i5-6500 3.20GHz，内存为8GB，操作系统为64位Win10。编程环境为Visual Studio 2013，编程语言为C++语言。

算法的实现[20]以及所有实验的验证使用的是OpenCV-3.4.1。叶片图像使用佳能EOS800D相机拍摄。风力发电机轮毂距离地面80米，叶片长40米，相机距离风柱100米。所采集的叶片图像分辨率均为6000×4000。

4.1 对比方法特征点提取情况

对于现有方法检测出的特征点和特征点匹配，文献[20]使用了OpenCV来检测图像特征点与拼接图像。叶片图像采用采用OpenCV库函数检测出的特征点有限甚至检测不出特征点，成功匹配个数也较少，导致大部分图像无法拼接成功，并不适合叶片图像拼接任务。为此我们来以成功匹配个数为大于等于2的时候表示正确匹配成功，这样来确定相邻两幅图像的拼接位置。SIFT、SURF、BRISK、ORB、与AKAZE所检测出的特征点位置如图2所示，KAZE图像所检测出的特征点与AKAZE算法检测出的结果相同。图3（a）为原始图像Image1与Image2。图3（b）为采用SIFT方法检测出的特征点图像，其中Image1图像没有检测出特征点。图3（c）为采用SURF方法检测出的特征点图像，检测出的特征点数目较多。图3（d）与图3（e）为分别采用BRISK与ORB方法检测出的特征点图像。图3（f）为采用AKAZE方法检测出的特征点图像，其中Image1图像没有检测出特征点。

图3 现有方法检测出的特征点

Fig.3 Feature points detected by existing methods

由图3可以看出现有图像拼接算法，对于叶片这种结构单一的图像所检测出的特征点较少，甚至检测不到特征点，并且两幅相邻的图像所检测出的有效特征点较少。这些问题会导致叶片图像拼接失败。

采用SURF方法对图像Image1与Image2检测特征点并采用Flann匹配特征点的效果图像，结果如图4所示。可以看出在Image1与Image2上，SURF特征点没有匹配成功。

4.2 叶片图像直线检测

图5图6是分别对Image1與Image2检测直线特征的分步效果图，图5（b）与图6（b）分别是对原始图像在x方向求微分的效果图，可以看出x方向微分图像边缘比较明显。图5（b）与图6（b）分别是对原始图像在y方向求微分的效果图，可以看出y方向微分图像边缘不太明显，所以x方向微分图像所占的比重要大于y方向微分图像。根据实验，本文加权边缘检测参数θ取0.9。根据x方向微分图像与y方向微分图像可以分别计算得到图5（d）与图6（d）的边缘图像。图5（e）与图6（e）是对边缘图像进行锐化后的图像。图5（f）与图6（f）是对锐化后的图像进行加权阈值分割所得到，其中阈值为ωT，T为锐化后图像的均值，本文实验ω为5。图5（g）与图6（g）是对阈值分割后的图像进行直线检测的结果图。图5（h）与图6（h）是对直线去重后的结果图，其中直线差异度ρ为0.08。通过本文方法在实验过程中准确的检测出了叶片边缘直线，经过去重之后得到了有效的边缘直线特征。

4.3 叶片图像直线配准与拼接

直线配准与拼接是叶片图像拼接的关键步骤，由图7可以看出在叶片图像重合较多的时候，直线特征配准与拼接效果较好。由图8（c）可以看出，Image3与Image4图像几乎没有重合，但是直线特征并不受图像重合度的影响，仍然可以拼接成功。

4.4 实验统计与分析

图9为实验所采用的不同情况下叶片图像数据，其中图9（a）为带轮毂的叶片图像，图9（b）为没有重合的叶片图像，图9（c）为背景云层较薄的叶片图像，图9（d）为背景云层较厚的叶片图像。本次实验共采用50组各种情况的叶片图像，每组叶片图像为2张。

其中：（△u，△v）为拼接结果的坐标平移向量;（u0，v0）为图像重合的坐标平移向量。在不同误差情况下的拼接成功率也有所不同，那么计算拼接成功率（MSR）为：

表1为每种方法对于不同误差容忍度拼接成功率的实验统计数据。表1显示采用直线特征在误差容忍度为0像素的时候拼接成功率为38%，误差容忍度为5像素的时候拼接成功率为60%，误差容忍度为10像素的时候拼接成功率为74%，误差容忍度为20像素的时候拼接成功率为86%;采用SURF方法，当误差大于10像素的时候，拼接成功率稳定在33%;采用SIFT方法，当误差大于5像素的时候，拼接成功率稳定在10%;采用KAZE方法，拼接成功率不超过10%;采用AKAZE、BRISK与ORB方法进行拼接则拼接成功率为0%。

风电场的检测任务要求定位缺陷的精度为0.2～0.5m。拼接叶片图像是为了定位缺陷位置，在实现系统的时候定位会出现一些误差，但是不会出现漏检或丢失的情况，故障点重合也会在拼接结果的图像上分别定位出来。实验表明，在误差允许的情况下，本文提出的叶片图像拼接方法具有较高的拼接成功率，而现有的图像拼接方法拼接成功率较低，说明使用直线特征拼接叶片图像是一种有效的方法。

5 结 论

针对风电叶片图像现有图像拼接方法拼接成功率低的问题，本文提出了直线特征风电叶片图像拼接方法，该方法不但提高了拼接成功率而且具有较强的鲁棒性。在直线特征的检测过程中，使用加权的图像微分，可以有效的提取风电叶片图像的边缘纹理。加权阈值分割，使叶片图像分割实现了自动的阈值设定，而不是固定阈值。直线特征去重后得到有效的直线特征，并且提高了直线特征的配准速率。采用直线特征配准与拼接，在叶片图像重合度较小的情况下仍然有较好的效果，使本算法具有较强的鲁棒性。因此在风电叶片图像拼接的时候可以采用本文算法完成图像拼接。

参 考 文 献：

[1] WANG Z， CHEN Y， ZHU Z， et al. An Automatic Panoramic Image Mosaic Method Based on Graph Model[J]. Multimedia Tools and Applications， 2016， 75（5）： 2725.

[2] ZHANG J， CHEN G， JIA Z. An Image Stitching Algorithm Based on Histogram Matching and SIFT Algorithm[J]. International Journal of Pattern Recognition and Artificial Intelligence， 2017， 31（4）： 1754006.

[3] 文伟东， 张明. 基于 SIFT 算法的全景图像拼接技术研究[J]. 计算机系统应用， 2017， 26（7）： 227.

WEN Weidong， ZHANG Ming. Research on Panoramic Image Mosaic Technology Based on SIFT Algorithm[J]. Computer Systems & Applications， 2017， 26（7）： 227.

[4] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision，2004， 60：91.

[5] HERBERT Bay， ANDREAS Ess， TINNE Tuytelaars， et al. Speeded-Up Robust FeaturesSURF）[J]. Comput. Vis. Image Underst. ，2008，110（3） ： 346.

[6] TAREEN S A K， SALEEM Z. A Comparative Analysis of Sift， Surf， Kaze， Akaze， Orb， and Brisk[C]//2018 International Conference on Computing， Mathematics and Engineering TechnologiesiCoMET）. IEEE， 2018： 1.

[7] YANG Z， SHEN D， YAP P T. Image Mosaicking Using SURF Features of Line Segments[J]. PloS One， 2017， 12（3）： e0173627.

[8] LEUTENEGGER S， CHLI M， SIEGWART R. BRISK： Binary Robust Invariant Scalable Keypoints[C]//2011 IEEE International Conference on Computer VisionICCV）. Ieee， 2011： 2548.

[9] 樊佩琦， 吴诚， 杨瑞宇， 等. 一种基于 BRISK 改进的 SURF 红外图像拼接方法[J]. 红外技术， 2018， 40（1）： 27.

FAN Peiqi， WU Cheng， YANG Ruiyu， et al. An Improved SURF Infrared Image Mosaic Method Based on BRISK[J]. Infrared Technology， 2018， 40（1）： 27.

[10]RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An Efficient Alternative to SIFT or SURF[C]//ICCV. 2011， 11（1）： 2.

[11]刘婷婷， 张惊雷. 基于 ORB 特征的无人机遥感图像拼接改进算法[J]. 计算机工程与应用， 2018， 54（2）： 193.

LIU Tingting， ZHANG Jinglei. Improved Image Stitching Algorithm Based on ORB Features by UAV Remote Sensing[J]. Computer Engineering and Applications， 2018， 54（2）： 193.

[12]ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE Features[C]//European Conference on Computer Vision. Springer， Berlin， Heidelberg， 2012： 214.

[13]韓敏， 闫阔， 秦国帅. 基于改进 KAZE 的无人机航拍图像拼接算法[J]. 自动化学报， 2019， 45（2）： 305.

HAN Min， YAN Kuo， QIN Guo-Shuai[J]. A Mosaic Algorithm for UAV Aerial Image with Improved KAZE. ActaAutomatica Sinica， 2019， 45（2）： 305.

[14]ALCANTARILLA P F， SOLUTIONS T. Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces[J]. IEEE Trans. Patt. Anal. Mach. Intell， 2011， 34（7）： 1281.

[15]梁焕青， 范永弘， 万惠琼， 等. 一种运用 AKAZE 特征的无人机遥感影像拼接方法[J]. 测绘科学技术学报， 2016， 33（1）： 71.

LIANG Huanqing， FAN Yonghong， WAN Huiqiong， et al. Mosaic Algorithm of UAV Images Based on AKAZE Features [J]. Journal of Geomatics Science and Technology， 2016， 33（1）： 71.

[16]QU Z， BU W， LIU L. The Algorithm of Seamless Image Mosaic Based on A-KAZE Features Extraction and Reducing the Inclination of Image[J]. IEEJ Transactions on Electrical and Electronic Engineering， 2018， 13（1）： 134.

[17]YANG X， CHENG K T T. Local Difference Binary for Ultrafast and Distinctive Feature Description[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 36（1）： 188.

[18]DUDA R O， HART P E. Use of the Hough Transformation to Detect Lines and Curves in Pictures[R]. Sri International Menlo Park Ca Artificial Intelligence Center， 1971.

[19]董梁. 基于哈夫变换的图像边缘连接[J]. 现代电子技术， 2008， 31（18）： 149.

DONG Liang. Image Edge Linking Based on Hough Transform [J]. Modern Electronics Technique 2008， 31（18）： 149.

[20]NOBLE F K. Comparison of OpenCV′s Feature Detectors and Feature Matchers[C]//2016 23rd International Conference on Mechatronics and Machine Vision in PracticeM2VIP）， IEEE， 2016： 1.

（編辑：王 萍）