高空悬挂式相机拍摄中的拉索提取方法*

何榜耕，吴晓红，何小海，卿粼波，郑新波

(1.四川大学 电子信息学院，四川 成都 610065； 2.东莞前沿技术研究院，广东 东莞 523000)

0 引言

航拍拍摄的图像具有视野宽广、场面宏大的特点，在军事、工程和民用上都有着许多应用。在一些工程应用中[1-2]，航拍图像素材的获取是通过定点悬停的无人飞行器采集实现的，相机及其云台通过若干根拉索与飞行器相连。而相机镜头在旋转拍摄的过程中，拉索会出现在视野并被拍摄到图像中。这不仅影响到图像在画面上的美感，还会影响到后续工程应用中的分析。所以，对航拍图像中的拉索去除是很有必要的，并有着实际工程意义。为此，本文重点研究拉索的提取。

从杂乱的背景中定位目标的确切位置，主要有两种类型的方法：基于边缘检测的方法和基于阈值分割[3]的方法。基于边缘检测的方法一般先从图像中检测边缘，再从边缘中提取所需的目标。基于阈值分割的方法通常根据颜色、灰度级等特征来分离目标与背景来提取待检测物体。基于阈值分割的方法优点是可以较容易自动分离出任意形状的物体，但选择合适的阈值是一个难题，且一个阈值往往只适用于一个场景。刘毓涵[4]提出局部自适应阈值分割的方法，将图像进行分块处理。对于本应用场景中包含的各种复杂场景，难以找到全局最优阈值，局部环境也具有不确定性，而且不同场景下拉索颜色不一，即使是相同场景中，拉索颜色也不尽相同，所以本文采用基于边缘检测的方法。拉索的外形近似直线，目前研究成果对于固定场景、环境较为单一的工业图像进行直线提取能取得很好的效果。董银文等[5]提出直线提取三次连接的方法用于机场跑道的识别，Xu MingLiang等[6]利用小线段DBSCAN聚类的方法对车道线进行检测，郭碧等[7]采用直线和双曲线结合的分段曲线模型对铁轨能进行较好检测。这些方法对于包含大场景和复杂背景的全景航拍图像中的直线提取效果却不能达到要求。航拍图像中的拉索具有以下特征：

(1)拉索较细，只占据图像的极少部分，而背景包括复杂的山地洼池或是建筑楼群。

(2)根据拉索悬挂相机的特点，拍摄到的画面中拉索的方向为相对于垂直的不同倾角，如检测到水平方向的拉索可视为误检。

(3)不同场景下，拉索的颜色不一，甚至同一场景下，也有接近背景色的拉索，给提取工作带来难度。

基于上述分析，本文提出一种全景航拍图像中拉索的提取方法。主要贡献在于：(1)将小波变换和Canny边缘检测结合，并通过形态学膨胀检测出包含拉索在内的图像边缘；(2)提出一种基于形态学腐蚀(Morphological Erosion,ME)并包含距离拟合(Distance Fitting,DF)的改进Hough直线检测方法，形成了一种能适用于复杂场景的目标直线提取算法，最终能有效完整地提取复杂背景中的目标拉索。

1 结合Canny算法和小波变换的边缘检测

边缘检测是拉索提取算法中关键的一步，边缘检测的结果将直接影响后续直线检测的效果。常用的边缘检测算法有Sobel[8]、Laplacian，Canny等经典边缘检测算子，其中Canny边缘检测算子[9-11]具有更强检测弱边缘的能力，而小波变换[12]可多尺度分析图像的频率分量，本文使用两种方法结合研究。

前期边缘检测任务是最大限度地检测到拉索的边缘，Canny边缘检测能较好地检测到各类边缘，但是这种检测是无差别的检测。小波变换能进行水平方向上快速变化的检测，从而找出竖直方向的边缘,同时具有抗噪声能力强的特点，但这样往往检测到的边缘是不连续甚至明显断裂的。形态学算法[13-14]具有连接相邻图像元素的作用。针对此，本文提出一种Canny算子结合小波变换的边缘检测算法，既保留Canny边缘检测的精度，又突出竖直边缘，为下一步直线检测做了有效的铺垫。

本文边缘检测算法流程如图1所示。航拍图像测试效果如图2所示。

图1 本文边缘检测算法流程图

图2 不同边缘检测算法效果图

与传统边缘检测算法相比，本文方法在利用Canny算子能检测弱边缘的基础上，通过小波变换与形态学膨胀的结合，能使检测的效果更好并突出待检测直线的特点，为下一步的工作做了坚实的铺垫。

2 基于ME-DF的改进Hough直线检测

2.1 算法描述

在得到包含拉索的边缘检测图后，接着就是提取拉索。拉索的外形近似直线，直线检测成为主要任务。1962年HOUGH P V C提出[15]的Hough直线检测将图像空间中的检测问题转换到参数空间中投票累加问题，具有较强的鲁棒性。但它采用的是穷尽式搜索，运算量大。并且周围的噪声也参与投票，由于这种无差别的投票，会造成虚假峰值。针对此，MATAS J等提出[16]一种概率霍夫变换，它主要通过随机抽样图像中的特征点来完成Hough变换，显著地降低了Hough变换的运行时间，但依旧是无差别采样，不能对虚假峰值进行抑制。本文提出一种基于形态学腐蚀(Morphological Erosion,ME)并包含距离拟合(Distance Fitting,DF)的改进Hough直线检测方法。

基于ME-DF的改进Hough直线检测方法首先采用形态学腐蚀操作，因为在得到的边缘检测后的图像包含大量的背景信息，采用腐蚀操作理论上可以去掉背景信息。传统的模板是采用3×3等正方形、圆形或者十字形，但针对本应用场景，腐蚀阶段需要尽可能只保留拉索的图案，传统模板只能滤除掉部分背景图案并可能过多腐蚀掉拉索图案，所以应结合拉索的几何形状选取模板。本文经过大量实验后选取1×9的模板类型，这种长方形模板腐蚀拉索后只会使厚度轻微变细，能很好地保留直线特征，却能过滤掉大量背景杂物，并且能有效过滤掉绝大部分噪声，使得直线检测过程中背景区域参与的投票极大减少,对虚假峰值有很大的排除效果，再使用概率霍夫变换将很少产生虚假直线。最后由于概率霍夫直线检测出的是一些零散的线段，还包括了误检线段，结合航拍图像中拉索的实际情况对线段聚类拟合，能更精准找到拉索。

2.2 算法流程

设计算法流程具体步骤如下：

(1)对边缘检测得到的图像采用1×9的模板进行腐蚀操作；

(2)通过概率霍夫直线检测得到候选线段集合；

(3)根据斜率筛选检测到的候选线段集，并对所有线段标记为false；

(4)随机选取线段Lj，以第一个端点保存为基准点Aj；

(5)判断当前线段是否为false，若是则执行步骤(6),否则返回步骤(4)；

(6)选取下一条线段Lj+1,并且判断是否为false，若是则执行步骤(7)，否则重复执行本步骤；

(7)计算线段Lj+1所在直线到点Aj的水平距离；

(8)若距离在阈值内，则线段Lj+1标记为true并执行步骤(9)，否则直接执行步骤(9)，其中阈值由统计所有拉索的水平厚度得到的集合取最大值确定；

(9)判断所有线段是否遍历结束，若是则线段Lj标记为true，否则执行步骤(6)；

(10)判断是否所有线段标记为true，若是则算法结束，否则执行步骤(4)。

2.3 实验结果与分析

本文实验主机为CPU Intel Core i5 3.20 GHz，内存为8 GB ，运行环境为Windows 7(x64)，使用工具Microsoft VS2012。数据来源为333张1 920×1 080航拍图像及12张全景拼接图像。背景环境包含道路、草地、房屋、山地、河流、施工建筑等。表1显示了不同检测方法的检测率，在单根拉索上被检测到的区域的像素重合度大于90%表示检测到一根，小于90%为漏检，在图像中检测到的直线在拉索上的像素重合度小于20%为误检。不同方法检测效果如图3所示。

表1 不同拉索提取方法检测结果(%)

通过表1可以看出，直接采用Canny与Hough变换结合的方法误检率很高，在采用改进的Hough检测方法后误检率显著降低，但同时检测率略有减少是由于不太明显的边缘在经过形态学和聚类操作受到影响。在改进加强的Canny结合改进的Hough检测方法下，显著提升了检测率，并使误检在可以接受的范围内。

图3 不同拉索提取方法效果图

由于大场景复杂背景的存在，传统Canny+Hough的方法会检测到大量背景直线，并且由于周围噪声的存在，在Hough检测算法中会产生虚假峰值，结果检测出虚假的直线。采用本文改进的Hough算法后能滤除掉大量不相干的背景，并筛选排除误检线段，有效地提高了检测的效果，但由于边缘检测阶段效果还不够好，导致部分拉索并未检测出来。在此基础上采用本文改进的Canny边缘检测算法，有效地提取并加强拉索边缘，可以看出对不同种类、颜色以及边缘较为模糊的拉索提取依然具有良好的效果。

3 结论

本文首先提出了基于Canny算法和小波变换的边缘检测方法，结合了Canny算子，小波变换与形态学膨胀方法，旨在尽可能多地检测到拉索的边缘，突出拉索的视觉效果；随后在此基础上提出了基于形态学腐蚀并包含距离拟合的改进Hough直线检测方法，通过腐蚀操作滤除掉航拍图像中大面积的背景，保留直线特征，并在概率Hough直线检测上采用提出的聚类算法，降低了误检的情况。实验结果验证了本文提出的方法能够从复杂的自然背景中完整提取拉索，同时能有效避免单纯采用概率Hough变换方法提取拉索中存在漏检、误检等情况。但是，目前方法对于曲率较大的拉索检测取得的效果一般，进一步的工作将考虑改进直线检测算法，以便能对较大曲率的拉索提取取得更好的效果。