显著性的无人机远距离障碍物检测

姚 俊，蒋 超,，华春生，宋大雷

(1.沈阳理工大学 自动化与电气工程学院，沈阳 110159；2.中国科学院沈阳自动化研究所 机器人学国家重点实验室，沈阳 110016)



显著性的无人机远距离障碍物检测

姚 俊1，蒋 超1,2，华春生2，宋大雷2

(1.沈阳理工大学 自动化与电气工程学院，沈阳 110159；2.中国科学院沈阳自动化研究所 机器人学国家重点实验室，沈阳 110016)

针对旋翼无人机的避障问题，结合人眼视觉的显著性注意机制和HOG特征，提出一种实时的障碍物检测算法。该算法首先采用形态Haar小波分解的方法构建增强图像，然后根据增强图像的投影曲线提取出障碍物的候选区域。其后，对障碍物候选区域进行尺度归一化后提取HOG特征，并采用线性SVM分类器进行分类判别。该算法采用C++语言实现，在 Celeron 2.3GHz处理器、2G内存的单板计算机上测试分辨率为640×480的VGA视频图像的处理速度约为14f/s。实验结果表明该算法满足无人机在低空环境下的障碍物的实时检测需求。

形态Haar小波；障碍物检测；HOG特征；SVM分类器

随着现代科技的进一步发展，智能机器人及各种无人驾驶设备正逐渐进入人们的视野。具有自主飞行能力的小型无人旋翼机由于其轻巧、低成本以及灵活多变的飞行方式等特点，在军事、民用以及前沿科学研究中均具有重要的应用价值。近年来旋翼无人机在地震救灾、军事侦查，工农林业等多领域受到了广泛的关注。在旋翼无人机工作的低空环境下，可视范围以内可以通过人为的遥控飞行，而在可视范围以外，由于建筑物、树木、电线杆等障碍物都将危及旋翼无人机的安全飞行，因此在无人机自主飞行控制技术发展的进程中，实时稳定的环境感知和障碍物避免技术已成为旋翼无人机的自主飞行研究中的一个极其重要的课题。

常用的环境感知传感器，如毫米波雷达、单目及双目视觉、激光等均有被国内外的研究团队应用于无人机的环境感知和障碍物避免中[1]。如Marlow Sean Quin等[2]整合了单目视觉传感器和GPS使用光流法实现障碍物定位和避障；K Yamamoto等[3]利用红外传感器实现无人机旋翼机的障碍物检测；Gokogan 等[4]使用毫米波雷达获取旋翼无人机的周围环境信息。然而在构建远距离的障碍物的超前预警系统时，激光、毫米波雷达等传感器探测距离有限难以满足其检测要求。单目视觉由于其可视距离远、体积小、功耗低、性能稳定等特点，在旋翼无人机的避障等研究中具有重要的应用前景。如Cho sungwook等[5-7]利用单目视觉系统实现了旋翼无人机的目标检测以及跟踪等任务。

在单目视觉的目标检测中，目前研究的主要方法有两种。第一种为带监督的自顶向下的方法和依据人眼视觉注意机制的自底向上的显著性目标检测方法。其中带监督的自顶向下方法如Dalal N等[8]利用HOG特征实现的行人检测，以及Paul Viola等[9]在Papageorgiou的基础上发展起来的Haar特征的人脸检测等。然而在这些方法的计算过程中提取了数量巨大的与目标无关的候选区域，耗费了大量的计算时间。因此在实际工程应用中，难以满足运动速度较快的无人机系统的障碍物检测的实时性需求。

第二种视觉注意机制是人类和其他灵长类动物的一个重要的内在属性，它可以帮助人们在大量的视觉信息中找到显著的或有趣的物体，而忽视其他不重要的内容，从而减少信息处理的计算量。自底向上的显著性目标检测方法如Itti L等[10]基于生物启发的视觉计算模型，Cheng Ming Ming等[11]基于区域的全局对比度方法。Liu Tie等[12]提出基于多尺度对比度、中央-周围对比度、颜色空间分布3种feature maps，通过条件随机场模型组合进行显著性检测的方法。然而实际应用中相比自底向上、低层次的显著性，很多情况下具有特定“意义”的物体更会引起人们的注意。如Shen等[13]提出一种高层次先验知识和低层次特征相结合的算法，将位置先验、语义先验和颜色先验与自下而上的显著性结合在一起，取得了较好的检测结果。

本文基于形态学Haar小波分解的信息构建低层次显著性图，通过结合障碍物和背景差异的先验知识来进行障碍物感兴趣区域的提取。感兴趣区域提取为目标检测提供相关的障碍物候选区域，然后通过提取感兴趣区域的HOG特征，最后利用支持向量机对感兴趣区域进行分类判别。

1 无人机障碍物检测系统的设计

无人机的障碍物检测系统主要分为目标障碍物的感兴趣区域(ROI)提取和基于HOG特征的ROI检测两个部分。

感兴趣区域(ROI)提取阶段是为了检测出障碍物在图像中可能存在的区域，下一步只需对可能存在障碍物的候选区域做进一步的处理，既缩小了图像处理的区域，也减少了背景噪声的影响，提高了系统的运行效率和检测准确率。基于HOG特征的ROI检测阶段，主要内容为将障碍物候选区域尺寸归一化到与训练样本相同尺寸，再提取候选区域的HOG特征，最后将HOG特征向量送到高维的线性SVM分类器进行分类判别。

2 感兴趣区域(ROI)提取

由于在待检测图像中，障碍物所在的位置不确定，当前基于HOG、Haar等特征的目标检测算法通常采用滑窗法进行穷尽搜索，难以满足实时性的要求。人类的视觉能够快速找到感兴趣的目标，如高大和背景对比度强的物体能够比较容易引起注意，利用这种视觉注意机制能够把有限的处理资源快速而准确地分配到感兴趣的视觉区域上，可以避免穷尽搜索，减少运算时间。

通常，无人机正常飞行中所检测的障碍物大都是以天空为背景，可以通过图像算法计算出障碍物和天空的交界线，从而将障碍物区域分离出来。传统基于区域或边缘的图像分割一般要求分割的区域具有一致的颜色纹理等性质，但是在城市低空等环境中，人工建筑通常具有丰富繁杂的颜色和纹理，采用常用的分割方式通常不能完整分割出障碍物，本文利用形态Haar小波分解提取的高频结构信息对障碍物区域进行增强，进一步实现对障碍物区域的分割。

小波作为一种强有力的数学工具，由于其良好的多分辨率特性和对图像的结构、细节信息提取能力，使其在图像处理等领域中得到了广泛的应用。然而对于信号或图像的非线性特征其线性分析方法，仍具有一定的局限性。Heijmans等提出的将数学形态学的形态滤波特性与小波变换相结合的形态小波为多分辨率信号分析提供了一种非线性分析方法。同时形态Haar小波的信号分析滤波器由膨胀或腐蚀实现，对分解信号采取最大或最小运算，因此相比线性Haar小波其计算简单，速度更快，更适合无人机避障等对实时性要求较高的应用。

图像处理中采取二维形态Harr小波算子，对于输入图像I(m,n)，二维形态小波分解表示为

Ψ↑(I)(x,y)=I(2x,2y)∧I(2x,2y+1)∧I(2x+1,2y)∧I(2x+1,2y+1)

ω↑(I)(x,y)=(ωv(I)(x,y),ωh(I)(x,y),ωd(I)(x,y))

(1)

式中ωv、ωh和ωd分别表示垂直、水平和对角方向(高频)细节分量,即

ωv(I)(x,y)=(I(2x,2y)-I(2x,2y+1)+I(2x+1,2y)-I(2x+1,2y+1))/2

ωh(I)(x,y)=(I(2x,2y)-I(2x+1,2y)+I(2x,2y+1)-I(2x+1,2y+1))/2

ωd(I)(x,y)=(I(2x,2y)-I(2x,2y+1)-I(2x+1,2y)+I(2x+1,2y+1))/2

(2)

与线性小波变换一样,对图像I(m,n)进行形态Haar小波分解可以得到4个子图像：低频子图LL和水平高频HL、垂直高频LH及对角线高频HH。为了能将背景与障碍物区域较好的分割，采用对水平边缘有增强作用的HL子图像和对垂直边缘有增强作用的LH子图像来构建障碍物的增强图。综合考虑分割的准确性和运算时间，采用两级形态Haar小波分解，令第二层得到的HL子图像ω2h(I)(x/2,y/2)和LH子图像ω2v(I)(x/2,y/2)，按下式构造增强图：

E(I)(x/2,y/2)=ω2h(I)(x/2,y/2)2+ω2v(I)(x/2,y/2)2

(3)

图1为障碍物的增强图像效果图，图1a为灰度化处理的原始图像，图1b和图1c为采用式(1)、(2)进行小波分解得到的垂直高频LH和水平高频HL再分别进行小波分解得到的第二层垂直高频LH和水平高频HL，图1d为根据式(3)构建的增强图。

图1 基于小波分解的图像增强处理效果图

得到增强图像后，对它进行垂直方向投影，找到天空的边界，然后对投影曲线进行阈值分割，找到建筑候选区域，其算法步骤如下：

(1)采用中值滤波，滤除增强图E(I)(x,y)的噪声。

(2)对增强图进行垂直投影，计算每列中第一个非零值坐标建立投影曲线，投影曲线P(x)计算公式如下：

PD(x)=min{y|E(I)(x,y)>0}，

1≤y≤n/4

(4)

计算投影曲线各坐标点的斜率，得到斜率曲线PD(x)，通过初步阈值分割滤除斜率较小的区域(非显著区域)。

PD(x)=P(x+1)-P(x)

(5)

PD(x)=PD(x)|atan(PD(x))|>T1,

T1为阈值

(6)

(3)增强连续同向变化(斜率均为正或均为负)的区域，再次通过阈值分割，滤除由于增强图不完整带来的投影曲线斜率剧烈波动。

PD(x)=C+PD(x-1)，PD(x-1)≠0& PD(x)=0& PD(x+1)=0

(7)

PD(x)=PD(x)|atan(PD(x))|>T2，

T2为阈值

(8)

计算潜在的边界，并计算潜在边界中的最优值作为边界的上升沿Ln和下降沿Rn。

Ln={x1|(PD(x1)>0)&(PD(x2)<0)&(PD(x3)=0),1

(9)

Rn={x1|(PD(x1)<0)&(PD(x2)>0)&(PD(x3)=0),3

(10)

(4)根据上升沿Ln、下降沿Rn的值以及投影曲线函数计算障碍物区域的上边界Un和下边界Dn。

Dn=max(min(P(Ln+k)),min(P(Rn+k)))，k={-2,-1,0,1,2}

(11)

Un=max(P(x))，Ln+k≤x≤Rn+k,k={-2,-1,0,1,2}

(12)

采用以上算法得到的感兴趣区域检测结果如图2所示。

图2 投影曲线感兴趣区域检测图

3 基于HOG特征的ROI检测

ROI(感兴趣区域)提取能够在较短时间获取较为复杂场景的主要信息，这些场景的主要信息构成的区域即为感兴趣区域。然而它并不完全等同于障碍物所在区域，因此在得到了障碍物的ROI后，通过提取该区域的HOG特征，再用SVM分类器进行分类识别，判断当前区域是否存在障碍物及其所属类别。由于ROI的尺寸和训练样本大小不同，且无人机到障碍物的距离发生改变时，ROI的大小也随之改变，因此在进行HOG特征提取前需要将该区域的图像尺寸调整为与训练样本图像相同的大小，即128×128像素。

文中HOG特征提取采用文献[14]中方向梯度直方图(Histogram of Oriented Gradient,HOG)的计算思路，将感兴趣区域图像分割成若干像素的单元(cell)，在每个单元内计算梯度方向，把0°到180°梯度方向平均划分为9个区间，在每个单元内进行梯度方向的直方图统计，可以得到一个9维的特征向量，将相邻的4个单元构成一个块(block),块内的特征向量串联起来构成36维的特征向量，用块对感兴趣区域图像扫描，扫描步长为8个像素。最后将扫描得到所有块的特征串联起来构成感兴趣区域图像的特征。它的具体实现流程如图3所示。

图3 HOG特征实现流程

支持向量机(SVM)作为一种标准的分类算法，以统计学习理论和结构风险最小原理为基础，它寻求有限的样本信息在模型复杂性和学习能力之间的最佳折衷。由于其算法复杂度与样本维数无关，因此对于小样本以及高维数据具有良好的分类效果。同时由于良好的泛化能力，它在很多领域都有广泛应用。本文采用Opencv2.32提供的线性SVM函数进行分类训练。

4 实验结果

采用无人机采集的多场景的障碍物图像和网络中收集的图像建立障碍物的正负样本库，进行分类器的训练和检测算法测试。样本的组成具有随机性，训练样本图像的尺寸为128×128像素。测试算法采用C++语言编写，在研华MIO-5251(CPU:Intel®Celeron®J1900，2G内存，Windows7 64位操作系统)单板机平台上进行实验。实验采用的评价指标为检测率(PDR)，虚警概率(PFR)和平均检测时间(Time)。其中，

为了测试本文所提出的方法(形态Haar小波/HOG/SVM方法)的性能，分别选用HOG/SVM方法、Haar小波/HOG/SVM方法和Haar小波/Sobel/SVM方法作对比试验，SVM均采用线性核函数。测试样本为从样本数据库中选取的与训练样本不同的200幅图片，其中显著性障碍物数目为 635。

图4给出了四种方法检测结果示例，图中红色和白色框分别表示被判断为障碍物和非障碍物的感兴趣区域。

图4 四种方法检测结果示例

表1给出了四种方法的检测率、虚警率和平均检测时间。

表1 四种障碍物检测算法的性能比较

对比HOG/SVM和Haar小波/Soble/SVM两种方法可以看到，利用Sobel算子提取的结构特征简单对目标的描述能力较弱，容易导致错分。形态Haar 小波/HOG/SVM方法比Haar小波/HOG/SVM方法在性能和效率上均有一定的提高。形态Haar小波/HOG/SVM和HOG/SVM相比，前者的性能与后者的性能非常接近，然而平均检测时间约快3倍。

利用本文的算法(形态Haar小波/HOG/SVM)检测一幅640×480的VGA图像平均只需70ms，可以满足无人机平台的实时检测需求。

5 结束语

现阶段基于视觉的无人机障碍物检测系统由于实时性和鲁棒性等限制未能广泛投入实际的应用，而障碍物检测速度主要受候选区域搜索、特征提取和识别分类的计算复杂度所限制，为了提高检测速度，提出了一种基于显著性检测与 HOG特征相结合的实时障碍物检测方法，具有如下优点：首先，通过自底向上的显著性注意机制获取障碍物候的选区域，可以减少对无关区域处理带来的计算耗时；其次，形态Haar小波具有良好的细节和高频结构信息提取能力，利用其构建的增强图能够实现对障碍物完整、准确的分割，同时相比传统Haar小波其计算简单，速度更快；最后，HOG特征对图像光学和几何形变能保持良好的不变性，对于存在光照和视角变化的无人机障碍物检测具有良好的鲁棒性。实验结果表明，文中所采用的方法较传统的小波分解检测率高0.9%，在同配置下的检测速度要快5ms，同时相比HOG/SVM 方法误检率低2.3%，检测速度约为后者3倍。在硬件设计中节省了算法占用的硬件资源，降低了对硬件设备的性能要求。无人机的障碍物检测系统研发是一个具有挑战性的课题，未来将从感兴趣区域提取、特征选取等多个方面持续改进文中的方案。

[1]OYABU T.Sensing technology on human science[J].Sensor Letters,2011,9(1):379-383.

[2]MARLOW S Q,LANGELAAN J W.Poputation of a range brearing map for local obstacle avoidance using monocular vision[C]//American Astronautical Society Guigance and Control Conference.Colorado:Space Links,2012:559-573.

[3]YAMAMOTO K,YAMADA K.Obstacle detection for helicopter flights by infrared in ages[C]//Enhanced and Synthetic Vision,2001.Orlando:SPIE,2001:76-85.

[4]GOKTOGAN A H,BROOKER G,Sukkarieh Salah.A compact millimeter wave radar sensor for unmanned air vehicles[J].Field and Service Robotics:Recent Advances in Research and Applications,2006,24(1):311-320.

[5]CHO S,HUK Su,SHIM D H.Vision-based detection and tracking of airborne obstacles in a cluttered environmen[J].Journal of Intelligent & Robotic Systems,2013,69(1-4):475-488.

[6]CHOWDHARY G,JOHNSON E N,MAGREE D,et al.GPS-denied Indoor and outdoor monocular vision aided navigation and control of unmanned aircraft[J].Journal of Field Robotics,2013,30(3):415-438.

[7]MEJIAS L,SARIPALLI S,CAMPOY P,et al.Visual servoing of an autonomous helicopter in urban areas using feature tracking[J].Journal of Field Robotics,2006,23(3-4):185-199.

[8]DALAL N,TFIGGS B.Histograms of oriented gradients for human detection[C]//Proceedings of IEEE Computer Vision and Pattern Recognition.San Diego:IEEE,2005:886-893.

[9]Viola P,Jones M.Robust real-time face detection[J].International Journal of Computer Vision,2004,57(2):137-154.

[10]Itti L,Kouch C.Computational modeling of visual attention[J].Nature Reviews:Neuroscience,2001,2(3):1-11.

[11]CHENG M M,ZHANG G X,MITRA N J,et al.Global contrast based salient region detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Providence:IEEE,2011:409-416.

[12]LIU T,SUN J,ZHENG N N,et al.Learning to Detect A Salient Object[C]//Pattern Analysis and Machine Intelligence.Los Alamitos:IEEE,2011:353-367.

[13]SHEN X H,WU Y.A unified approach to salient object detection via low rank matrix recovery[C]//Computer Vision and Pattern Recognition.Providence:IEEE,2012:853-860.

[14]SHIH F Y,CHENG S.Automatic seeded region growing for color image segmentation[J].Image and Vision Computing,2005,23(10):877-886.

(责任编辑：马金发)

Remote Obstacle Detection Based on Saliency Feature for UAV

YAO Jun1,JIANG Chao1,2,HUA Chunsheng2,SONG Dalei2

(1.Shenyang Ligong University,Shenyang 110159,China;2.State Key Laboratory of Robotics,Shenyang Institute of Automation,Chinese Academy of Sciences,Shenyang 110016,China)

In view of the rotor-wing UAV′s obstacle avoidance problem,a real-time obstacle detection algorithm is presented,which is based on the significant of the human visual attention mechanism and HOG features.The proposed algorithm uses the method of two layers morphological Haar wavelet decomposition to built up the enhanced image.Then according to the projection curve of enhanced image,the border of obstacle candidate areas are extracted.Afterwards,the size of the obstacle candidate area is normalized,and the area′s HOG feature is extracted,then the linear SVM classifier is used for classification.The method is implemented using C++ language.For a resolution of 640×480 VGA video image,the test processing speed is about 14f/s on the single board computer with 2G RAM and Celeron 2.3GHz processor.Experimental results show that the algorithm satisfies the demand of real-time obstacles detection when UAV is flying at low altitude.

morphological Haar wavelet;obstacle detection;HOG feature;SVM classifier

2015-11-24

姚俊(1962—)，男，教授，研究方向：先进控制理论与应用等。

1003-1251(2016)04-0021-06

TP391.4

A