基于超像素显著性的无人机引导区域提取

罗威林,周大可,2,杨 欣

0 引 言

无人机视觉导航是实现无人机自主飞行的关键技术之一。传统的无人机视觉导航主要借助于预先设置的地面合作目标[1,2]实现无人机视觉导航,通过对地面合作目标的检测、识别与跟踪实现无人机的自主导航,并依据合作目标在实时图像中的尺度和形状等信息估计无人机的飞行姿态[3]。这类方法对实时性要求较高,且需人为设置地面合作目标,具有一定的局限性。

基于引导区域的导航方法是系统预先从基准地图中提取具有高显著性、高匹配概率的引导区域,并在无人机航行过程中对实时航拍图像与基准地图中的引导区域图像进行匹配,依此对无人机定位,从而修正航向误差以降低偏航的可能。该方法利用预先提取的引导区域取代传统方法中的地面合作目标,并通过与引导区域匹配实现无人机的辅助定位与航向修正,可靠性更高且实现成本较低。因此,提取匹配概率较高的引导区域对于非合作目标式无人机视觉导航的研究有重要意义。

目前国内外关于引导区域提取的研究报道较少,国内学者的研究主要基于基准图,通过分析区域统计特性以推导区域的匹配概率估计模型。Xiao等[4]提出基于图像方差、边缘连续性和相关长度选择高匹配率的区域。李德华等[5]则根据图像标准差、粗糙度和相关长度等图像特征参数,设计了选择高匹配率区域的准则函数,却并未给出利用这些特征参数选择引导区域的具体方法。陈宁江[6]基于统计参数和机器学习方法,根据地面区域的纹理信息利用EM(Expectation Maximization)算法对其进行分类,该方法虽然有效,但计算量较大。

以上模型只考虑了区域内部的统计特性,并未分析区域之间的对比度,因此无法满足引导区域对显著性的要求。笔者提出了一种基于超像素显著性的引导区域提取方法,采用SLIC(Simple Linear Iterative Clustering)算法获得形状规则、边界效果较好的超像素,以得到基于超像素对比度的显著图,最后从显著图中提取合适的引导区域。

1 超像素分割

复杂背景下,地面图像通常包含众多大小不一、繁杂无章的目标。基于直方图对比度(HC:Histogram Contrast)的显著度计算方法[7]对输入图像进行显著性检测,该方法计算单个像素的显著度。在显著图中存在大量高对比度像素呈现高亮(见图1)。在图1的前3张输入图像的显著图中,很大一部分高亮区域不满足引导区域的特征,即属于无意义区域。

图1 由HC方法生成的显著图Fig.1 Saliency map generated by the HC method

为避免上述现象,笔者利用SLIC方法[8]对输入图像进行超像素分割。该方法采用5维向量[l,a,b,x,y]表示图像像素,其中前3个分量代表像素在CIELAB颜色空间的像素值,后两个分量代表像素的空间坐标。随后预设K个聚类中心,并在labxy空间中根据颜色相似、空间距离相近的原则对像素进行聚类。将K设为150,对输入图像进行超像素分割的结果如图2所示。

超像素方法的评价主要考虑边缘贴合度、紧密度、计算效率以及算法的可控性[9]。表1对比了几类常见的超像素分割方法,可以看出SLIC方法无论在时间复杂度还是在对超像素的控制灵活性上都明显优于其他算法。

图2 超像素分割结果Fig.2 Superpixel segmentation result

表1 几种超像素分割方法对比Tab.1 The contrast of several superpixel methods

2 基于超像素显著性的引导区域提取

在计算超像素的显著度值时,单个或少量的高对比度像素在显著图中很难呈现高亮,因其所在的超像素中可能包含更多对比度较低的背景像素。由图2可见,行人、阴影和道路边缘等显著度高却不适合作为引导区域的地面目标在一个超像素中通常只占很小一部分,后续的显著性检测结果也证明了大部分包含上述地面目标的超像素在显著图中并不会被判定为显著区域。

2.1 超像素显著性检测

由于人们通常更容易注意相邻的高对比度区域,而忽视距离较远的区域,因此在计算超像素的显著度时加入了对空间关系的考量。首先,利用Chen等[7]提出的方法为每个超像素建立颜色直方图量化各通道的颜色,再计算它与其余超像素的区域颜色对比度,具体的计算方法为

其中P(mi,k)为第k个超像素pk的全部nk个颜色中,第i个颜色出现的概率,k={1,2}。Dc(mi,1,mj,2)为颜色mi,1与颜色mj,2在Lab空间上颜色距离。根据上述区域颜色对比度,再结合超像素大小与空间信息,可进一步得到基于空间加权超像素对比度的显著度值

其中Ds(pk,pi)为超像素pk与pi的空间距离,同时用超像素pi中的像素数w(pi)代表其权值;σ反映了空间距离的影响力,σ越小,代表超像素pi对当前超像素pk显著度的贡献受空间关系影响越大,笔者将σ2设为0.4。最后,根据超像素的显著度值利用谱聚类方法将超像素的显著度量化为C类,并设分割阈值t为量化后的超像素显著度的均值,将显著度值高于该均值的超像素设为显著区域,反之则为非显著区域。在笔者的实验中,C设为10。显著性检测以及最终二值化结果如图3所示。

2.2 引导区域提取

显著性并非引导区域需满足的唯一特征,因此对检测结果进一步的筛选是有必要的。首先,筛除面积较小以及位于边缘的难以匹配成功的区域。其次,考虑到区域中可提取的特征点数量越多,分布越均匀,对其进行图像匹配的成功率越高,因此对候选显著区域进行SURF(Speed Up Robust Features)特征点提取,并对各区域内的特征点数量与分布进行统计。由于理论上一片区域需至少3个特征点才可完成精准的图像匹配,所以首先筛除特征点数量不超过3个的候选区域。

图3 基于超像素的显著性检测结果Fig.3 The result of the saliency detection based on superpixel

同时,考虑到图像内特征点分布的均匀程度主要取决于图像的不同区域中特征点的个数,因此将候选显著区域分为内外两部分,并根据像素间的欧氏距离将内部区域划分为9个子区域。随后,统计9个内部子区域与1个外围子区域中特征点的个数,从而得到10×1的分布统计向量,每个分量代表了对应子区域中的特征点个数。最后,用分布统计向量的方差表示整个区域的特征点分布均匀程度,方差越小,说明区域内部特征点的分布越均匀。笔者算法基于上述规则对候选显著区域进行筛选的结果如图4所示。

图4 引导区域的生成过程Fig.4 The process of generating the guidance region

2.3 区域匹配概率估计

为定量分析准引导区域的匹配率,需对准引导区域的匹配概率进行估计。文献[13]给出了利用基准图仿真生成实时图的方法,在此基础上,笔者利用归一化积相关系数衡量实时图与基准图的相似性,并计算准引导区域的匹配概率,具体方法如下。

对于基准图上准引导区域中的任意一点ξ(x,y),设r为其邻域,即基准子图,r′为r在实时图上的对应区域,并设S为基准图上的搜索区域,Sx,y为S中大小与r相同的子区域。若基准子图大小为M×N,则去均值归一化积相关系数的计算公式为

其中¯Sx,y搜索子区域的灰度均值,¯r′为实时子图r′的灰度均值。在搜索区域S中相关系数最大的点即为ξ(x,y)的最优匹配点, 设为 η(x′,y′)。 因此, 设 ε 为允许的最小误差, 若 ξ(x,y)与 η(x′,y′)的距离

则称点ξ(x,y)匹配成功。最后,以准引导区域中匹配成功的点所占比例作为该区域的匹配概率,从而得到匹配概率最高的引导区域。

3 实验与分析

笔者在200张地面图像上测试了所提方法。这些图片的分辨率均为768×432像素,且都由人工标注了合适的引导区域。在该实验中,笔者主要考察SLIC超像素分割方法中预设的超像素数K对结果的影响。将K值分别设定为100、120、150、200,并计算在不同的K值下算法在测试图片集上的精确率(P)、召回率(R)以及综合评价指标F值(Fβ),其中Fβ为精确率与召回率的加权调和平均,具体定义为

和Achanta等[14]一样,设β2=0.3,使精确率占更高的权重。

图5为不同K值下算法提取的引导区域对比图。图6a反映了笔者方法在测试集上的精确率、召回率和Fβ值的直方图。当K值较小时,像素面积较大,使高对比度像素与其他像素可能被聚类至同一超像素,从而使整体显著度下降。而当K值较大时,则可能出现分割过细,区域难以保持完整形状的情况,且分割耗时随K值的增大而增加。因此可以假设,当飞行高度固定时,存在一个最佳K值使引导区域检测获得最好的效果。在该实验中,K=150时的准确率和召回率分别达89%与87%,实验效果明显优于其他预设值。

图5 不同K值条件下的超像素分割结果与引导区域检测结果Fig.5 The result of superpixel segmentation and guidance region detection under different K-values

此外,在对显著图进行阈值分割时,还考察了不同的分割方案对实验效果的影响。首先,利用谱聚类方法将所有的超像素按显著度由低到高量化为10类,并设分割阈值t∈[1,10],按式

将显著图分割为二值图。其中R(pi)为第i个超像素的显著度值,R(t)为显著度量化后由低至高第t类超像素的显著度值。从图6b中不难看出,当t取值较低时超像素更容易被划分为显著区域,因此精确率较低而召回率较高。随着分割阈值的不断增加,被划分为显著区域的超像素逐渐减少,从而精确率上升同时召回率下降。为达到最理想的实验效果,选择t=7,即保证精确率的同时拥有较高召回率的分割结果。然后,将得到的二值图与人工标注的引导区域图进行比较,实验结果如图7所示。

图6 不同条件下算法的精确率、召回率以及Fβ值Fig.6 The precision and recall of the algorithm under different conditions

图7 由不同阈值选择方法得到的分割结果Fig.7 The result of the segmentation obtained by the different threshold selection method

相应地,笔者还将超像素显著度的均值作为分割阈值。实验结果表明,大部分超像素的显著度集中于[0,255]的两端,而其均值通常低于t=7时的分割阈值。图7直观地比较了两种方案的分割结果,以均值为阈值的分割结果虽然精确率较低,但可由后续步骤进一步提取合适的引导区域。而在固定阈值分割的结果图中,由于t=7时的分割阈值较高,出现了较多漏检区域,而该问题不能依靠降低固定阈值解决。因为在一些显著区域较少的测试图像中,绝大多数区域显著度低于平均值,此时则需较高的分割阈值以筛除大量的背景区域。因此,选择超像素显著度的均值作为分割阈值更有利于得到精确结果。

4 结 语

笔者引入了引导区域的概念,并研究了基于引导区域的无人机视觉导航方法,进一步提出了基于显著图的引导区域提取方法。该方法首先将输入图像分割成多个超像素,随后根据超像素间的区域对比度计算每个超像素的显著度值,再基于一定规则从显著图生成的二值图像中提取合适的准引导区域,最后计算各区域的匹配概率,得到最终的引导区域。笔者在一组经过人工标注的地面图像集上进行了测试。实验结果表明,该方法在精确率和召回率上基本满足实际应用的需求。

[1]BILLINGSLEY J,BRADBEER R.Mechatronics and Machine Vision in Practice[M].New York:Springer Publishing Company,Incorporated,2008.

[2]黄楠楠,刘贵喜,张音哲,等.无人机视觉导航算法[J].红外与激光工程,2016,45(7):269-277.HUANGNannan,LIUGuixi,ZHANGYinzhe,et al.Unmanned Aerial Vehicle Vision Navigation Algorithm[J].Infrared and Laser Engineering,2016,45(7):269-277.

[3]YANG S,SCHERER SA,ZELL A.An Onboard Monocular Vision System for Autonomous Takeoff,Hovering and Landing of a Micro Aerial Vehicle[J].Journal of Intelligent&Robotic Systems,2013,69(1):499-515.

[4]XIAO Y,DING M,ZHOU C.Matching Suitability Analysis of Reference Map for Scene-Matching-Based Navigation[C]∥Proceedings of SPIE-The International Society for Optical Engineering.[S.l.]:SPIE,1998:100-103.

[5]李德华,杨灿,胡昌赤.地形匹配区选择准则研究[J].华中科技大学学报:自然科学版,1996(2):7-8.LI Dehua,YANG Can,HU Changchi.On the Selection Criterion for a Terrain Matching Field[J].Journal of Huazhong University:Science and Technology Edition,1996(2):7-8.

[6]陈宁江.图象配准的稳健性研究[D].上海:上海交通大学电子信息与电气工程学院,2000.CHEN Ningjiang.Study on Robustness of Image Registration[D].Shanghai:College of Electronic Information and Electrical Engineering,Shanghai Jiaotong University,2000.

[7]CHENG M M,HANG G X,MITRA N J,et al.Global Contrast Based Salient Region Detection[C]∥Computer Vision and Pattern Recognition.Piscataway,NJ,USA:IEEE,2011:409-416.

[8]ACHANTA R,SHAJI A,SMITH K,et al.SLICSuperpixels[R].Lausanne,Switzerland:Epfl,2010.

[9]宋熙煜,周利莉,李中国,等.图像分割中的超像素方法研究综述[J].中国图象图形学报,2015,20(5):599-608.SONGXiyu,ZHOU Lili,LI Zhongguo,et al.Review on Superpixel Methods in Image Segmentation[J].Journal of Image and Graphics,2015,20(5):599-608.

[10]FELZENSZWALB P F,HUTTENLOCHER D P.Efficient Graph-Based Image Segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.

[11]SHI J,MALIK J.Normalized Cuts and Image Segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(8):888-905.

[12]LEVINSHTEIN A,STERE A,KUTULAKOS K N,et al.Turbopixels:Fast Superpixels Using Geometric Flows[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(12):2290-2297.

[13]杨小冈,曹菲,黄先祥,等.景像匹配仿真中实时图的仿真生成[J].系统仿真学报,2010,22(5):1270-1273.YANG Xiaogang,CAO Fei,HUANG Xianxiang,et al.Simulation Production of Real-Time Image for Scene Matching Simulation[J].Journal of System Simulation,2010,22(5):1270-1273.

[14]ACHANTA R,HEMAMI S,ESTRADA F,et al.Frequency-Tuned Salient Region Detection[C]∥Computer Vision and Pattern Recognition.Piscataway,NJ,USA:IEEE,2009:1597-1604.