入侵目标视觉检测与识别的研究进展

(南京航空航天大学 航天学院，南京 210016)

0 引言

随着无人机的飞速发展，无人机的飞行、导航和执行有用任务的能力是卓越的，而且比起有人机来说，体积小，成本低，使用灵活，还能完成一些有人机无法完成的任务。因此近年来无人机受到了世界各国的重视，纷纷研制各种各样类型的无人机应用于军用领域和民用领域[1-7]。民用无人机主要包括消费级与工业级两类，消费级无人机侧重于航拍，而工业级无人机则大量使用于植保、安防、勘测等各个行业[8-9]。2016年全球无人机统计数据表明，民用无人机与军用无人机的占比分别为11%和89%。随着无人机在民用领域的迅速发展，预计在2024年，民用占比可达到14%。无人机在民用领域的应用的迅速发展意味着在人类活动的区域中飞行的无人机越来越多，更多的无人机与有人机共享同一片国家空域。但是与此同时，无人机数量的跃增使国家空域变得逐渐拥挤，空域安全性正在逐渐降低。

欧洲航空安全局(The European Authority for aviation safety, EASA)截至2016年的统计报告表明，欧洲范围内由无人机导致的危险事件高达1000起，造成了不同程度的飞机损坏和经济损失。从2014年到2016年8月，美国联邦航空局(Federal Aviation Administration, FAA)的统计报告指出，由无人机引发的安全事故呈现出上升趋势，多达650起。

随着国内无人机行业的迅速发展，国内同样发生了多起无人机入侵机场的危险事件。据统计，自2017年以来，杭州、南京、成都等多个国内大型机场曾多次因为无人机飞入机场净空保护区干扰机场航班运行，导致了重大的经济损失。为了消除无人机频繁入侵对国家空域系统造成的不良影响，探索实现无人机与有人机安全地共享国家空域是目前的迫在眉睫的关键问题。感知与规避(Sense and Avoid, SAA)是将无人机集成到国家空域的最大关键技术，该技术是实现无人机和有人机安全共享空域的重要手段。

感知与规避技术是指无人机通过机载设备在件事空域范围内检测是否存在其他入侵目标，通过分析入侵目标和自身无人机的运动状态，判断感知与规避机动的必要性，再进行分析和决策，最后无人机通过适当的规避机动来解除入侵目标对自身的威胁。如图1所示，感知是规避的前提，规避是感知的归宿和目的[10]。无人机感知指的是利用机载传感器实现入侵目标的检测识别，为规避提供参考。无人机感知技术可分为协同式与非协同式两类[6]。由于协同式感知存在高成本、高负荷、应用范围有限等缺陷，使用非协同式感知技术完成无人机感知入侵目标成为了当前的趋势。在非协同感知技术中，机器视觉相比于合成孔径雷达[11]、激光探测系统[12]、红外传感器[13]在负载、成本、能耗和自主性上有一定的优势，而且生成的光学图像直观易理解，空间分辨率比较高，图像内容丰富，目标结构特征明显，因此视觉的入侵目标检测与识别成为感知与规避技术中研究感知部分的热点课题。

图1 感知与规避系统的功能模块

1 基于机器视觉的感知与规避

无人机所需感知的目标是各类存在潜在威胁的飞行器，由于无人机的负载约束，难以配备在有人机上应用的交通碰撞规避(Traffic Collision Avoidance System, TCAS)[17]及自动相关监视(Automatic Dependent Surveillance-Broadcast, ADS-B)[18]。为了弥补这一不足，以机器视觉为代表的非协同传感器为实现无人机感知规避提供了一条行之有效的思路[19]。感知与规避技术中的入侵目标视觉检测与识别有如下特点：1)图像数据量大：随着无人机机载视觉传感器技术的发展，光学机载图像分辨率的提高，使得光学机载图像的数据量越来越大;2)光学机载图像的获取过程中受到许多条件影响，比如获取图像的机载视觉传感器性能、图像分辨率、外部条件(天气、光照等)、无人机飞行速度等，这些因素都会影响光学机载图像的成像效果。3)入侵目标的类型不同、颜色、尺寸、形状、纹理等特征不同，使得无人机获取的光学机载图像中的入侵目标所呈现出来的特征也有所不同。

目前感知与规避技术中的对入侵目标视觉检测与识别的研究一般采取面向对象的概念，而且光学机载图像中的背景对很多入侵目标检测方法造成比较大的影响，因此可以将基于机载图像对入侵目标检测识别方法分为两类：基于天空背景下的入侵目标检测识别方法，如图2所示；基于天地背景中的入侵目标检测识别方法，如图3所示。

图2 基于天空背景的入侵目标检测与识别方法

图3 基于天地背景的入侵目标检测与识别方法

图1的基于天空背景的入侵目标检测与识别方法的主要包括对获取的机载图像进行预处理，对机载图像中的空中入侵目标进行检测，并对其分类识别。对机载图像中的入侵目标检测和入侵目标分类识别是最关键的两个部分，入侵目标检测部分还包括了空中入侵目标感兴趣区域的提取和入侵目标的确认组成。然而图2的基于天地背景的入侵目标检测与识别方法除了预处理之外还包括了对机载图像进行天地分割、入侵目标检测和分类识别。其中入侵目标检测由空中入侵目标感兴趣区域的提取、地面入侵目标感兴趣区域的提取和入侵目标确认组成。空中入侵目标感兴趣区域是指无人机在飞行过程中遇到处于天空背景的入侵目标可能存在的区域；地面入侵目标感兴趣区域即无人机在低飞过程中遇到的入侵目标处可能存在地面背景中的区域；对光学机载图像中的入侵目标确认主要对入侵目标感兴趣区域所包含的潜在入侵目标进行识别确认，去掉错误的潜在目标，找到正确的入侵目标，从而降低因为虚假目标引起的预警机动概率，即降低虚警率。对机载图像的入侵目标分类识别部分主要对确认的入侵目标进行分类识别，通过不同的特征(比如尺寸大小、颜色、纹理等)来判断入侵目标的类型。

下面从天地分割、入侵目标检测和入侵目标分类识别三个方面进行梳理和分析技术发展现状。

2 天地分割

由于地面背景信息多样化，而且同一个背景也存在变化，因此基于地面先验信息的方法是不适用与天地分割的，常常采用图像分析方法提取天空或者地面图像区域，完成天地分割。一般在分辨率不太高的光学机载图像中，相对于地面的灰度值而言，天空的灰度值比较低，而且分布比较均匀，一般利用灰度阈值分割的方法可以有效地将天空分割出来。但是在分辨率较高的光学机载图像中，天空的灰度值就没有那么均匀了。因为天气、云朵和视角等因素，导致天空灰度值变得复杂，而且入侵目标因为种类不同形状不同所表现的灰度值也有所不同。如果采用一般的阈值分割方法可能会降低分割效果甚至出现错误的分割结果。下面归纳用于天地分割的一些方法。

1) 阈值法。阈值法是图像分割方法中最基本最经典的方法。通过计算图像中的灰度值或者梯度直方图，并根据天空和地面的灰度特性，设定合适的阈值将天空和地面分割开来。因此天地分割部分最为关键的因素是设定一个合适的分割阈值，而常用的阈值设定方法有：大津算法[20]、最大熵法[21]等。

2) 基于聚类的方法。基于聚类的方法一般都是通过一定的规则将属性相似的图像块或者是近似的像素点聚集起来，完成基于聚类的图像分割。由于天空背景比较简单，像素也相近，因此可以通过聚类的方法将简单的天空背景和复杂的地面背景分割开来。一般常用的基于聚类的方法有K-Means聚类、区域生长法、分裂合并法等[22-23]。

3 入侵目标检测

入侵目标检测的技术思路主要分为两类，一类是增强目标特征；另一类是抑制背景噪声和杂波。

基于光流的目标检测通过光流技术计算每个像素点的速度矢量[24]，借助运动模型估计获取光流场的运动，若光流矢量恒定则没有目标，反之光流矢量异常的区域则可能出现目标。光流法的缺点在于实时性较差，且对于光照变化十分敏感。基于隐马尔可夫滤波(Hidden Markov Model, HMM)通过在检测之前设定阈值，从而实现初始目标检测[25]。HMM滤波的缺陷在于检测阈值的选取对于最终的检测结果有着至关重要的作用[26]，为了克服这一不足，HMM一般与检测前跟踪技术相结合[27]，提出了一种HMM组合滤波方法，实验结果表明HMM组合滤波比单一的HMM滤波器性能更为优越。然而，由于HMM滤波器与HMM滤波器组均难以实现识别功能，因此无法避免虚警发生率。基于预训练分类器的形态学滤波方法对于降低虚警率效果显著[28]，然而与此同时付出的代价是复杂分类器带来的计算资源消耗[29]。基于区域建议的目标检测方法在平衡检测率与虚警率方法有着较好的效果[30-32]，在输入图像确定的情况下，输出可能包含目标的潜在区域。

3.1 入侵目标感兴趣区域提取

提议区域的检测方法一般可以分为两种类型：分组法和窗口打分法。分组法的提出基于早期提出的分割搜索法[33]，常用的算法有SelectiveSearch[33]，MCG[34]等。窗口打分法的提出是基于早期提出的似物性提议区域方法[29]，常用的算法有Edge-Boxes[35]，Objectness[29]，Bing[36]等。

3.2 入侵目标候选区域筛除

入侵目标确认主要是对入侵目标感兴趣区域所包含的潜在目标进行排查确认，去掉错误的潜在目标，找到正确的入侵目标，从而降低虚警率。入侵目标一般包括不同类型的飞行器、鸟类、地面障碍物(无人机低空飞行时的山丘和树木等)，入侵目标的特征一般有灰度、尺寸、形状和纹理等特征。在对入侵目标进行确认过程中,通常采用提取特征和分类器结合来识别出真正的入侵目标，降低虚警发生率。在进行入侵目标确认的过程中需要描述入侵目标感兴趣区域包含的潜在目标的特征。由于入侵目标具有灰度、尺寸、形状、纹理等特征，因此常用的一些图像特征有：尺寸统计特征、纹理特征、边缘特征、形状特征、小波变换特征[37]、Hough变换特征[38]等。

4 入侵目标分类与识别

视觉感知与规避的难点在于检测率太低而虚警率太高。如何在确保检测率的同时降低虚警率是视觉感知规避的关键。入侵目标检测部分主要是确定入侵目标的位置和大小，而入侵目标识别部分主要是确定入侵目标的类型。识别模块的引入主要是为了降低虚警发生率。

4.1 特征提取

基于光学机载图像的入侵目标识别分为在线识别和离线训练两阶段。离线训练又可分为特征提取与分类器训练两个步骤，通过特征提取获取目标的特征描述，再通过分类器训练获取目标在特征空间上的分界面。在线识别同样需要提取目标的特征描述，在此基础上通过计算出目标相对于分界面的位置获取入侵目标的类型。因此特征提取是入侵目标识别部分的核心。

入侵目标分类识别中一般用到的特征包括：颜色特征、形状特征、梯度特征和模式特征，梯度特征通过对图像块提取方向和梯度来描述目标特征，包括尺度不变特征[39]以及梯度方向直方图[40]等。模式特征通过分析图像中局部区域之间纹理信息的区别获得特征描述。与梯度特征相比，纹理特征的缺点在于特征维度较高，为后续的分类带来的较大的计算负荷[41-43]。形状特征通过提取目标的轮廓信息获得目标的特征描述，该特征的优点在于尺度、旋转和平移不变特性，但是缺乏目标的颜色与纹理特性[44-45]。颜色特征通过计算图像灰度与颜色分布来获取目标的特征描述，该类特征的稳定性较差，因此应用受到了限制[46]。

4.2 分类器设计

在对入侵目标进行分类识别之前一般需要训练合适的分类器，在识别过程中通过训练得到的分类判别条件将入侵目标提取出来。选择一个合适的SVM核函数则是保证SVM分类器良好性能的关键因素。常用的SVM核函数有Linear、Sigmoid、RBF、GussianRBF等[48]。

由于需要检测与识别的入侵目标是各类飞行器、飞鸟、地形障碍(无人机低空飞行时的山丘和树木等)，具有类内差异与类间相似性。其次，由于无人机与待检测的入侵目标之间存在相对运动，因此目标的背景变化同样会增加识别的难度，因此传统的单个分类器已经难以满足入侵目标识别的要求。为了解决这个问题，

可以取长补短地选择多个不同的分类器，并有规则地联合起来成为一个满足需求的优良分类器。如何选择联合的子分类器，联合分类器的规则如何设定都是影响着联合分类器性能的关键因素。因此如何训练一个好的分类器是入侵目标分类识别的一大难点问题。

5 总结

目前由于无人机的广泛应用，人们对无人机的感知与规避技术进行了研究和发展，其中对于入侵目标检测与识别方面也做了很多研究工作，取得了一些研究成果。但是目前关于入侵目标检测与识别的方法还存在很多问题没有得到解决，很多方法都是处于理论阶段，离真正应用于军用领域和民用领域还有很长的路要走。

1) 地面背景的入侵目标检测

由于地面背景一般都比较复杂，包含不同颜色、不同形状、不同大小、不同纹理的对象，同时入侵目标是多种类型具有不同的形状大小、颜色纹理特征，因此入侵目标有可能与地面对象特征相似，难以将入侵目标从复杂的地面背景检测出来。因此如何选择合适的入侵目标特征表示方法成为了入侵目标检测一个难点。

2) 具有通用性的入侵目标检测方法

目前的入侵目标检测算法一般都是针对特定入侵目标或者特定环境场景，但是实际上光学机载图像的成像过程是复杂多变，天气条件、光照条件、视角条件、入侵目标运动特性等多种因素的影响，使得光学机载图像存在着许多干扰。因此研究具有通用性、克服不同干扰因素的入侵目标检测方法是目前感知与规避技术中的入侵目标检测技术需要解决的难点问题。

3) 入侵目标分类识别

天气条件、光照条件、视角条件、入侵目标运动特性等多种因素的影响，导致光学机载图像中的入侵目标呈现的特征有所偏差，可能出现入侵目标被遮挡、轮廓残缺、形变、模糊等问题，为后续的分类识别工作增添难度。

随着图像处理技术、模式识别技术的发展，感知与规避技术中的入侵目标检测与识别呈现出如下的研究热点：

1) 基于多源图像融合的入侵目标检测与识别

一般每一种传感器获取目标图像都是在特定的某些方面有着良好的效果，但是在另一方面则会存在着缺陷。比如合成孔径雷达(SAR)图像虽然不受天气变化影响，但是机载图像的分辨率很低；红外图像中对于运动的入侵目标有着很好的获取效果对云层也有着穿透作用，但是分辨率也不高；而光学图像对入侵目标有着良好的描述作用，可以提高丰富的图像信息，分辨率高，但是容易受到天气影响。

融合不同机载传感器获得的图像来检测和识别入侵目标，可以取长补短从而提高入侵目标检测概率。结合合成孔径雷达的全天候性、红外图像对运动目标的敏感性、光学图像对入侵目标具体描述性等优点，对于光学图像检测出来的入侵目标感兴趣区域进行下一步的确认和识别。

2) 特征融合的入侵目标分类识别

描述入侵目标的特征有很多，但是不同特征具有不同的特点，对入侵目标的描述效果以及耗费的时间也有所不同，因此为了得到更好的特征描述效果，可以通过融合不同特点的特征，优先使用时间短的特征进行粗略区分，再利用时间长的特征详细描述入侵目标，既能综合不同特征描述的优点，又能提高特征提取的时间效率，大大保证了入侵目标识别的良好性能。