基于ViBE与面向对象分类的视频卫星运动车辆检测

鹿明，李峰,*，张南，杨雪，鲁啸天，辛蕾，刘洋

1. 中国空间技术研究院 钱学森空间技术实验室，北京 100094 2. 中国空间技术研究院西安分院，西安 710100

1 引言

高分辨率视频卫星，是近年来兴起的一种新型对地观测方式。超高的空间分辨率(通常在1m左右)和连续成像能力(通常在30 帧/s 左右)，实现了卫星遥感从传统的静态观测向动态监测的转变，成为当前空间科学技术发展的前沿[1]。

当前国内外基于卫星视频开展的运动车辆检测研究相对较少，其方法也多源于计算机视觉对运动目标的检测方法，如帧间差分法、背景建模法和光流法等[2]。帧间差分是最常用也是最简单的运动目标检测算法。它以当前帧作为背景，与相邻帧做像素的差分，通过阈值化来提取影像的前景目标。该方法一般需要经过帧间差分、阈值操作、形态学处理等过程[3]。帧间差分的问题在于当相邻帧目标同时出现在相同区域时，目标在帧间差分时容易形成孔洞或残缺现象，实际应用中常用的是三帧差分法。光流法给图像中的每个像元赋予一个速度矢量，形成一个图像的运动场，如果图像中没有运动物体，光流矢量在整个图像区域应是连续变化的，当图像中有运动物体时，目标和背景图像存在相对运动，运动物体所形成的速度矢量和背景速度矢量不同，从而检测出运动物体的位置。该算法能够检测出大量运动目标，但在实际应用中，由于遮挡性、多光源、透明性和噪声等原因，使得光流场基本方程的灰度守恒假设难以得到满足，无法求出正确的光流场，所以光流法在实际应用中使用较少[4]。背景建模法是通过努力构建一个不掺杂任何前景图像和噪声的背景图像作为背景模型，然后对当前帧图像与背景模型进行差分，检测出运动目标。背景建模法的关键在于构建背景模型，比较典型的主要有均值背景建模法、中值背景建模法、高斯背景建模法(GMM)、视觉背景提取器(ViBE)等。背景建模法是当前应用最为广泛的检测方法[5]，其中ViBE算法采用了时空随机采样策略进行背景更新，对视频动态背景具有一定的鲁棒性，获得了相对较好的检测效果，成为当前最受欢迎的运动目标检测方法之一[6]。

卫星视频与地面视频有很大的不同，这种不同主要表现在卫星平台位置高，视野开阔，造成视频背景的地物类型复杂，运动目标呈现出点状的暗弱小目标特征；卫星平台处于运动状态，与地表之间存在复杂的相对运动，卫星视频呈现出整体运动状态；对于地表较高地物，如铁塔、高楼等，卫星平台观测视角的改变，造成目标在二维影像平面上呈现出运动状态，称为视差伪运动。传统的运动目标检测算法对这类视差伪运动目标是难以辨别的，因为目标在视频中是真实运动的，这也是当前视频卫星进行运动目标精准检测的难点。

当前卫星视频对运动目标的提取多是在传统算法的基础上，融入目标运动区域提取[7]、目标特征分析[8]、目标跟踪[9]等策略，进一步进行运动目标的精提取。运动区域提取方面，文献[10]通过使用运动热力图反演运动区域，热力图是根据提取的运动目标的轨迹，按轨迹频次形成的。文献[11]通过将帧差法检测的运动区域连通在一起形成该段视频内运动目标总的运动区域，这类方法的不足是运动区域的生成需要前期的数据积累。文献[12]提出使用GIS基础地理信息的方式来获取道路数据，这类方法的不足是GIS数据很难与视频帧之间自动而精准地匹配在一起。卫星视频上的运动目标主要是车辆、飞机、云目标，其中小尺度的车辆目标，其运动区域主要是道路区域。相对于热力图或者GIS基础地理信息数据，遥感对于道路区域的方法和技术相对更加成熟。国际上，文献[13]在航空影像中利用道路的光谱、空间几何信息构建模型，结合最大后验概率(MAP)，开展了道路提取工作。文献[14]引入了数学形态学算法，通过图像二值化，实现道路的自动化提取。文献[15]基于人工神经网络开展道路提取工作。国内，文献[16]提出了一种航空影像半自动提取线状地物的策略算法，该方法基于整体最小二乘模板匹配进行道路识别，克服了线特征的对比度和线宽度的变化对定位带来的影响。文献[17]采用面向对象分类的方法通过光谱、纹理、几何形状等特征开展了道路提取工作，获得较好的结果。总体来说遥感影像的道路提取呈现出由基于像元、面向对象分类，向深度学习方向发展的趋势，由半自动化向全自动化提取发展的趋势，面向对象的全自动方法是当前道路信息提取较为成熟的技术。因此，本项研究提出了一种将ViBE算法与面向对象的分类方法相结合的运动车辆检测方法(ViBE and object-oriented for moving vehicles detection,VOMVD)，进行运动目标的精准检测。

通过在影像上进行道路识别，能够有效克服目标运动区域生成受制于运动轨迹数量，以及视频帧与GIS基础地理信息数据不匹配等问题，有利于实现对视频卫星运动目标的精准检测。

2 数据与方法

本项研究中使用的数据是由中国长光卫星技术有限公司的吉林一号视频03星于2017年5月拍摄的美国亚特兰大地区的视频影像。卫星处于太阳同步轨道，距地高度535 km，轨道倾角97.54°。卫星有凝视视频、夜光、立体、空间目标成像等多种成像模式。数据是RGB彩色视频，地面空间分辨率为0.92 m，标准景面积11 km×4.5 km，无控定位精度200 m。本研究裁切了亚特兰大机场北部附近的1 024×1 024像素的公路范围作为本项研究的研究区，如图1所示。

研究的流程如图2所示。首先对卫星视频数据进行帧间配准等图像预处理；然后优化ViBE参数，进行运动目标粗提取；继而利用面向对象的分类方法在关键帧影像上对道路进行提取；最后用道路掩膜ViBE的运动目标，得到高精度的运动目标检测效果。

图1 研究区的视频影像Fig.1 Video image of the study area

图2 VOMVD流程Fig.2 Flowchart of VOMVD

2.1 基于特征点匹配的帧间配准方法

当前遥感图像配准方法主要包括基于频域傅里叶变换的配准方法和基于空间域特征点匹配的配准方法。基于频域傅里叶变换的配准方法，通常速度快、效率高，但是对于图像的扭曲、拉伸等非刚性变换配准效果通常不佳。相对而言，基于空间域特征点匹配方法在遥感图像配准中应用较为广泛。本项研究中即采用基于特征点的匹配方法进行匹配。

基于特征点匹配方法通常包括3个主要步骤：特征点探测、特征匹配和图像变换。特征点探测是通过SIFT,SURF,ORB,AKAZE等算法提取角点、边缘点、交叉点等特征点，并对每个点进行特点描述；特征匹配是在待配准影像和参考影像提取的特征点基础上，采用暴力匹配、交叉匹配、k近邻匹配(KNN)等方式，将对应的特征点联系在一起，通过对应的特征点求取变换的转换系数；图像变换是根据求取的变换系数将整幅图像进行变换。

2.2 基于ViBE的运动车辆粗检测方法

ViBE算法是一种基于背景建模的运动目标识别方法[6]。该方法通过对像元的空间与时间邻域采样，构建像元背景样本集合。像元的样本集合可以表达为：

M(x)={v1,v2,…,vN}

(1)

式中：x为当前像元；M(x)为x像元的背景样本集合；v1,v2,vN分别为从第1帧，第2帧，第N帧获取的像元值。其中初始背景值M0(x)通常对像元的空间8邻域像元随机采样获取：

M0(x)={v0[y|y∈NG(x)]}

(2)

式中：NG(x)为当前像元x在空间邻域上的集合；y为NG(x)集合中的任一像元；v0(y)为起始帧y像元的像素值。

一旦构建起背景样本集合M(x)，即可通过对比当前帧与背景样本集合，进行运动目标提取，提取规则如下：

s.t.vi∈M(x)

(3)

(4)

(5)

式中：v(x)为当前帧像元x处的像元值；vi为该像元处样本集合M(x)中的任意样本；r为样本值允许的波动范围。当其差值|v(x)-vi|在波动区间r内，表示样本vi赞成v(x)为背景，否则表示样本vi赞成v(x)为目标。S统计样本集合中所有样本赞成v(x)为目标的数量，如果该数量大于设定的阈值T，即可确认当前像元为运动目标，否则认可其为背景。

当前帧一像元被判定为背景目标时，它将有一定的概率随机更新其背景样本集合中的任一样本，并等概率随机更新其空间邻域中的某一像元的背景样本集合。该过程体现了ViBE算法在时间和空间上的随机性。通过优化阈值T可以将运动目标尽可能多检测出来，同时也不可避免地引入了许多虚假目标。

2.3 基于规则的面向对象道路识别方法

为了抑制ViBE检测的虚假运动目标以及视差伪运动目标，本项研究采用基于规则的面向对象分类算法对背景影像中的道路进行识别，将道路信息作为掩膜，去除掉道路之外的部分伪运动目标。

本项研究首先对图像进行预处理，预处理的过程主要包含中值滤波与直方图均衡化。预处理的目的在于提高影像中不同要素的对比度，减少汽车等小斑点对道路提取的影响，提升图像的分类效果。影像分割是影响分类结果的关键步骤，分割结果的好坏直接影响后续地物识别的精度。本项研究中采用了基于边缘检测的阈值分割方法，将影像分割为大大小小的图斑，采用全局阈值法(full lambda schedule)进行图像合并。道路主要通过光谱、纹理和空间几何属性来进行描述。

光谱属性描述的是地物在光谱范围上的敏感性，是地物最基本的特征信息，是目标识别的基础。道路路面平整，多是沥青或者水泥材质，较树木、草坪、裸土等地表结构呈现出高反射，但该方法不能够有效区分出高亮的其他人工建造物。纹理属性是影像中局部不规则但全局有规律的特性，可以反映出地物表面的粗糙性、方向性和规则性等特征，是遥感影像地物分类的重要依据。纹理特征对于去除树木、农田等具有规则纹理特征的地物非常有效。空间几何特征主要是依据对象的形状、大小、长宽比等特征进行地物识别，该方法对于诸如道路之类的人工建筑非常有效。本研究优选了3类属性中的8个特征，共同用于进行道路识别，如表1所示。

表1 面向对象道路提取的特征及其说明

2.4 运动车辆检测的精度评价方法

为了对检测的精度进行定量分析，并能够与以往研究相互对照，研究中所采用的评价指标是当前目标检测领域常用到的准确率P、召回率r和F值，来对结果进行量化分析[18]。

(6)

(7)

(8)

式中：TP为算法正确检测出来的运动车辆的数量； FP为被算法错误识别为运动车辆的数量，即目标是不动的，但被识别为运动目标；FN为没有被算法检测出来的运动车辆，即目标是真实运动的，但算法没有检测出来的目标。准确率P也称为正检率，表示在方法检测出来的运动目标中，正确检测的车辆所占的比例。召回率r也称为漏检率，表示在真实的运动目标中，准确检测的目标所占的比例。F是在兼顾P和r两方面性能的基础上对方法的综合评价。

3 结果

3.1 基于特征点匹配的视频帧间配准结果

本研究采用AKAZE算法生成特征点，采用KNN匹配算法，以视频中间帧作为参考影像，逐帧将视频配准到参考坐标系下。特征点选取与匹配的示意如图3所示。经过配准后，视频帧的稳定性得到明显增强。

图3 参考帧与待配准帧的特征点选择与匹配Fig.3 Feature points selection and matching between reference frame and registration frame

3.2 基于ViBE的运动车辆检测结果

背景集合样本中元素的个数N，背景样本值允许的波动范围r，设定的阈值T和设定的背景样本更新率，对背景样本集合M(x)的构建与更新起着决定作用，并影响ViBE对运动目标的检测精度。

针对本项研究中应用到的吉林一号卫星视频数据，为了能够尽可能准确地识别出运动车辆，避免漏检，对ViBE的参数进行反复调试，最终将样本集合数量N设定为20，背景样本值允许的波动范围r设定为10，阈值T设置为5，更新率设定为4。在该取值范围下能够尽可能多地获取运动目标，捕捉到绝大多数运动的车辆，但同时也会引入大量虚假运动目标点。

在这些参数中，背景样本值允许的波动范围r和阈值T对结果的影响更大，r值设置得越大，T值设置得越小，对背景值就越宽容，那么与背景值类似的目标就很有可能被作为背景；相反，如果r值设置得很大，T值也设置得很大，那么就对背景值要求越严格，背景值由于光照等原因造成灰度值的变化，都将被作为运动目标被误检出来。更新率设定为4，表示当前像元被检测为背景时，该值有1/4的概率，更新其背景样本集合，该值主要用于对动态背景的更新。

3.3 面向对象的道路提取结果

本项研究中采用了中值滤波对原始影像进行了预处理。预处理的目的主要在于增强影像对比度，并对汽车等小目标进行填充，有利于在预处理的基础上进行面向对象的道路提取。继而采用了基于边缘检测的图像分割方法，阈值设置为55，将图像划分为许多图斑。在图像分割的基础上，采用全局阈值合并方法，阈值设定为70，对特征相同的图斑进行合并。在该参数设置下，可以很好保持道路的特征。纹理内核设置为默认值3，以此计算局部区域的纹理特征。在此基础上，建立规则进行道路提取。建立的道路提取规则如下：光谱属性，R波段的平均值为80～220，标准差<15；纹理属性，纹理平均灰度值为80～220，卷积核内的平均灰度信息熵为-1 ～ -0.4；空间几何属性方面，道路是狭长结构形状，延长线(elongation)>1.2，紧密度(compactness)<0.23，长度(length)>10。对该规则集下得到提取结果，并进行后处理，用于去除掉道路中间的小孔洞等，最终效果如图4所示。

图4 研究区道路Fig.4 Road map of study area

对道路提取结果的量化分析结果如表2所示。

表2 面向对象道路提取的量化分析

该方法的总体精度为80.95%，Kappa系数为0.51。就道路提取效果而言，该方法对于城市主干道的提取效果较好，但对小路、路面阴影、遮蔽等部分未能够有效提取出来。该方法对机场跑道等与道路的群效果较差，影响了分类精度。但总体而言，结果能够将大部分道路都提取出来，能够起到对ViBE粗检测目标中虚假运动目标和伪运动目标的滤除需求。

3.4 运动目标检测结果与量化分析

为了验证本文中提出的方法的有效性，选取了运动目标检测方法中通常用到的三帧差分法、ViBE算法与本研究中的结果进行对比验证。选取第110帧，用于展示各方法的结果，分别如图5、图6和图7所示。为了更清晰地展示各类方法的运动目标检测结果，在手工标注的真实运动目标的基础上，对各种方法得到结果的TP(绿色)，FP(红色)，和FN(蓝色)进行量化显示，分别如图8、图9和图10所示，各种方法检测表如表3所示。

图5 三帧差分法检测的运动目标Fig.5 Moving objects detection result by three-frame difference method

图6 ViBE检测的运动目标Fig.6 Moving objects detection result by ViBE

图7 VOMVD的运动目标Fig.7 Moving objects detection result by VOMVD

图8 三帧差分法检测结果的量化显示Fig.8 The quantitative display of the detection results of the three-frame difference method

图9 ViBE检测结果的量化显示Fig.9 The quantitative display of the detection results of ViBE

图10 VOMVD检测结果的量化显示Fig.10 The quantitative display of the detection results of VOMVD

表3 各种方法的精度评估

其中TFD表示三帧差分法。结果表明，本研究提出的检测方法的精度明显优于三帧差分法，而相对于ViBE算法，其召回率相近，但检测精度明显提高，方法性能明确提升。因此，本研究提出的方法能够在保障召回率的前提下，能够有效抑制虚假和伪运动目标，有效提升方法性能。

4 讨论

4.1 VOMVD方法的优缺点分析

本项研究提出的VOMVD方法是在传统的运动目标检测算法的基础上与当前遥感目标识别技术相结合，而形成的一种新方法。该方法克服了以往研究中目标运动区域生成缓慢或者运动区域与视频帧难以兼容等问题，与传统的运动目标检测方法相比，VOMVD显著提高了对运动目标的检测精度，方法的性能得到有效提升。方法经过视频帧间配准，视频帧间相对稳定，不需要逐帧进行道路识别，可以有效保障数据处理的时效性。VOMVD是对计算机视觉和遥感科学方法融合的初步探索，本文创新主要表现在流程设计应用方面，但研究中也暴露出一些问题和不足，主要表现在研究中采用了基于规则面向对象的方法，选取了一定的光谱、纹理和空间几何特征，进行道路。但是从结果上看，方法对小路、阴影、遮蔽等情况下，道路信息提取不够精确。在小路上车辆较多的情况下会影像对运动目标的检测精度。因此，有必要结合深度学习、结构化特征提取等新方法、新技术探索对道路更加精准的提取方法，加强对算法精度的改进[19]。

4.2 VOMVD的未来发展趋势

VOMVD对运动目标的召回率已经达到较为理想的程度，方法发展的关键在于如何抑制方法产生的大量虚假运动目标和伪运动目标。VOMVD采用面向对象的分类方法通过对道路的提取对虚假目标和伪运动目标产生了一定的抑制作用，然而，方法对道路的提取精度还有待提升。当前以深度学习为代表的目标识别技术飞速发展，分类精度不断提升。在卫星影像上，小尺度的运动目标其形状、颜色、纹理等特征不明显、不一致，采用mask-RCNN,YOLO等目标识别算法直接探测目标，难度是非常大的。因此，利用U-Net等网络构架，进行遥感影像上的道路提取，再结合ViBE等传统运动目标检测算法，是未来运动目标检测的重要发展方向[20]。

5 结论

本项研究提出的VOMVD将传统的运动目标检测方法ViBE与遥感面向对象分类方法相结合，较之传统的运动目标检测方法，方法精度得到有效提升，本研究中对运动目标的检测准确率P值由61.49%提升到了85.71%，F值从75.83%提升到了91.37%，以此证明了通过遥感目标检测方法提取目标运动区域，抑制虚假运动目标和伪运动目标，提升方法性能的思路是合理和可行的。基于面向对象的道路提取方法在精度方面仍有巨大提升空间，基于深度学习等新技术的道路提取，是未来的重要发展方向。研究中所提到的方法对于视频卫星的运动目标检测有重要的理论意义，同时对于推动视频卫星在智慧城市、智能交通等领域的应用也具有一定的应用价值。