Quickbird遥感影像的车辆自动检测与运动参数估计

张博研，李广泽，武星星

Quickbird遥感影像的车辆自动检测与运动参数估计

张博研*，李广泽，武星星

(中国科学院长春光学精密机械与物理研究所，吉林长春130033)

遥感图像的车辆目标提取与运动参数估计在交通管理、战场态势分析等领域具有广阔的应用前景，但目前相关算法均需要人工参与或借助GIS信息，针对上述问题提出了一种基于计算机视觉的全自动车辆检测与运动参数估计算法。分析了Quickbird全色与多光谱传感器的焦平面结构特征以及该结构造成的“鬼影”现象;针对全色与多光谱遥感影像的分辨率高、光谱信息丰富的特点，利用植被指数归一化、图像分割、形态学灰度重建等图像处理过程，实现了全色图像中运动车辆的自动检测，在此基础上检测低分辨率的多光谱图像中的目标。利用全色与多光谱图像的成像时间差估计运动参数。在Quickbird遥感影像的验证实验中充分证明了算法的可行性与正确性。

全色图像;多光谱图像;车辆检测;运动参数估计;形态学重建

Keywords:panchromaticimage;multispectralimage;vehicleextraction;speedestimation; morphological reconstruction

1 引言

目前常用感应线圈、桥头传感器和固定摄相机等地面传感器来实现交通监控管理，但这些传感器仅能获取主干道路的交通信息，对那些支干道路或中小型道路上的交通状况很少涉及。随着Quickbird以及IKONOS等新型光学系统卫星的成功发射，高分辨率的遥感影像数据为航天摄影测量开辟了更多领域，通过光学遥感图像进行车辆检测与运动参数估计逐渐成为新的研究热点。

传统的运动参数估计主要通过图像序列［1-9］实现，但由于遥感视频的获取难度较大，传统的算法很难满足实际当中的应用需求，因此基于全色与多光谱遥感影像对的运动参数估计成为新的研究方向。然而遥感影像的分辨率普遍较低，且地物背景复杂，目前的相关算法都是在人工划分道路区域或者借助GIS辅助数据实现的［10-14］，所以运动车辆自动检测仍是亟待解决的关键问题。

车辆检测算法一般分为基于模型和基于数据两大类。基于模型的车辆检测是一种“自顶向下”匹配车辆目标的过程。例如，哥伦比亚大学的Jin等人，利用共享权重的神经网络方法［15］建立隐式车辆模型［16］;武汉大学的郑宏等则引入了人工免疫的概念，借鉴生物免疫系统中抗体系统，归纳了一系列类“抗体”模版［17］。而基于数据的方法则是一个“自底向上”分割目标像素的过程，主要根据车辆目标在遥感图像中的亮度分布以及几何特征直接提取车辆目标，例如日本千叶大学的Fumio Yamazaki等提出了一种利用区域相关提取车辆目标轮廓的方法［18］。德国Munchun理工大学J．Leitloff等通过边缘提取、带通滤波及最小方差调整等步骤实现车辆目标的自动提取［19］。对比而言，基于模型的方法主要应用于超高分辨率的航空图像，或者对纹理信息较丰富的大型目标提取，基于数据的算法则在卫星图像的车辆检测与参数估计中应用更加广泛。

本文通过介绍Quickbird卫星的全色与多光谱相机的焦平面结构，阐述了运动车辆参数估计的原理，并分析了运动目标在Quickbird遥感图像中的“鬼影”现象，在此基础上提出一种高精度的运动车辆自动检测算法，并详细描述了算法处理过程，最后利用Quickbird遥感图像验证了算法的效果。

2 遥感影像中运动目标的特性分析

Quickbird的线阵推扫(TDI CCD)光学成像传感器由6条全色探测器阵列和6条多光谱CCD探测器阵列组成，其中，每个多光谱成像单元又包括红、绿、蓝和近红外4个谱段。焦平面的具体结构如图1所示。由于全色与多光谱探测器阵列的焦平面存在一定的距离，所以对相同区域成像时，全色图像与相应的多光谱图像存在0．2 s左右的时间差，导致运动物体在全色与多光谱图像中的坐标不一致，这就为运动目标的运动参数估计提供了可用线索。

图1 Quickbird的焦平面结构Fig．1Focal plane of Quickbird

根据以上分析可知，即使已经精确配准过的全色与多光谱图像，也仅能实现道路、建筑等静止物体的匹配，而对于运动目标而言，则无法实现位置的精确匹配，导致运动目标在全色与多光谱的彩色遥感图像中会出现“鬼影”现象。

图2为Quickbird卫星的原始全色图像，图3为全色与多光谱合成的彩色遥感图，从图3可见，右侧停靠的车辆边缘清晰，而左侧高速公路上的车辆则有明显的“鬼影”现象，如图红色标注。“鬼影”现象虽然造成了运动目标的模糊，但是根据“鬼影”的长度，结合全色图像的分辨率以及全色/多光谱的成像时间差，即可通过人工处理粗略估算目标的运动速度，计算公式如式(1)所示。

图2 原始全色图像Fig．2Original panchromatic image

图3 Quickbird的彩色图像Fig．3Pan-sharpened image of Quickbird

其中:V代表速度，L代表“鬼影”的长度，R表示全色图像的分辨率，t代表全色与多光谱图像的成像时间间隔。根据上述原理，即可粗略估算出图3中6个车辆目标的速度值，最快车辆1速度为95．53 km/h，最慢的车辆3速度为50．51 km/h，其余的车辆速度速在该范围之间，符合高速公路上车辆的运动情况，由此证明了利用全色与多光谱图像对估计运动目标速度的可行性。

3 全色与多光谱遥感影像的车辆检测与运动参数估计

由于运动参数的估计需要利用全色与多光谱图像中的车辆坐标，所以必须首先提取两幅图像中的车辆目标，具体检测流程如图4所示。

3．1感兴趣区域提取

遥感影像成像区域大，地物种类繁多，必然使移动目标的真实性受到影响，所以为了提高目标的探测率、降低虚警率必须结合预处理算法，抑制遥感图像中的冗余信息。下面分别介绍全色以及多光谱图像的预处理流程。

3．1．1全色图像预处理

图4 运动车辆自动检测与参数估计算法流程示意图Fig．4Flow of the proposed method

在全色遥感图像中，不同类型背景的空间特性一般是不同的，在图像上直接表现为亮度值的差异，这给地物区域分割提供了便利条件。根据原始遥感图像的亮度分布特征，道路的灰度值较低，而大面积建筑等背景的灰度值较高，可以判断，通过阈值分割即可去除较多背景信息。但是遥感图像中车辆目标的灰度值相对较高，经过分割处理之后，大量的车辆目标也被作为背景分割出来，所以为了保留车辆目标，在上述处理的基础之上，采用腐蚀以及闭运算等形态学操作，在还原车辆目标的同时还填补了背景分割造成的小空洞和狭窄缝隙。

全色图像的预处理结果主要取决于分割算法，因此，本文试验了几种常见的图像分割算法。图5(a)为原始的Quickbird全色图像，包括建筑、植被、道路以及水池等常见背景，(b)(c) (d)分别为使用全局均值、直方图最优阈值以及最大类间方差(OTSU)算法的处理效果图，其中白色区域为被抑制的高亮背景，黑色部分为保留的道路等感兴趣区域。根据3种算法的复杂度以及最后的分割效果，全局均值分割都是最佳的选择。

3．1．2多光谱图像预处理

多光谱图像同时包括红谱段与近红外谱段的信息，为植被区域的分离创造了良好条件。首先根据多光谱图像数据计算植被归一化指数(NVDI)，然后利用图像分割以及图像腐蚀、膨胀等操作对植被归一化指数数据进行后续处理，以图3(a)对应的多光谱图像为例，图6即为多光谱NDVI提取结果，白色部分为植被覆盖区。通过该操作，基本移除了图像中的植被背景，进一步减小了车辆探测范围。

图5 不同分割算法的处理效果示意图Fig．5Results of different segment algorithm

3．1．3确定感兴趣区域(ROI)

将全色与多光谱遥感图像的预处理结果累加，则完成了感兴趣区域(ROI)的最终确定。

图7 感兴趣检测区域提取最终结果Fig．7Result of ROI extraction

通过上述对全色以及多光谱图像的处理，抑制了原始遥感影像中大部分冗余背景，包括高亮的建筑、树木以及草地覆盖区域，缩小了车辆目标的检测范围，极大程度地降低了目标探测的虚警率。图6为ROI提取的最终结果示意图，灰色部分即为感兴趣区域。

3．2运动车辆检测

通过上述操作，极大程度地降低了复杂的地物种类对车辆检测的干扰，以下的运动车辆检测以及参数估计都是针对感兴趣区域完成的。

3．2．1全色图像的运动车辆检测

Quickbird的全色遥感图像分辨率为0．61 m，所以通过图像处理算法即可直接实现车辆目标探测。顶帽(Top-Hat)变换是一种常用的灰度图像分割算法，用于提取图像中小于结构元素的最大值，即图像中的亮特征。但是对于背景复杂的遥感图像，利用顶帽变换提取车辆目标的效果并不令人满意，考虑到车辆目标分布密集，且道路在某一方向上具有延伸性的特点，选择Top-Hat重构［20］检测车辆目标。

Top-Hat重构主要包括两部分操作:形态学开运算和灰度重构，形态学开运算用于移除小于结构元素的车辆等小目标，灰度重构则用于构建背景遥感图。Top-Hat重构的关键在于结构元素的选择，由于车辆目标一般为矩形，且长度为6 m左右，在Quickbird全色遥感图中占据10个像素以内，为了满足结构元素大于车辆目标的要求，选择9个像素长度的线型模版作为结构元素。但仅用单一方向的结构元素处理原图像，会造成大量道路背景信息的丢失，所以本算法选择12个不同方向的线性模版(如图8所示)对原始全色图像进行开运算。开运算处理之后，将各个方向结构元素处理结果的上确界作为形态学开运算的输出，基本移除了潜在的车辆目标，而道路则由于延伸性而被完好地保留。将上述处理结果作为灰度重构的输入，对光学遥感图像进行背景重建，最后将原始全色图像与Top-Hat重构图像作差，即完成了全色图像的运动车辆检测。

图8 方向探针模版示意图Fig．8Directional probes template

3．2．2多光谱图像的运动车辆检测

由于多光谱图像的分辨率仅为全色图像的1/4，对于Quickbird而言多光谱图像分辨率为2.4 m，如图9所示，车辆目标的细节信息太少，如不借助3D数据等辅助信息［21］，无法直接进行车辆检测。针对该问题，本文首先采用双立方插值以及多光谱4个谱段的信息，生成一幅合成全色图，合成方法见公式(4)，合成全色图像与原始全色图像具有相似的光谱辐射特性以及相同的分辨率，为后续多光谱图像的运动车辆检测提供了便利条件。

其中:SyntheticPan为利用多光谱图像4个通道数据加权处理得到的合成全色图，BNB、BNR、BNG、BNNIR分别为多光谱图像中蓝色，红色，绿色以及近红外通道的亮度值。

图9 原始多光谱图像Fig．9Original multispectral image

车辆正常行驶的速度范围为20～200 km/h，因此车辆目标在原始全色图与合成全色图中的相对位移不会超过10个像素。因此，在合成全色图像中进行车辆匹配时，只需考虑一个较小的邻域，极大地降低了图像匹配的计算量。设全色图像中每个车辆目标的坐标为(x，y)，以目标中心12× 12的邻域作为搜索区域进行相关度匹配，得到多光谱图像中相应车辆的位置(x'，y')，从而实现多光谱图像的运动目标检测。

3．3基于全色/多光谱成像模式的运动参数估计

进过上述图像处理流程，已经成功提取全色图像和多光谱图像中的车辆质心位置，根据全色与多光谱图像中车辆坐标(x，y)和(x'，y')，结合Quickbird的全色与多光谱图像成像时间间隔0.2 s，以及全色图像的分辨率0.61 m。车辆在全色与多光谱图像中的相对位移距离Dis表示为:

其中R表示全色图像的像素分辨率(0．61 m/s)。根据速度的计算公式，图像中车辆速度为:

其中t=0．2s，速度方向与相对位移方向一致，为车辆目标的实际速度与推扫速度的合成结果。

4 实验结果与分析

为了验证上述算法的可行性以及鲁棒性，本文选择了3种不同背景的Quickbird遥感影像进行测试，如图10所示。(a)(b)(c)分别为以建筑、植物以及水域背景为主的车辆检测与运动参数估计示意图。

图10 不同背景Quickbird遥感图像的车辆目标检测与运动参数估计结果Fig．10vehicles detection results of differentbackgrounds Quickbird images

表1中统计了3幅图像中的车辆检测结果，通过表中数据可见，平均正确探测率高达94%，平均虚警率仅为6%，充分说明该算法对多种背景的Quickbird卫星影像均具有良好的检测效果。其中图10(a)以建筑背景为主，虽然在感兴趣区域提取阶段抑制了大部分背景，但是小目标的干扰较多，因此虚警率偏高，图10(b)以植被为主，且包含少量建筑物，所以车辆目标提取的正确率以及虚警率都接近统计平均值，图10(c)由于水域背景单一，检测效果最佳。

表1 图10所示3幅场景的车辆检测统计结果Tab．1Statistics results of 3 scenes in Fig．10

表2、3、4分别对应于图10中的3个场景，列出了车辆目标在全色和多光谱图像中的位置信息以及每辆车的速度，对于误检和静止的车辆，表中并未统计其速度信息。

表2 场景1的车辆检测与速度参数估计结果Tab．2Speed estimation and vehicle detection results of scene1

图10(a)为孟加拉国孙德尔本斯市区的一条主干道区域，由表2可见，最快车速高达171.86 km/h，但仅有一辆车达到此速度，不排除个别车辆超速行驶的可能，而其余车辆的速度均在39.59～124.22 km/h范围内，属于正常车速;

表3 场景2的车辆检测与速度参数估计结果Tab．3Speed estimation and vehicle detection results of scene2

图10(b)为孟加拉国的一条乡村道路，通过表3中的数据可见，车辆目标的平均速度在60 km/h左右，符合车辆在乡村道路上的行驶情况;

图10(c)为印度契尔卡湖附近高速公路截图，由于该地区没有车辆速度上限，所以车辆速度均在116．72 km/h以上，如表4所示。

通过上述验证实验可知，对于不同区域背景的Quickbird遥感影像，通过本算法检测车辆目标不仅不需要人工参与，而且目标的正确探测率高，虚警率低，计算的运动参数值符合实际情况，具有相当高的参考价值，但是有些车辆的运动方向与道路的方向稍有偏差，这是因为TDI CCD在成像时本身存在一个推扫速度，图像中的速度为目标自身的运动速度与推扫速度的合成结果，也为算法的进一步改进提供了新的方向。

表4 场景3的车辆检测与速度参数估计结果Tab．4Speed estimation and vehicle detection results of scene3

5 结论

针对Quickbird全色影像的分辨率高、多光谱图像光谱信息丰富的特点，提出了一种全自动的运动车辆检测算法，不仅实现了较好的车辆检测结果，而且突破了以往算法需要借助人工帮助或者GIS信息的限制，然后结合全色与多光谱图像的成像时间间隔完成了运动参数估计，最后对Quickbird遥感影像的验证试验证明了该算法的普适性强，正确探测率高，虚警率低，是一种性能值得推广的运动车辆检测与运动参数估计算法。

［1］代科学，李国辉，涂丹，等．监控视频运动目标检测减背景技术的研究现状与展望［J］．中国国象图形学报，2006，11 (7):919-927．

Dai K X，Li G H，Tu D，et al．Prospects and current studies on background subtraction Techniques for moving objects detection from durveillance video［J］．Journal of Image and Graphics，2006，11(7):919-927．(in Chinese)

［2］ChengJ，Yang J，Zhou Y，et al．Flexible background mixture models for foreground segmentation［J］．Image and Vision Computing，2006，24(5):473-482．

［3］Dickinson P，Hunter A，Appiah K．A spatially distributed model for foreground segmentation［J］．Image and Vision Computing，2009，27(9):1326-1335．

［4］Zha Y F，Bi D Y，Yang Y．Learning complex background by multi-scale discriminative model［J］．Pattern Recognition Letters，2009，30(11):1003-1014．

［5］Bicego M，Castellani U，Murino V．A hidden Markov model approach for appearance-based 3D object recognition［J］．Pat-tern Recognition Letters，2005，26(16):2588-2599．

［6］HuJ S，Juan C W，Wang J J．A spatial-color mean-shift object tracking algorithm with scale and orientation estimation［J］．Pattern Recognition Letters，2008，29(16):2165-2173．

［7］Tao J，Yu W A．Preliminary study on imaging time difference among bands of WorldView-2 and its potential applications［C］//Geoscience and Remote Sensing Symposium(IGARSS)，2011 IEEE International，2011:198-200．

［8］张小建，徐慧．基于视频处理的运动车辆检测算法的研究［J］．液晶与显示，2012，27(1):108-113．

Zhang X J，Xu H．Moving vehicle detection algorithm based on video processing［J］．Chinese Journal of Liquid Crystals and Display，2012，27(1):108-113．(in Chinese)

［9］张红颖，胡正．CenSurE特征和时空信息相结合的运动目标检测［J］．光学精密工程，2013，21(9):2452-2463

Zhang H Y，Hu Z．Moving object detection in combination of CenSurE and spatial-temporal information［J］．Editorial Office of Optics and Precision Engineeri．2013，21(9):2452-2463．(in Chinese)

［10］Salehi B，Zhang Y，Zhong M．Automatic moving vehicles information extraction from single-pass WorldView-2 imagery［J］．Selected Topics in Applied Earth Observations and Remote Sensing，IEEE，2012，5(1):135-145．

［11］Larsen S，Koren H，Solberg R．Trafficmonitoring using very-high-resolution satellite Imagery［J］．Photogrammetric Engineering and Remote Sensing，2009，75(7):859-869．

［12］Xiong Z，Zhang Y．An initial study on vehicle information extraction from single pass QuickBird satellite imagery［J］．Journal of Photogrammetric Engineering＆Remote Sensing，2008，74(11):1401-1412．

［13］Pesaresi M，Gutjahr K H，Pagot E．Estimating the velocity and direction of moving targets using a single optical VHR satellite sensor image［J］．International Journal of Remote Sensing，2008，29(4):1221-1228．

［14］Jin X，Davis C H．Vehicle detection from high-resolution satellite imagery using morphological shared-weight neural networks［J］．Image Vis．Compute，2007，25(9):1422-1431．

［15］王灿进，孙涛，王挺峰，等．基于轮廓特征的神经网络目标识别研究［J］．液晶与显示，2013，28(4):641-648．

Wang C J，Sun T，Wang T F，et al．Target recognition using neural network based on contour features［J］．Chinese Journal of Liquid Crystals and Display，2013，28(4):641-648．(in Chinese)

［16］ZhengH，Li L，An artificial immune approach for vehicle detection from high resolution space imagery［J］．Int．J．Comput．Sci．Netw．Secur，2007，7(2):67-72．

［17］余勇，郑宏．基于形态神经网络的高分辨率卫星影像车辆检测［J］．哈尔滨工程大学学报，2006，27(B07):189-193．

Yu Y，Zheng H．Vehicle detection from high resolution satellite imagery based on the morphological neural network［J］．Journal of Harbin Engineering University，2006，27(B07):189-193．(in Chinese)

［18］Liu W，Yamazaki F，Vu T T．Automated vehicle extraction and speed determination from QuickBird satellite images［J］．IEEE，2010，4(1):75-82．

［19］Leitloff J，Hinz S，Stilla U．Vehicle detection in very high resolution satellite images of city areas［J］．IEEE，2010，48 (7):2795-2806．

［20］Vincent L．Morphological grayscale reconstruction in image analysis:Applications and efficient algorithms［J］．IEEE，1993，2(2):176-201．

［21］Dirk C．Borghys，M Idrissa，Michal S，et al．Fusion of multispectral and stereo information for unsupervised target detection in VHR airborne data［C］．SPIE，2013，8745:874514-1-874514-12．

Speed estimation and automatic detection of moving vehicle from Quickbird satellite images

ZHANG Bo-yan*，LI Guang-ze，WU Xing-xing
(Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Science，Changchun 130033，China)

Velocity estimation and vehicle detection from satellite images is widely used in the domain of traffic monitoring，battlefield analysis etc．But most of the algorithms in this area are either manual or incorporating ancillary data．A new method has been developed to extract vehicles automatically and determine their speeds based on computer vision．First of all，the“Ghost”phenomenon of moving targets is analyzed by considering the structure of Quickbird panchromatic and multispectral focal plane．Normalized differential vegetation index，image segmentation and morphological gray scale reconstruction are combined to realize accurate vehicles detection in panchromatic image;subsequently image matching is applied to extract vehicles in the multispectral image based on the vehicle positions in panchromatic image．The speed can be calculated by using the vehicle extraction results and time intervals between panchromatic and multispectral images．Finally，this approach was tested on several images of Quickbird covering different backgrounds and can obtain a detection rate as high as 90%．The performance shows that the algorithm is practicable and valid．

TP79

A

10．3788/YJYXS20153004．0687

张博研(1987－)，女，吉林白城人，硕士，研究实习员，主要从事立体测绘和图像处理方向的研究。E-mail:boyan1021@163．com

李广泽(1976－)，男，吉林长春人，博士，研究员，主要从事空间遥感相机嵌入式控制系统设计与图像处理方向的研究。E-mail:Lgzandrew@tom．com

1007-2780(2015)04-0687-08

2014-10-21;

2014-11-15．

国家自然科学基金资助项目(No．61108066);吉林省科技发展计划项目(No．20130101028jc)

*通信联系人，E-mail:boyan1021@163．com

武星星(1980－)，男，河南洛阳人，博士，副研究员，主要从事空间光电技术及智能控制方向的研究。E-mail: starglare@126．com