基于图像对称性的车辆遥感识别

陈任， 黄辉先， 谭媛， 王程啸

(1.湖南华诺星空电子技术有限公司,长沙 410205； 2.湘潭大学信息工程学院,湘潭 411105)



基于图像对称性的车辆遥感识别

陈任1,2， 黄辉先2， 谭媛2， 王程啸2

(1.湖南华诺星空电子技术有限公司,长沙 410205； 2.湘潭大学信息工程学院,湘潭 411105)

遥感图像中车辆俯视图像具有镜像对称的特点，会导致图像中存在重复的特征。针对这种情况，提出一种优化选取Haar-like特征进行车辆识别的方法。在检测窗口中，选取2类特征： 在检测窗口上半部分提取所有的矩形特征； 在原检测窗口中，只使用对称于窗口对称轴、且描述上下部分差异的矩形特征，该方法既能充分表达图像的信息，又减少了重复的特征。从训练样本的灰度图和饱和度图中提取这些特征，训练级联分类器，其中每一层采用适应性提升(adaptive boosting,AdaBoost)算法训练强分类器。实验结果表明，上述方法能大幅度降低特征数量，提高检测速度，同时具有很好的识别效果。

高分辨率卫星图像； 车辆识别； 对称图像； AdaBoost算法

0 引言

随着社会经济的不断发展，对城市交通运输能力的要求越来越高，对交通状况信息的快速获取也变得越来越重要。与传统地面传感器相比，使用卫星遥感图像获取道路车辆信息具有很多优越性，目前已有一些这方面的研究。余勇等[1]使用形态学方法对图像进行预处理，利用形态神经网络检测车辆目标。郑宏等[2]将车辆检测过程视为抗体检测抗原过程，使用抗体网络优化训练样本，训练和检测车辆。吴小波等[3]采用背景迭代搜索算法，利用目标和背景间的局部差异对车辆初步定位； 再使用动态双峰阈值分割方法提取道路，取两者交集得到车辆识别结果。李世武等[4]基于自反馈模板提取方法，从待识别图像中提取模板，用模板匹配算法识别车辆。秦彦光[5]使用纹理特征和支持向量机进行道路网和车辆识别。曹天扬等[6]使用阈值分割分离深色车和浅色车，再分别从道路中提取车辆。观察遥感图像中的车辆目标，可以发现车辆影像都是关于车辆中轴左右对称的，在这种情况下，对称轴两边的许多细节信息重复。对于一些基于局部特征的特征提取方法来说会遇到重复特征问题； 但以往的研究都是把车辆作为一个整体，并没有注意到重复特征的存在。针对车辆遥感图像对称的特点，本文提出一种优化选取Haar-like特征的方法，并采用适应性提升(adaptive boosting,AdaBoost)算法训练级联分类器(cascade classifier)，旨在降低特征数量、提高训练速度、改进车辆识别效果。

1 遥感图像中的车辆特征提取

1.1 Haar-like特征

1.1.1 基本概念

Haar-like特征是一种矩形特征，最初由Papageorgiou等[7]提出； 因其原理类似Haar小波，故被称为Haar-like特征。Viola等[8]提出一种采用AdaBoost分类器的快速检测方法，使用了5种形态的Haar-like特征(图 1中(a)―(e))。图1中，(a)、(b)分别指示垂直和水平方向的边缘信息，(c)、(d)分别指示垂直和水平方向的直线特征，(e)指示对角线方向的特征，(f)指示中心特征。

(a) 垂直方向边缘(b) 水平方向边缘(c) 垂直方向直线(d) 水平方向直线(e) 对角线方向特征(f) 中心特征

Haar-like特征使用类似图 1中的矩形组合作为特征模板，每个特征的特征值计算方法为： 分别统计白色区域和黑色区域的像素之和，然后两者相减。其计算公式[9]为

(1)

式中：i为模板中的第i个矩形块；n为模板中包含的矩形数量；RectSum(ri)为第i个矩形的像素和；ωi为第i个矩形的权值(黑色区域为负，白色为正，黑色区域面积×黑色部分权值+白色区域面积×白色部分权值=0)。

1.1.2 积分图

使用Haar-like检测目标时，需要计算特征包含的矩形区域内大量像素的和，并且其中大部分都是重复计算。针对此问题，通常使用积分图(integral image)来加速计算。积分图是一个与原始图像大小相同的矩阵，其中每个元素的值等于原始图像中左上角到这一点的像素之和(图2)。

图2 积分图示例

建立积分图后，可以方便地对任意矩形区域内的像素求和，如图 2中区域D的像素和为

IID=IIA+B+C+D-IIA+C-IIA+B+IIA=ii4-ii3-ii2+ii1，

(2)

式中：IIX为区域X内的像素和；ii1，ii2，ii3，ii4分别为从顶点0到点1,2,3,4的像素和。

从式(2)可以看出，使用积分图计算矩形区域内的像素和，其运算复杂度与区域大小无关，仅需取得矩形4个顶点的积分图数值，计算非常快速，并且运算耗时对任意矩形都是一样的。

1.2 HSV色彩空间特征提取

道路区域的卫星图像常常存在各种各样的干扰，比如周围物体遮挡光线造成道路区域存在阴影，道路周围树木遮挡部分道路等。对这些图像灰度化以后，有的车辆目标便难以从背景中区分出来，需要考虑使用其他方法增强对车辆目标的识别能力。

针对以上情况，本文使用色调-饱和度-亮度(hue-saturation-value,HSV)彩色空间提取图像的色彩信息。将一些道路图像变换为HSV图像以后发现，对于包含阴影和树木的道路区域、或者深色车辆的部分，从灰度图中有时难以把车辆目标与道路背景区分开，而饱和度图像能提供较好的识别度。因此，本文分别从灰度图和饱和度图中提取车辆图像的特征。

1.3 基于图像对称性的特征优化选取

图3 对称图像

区域B的像素和可以由区域A及轴对称矩形的像素计算得出，即

Sefgh=Sabgh-Scdef-Sabcd,

(3)

式中：Sefgh，Sabgh，Scdef和Sabcd分别为点e,f,g,h；a,b,g,h；c,d,e,f和a,b,c,d所围成的矩形内的像素和。

根据式(3)，可用完全处于对称轴上方的Haar-like特征和对称于检测窗口对称轴的特征替代对称轴下方区域与之对称位置的特征，即不再需要对称轴下方的特征亦可达到与原来同样的识别效果。

因此，本文使用2类特征： ①只检测半个车身的特征。在检测窗口上半部分提取所有的矩形特征； ②检测车身对称性的特征。在原检测窗口中，只使用对称于窗口对称轴、且描述上下部分差异的矩形特征。第1类特征的生成，先将窗口高度减半，然后按照普通的方法生成所有Haar-like特征。第2类特征则只使用图 1(b)(d)(e)(f)中的模板生成； 且放置特征矩形时，要求特征矩形的中点位于检测窗口的对称轴上。在这种情况下，用1种特征确定其矩形高度后，矩形的纵坐标也就被唯一地确定(表 1)。

表1 第2类特征的生成

对32像素×14像素的检测窗口，如果使用传统方式提取特征，特征数量为103 411个； 使用基于对称性的方法提取特征，窗口内2种类型的特征数量分别为26 047个和9 646个(表1)，共35 693个，数量大约是传统方法的34.52%，意味着训练速度能提高到原来的3倍左右。另外，特征数量的减少也有利于在训练过程中增加训练使用的样本数量(在3.2节中将对此做详细说明)。

2 车辆识别算法

2.1 AdaBoost算法

AdaBoost算法是Freund等[10-11]和Schapire等[12]参照在线分配算法提出的一种构建准确分类器的学习算法。Viola等[8]针对人脸识别设计了Haar-like特征，使用AdaBoost算法进行分类，取得了很好的识别效果。AdaBoost算法的思想[13]是通过对样本赋予权重，使样本在训练过程中受到的重视程度不同； 训练分类器时，被错分的目标会获得更大的权重，分类正确的目标的权重则会降低，从而在下一轮的训练中，分类器能更集中于对难分类目标的识别。在每一轮的训练过程中，使用样本权重训练弱分类器，并从中挑选最优的弱分类器，最终由多个弱分类器组成1个强分类器。

本文弱分类器使用Haar-like特征构成，即

(4)

式中：x为样本；pi为方向指示符(用于统一不等号方向)，pi∈[-1,+1]；fi为第i个特征在样本x上的特征值；θi为分类器的阈值。

对弱分类器的训练过程是寻找最优的阈值，使得分类误差最小。

2.2 级联分类器的构建

通常情况下，待检测图像中大部分区域是不包含车辆目标的，所以在检测过程中，先使用较小的运算量来排除大部分非目标区域，而对可能包含目标的区域投入较多时间，可显著提高检测速度。在实际应用中，一般将多个强分类器组合为级联分类器。级联分类器本质上是一个退化的决策树[14]，决策树的每一层都是1个强分类器。在检测过程中，检测目标从树的顶层进入，每经过决策树的一层就被分类一次，如果识别为目标就继续进入下一层进行检测； 否则停止检测过程，直接判定为负目标。其结构如图4所示。

图4 级联分类器结构

对于一个级联分类器，其误检率(负目标被错误判断为正目标的概率)为

(5)

式中：K为级联分类器的层数；fi为第i个强分类器对所有样本进行分类的误检率。

类似地，级联分类器的检测率(正目标被正确检测的概率)为

(6)

式中：K为级联分类器的层数；di为第i个强分类器对所有样本进行分类的正确检测率。

训练级联分类器时，首先确定需要达到的误检率F和检测率D以及预计的分类器层数K； 然后根据式(5)和(6)求出每一层需要达到的误检率fmax和检测率dmin，将F，fmax和dmin作为训练的输入参数。本文采用文献[8]中使用的级联分类器的训练方法，即

1) 确定整体的误检率目标Ftarget、每层最大误检率fmax和最小检测率dmin；

2) 设定正样本集Pos、负样本集Neg和测试样本集Test；

3) 赋值： 初始层数i=0，初始检测率D0=1，初始误检率F0=1；

4)当Fi>Ftarget：

①赋值：i=i+1；

②赋值： 第i层特征个数ni=0，前i层总误检率Fi=Fi-1，检测率Di=Di-1；

③当Fi>fmax·Fi-1：

i.赋值： ni=ni+1；

ii.使用Pos和当前的Neg作为正负样本集，用AdaBoost算法训练包含ni个弱分类器的强分类器；

iii.在Test上使用当前的强分类器分类，评估Fi和Di；

iv.降低第i层强分类器的阈值，直到Di≥dmin·Di-1(同时会影响Fi)；

④若Fi>Ftarget，则使用当前的级联分类器对负目标进行分类，错分的目标作为新的负样本集Neg；

5) 训练结束。

3 实验过程

实验使用的计算机配置为主频2.9GHz的双核CPU，4GB内存； 实验程序采用C#语言编写，并使用了Emgu图像处理库。从卫星图像中提取刚好包含车辆的图像作为车辆样本，这些图像的高度和宽度平均值分别为14像素和32像素，故实验使用32像素×14像素大小的检测窗口，以尽量保留车辆图像信息。非车辆样本是一系列不包含车辆、且尺寸大于检测窗口的道路区域图像，在训练过程中,程序按检测窗口大小随机从中截取图像作为负样本。使用图 1中所示的6种特征模板，分别从灰度图和饱和度图中提取车辆图像特征。

3.1 图像预处理

由于卫星图像在获取过程中存在光照和拍摄参数等差异，造成不同图像的亮度不均匀； 如果直接使用这样的图像来训练分类器，会影响分类器的训练速度和检测效果。本文采用均方差归一化来减小光照对图像灰度的影响； 而饱和度图像不受光照影响，不需要处理。

图像均方差的计算公式为

(7)

式中：σ为标准差；N为窗口内的点数；x为窗口内的像素值；m为像素平均值。

在像素值的积分图基础上，增加像素平方的积分图，可快速计算待检测图像中任意区域的方差和平均值。使用式(8)将窗口中的像素值归一化到均值为0、方差为1，即

(8)

3.2 单级分类器训练样本数计算

在级联分类器每一层的训练过程中，每增加1个弱分类器，都要计算当前训练样本的所有特征值，要耗费大量时间，所以需要预先计算特征值并保存下来。特征值使用32 bit float类型保存，对于n个样本、m个特征，共需要m×n×(32/8)个byte来存储。在实验中，需要控制使用的内存数量，避免超过物理内存大小。

训练程序实际使用了2.46 GB内存，程序中其他部分使用的内存约100 MB，则可用于存储特征值的内存为2.36 GB，单次可使用的训练样本数为n=2.36e9/4/m=5.9e8/m个，可见样本数受到特征数量的影响。本文使用基于对称性的方法选取特征，特征数量只有传统方法的1/3左右，即单次能使用的训练样本数量是传统方法的3倍左右。本文使用灰度图和饱和度图像提取特征，总的特征数为71 386个，单次可使用的训练样本数为8 264个。

3.3 测试结果

最终的级联分类器包含15层，共257个弱分类器，前几层的弱分类器数量依次为7,8,12,16个，可见随着分类难度的增加，弱分类器数量也在增加。训练中使用了1 436个正样本和564 933个负样本。

在不同的卫星图像中，车辆尺寸存在较小的差异。为了适应不同尺寸下的情况，本文采取逐级缩放检测窗口的方法，使检测速度很快。针对缩放倍数调整积分图的倍率，例如若将检测窗口放大到1.2倍，则待测图像的积分图需要除以1.2； 计算特征时，特征矩形也按照相同比例缩放。

图 5是对实际道路和停车场进行识别的结果，其中图5(a)(c)(e)使用了基于对称性的特征提取方法，图5(b)(d)(f)使用了基于全部特征的特征提取方法。

(a) 使用本文方法 (b) 使用全部特征

(c) 使用本文方法 (d) 使用全部特征

图5-1 车辆识别结果

Fig.5-1 Results of vehicle detection

(e) 使用本文方法 (f) 使用全部特征

图5-2 车辆识别结果

Fig.5-2 Results of vehicle detection

从图5可以看出，对光照情况不同的场景，用本文方法都能取得很好的车辆识别效果。其中，图5(c)的左下角处在阴影中，肉眼难以看清的车辆也被识别出来； 图中心有一个没有识别出来的目标，主要是因为车辆正在转弯导致目标角度发生了变化。图5(e)是对停车场的识别结果，通常对这样密集区域的车辆识别效果比较差，但本文方法仍有较好的识别效果，图中仅有2个误检的目标，而漏检的目标主要是深色车辆。

对比本文方法和使用所有特征训练分类器方法的车辆识别结果(表2)可以看出，尽管两者的检测率差别不大，但是后者的误检率较高，这是因为前者包含更多描述对称性的特征，因而对某些负目标有更好的滤除效果。

表2 车辆识别结果

应当指出，本文只研究了对小轿车的识别方法，检测窗口的大小只是针对小轿车选取的，对其他类型的汽车(如卡车、公共汽车等)识别效果较差。

4 结论

1)本文针对车辆俯视图像镜像对称的特点，提出了一种优化选取Haar-like特征进行车辆识别的方法，利用图像对称性剔除了大量重复特征。实验结果表明，该方法相比传统方法能大幅降低特征数量，提高检测速度，并能降低误检率。

2)下一步研究的重点包括融合其他类型的特征描述方法、降低车辆边缘处的重复识别率以及不同类型车辆的自动检测方法等。

3)本文虽然以车辆检测作为研究对象，但这种基于对称性的目标检测方法亦可应用于其他具有对称性的图像目标识别领域，也可以起到减少特征数量的作用。

[1] 余勇,郑宏.基于形态神经网络的高分辨率卫星影像车辆检测[J].哈尔滨工程大学学报,2006,27(s1):189-193. Yu Y,Zheng H.Vehicle detection from high resolution satellite imagery based on the morphological neural network[J].Journal of Harbin Engineering University,2006,27(s1):189-193.

[2] 郑宏,胡学敏.高分辨率卫星影像车辆检测的抗体网络[J].遥感学报,2009,13(5):913-927. Zheng H,Hu X M.An antibody networks approach for vehicle detection from high resolution satellite imagery[J].Journal of Remote Sensing,2009,13(5):913-927.

[3] 吴小波,杨辽,沈金祥,等.基于背景迭代搜索的高分辨遥感图像汽车检测[J].国土资源遥感,2011,23(4):46-51.doi:10.6046/gtzyyg.2011.04.09. Wu X B,Yang L,Shen J X,et al.Car detection by using high resolution remote sensing image based on background iterative search[J].Remote Sensing for Land and Resources,2011,23(4):46-51.doi:10.6046/gtzyyg.2011.04.09.

[4] 李世武,徐艺,孙文财,等.基于自反馈模板提取的车辆遥感图像识别[J].华南理工大学学报:自然科学版,2014,42(5):97-102. Li S W,Xu Y,Sun W C,et al.Remote sensing image recognition for vehicles based on self-feedback template extraction[J].Journal of South China University of Technology:Natural Science Edition,2014,42(5):97-102.

[5] 秦彦光.高分辨率遥感图像道路网及车辆信息提取[D].长春:吉林大学,2014. Qin Y G.Study on Road Network and Automobile Information Extraction Based on High Resolution Remote Sensing Image[D].Changchun:Jilin University,2014.

[6] 曹天扬,申莉.基于交通遥感图像处理的车辆目标识别方法[J].计算机测量与控制,2014,22(1):222-224. Cao T Y,Shen L.Vehicles identification method based on traffic remote sensing image[J].Computer Measurement & Control,2014,22(1):222-224.

[7] Papageorgiou C P,Oren M,Poggio T.A general framework for object detection[C]//Proceedings of the 6th International Conference on Computer Vision.Bombay:IEEE,1998:555-562.

[8] Viola P,Jones M.Rapid object detection using a boosted cascade of simple features[C]//Proceedings of the Computer Society Conference on Computer Vision and Pattern Recognition.Kauai,HI,USA:IEEE,2001,1:8-14.

[9] 蔡益红.多特征融合的道路车辆检测方法[J].计算技术与自动化,2013,32(1):98-102. Cai Y H.Fusing multiple features to detect on-road vehicles[J].Computing Technology and Automation,2013,32(1):98-102.

[10]Freund Y,Schapire R E.Experiments with a new Boosting algorithm[C]//Proceedings of the 13th Conference on Machine Learning.Murray Hill,NJ:AT&T Bell Laboratories,1996:148-156.

[11]Freund Y.Boosting a weak learning algorithm by majority[J].Information and Computation,1995,121(2):256-285.

[12]Schapire R E,Singer Y.Improved boosting algorithms using confidence-rated predictions[J].Machine Learning,1999,37(3):297-336.

[13]彭英辉,张东波,沈奔.基于多尺度匹配滤波和集成学习的眼底图像微脉瘤检测[J].计算机应用,2013,33(2):543-546,566. Peng Y H,Zhang D B,Shen B.Microaneurysm detection based on multi-scale match filtering and ensemble learning[J].Journal of Computer Applications,2013,33(2):543-546,566.

[14]莫琛.基于视觉的道路前方运动车辆检测与跟踪[D].广州:华南理工大学,2013. Mo C.Vision-Based Front Vehicle Detection and Tracking[D].Guangzhou:South China University of Technology,2013.

(责任编辑： 刘心季)

Vehicle identification from remote sensing image based on image symmetry

CHEN Ren1,2， HUANG Huixian2， TAN Yuan2， WANG Chengxiao2

(1.HunanNOVASKYElectronicTechnologyLtd，Changsha410205，China； 2.TheCollegeofInformationEngineering，XiangtanUniversity，Xiangtan411105，China)

The plan view of the vehicle image is symmetrical, which leads to the existence of repeated characteristics in the image. In view of such a situation, the authors present an optimal selection method for Haar-like features. Within the detection window, the two types of features are selected: a half of the detection window’s height is taken, and then all the rectangular features are extracted; in the original detection window, only the features that are symmetrical about the symmetry axis of detection window are used, and the upper and lower parts’ difference is described. We can fully express the image information and also reduce the repetitive characteristics by using this method. The cascade classifier is trained by extracting these features in samples’ grayscale and saturation images, while each layer is trained by using AdaBoost algorithm. The experimental results show that the proposed approach can significantly reduce the number of features and improve the training speed, thus achieving good recognition results.

high resolution satellite image； vehicle detection； symmetrical image； AdaBoost algorithm

10.6046/gtzyyg.2016.04.21

陈任,黄辉先,谭媛,等.基于图像对称性的车辆遥感识别[J].国土资源遥感,2016,28(4)：135-140.(Chen R,Huang H X,Tan Y,et al.Vehicle identification from remote sensing image based on image symmetry[J].Remote Sensing for Land and Resources,2016,28(4)：135-140.)

2015-05-26；

2015-07-19

TP 751.1

A

1001-070X(2016)04-0135-06

陈任(1989-),男,硕士研究生,主要研究方向为遥感图像处理和模式识别等。Email： h3398super@163.com。