应用光照模型的交通车辆识别定位的高分辨率遥感方法

曹天扬，申 莉

1.北京遥感设备研究所，北京100039；2.北京航天福道高技术股份有限公司，北京100195

1 引 言

传感器是智能交通的基础，为交通指挥提供道路交通状况信息，如流量、速度、占有率、交通密度、排队长度等［1］。目前常用的传感器主要是感应线圈、压电式检测器、固定摄相机等［2］，它们的监测范围有限，需组网才能获取大范围交通状况，大多仅部署在城市主干道。

相比于地面传感器，卫星遥感的监测面积非常大，可一次性获取城市整体影像。目前已经能够有效提取出遥感影像中的城市道路［3－4］，如文献［3—5］分别基于形态学、多重信息融合、支持向量机来提取遥感图像中的道路，文献［6］还专门研究了道路边缘的提取问题。若能再通过图像处理技术进一步提取其中的车辆运行信息，则可以与地面传感器形成互补，从全局角度为交通指挥提供整个城市的交通状况［7］。

目前国内外都在广泛开展交通遥感图像处理方面的研究，如利用阈值分割技术区分道路和汽车［8－12］，在此基础上采取形态学的预处理措施，可以有效突出汽车的特征，改善识别效果［13］。机器学习等自适应建模技术也被大量应用于这一研究领域，如通过径向基神经网络、概率神经网络将纹理特征与亮度特征融合到一起识别汽车［14－16］。

交通遥感图像处理的难点在于汽车阴影的干扰，它与深色车亮度相近不易区分［17－18］。几辆并排行驶的汽车很容易被对方的阴影覆盖，变成一个连通的深色区域，被误识别为一辆大型汽车。视频检测可以利用地面背景信息消除阴影，但这种方法对遥感图像并不适用，因为遥感卫星的过顶时间和拍摄次数有限、对一个城市每天最多拍摄一次，很难获得不包含车的地面背景。如何去除阴影是遥感图像处理中的一个研究重点，目前主要采用的方法包括同态滤波、直方图均衡、纹理分析等方法［19－20］。但是对于汽车阴影，处理难度相对较大，因为汽车附近存在多个相对运动的光源，除了太阳光，周围的汽车、建筑物都会将太阳光反射到汽车上产生阴影，随着汽车的移动，这些光源的数量和方向时刻都在改变，很难通过数学模型准确描述一辆汽车的阴影变化。针对汽车阴影处理国内外也进行了大量研究，例如通过拍摄时的太阳高度和方位角建立模型、预测汽车的阴影，但这些信息需要在遥感城市道路时同步记录，否则无法实现车辆阴影消除［7］。除了阴影，车窗也会形成干扰，浅色车的车窗（包括前后窗、天窗）呈现深色，会被误识别为深色汽车，很容易把一辆完整的浅色汽车分割为数个互不联通的小区域。

针对上述问题，本文以Phong光照模型为基础，设计了一种交通遥感图像处理方法，用于识别、定位路面上的汽车。

2 遥感图像中的汽车特征

汽车特征提取的主要目的是获取汽车、路面、阴影3类物体的区别，建立识别车辆和消除阴影的方案。

2.1 应用Phong光照模型的特征分析

汽车的亮度和阴影的特征可以通过Phong光照模型来描述，物体亮度由环境光的漫反射、太阳光的漫反射、太阳光的镜面反射组成，即［21］

式中，ka、kd、ks分别为物体对环境光的漫反射系数、对太阳光的漫反射系数和镜面反射系数；Ia、Il分别为环境光及太阳光强度；θ为太阳光与物体表面法线之间的夹角；α为反射光与视线之间的夹角；n为镜面反射参数。

考虑到实际自然场景中绝大部分区域为非光滑区域，式（1）中的镜面反射分量Ilkscosnα＝0。物体对环境光的反射系数ka和对太阳光的漫反射系数kd都取决于物体表面特征，二者一致，即ka＝kd。因此物体亮度可以表示为

物体的反射系数ka＝1时称为白体，ka＝0时称为黑体。介于白体和黑体之间的称为灰体。全色遥感图像中，汽车分为深、浅两类。浅色车接近于白体，反射系数ka≈1，亮度为

深色车接近于黑体，反射系数ka≈0，亮度为

路面亮度处于白体与黑体之间，属于灰体，亮度为

阴影分为两种：半影和暗影，它们的亮度可以分别通过式（6）和式（7）表示

式中，λ是光能的损失系数。光源被物体完全遮挡时形成暗影，暗影的光强为一常数，即式（6）中λ＝0的情况；光源部分被物体遮挡时形成半影，0＜λ＜1；光源没有被物体遮挡时，无阴影，λ＝1。阴影的亮度变化是先暗影后半影，顺着光照方向阴影由暗变亮，直至达到路面亮度。

对于深色车，如图1（a）所示，由上述公式可知，顺着光照方向每一行（图1（a）中的白线）亮度变化会经历4个过程：路面灰度、黑色、渐变为灰、路面灰度，如图1（b）所示。

对于浅色车，如图1（c）所示，顺着光照方向每一行（图1（c）中的黑线）亮度变化会经历5个过程：路面灰度、白色、黑色、渐变为灰、路面灰度，如图1（d）所示。

2.2 汽车和路面的3项亮度特征

特征1：深色车、路面、浅色车分别处于暗、灰、亮3个灰度区域。

特征2：对于深色车（含车和阴影），沿着光照方向亮度变化过程为：路面灰度、变暗、达到最小值、增大，路面灰度。

特征3：对于浅色车（含车和阴影），沿着光照方向亮度变化过程为：路面灰度、变亮、达到最大值、变暗、达到最小值、增大，路面灰度。

依据特征1可从路面中提取车辆区域（含车和阴影），依据特征2、特征3可以区分车和阴影。

图1 卫星遥感图像中浅色车和深色车的亮度变化过程Fig.1 The luminance variance of dark and bright vehicles in the satellite RS－image

3 交通遥感图像中的车辆识别定位

本文的交通遥感车辆识别定位方法包括3个环节：高斯平滑滤波与图像旋转、图层分离与车辆区域提取、去除阴影和车窗的干扰。如图2所示，首先将根据特征1从路面遥感图像中提取出汽车区域，然后利用特征2和特征3去除车辆区域中阴影和车窗造成的干扰，其中图层分离算法、阴影消除算法、车窗识别算法是本文根据亮度特征专门设计的。

3.1 高斯平滑滤波与图像旋转

为了取得最佳的处理效果，首先通过高斯平滑滤波与图像旋转对原始遥感图像进行预处理。高斯滤波可以滤除因物体表面不平而引起亮度的起伏波动，有利于根据像素点灰度的上升／下降趋势识别阴影。图像旋转可以调整每列都平行于光照方向，算法仅需逐列分析灰度变化即可完成阴影识别，能简化图像处理过程。

高斯滤波是一种相邻像素点的加权平均

式中，B（x，y）为滤波后的图像像素点；A（i，j）为原始图像的像素点；w（i，j）为（x，y）周围的每个像素在滤波结果中的权重系数。数据处理时，式（8）对（i，j）∈s的区域内进行加权平均，中心点权重最高，然后依次向四周递减。滤波效果如图1（b）所示，相比于图1（a）的原始图像，汽车和路面的亮度变化都比较缓和。

图2 交通遥感车辆识别定位图像处理过程Fig.2 The RS－image processing for vehicles recognition and location

图像旋转的公式为

式中，（x0，y0）为原始遥感图像的像素点；（x1，y1）为旋转后的像素点坐标；α为旋转角度。因为太阳光是平行光，图像中所有物体的阴影都指向相同方向，遥感图像的旋转角度α可通过计算浅色车阴影边界与图片边界之间的夹角确定，旋转效果如图3（b）所示，列像素与阴影的方向平行。

3.2 图层分离与车辆区域提取

车辆区域识别的目标是将深色车和浅色车与路面遥感图像区分开，而多类目标区分一般很难做到准确：深色车会干扰浅色车的识别，造成求取的阈值偏小，较亮的路面会被误识别为浅色车；检测深色车时，较暗的路面也会被误识别。一种常用的解决方案是通过形态学神经网络将图像变为两张，分别消除深色车和浅色车［15］，但由于仍有一些残留，后续处理会受影响。

图3 高斯平滑滤波与图像旋转的图像处理效果Fig.3 The processing result of Gaussian smoothing and image rotation

本文设计了一种较为彻底的深、浅汽车分离和检测方法：首先基于直方图确定分界点，将原始图像分为深、浅两个图层，然后利用最大类间方差法在每个图层中分别识别深、浅车辆。该方法还包含亮度增强和深色图层反转两个辅助环节，可以有效提高汽车和路面的区分效果。

3.2.1 深色车与浅色车的图层分离

由特征1可知，深色车、路面、浅色车分别处于黑、灰、白3个区间。遥感图像的直方图中，路面像素点最多，形成巨大的峰，如图4（a）所示。深、浅汽车的像素点分别位于峰的两侧。

图4 直方图Fig.4 Histogram

峰值点的灰度值可以作为图层的分界点。深色图层由小于该灰度级的像素点构成，深色车包含其中；浅色图层由大于该灰度级的像素点构成，浅色车包含其中。图层分离公式如下：

深色图层

浅色图层

式中，x是原始遥感图像；x0是深色图层；x1是浅色图层；xmax是分界点。为每个图层分别求取各自的阈值，即可准确划定遥感图像中每辆汽车所在的区域。

深色图层灰度范围为［0，xmax］，浅色图层为［xmax，255］，它们的亮度都不足。为了提高汽车和路面的对比度，通过式（13）增强图层亮度，将灰度范围扩展到［0，255］

式中，［a，b］为变换前的灰度范围；y（i，j）为变换后的灰度值。浅色图层的处理效果如图5（c）所示。

为了提高在计算机上的图像处理的效率，深色图层的像素点y（i，j）可通过式（14）反转为z（i，j），使深色车的形式与浅色车一致，如图5（b）所示。分割汽车和路面时，两个图层可调用同一个软件程序分别求取各自的分割阈值

图5 交通遥感图像处理过程Fig.5 The RS－image processing for traffic

3.2.2 基于阈值分割法的遥感图像车辆提取

深、浅图层的特征可以在直方图中清晰地显示出来，汽车和路面像素点各自集中于高、低两个灰度区域，如图4（b）、4（c）所示，非常有利于使用最大类间方差法设定阈值区分车辆和路面［13－14］。最大类间方差法的核心是求取汽车和路面的类间方差σ2t

式中，i为灰度级（共L级），它的出现概率为Pi；为汽车出现的概率；为路面出现的概率；分类准则函数为

遍历256个灰度级，使σ2t最大的t就是区分路面和汽车的最佳阈值。深色车区域和路面的分割效果如图5（d）所示，浅色车区域和路面的分割效果如图5（e）所示。浅色车区域中只有浅色车；而深色车区域中不但包含深色车，还包含深、浅汽车的阴影，以及浅色车的车窗。阴影和车窗的去除将在下一环节完成。

3.3 去除阴影和车窗的干扰

图层分离与车辆区域提取过程易受到阴影和车窗的干扰：①阴影干扰，阴影会被识别为深色车，当车间距很小时，深色车区域会被阴影连接到一起，被误识别为一辆超大型汽车，如图5（d）所示；②车窗干扰，因浅色车的车窗呈深色而划分到深色图层，一辆完整的浅色车会被分割为数段，如图5（e）所示。

这里设计了一种算法来消除阴影、车窗造成的干扰：首先利用光照变化特征2和特征3，顺着光照方向分析亮度的变化过程，消除部分阴影、断开阴影造成的深色车区域连接，将每辆车都划分到单独的区域进行定位；然后利用浅色车的位置确定深色图层中哪些是它的阴影和车窗，通过闭运算将它们与车合并到一起。此时深色图层中仅剩深色车。

3.3.1 深色车的阴影识别和去除

由亮度变化特征3可知，留在深色图层中的浅色车阴影与深色车相近，也呈现类似亮度变化特征2的现象，灰度由大变小再变大、远离太阳的方向逐步上升。因此可以利用汽车阴影的这种特征，顺着光照方向对深色车区域所包含的遥感图像逐列扫描，断开车与车之间因阴影造成的连接。阴影消除过程分为两种情况：

情况1：深色车区域内只有一辆车。按照亮度变化特征2，每一列中会有1个最小值。该最小值将列像素点分为两段，远离光源一段为阴影，靠近光源一段为汽车。

情况2：深色车区域内有多辆车。因为车辆和阴影交替出现，每一列中会有多个极小值和极大值交替出现。亮度变化特征2表明，两个极大值之间包含一辆汽车（和它的阴影）。与情况1同理，两个极大值之间的极小值可以作为阴影和汽车的分界线，分界线远离光源一段为阴影，靠近光源一段为汽车。

处理效果如图5（f）所示，可以有效消除汽车间的阴影连接。这种方法还可以消除浅色车的大部分阴影。根据亮度变化特征3，浅色车的阴影呈波谷状，靠近汽车的一部分阴影仍存在于滤除结果中。这部分残留将在下一个环节进行处理。

考虑到阴影面积与太阳高度角相关，当阴影增大时更多的路面纹理包含其中，会造成阴影内部的亮度波动起伏、不利于算法消除阴影。因此本文引入了低通滤波器对图像预处理、消除阴影中的亮度波动起伏

式中，Y（i）是平滑后的图像；z（i）是原始图像；α为平滑系数（0＜α＜1），当太阳高度角变低、阴影面积增加时，通过减小α增强滤波能力，可以有效平滑阴影中的亮度起伏。

3.3.2 浅色车的阴影、车窗识别与深、浅汽车定位

浅色车阴影、车窗、天窗造成的干扰可以通过它们与车的位置关系消除。虽然与浅色车不在同一个图层，但阴影、车窗与汽车的坐标靠在一起。尽管阈值分割会使它们收缩，但与浅色车间隔1～2个像素仍可认为是它的车窗和阴影；由于汽车之间要保持安全距离（≥2m，≥4像素），深、浅色汽车不会靠得像浅色车与它的阴影（车窗）一样近。因此从深色图层中提取出与浅色车位置接近的识别结果，然后与浅色车合并，可以将浅色车的各个部分重新合并成一辆完整的汽车。合并过程采用形态学的闭运算实现，如图5（g）所示，可在遥感图像中准确标识出每辆浅色车。闭运算是先膨胀后腐蚀

式中，Y表示图像；S表示结构元素。结构元素S在图像Y中不断移动。腐蚀的结果是S完全包含在Y中时，S原点（中心）的位置集合。膨胀的结果是S中至少有一个点包含在Y中时，S原点（中心）的位置集合。此时深色图层中的剩余部分都是深色汽车。阴影消除环节易造成畸变，汽车的识别结果很容易被割裂。这种问题也可以通过闭运算消除，畸变的修整效果如图5（f）所示。

为了进一步改善效果，深、浅汽车识别结果中的噪声点采用开运算去除，如图5（h）、图5（i）所示

3.4 试验与讨论

3.4.1 试验结果

为了验证算法的适用性，本文从GoogleEarth选取了10组卫星遥感道路照片进行测试，包括天津市、张家口市、秦皇岛市、锦州市，以及美国的洛杉矶市。识别定位效果如图6所示（白色黑框三角形标示浅色车，白色十字标示深色车）。

表1中，10组图像的平均识别率为浅色车大于92%、深色车大于87%。

表1 深、浅汽车在遥感图像中的识别结果Tab.1 The recognition result of vehicles of different color in the RS－image %

3.4.2 试验数据分辨率讨论

（1）对于遥感图像中深浅两类汽车，图6的识别结果表明算法都能够较准确识别。

（2）对于不同城市和地区的遥感图像，表1的试验结果表明算法具有较广泛的适用性。

（3）汽车靠得比较近时算法出现分辨率误差，此处的深色车位于浅色车的阴影中（图6的中部），阴影不能被去除过多，否则深色汽车的识别结果区域过小、会被当作噪声滤除，因此造成浅色车阴影有剩余、易被误识别为深色汽车从而产生误差。如何同时保证准确识别汽车和有效去除阴影，将是本算法下一步的研究重点。

图6 遥感图像中汽车的识别定位结果Fig.6 The recognition and location result of vehicles in the RS－image

4 结 论

遥感技术可以获取城市整体交通信息，从全局角度判别交通状况。本文针对交通遥感图像处理的核心环节，设计了一种在交通卫星遥感图像中进行车辆识别定位的方法，该算法以光照模型为基础，提取出路面、深色车、浅色车以及汽车阴影的亮度变化规律，以此为基础能较准确地识别定位交通遥感图像中的每辆汽车，并且可以有效消除阴影和车窗造成的干扰。

［1］ KIM Y W，OKUMA S，NARIKIYO T.Traffic Network Control Based on Hybrid Dynamical System Modeling and Mixed Integer Nonlinear Programming with Convexity Analysis［J］.IEEE Transactions on Man and Cybernetics，Part A：Systems and Humans，2008；38（2）：346－357.

［2］ SETCHELL C，DAGLESS E L.Vision Based Road Traffic Monitoring Sensoring［J］.IEEE Proceedings of Vision Image and Signal Processing，2001，148（1）：78－84.

［3］ ZHU Changqing，WANG Yaoge，MA Qiuhe，et al.Road Extraction from High－resolution Remotely Sensed Image Based on Morphological Segmentation ［J］. Acta Geodaetica et Cartographica Sinica，2004，33（4）：347－351.（朱长青，王耀革，马秋禾，等.基于形态分割的高分辨率遥感影像道路提取［J］.测绘学报，2004，33（4）：347－351.）

［4］ LI Xiaofeng，ZHANG Shuqing，HAN Fuwei，et al.Road Extraction from High Resolution Remote Sensing Images Based on Multiple Information Fusion ［J］. Acta Geodaetica et Cartographica Sinica，2008，37（2）：178－184.（李晓峰，张树清，韩富伟，等.基于多重信息融合的高分辨率遥感影像道路信息提取［J］.测绘学报，2008，37（2）：178－184.）

［5］ CHEN Jie，DENG Min，XIAO Pengfeng，et al.Object－oriented Classification of High Resolution Imagery Combining Support Vector Machine with Granular Computing［J］.Acta Geodaetica et Cartographica Sinica，2011，40（2）：137－141.（陈杰，邓敏，肖鹏峰，等.结合支持向量机与粒度计算的高分辨率遥感影像面向对象分类［J］.测绘学报，2011，40（2）：137－141.）

［6］ ZHOU Shaoguang，XU Yong.To Extract Roads with No Clear and Continuous Boundaries in RS Images［J］.Acta Geodaetica et Cartographica Sinica，2008，37（3）：301－307.（周绍光，徐勇.在高分辨率遥感影像中提取无清晰连续边缘线的道路［J］.测绘学报，2008，37（3）：301－307.）

［7］ LIU Zhumei，LIU Yalan，TAN Qulin，et al.Progress in Vehicle Detection from High Resoluion Satellite Imagery［J］.Remote Sensing Technology and Application，2012，27（1）：8－14.（刘珠妹，刘亚岚，谭衢霖，等.高分辨率卫星影像车辆检测研究进展［J］.遥感技术与应用，2012，27（1）：8－14.）

［8］ LARSEN S O，SALBERG A B.Automatic Vehicle Counts from QuickBird Images［C］∥Joint Urban Remote Sensing Event.Munich：IEEE，2011：9－12.

［9］ HONG Z，LI L.An Artificial Immune Approach for Vehicle Detection from High Resolution Space Imagery［J］.IJCSNS International Journal of Computer Science and Network Security，2007，7（2）：67－72.

［10］ MISHRA R K，ZHANG Y.Automatic Moving Vehicle’s Information Extraction from One－pass Worldview－2 Satellite Imagery［C］∥Proceedings of International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences.Montreal：GEOIDE，2012：323－328.

［11］ HE Xiaofei，ZHOU Liqion，LI Jian.Traffic Information Extraction Based on the High Resolution of Remote Sensing Image ［J］. Urban Geotechnical Investigation＆Surveying，2011（3）：49－51.（何晓飞，周丽琼，李建.基于高分辨率遥感影像的车流信息提取［J］.城市勘测，2011（3）：49－51.）

［12］ QI Lina，ZHANG Bo，WANG Zhankai.Application of the OTSU Method in Image Processing［J］.Radio Engineering，2006，36（7）：25－26.（齐丽娜，张博，王战凯.最大类间方差法在图像处理中的应用［J］.无线电工程，2006，36（7）：25－26.）

［13］ YU Yong，ZHENG Hong.Vehicle Detection from High Resolution Satellite Imagery Based on the Morphological Neural Network［J］.Joumal of Harbin Engineering University，2006，27：189－193.（余勇，郑宏.基于形态神经网络的高分辨率卫星影像车辆检测［J］.哈尔滨工程大学学报，2006，27：189－193.）

［14］ LIU Jianxin.The Study of Algorithm about Vehicle Detection Based on High Resolution Satellite Image［D］.Dalian：Dalian Maritime University.（刘建鑫.基于高分辨率卫星影像的车辆检测算法研究［D］.大连：大连海事大学，2008.）

［15］ ZHENG Hong，HU Xuemin.An Antibody Networks Approach for Vehicle Detection from High Resolution Satellite Imagery［J］.Journal of Remote Sensing，2009，13（5）：920－926.（郑宏，胡学敏.高分辨率卫星影像车辆检测的抗体网络［J］.遥感学报，2009，13（5）：920－926.）

［16］ EIKVIL L，AURDAL L，KOREN H.Classificationbased Vehicle Detection in High－resolution Satellite Images［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2009，64（1）：65－72.

［17］ SUN H，SUN X，WANG H Q，et al.Automatic Target Detection in High－resolution Remote Sensing Images Using Spatial Sparse Coding Bag－of－words Model［J］.IEEE Geoscience and Remote Sensing Letters，2012，9（1）：109－113.

［18］ LIU J H，FANG T，LI D R.Shadow Detection in Remotely Sensed Images Based on Self－adaptive Feature Selection［J］.IEEE Transactions on Geoscience and Remote Sensing，2011，49（12）：5092－5103.

［19］ VOICU L I，MYLER H R，WEEKS A R.Practical Considerations on Color Image Enhancement Using Homomorphic Filtering ［J］.Journal of Electronic Imaging，1997，6（1）：108－113.

［20］ ZHONG Y.Optimization of Building Detection in Satellite Images by Combining Multispectral Classification and Texture Filtering［J］.ISPRS Journal of Photogrammetry＆Remote Sensing，1999，54：50－60.

［21］ KWON Y S，PARK I C，KYUNG C M.A Hardware Accelerator for the Specular Intensity of Phong Illumination Model in 3－dimensional Graphics［C］∥Proceedings of the ASP－DAC Design Automation Conference.Yokohama：［s.n.］，2000：559－564.