基于能量图像的目标识别方法

李宇成，宋燕辉，欧晓丹，田 震

（北方工业大学 自动化系，北京100144）

0 引 言

运动目标的识别技术在智能视觉系统研究中一直是一个十分活跃的领域。目标的识别、流量分析在城市交通环境中有着广泛的应用需求。近年来，AdaBoost算法［1］逐步开始用于目标识别系统中解决分类问题，它对运动目标的颜色、尺寸、位置和外界环境的变化具有很好的识别率和鲁棒性。除此以外，还有很多其它的运动目标的识别算法，例如机器集中学习算法、基于知识的算法、基于整体信息统计的算法和基于局部特征的算法等。这些算法大多集中在车 牌定位［2］、人脸识别［3－4］和车辆的检测［5－9］上，而针对实际城镇道路中骑车人的检测鲜有相关文献。由于骑车人和行人在外形上比较相似，区分特征很难选择，所以课题具有一定的挑战性。但是，随着交通智能化的不断发展，准确识别骑车人和行人，对交通流量统计和制定交通控制策略具有现实的意义。

论文着重研究骑车人和行人的特征区分，进行识别特征的选择和构建，并以此为基础，完成骑车人、行人和车辆的分类识别工作。首先选择纹理特征作为分类识别的依据，然后根据样本图像中纹理的能量分布情况，建立适合特定识别目标的矩形特征集。最后以样本的纹理能量图代替传统的灰度图作为样本，以区域的能量差异值代替传统的灰度差异值作为特征值来进行机器的集中学习，得到最终的分类器。

1 算法及系统框架

AdaBoost算法［1］是一种分类器算法，其基本思想是将多个分类能力一般的弱分类器叠加起来，构成一个分类能力很强的强分类器，再将若干个强分类器串联成为分级分类器完成图像搜索检测。串联的级数［3］依赖于系统对错误率和识别速度的要求。

整个算法分为离线训练部分、在线检测部分以及再学习环节，其结构如图1所示。离线训练部分包括对正负样本（仅含有目标的图片为正样本，不含目标的图片为负样本）的纹理提取、积分图计算和特征提取，这些样本是从图像的感兴趣区域（region of interest，ROI）中收集的，然后对特征进行集中学习。在线检测部分是确认在ROI中是否有目标存在。即首先对ROI图像进行纹理提取，然后由分类器来判断该ROI图像中是否包含目标。

再学习过程6是将那些被错误识别的样本重复加入到样本训练集中，以突出错误分类样本的权重。然后，基于新的训练样本集，重新进行训练。直到分类效果相对满意为止。

图1 系统框架

2 构建识别特征

课题的任务是识别交通道路上最常见的移动目标：车辆，行人，骑车人。如所周知，AdaBoost算法起初用于人脸识别，后来被用于行人的识别。一般认为，该算法对行人识别效果良好。但是，骑车人具有行人的大多数特点，检测中两者极易混淆；另外，汽车具有明显的结构特征，比较容易区分。因此，课题的难点在于找到骑车人与行人区别。由于骑车人和行人的外貌特征相似，实验表明，利用Viola和Jones提出的典型Haar－like基本特征［3］对骑车人与行人进行分类识别的效果很差。因而，也就无法统计道路上骑车人和行人的流量。所以，我们要探究新的分类特征。

作者在前期工作中，基于图像的纹理能量特征进行了车牌的定位和提取［10］以及多车道的车流量检测［11］等。由于基本的Haar－like特征无法简单的直接用于自行车的识别，我们转而考虑采用纹理特征来完成这一富有挑战性的工作。

2.1 骑车人特征构建

纹理［12］是一种不依赖于颜色或亮度变化的反映图像中同质现象的视觉特征，刻画了图像像素邻域灰度空间分布的规律。纹理主要有3种：自然纹理、人工纹理和混合纹理。我们采用自然纹理，该纹理未经人工刻意加工，是自然存在的物体表面属性。例如能量、熵、标准偏差、均值、平滑性、方差、相关性和一致性等。

如图2所示，骑车人和行人相比，上半部分区别不大，区别主要集中在下半区域。行人两腿之间存在缝隙或两腿并拢，纹理较简单，而自行车的纹理相对而言比较复杂。

图2 骑车人和行人样本示例

现在考虑如何获取图像的纹理能量分布图［10］。为消除目标颜色、光照、亮度等外界环境的变化带来的影响，我们首先从样本图像重新构造对比度图［13］。先求出样本灰度图像I（·）中每行像素的局部灰度极值，构造图像的极值图像P（·）。然后，对极值图像处理，进而得到原图像的对比度图像T（·），如图3（b）所示。计算公式见式 （1）和式 （2）

采用区域卷积的方法构造能量图像，与单方向卷积相比，采用区域卷积不仅可以抑制噪声，并且还能起到行间能量滤波的作用，从而得到更好的纹理能量分布图像，如图3（c）所示。能量图像E（·）的计算公式见式 （3）和式 （4）

式中：H（·）——卷积核；卷积核的行与列数分别为（2＊M＋1）和 （2＊N＋1）。

为了提高程序的运算速度，我们取卷积核H（·）的每个元素

则能量计算公式可以简化为

图3 纹理能量图像构建

纹理的一般分析方法有4种：统计分析法、结构分析法、模型分析法和频谱分析法［12］。其中结构分析法的基本思想是复杂的纹理可由简单的纹理基元以一定的有规律的形式重复组合排列而成。当纹理基元大到可以单独分割和描述时，就要使用结构分析法［12，14］。从大量样本的纹理能量分布图可以发现，能量的分布特点可以相对准确的描述出骑车人与行人的特征和区别。由此，我们可以依据Ada－Boost算法的基本原理，以原始图片的纹理能量分布图像作为训练样本，以能量作为特征值进行训练。

常见的基本Haar－like特征已不能准确的描述我们特定样本的这种纹理分布特点，我们需要扩充符合这种纹理特点的新特征。观察能量图发现，骑车人和行人的能量分布的主要不同集中在人的下半部分，自行车车身的能量值明显要比行人下半部分的能量值高很多，表现为亮度比较大，而行人的下半部分能量值较低，比较暗。另外骑自行车时行人的四肢和自行车的相对位置很固定，两只手臂放在自行车把两侧，车轮着地，脚和车轮在纹理图上成拐角型特点，行人却没有如此复杂的纹理；自行车车身具有 “T”型和线型特征；由此增加新的特征如图4所示。

图4 拐角特征和 “T”型特征

2.2 汽车特征构建

对于路上行驶的普通车辆来说，我们仍然可以用此方案来进行有效的识别，因为车辆的纹理能量分布相对规矩和固定。这里仅以城镇交通路况中最为常见的小轿车为例进行讨论，如图5所示，其中车辆纹理能量分布情况见图5（c）。

图5 车辆纹理能量图像构建

考虑以车辆某些区域的能量差异值作为识别车辆的特征值。在能量图中车顶、车窗、车前盖能量比较低，比较暗，边缘能量较高，表现为比较亮，对比度很强。由此可以构造出新的特征：车顶、挡风窗、车前盖任意两个和其周围边缘的能量分布可以创建如图6（a）所示的两种 “日”字型特征来描述。另外还利用图6（b）、图6（c）的特征来描述车身的拐角点、边缘等细节的能量分布。实际上，这些特征也可以用于其它各种车辆 （如公交车，卡车）的识别。

图6 新型Haar－like特征

2.3 特征值的计算

根据3.1、3.2节所创建的特征，我们知道每个特征矩形又由若干个小矩形组成，各个黑色矩形或白色矩形内的总能量值的定义是区域内各像素点上能量值的总和［15－16］。

从待检测图像中取出特征矩形检测窗口，然后计算每个特征矩形内黑色与白色区域的能量差，即为该特征的特征值。第j个特征的特征值Featurej的计算公式为

式中：N——与第j个特征相关的小矩形总个数；wi——各小矩形的权系数，其中，黑色矩形与白色矩形的权系数符号相异；RectSum（i）为第i个小矩形内的能量值。

因为在构建能量图时，通过重新构造对比度图，减弱了光线的影响；同时，物体的阴影区域纹理简单、能量很小［10］。因此，通过能量图来计算特征值，能够明显提高识别过程中对光线、阴影的抗干扰能力，增强了算法的鲁棒性。

3 训练和实验结果

3.1 训练分类器

建立的样本库包含实际城镇道路上的各种场景。共有各种图片7015张，其中单独为骑车人、行人、汽车的图片分别有1340、2130、1160张，不含上述3种目标的图片有2385张。训练骑车人时，1340张骑车人的图片为正样本，负样本2000张；训练行人时，2130张行人的图片为正样本，负样本3000张；训练汽车时，1160张汽车的图片为正样本，负样本2000张。骑车人和行人的正样本图片尺寸归一化成20×50dpi，汽车正样本图片尺寸归一化成24×24dpi。在训练过程中，负样本剪裁成与正样本相同的尺寸，样本示例如图7所示。

训练结束后我们能够分别得到识别上述3种目标的3种分类器。为了探究在目标识别过程中所建立特征集的实际效果，我们对骑车人的各级强分类器中的弱分类器所选特征进行了观察和解析。结果发现，在识别骑车人的弱分类器中，“T”型特征被使用的频度最高。由此说明，该特征对骑车人纹理能量分布描述效果较佳，对区别骑车人与行人的差异贡献最大。

3.2 算法测试和应用

算法测试和应用分成两种情况：①对含有杂乱背景的静态图片进行目标检测；②仅对视频图片中运动目标的前景团块进行检测。

检测时首先基于灰度图像对行人 （包含清晰的骑车人）进行识别，然后对检出的目标，利用其能量图进行第二次识别，以区分出是否是骑车人；同时，也直接利用能量图识别骑车人和汽车。有时在灰度图中，发现不了的小目标骑车人，在能量图中也可能被识别出来。容易理解，上述①的情况是从全景图片中，搜索各种目标，所需时间和图片的大小成正比。一般需要几百毫秒时间才能够完成一张1260×760大小的图片中3种目标的识别。第②种情况相对简单，由于仅仅对很小的前景区域检测目标，不需要大范围搜索，所以识别速度很快，识别一个前景目标仅需不足0.1ms时间，能够满足实时检测要求。

图8是上述两种情况下的实验结果，其中图 （a）是针对静态图片的识别结果；图 （b）～图 （d）是动态前景目标的识别结果。图中标识出了检测到的目标，其中行人用椭圆标出，骑车人用矩形标出，车辆用圆形标出。两种条件下的实验都取得了令人满意的结果。

4 结束语

本文基于AdaBoost算法通过对目标纹理特征的提取和矩形特征集的扩充，应用级联分类器分别对骑车人、行人和车辆进行了分类识别。与已有算法的不同之处是，我们采用了经过处理后的纹理能量图作为学习样本，并以特征矩形内的能量差异值作为特征值；同时，根据骑车人和车辆的固有纹理结构特征，扩充了适合表达骑车人和车辆纹理特征的矩形特征集。实验证明所提出方法对本课题中的

特定目标：骑车人，行人和小轿车具有很好的区分识别率，并具有较强的鲁棒性。本算法的思想，也可以借鉴到一般性的多目标的识别应用中。

［1］SHEN L，BAI L.Adaboost gabor feature selection for classification ［C］.Pattern Recognition Letters，2006：1758－1767.

［2］ZHANG Xiangdong，SHEN Peiyi，XIAO Yuli，et al.License plate－location using AdaBoost algorithm ［C］.Harbin：Proceedings of the IEEE International Conference on Information and Automation，2010：20－23.

［3］WU Tunhua，ZHOU Changle.Design and implementation of fast face detection system ［J］.Computer Applications，2005，25 （10）：2351－2353（in Chinese）.［吴暾华，周昌乐.快速人脸检测系统的设计与实现 ［J］.计算机应用，2005，25 （10）：2351－2353.］

［4］Hart F，Shah Y，Cekander R，et al.A two－stage approach to people detection with HOG－based SVM ［C］.Performance Metrics for Intelligent Systems Workshop in Conjunction With the IEEE Safety Security and Rescue Robotics Conference，2006.

［5］CHOI J.Real time on－road vehicle detection with optical flows and Haar－like feature detector ［R］.Final Report of A Course CS543，2006.

［6］ZHANG Liangxiu，WANG Yulin，ZHANG Luzou.Real－time on－road vehicle detection approach based on tree structure ［J］.Journal of Qingdao University（Engineering ＆ Technology Edition），2008，23 （3）：49－53 （in Chinese）. ［张亮修，王玉林，张鲁邹.一种树形结构的实时道路车辆识别方法 ［J］.青岛大学学报，2008，23 （3）：49－53.］

［7］Pablo Negri，Xavier Clady，Shehzad Muhammad HaniK，et al.A cascade of boosted generative and discriminative classifiers for vehicle detection ［J］.EURASIP Journal on Advances in Signal Processing，2008，8 （2）：1－12.

［8］Ponsa D，Antonio López.Cascade of classifiers for vehicle detection［C］.Proceedings of the 9th International Conference on Advanced Concepts for Intelligent Vision Systems，2007：980－989.

［9］YE Liyan，ZHAO Jianmin，ZHU Xinzhong，et al.Vehiclerear detection method based on adaboost［J］.Computer Simulation，2011，28 （1）：327－330 （in Chinese）.［叶丽燕，赵建民，朱信忠，等.基于AdaBoost的轿车尾部检测方法 ［J］.计算机仿真，2011，28 （1）：327－330.］

［10］LI Yucheng，WANG Mushu.A fast license plate location and extraction algorithm ［J］.Computer Engineering ＆ Science，2010，32 （12）：42－45 （in Chinese）. ［李宇成，王目树.一种快速的车牌定位和提取算法 ［J］.计算机工程与科学，2010，32 （12）：42－45.］

［11］LI Yucheng，LI Lei，WANG Mushu.Statistics of the traffic flow on multiple lanes ［J］.Process Automation Instrumentation，2010，31 （10）：51－60 （in Chinese）. ［李宇成，李雷，王目树.多车道的车流量统计 ［J］.自动化仪表，2010，31（10）：51－60.］

［12］SUN Junding，MA Yuanyuan.Summary of texture feature research ［J］.Computer Systems ＆ Applications，2010，19（6）：245－250 （in Chinese）.［孙君顶，马媛媛.纹理特征研究综述 ［J］.计算机系统应用，2010，19 （6）：245－250.］

［13］WEN Xuezhi，YUAN Huai，ZHAO Hong.Vehicle detection algorithm based on low contrast images ［J］.Computer Engineering，2008，34 （14）：210－212 （in Chinese）. ［文学志，袁淮，赵宏.一种基于低对比度图像的车辆检测算法 ［J］.计算机工程，2008，34 （14）：210－212.］

［14］Viola P，Jones M.Rapid object detection using a boosted cascade of simple features ［C］.Washington，DC：C3IEEE Conference on Computer Vision and Pattern Recognition IEEE Computer Society，2001：511－518.

［15］SUN Zehang，Bebis G，Miller R.On－road vehicle detection：A review ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28 （5）：694－711.

［16］Laika A，Stechele W.A review of different object recognition methods for the application in driver assistance systems ［C］.Proceedings of the 8th International Workshop on Image Analysis for Multimedia Interactive Services，2007：265－271.