融合色调和局部特征的军人图片识别方法

王 波，柯 军

（重庆大学 计算机学院，重庆400044）

0 引 言

检测网络上的军人图片，对预防军人网络泄密有重要作用，文献 ［1］提出了一种基于多级检测的军装图片识别算法，通过多级检测和对军装领花的识别来过滤军装图片。该方法能对陆军和空军常服进行识别。但是由于仅使用了军装的颜色信息和领花信息，其识别准确率直接取决于对领花分割的精确度，并且不能对海军图片进行识别，当军装图片在不同分辨率、不同光照强度及人物姿态变化较大（如倾斜身体）的情况下，其结果会受较大影响。由于军人图片识别重点在于军装的识别，因而可以参考服装识别的相关研究。文献 ［2］对图片中人物职业的识别进行了研究，该方法在对多种职业进行分类时取得了较好结果，但其性能受特征点检测的准确性影响。文献 ［3］提出了将融合人脸特征和服饰特征的方法用于人物识别。文献 ［4］利用服装区域的局部颜色直方图特征对视频监控中的人物进行识别，但是该方法仅使用了颜色特征，对服饰的识别能力有限。文献 ［5］提出一种基于SIFT （scale invariant feature transform）的服装图片检索算法。文献 ［6］用基于SIFT的词袋 （bag of word based on SIFT，SIFT－BoW）方法进行服装图片检索。文献 ［7］根据服装领域专业知识，指出对不同款型服装使用不同特征描述子进行检索有助于性能提升。目前服装特征主要应用于人物识别［3，4，8，9］和服装检索［6，10］。服装图片由于具有复杂的颜色、纹理、轮廓特征，人们难以提出一种通用的服装特征表示方法。在具体的应用中，往往只选择服装的某一种或几种特征用于检索识别。由于军装图片具有显著的颜色特征和局部特征，本文提出一种融合局部特征和颜色特征的军人图片识别方法。

1 军人图像识别框架

军人图片识别总体流程如图1所示。该框架中，人脸检测和人体定位［11］是图片识别的第1步。

由于本文主要研究军人图片的特征提取及图片分类，在后续讨论中将侧重于图1中虚线框部分，人脸检测和分割目标区域这2个步骤在此不做介绍。在分割出人体目标区域后，该区域特征提取的流程如图2所示。

图3 人体图片目标区域

2 特征提取

2.1 生成SIFT－BoW 特征

视觉词袋模型是由Josef等人基于自然语言处理模型而提出的。该模型首先利用SIFT算子对图片库中每幅图片提取局部显著点即关键点，然后对关键点集合进行聚类操作，将聚类中心作为视觉单词 （类似于文本中的单词），视觉单词全体构成视觉词典。将1幅图像中的每个关键点映射为视觉词典中的某个视觉单词，这样就将1幅图像表示为由视觉单词组成的1个词袋。将词袋作为特征向量输入分类器即可实现分类任务。

2.1.1 提取局部特征

将人体区域中人脸以下部分图像和人脸正上方帽子区域作为目标区域，人脸和背景区域利用高斯滤波器进行低通滤波，使其模糊化，处理后效果如图3所示。

目标区域局部特征由SIFT算子获取。SIFT算子是由David Lowe于1999年提出的一种提取并描述局部特征的方法，该方法提取出的SIFT描述子具有平移、旋转、尺度缩放不变性，对光照变化、仿射或3D投影也具有部分不变性。SIFT描述子生成过程中，设置合适的极值点阈值参数peak＿thresh和边缘响应参数edge＿thresh的值，可以去除低对比度的关键点和不稳定的边缘响应点 （因为DoG算子会产生较强的边缘响应），提高关键点的稳定性和抗噪声能力。过滤关键点操作减少了关键点数量，提升了SIFT算子运行速度，同时一定程度上保留了关键点的语义信息。图4显示了peak＿thresh＝10，edge＿thresh＝7.5时的关键点检测效果。从图中可以看出，SIFT算子能够对军装的胸标、纽扣、资历章、军帽、肩章、领花等显著标识进行有效检测。

2.1.2 生成视觉词典

用SIFT算子对300幅军人图片 （陆军、海军、空军各100幅）进行特征点检测，检测过程中极值点阈值peak＿thresh为10，边缘响应阈值edge＿thresh为7.5，最终生成16273个特征点，再利用K均值聚类算法得到70个视觉单词构成视觉词典。

2.1.3 生成视觉单词直方图

将图像中由SIFT描述的关键点转换为词袋，先把图像中检测出的关键点映射到视觉词典，再对图像中的视觉单词进行统计，就得到了词袋。为了解决视觉单词的2种歧义问题：不确定性 （uncertainty）和似然性 （plausibility），文献 ［12］提出了视觉单词的软分配方法。不同于普通硬分配方法中简单的使用直方图来估计视觉单词的统计分布。软分配方法采用核密度估计方法求取视觉单词分布的概率密度函数。某视觉单词w在图像I中的统计量由以下公式求得

式中：n——图像中关键点的数目；ri——第i个关键点；D（w，ri）——关键点和视觉单词间的欧式距离；σ——核函数K的平滑参数。本文中，n＝16273，σ＝1。

图4 SIFT关键点检测效果

2.2 生成Hue直方图

军装颜色信息对于军装的识别具有重要作用，为了降低光照强度变化、阴影等因素对军装图片颜色产生的不良影响，采用HSV颜色空间，求取Hue直方图作为颜色信息的表征。由于色调在饱和度较低时会变得不稳定，把像素点的饱和度作为权重计算，这样可以得到更具鲁棒性的Hue直方图［13］。将Hue空间为36等分，第m个色度等级的统计量h（m）计算如下

式中：n——区域中像素点个数，i——区域中第i个像素点，hue（i）——像素i的色调量化等级，其取值范围为1，2，…，36，Sat（i）为像素i的饱和度值。为了进一步增强Hue直方图的鲁棒性，利用核函数方法对Hue直方图进行平滑处理。

首先对Hue直方图左右两端进行预处理。直方图左端增添量化等级－2，－1，0，令h（－2）＝h（34），h（－2）＝h（34），直方图右端添加量化等级37，38，39，令h（37）＝h（1），h（38）＝h（2），h（39）＝h（3）。对式 （2）中求出的直方图进行以下操作

式中：m——色度量化等级，取值范围为1，2，3，…，36，σ＝0.5，H（m）——求得的最终色度直方图。

3 特征融合

SIFT算子是基于灰度图像的，因而不包含颜色信息。为了更有效的处理彩色图片，将SIFT描述子与颜色信息进行融合成为一种流行的方法。将图片的SIFT－BoW特征和全局的Hue直方图特征按照一定比例融合可以取得比单一特征更好的分类效果。设Vb代表SIFT－BoW特征，Vh代表Hue直方图特征，融合特征V为

式中：w1＋w2＝1。 “·”——特征向量的连接操作，w1——SIFT－BoW特征权重，w2——Hue直方图特征权重，特征融合过程如图5所示。

4 实验与结果

由于陆军和武警的春秋常服及冬常服非常相似，因而该文将其认为是同一种模式不加以区分，在以下比较分析中不再说明。由于没有现成的用于军人图片识别的图片库，实验中所用图片均通过百度图片、谷歌图片、人人网、QQ空间收集而得。图片库共有670幅人物图片，分为4个图片类，分别为陆军200幅、海军120幅、空军150幅，其他图片200幅 （包括警察、公务员、白领、医生、工人、运动员、法官、学生、农民、厨师等职业）。

通过创建陆军、海军、空军分类器对应识别陆军、海军、空军图片。将各类图片库分为训练和测试2个部分，每类图片选择100幅作为训练样例，剩余作为测试样例。分类器采用libSVM，核函数选用RBF（径向基），实验在在训练样例中进行5折交叉验证和参数网格搜索方法确定最优分类模型，然后在测试集合中对分类器性能进行评价。实验软件环境为 Matlab7.10.0，cpu 为 2.10GHz 4 核处理器。

4.1 SIFT－BoW视觉词典规模选择实验

对SIFT－BoW中不同规模的视觉词典进行实验，实验结果如图6所示。

图6 中纵轴代表SIFT－BoW分类准确率，横轴代表设定的视觉词典规模，分别对单词个数为50，70，100，200，250的情况进行了实验。从图中可以看出，在词典规模为200时SIFT－BoW模型平均识别率最高，为83.13%，词典规模为70时平均识别率次之，为81.7%。由于过高的特征维数将会增大后续计算的运算量，因此本文选定词典规模为70，这样能够大致保证识别率的情况下获得更高的计算效率。当词典规模为50和250时识别效果较差，说明过小的视觉词典和过大的视觉词典均会影响识别性能。

4.2 融合特征中的比重分析实验

不同SIFT－BoW／Hue融合比例的特征识别性能如图7所示。将SIFT－BoW权重记为w1，Hue直方图权重记为w2，当w1＝0，w2＝1时表示使用Hue直方图作为单一特征进行识别，其平均识别正确率为86.5%。当w1＝1，w2＝0时即表示使用SIFT－BoW单一特征分类，其平均识别正确率也能达到81.7%，可以看出Hue特征和SIFT－BoW特征对于军装图片而言均具有较好表征能力。当w1＝0.6，w2＝1时取得了最佳识别效果，平均正确识别率为90.34%，比单一使用Hue直方图和SIFT－BoW特征性能分别提高3.8%和8.6%。从识别效果看，陆军、海军能够达到较高识别率，分别为92.92%，92.14%。空军识别效果稍差，为85.98%。主要原因是空军识别过程中加入了和空军常服十分相似的工商管理人员图像，造成了较高的误识率。

4.3 不同识别方法性能对比实验

与融合局部二值模式 （local binary pattern，LBP）和Hue的方法：LBP＋Hue、融合边缘方向直方图 （edge orientation histogram，EOH）与Hue的方法：EOH＋Hue及文献 ［6］的方法进行对比实验，实验结果如图8所示，实验结果表明SIFT－BoW＋Hue方法在识别精度上更优。

SIFT－BoW＋Hue方法的陆军识别准确率比LBP＋Hue、EOH＋Hue和文献 ［6］方法分别高出2.6%、2.3%和18.1%，海军识别准确率分别提升4%、6.2%和1.02%。在空军制服上与LBP＋Hue、EOH＋Hue性能相当，比文献 ［6］方法提升6.82%。在空军服装上识别率普遍偏低主要原因是由于空军常服和工商管理行政人员的制服过于相似，无法做到严格分类。由于海军军官冬常服与海监工作人员以及船长服装过于相似，同样难以区分，其识别效果同空军识别效果类似。

4.4 军装图片识别时间开销实验

SIFT－BoW＋Hue、LBP＋Hue、EOH＋Hue及文献［6］中方法的识别时间开销实验结果见表1。

表1 军装图片识别时间开销对比／s

其中Tl为特征提取时间；Th为Hue直方图生成时间；Ts为SVM分类时间，Ta为总开销时间，分类总耗时Ta＝Tl＋Th＋Ts。实验结果表明，LBP＋Hue方法耗时最短，仅0.03s，实时性最好；EOH＋Hue方法耗时0.6114s，实时性效果较差。SIFT－BoW＋Hue方法识别速度介于LBP＋Hue方法和EOH＋Hue方法之间，耗时0.107s。结合表1中的实验结果可知，LBP＋Hue方法实时性最好，但识别准确率不足，EOH＋Hue方法实时性和准确性均较差，文献 ［6］中方法的速度和本文方法相当，但识别准确率低，SIFT－BoW＋Hue方法综合性能最优，在实时性和准确性上表现均较好。

5 结束语

为了快速识别军人图片，本文提出一种军人图片识别方法，该方法在快速人脸检测的基础上分割人体区域，利用军装图片局部特征及颜色特征 （即SIFT－BoW＋Hue特征）进行分类。本文对SIFT－BoW和Hue单一特征方法及融合纹理特征和颜色特征的LBP＋Hue方法、融合轮廓特征和颜色特征的EOH＋Hue方法进行了对比研究。实验结果表明，该方法综合性能最优，具有较好的实时性和准确性。

本文提出的识别方法对陆军春秋、冬常服和海军春秋常服能够实现较好识别效果，但对空军春秋和冬常服的识别效果还不够理想，主要原因在于训练和测试样例中使用了和空军服装十分相似的工商管理人员服装，导致识别整体性能难以提升。要对与军装相似度较高的服装进行区分，需要引入更精细的特征描述方法。

［1］KONG Rui，HU Guyu，WANG Qiong，et al.A military uniform picture detection algorithm research based on multistage detection system ［J］.Computer and Digital Engineering，2010，38 （11）：152－155 （in Chinese）.［孔锐，胡谷雨，王琼，等.一种基于多级检测的军装图片识别算法研究 ［J］.计算机与数字工程，2010，38 （11）：152－155.］

［2］Song Z，Wang M，Hua X，et al.Predicting occupation via human clothing and contexts ［C］／／IEEE International Conference on Computer Vision.IEEE，2011：1084－1091.

［3］Gallagher AC，Chen T.Clothing cosegmentation for recognizing people ［C］／／IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2008：1－8.

［4］Choi YJ，Kim KJ，Nam Y，et al.Retrieval of identical clothing images based on local color histograms ［C］／／3rd International Conference on Convergence and Hybrid Information Technology.IEEE，2008：818－823.

［5］Ouyang Y.Clothes image searching system based on SIFT features ［C］／／International Conference on E－Business and Information System Security.IEEE，2009：1－5.

［6］Tsay JJ，Lin CH，Tseng CH，et al.On visual clothing search［C］／／International Conference on Technologies and Applications of Artificial Intelligence.IEEE，2011：206－211.

［7］Zhang H，Jiang Y.Research of style－based clothing image retrieval ［C］／／International Conference on E－Business and EGovernment.IEEE，2011：1－4.

［8］Kim KJ，Park SM，Choi YJ.Clothing identification based on edge information ［C］／／Asia－Pacific Services Computing Conference.IEEE，2008：876－880.

［9］Shirazi SA，Dadgostar F，Lovell BC.An appearance－based approach to assistive identity inference using LBP and colour histograms ［C］／／Computer Vision－ACCV Workshops.Berlin：Springer Berlin Heidelberg，2011：236－245.

［10］Liu S，Song Z，Liu G，et al.Street－to－shop：Cross－scenario clothing retrieval via parts alignment and auxiliary set［C］／／IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2012：3330－3337.

［11］Bourdev L，Malik J.Poselets：Body part detectors trained using 3dhuman pose annotations［C］／／IEEE 12th International Conference on Computer Vision.IEEE，2009：1365－1372.

［12］Van Gemert JC，Veenman CJ，Smeulders AWM，et al.Visual word ambiguity ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32 （7）：1271－1283.

［13］Van de Sande K，Gevers T，Snoek C.Evaluation of color descriptors for object and scene recognition ［C］／／IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2008：1－8.