多尺度光照估计和层次化分类的衣着颜色识别

张 京，王文中，李成龙，汤 进,2*，罗 斌,2

(1.安徽大学 计算机科学与技术学院，安徽 合肥 230601;2.安徽省工业图像处理与分析重点实验室,安徽 合肥 230601)



多尺度光照估计和层次化分类的衣着颜色识别

张 京1，王文中1，李成龙1，汤 进1,2*，罗 斌1,2

(1.安徽大学 计算机科学与技术学院，安徽 合肥 230601;2.安徽省工业图像处理与分析重点实验室,安徽 合肥 230601)

衣着颜色是行人最显著的表观特征，在视频监控场景中极易受到光照变化的影响.为此，笔者提出了一种基于多尺度光照估计和层次化分类的衣着颜色识别方法.首先，提出一种多尺度局部反射统计的光照估计模型，通过该模型实现对偏色图像的光照矫正；其次，为了精确地识别衣着颜色，设计基于融合多颜色空间特征的层次化分类器；最后，在校园监控场景采集4 998张行人衣着图像(晚上2 052张，白天2 946张)进行对比实验.实验结果表明，该方法能有效提高监控视频中衣着颜色识别准确率且至少提高12.5%.

衣着颜色；光照估计；层次化分类；视频监控；偏色图像

近年来，随着智慧城市和平安城市的提出，视频监控技术广泛应用于公共安全领域.但目前，这种技术还存在一些问题，在复杂场景条件下如光照剧烈变化时、不同视角下、不同摄像机间，目标外观特征会产生很大的变化.图1展示了目标行人在不同光照和视角下的外观特征的变化，这些变化都会给视频监控相关研究带来困难，因此如何有效克服复杂条件的影响准确识别目标属性具有相当大的挑战.

图1 光照变化和多视角变化Fig.1 Illuminance variation and mutiple viewpoint change

为了解决这些问题，一系列的研究方法被提出.文献[1-4]主要是通过不同颜色空间对光照变化鲁棒性实现监控场景中车辆颜色的识别，但不适应低照度光照条件下的衣着识别;文献[5-7]是通过时空关系建立目标特征间匹配和转移函数来克服光照和摄像机间的影响,主要用于消除多摄像机间相同目标表观颜色之间的不同;文献[8-10]是采用颜色恒常方法实现光照参数估计，但有比较大的单色块存在时，估计值会出现较大偏差.

监控场景中对行人衣着颜色的识别国内外研究相对较少.Yang等[11]提出了图优化算法分割图像中行人衣着区域，然后构建一个多图模型，利用多图之间的统计信息优化衣着标注，但是构建图模型的过程相对来说比较复杂，速度较慢.Yamaguchi等[12]提出一种对时尚照片人物衣着识别方法，但是图片质量要求较高，低分辨率下识别效果不理想.室外场景复杂多变，光照强度变化强烈，没有一种系统去除光照的方法准确识别衣着颜色.Gao等[13]通过调节感受视野大小并归一化局部反射率对光照进行估计，但是对不同分辨率下光照估计有所不同.基于此笔者提出了一种多尺度局部反射统计光照估计方案，首先对行人图像实现多尺度化构造图像金字塔，将每个尺度下的图像做局部归一化，通过多尺度间相对反射率和反射率的统计关系实现光照的估计；此外，根据估计光照值对偏色图像进行光照的矫正后，设计出一种层次化分类方法，将颜色类型分为彩色类型和非彩色类型，融合多个颜色空间特征对衣着颜色精细化识别.总体流程如图2所示.

图2 衣着颜色识别流程图Fig.2 Flowchart of clothing color recognition

1 基于多尺度局部反射统计的光照估计

1.1 光照模型

室外场景中一般是多光源，这里假设场景光源是单一的，大多数颜色恒常模型以朗伯体反射成像模型为基础，有

(1)

(2)

1.2 光照估计与矫正

对于光照异常的场景，能够感知到场景真实的颜色主要由于反射光进入人眼经过视网膜处理，视网膜细胞处理信息主要依赖水平细胞侧向调节作用以及双极细胞和神经节细胞中心外周感受野机制.因此，图像中每一个空间位置，水平细胞通过反馈调节锥体细胞的输出实现光源的估计[17].

(3)

(4)

(5)

(6)

(7)

(8)

(9)

2 基于层次化分类的衣着颜色识别

由于背景的干扰会影响到最终的识别精度，为此，笔者采用了基于深度全局神经网络行人解析的方法[18]消去背景的干扰，确定行人上下身位置，然后对分割出的衣着运用滑动窗投票的方式识别颜色类型.另外前景目标分割出来后，由于光照强度亮度的不同，许多颜色会被误分类，传统的方法很难处理这种问题，经常把相同颜色在不同光照条件下被错分不同的颜色,为此笔者提出了一种层次化分类方法.首先用Gray-Classifier分类器区分有彩色和无彩色类型，然后运用层DG-Classifier分类器对无彩色图像类型做细分，运用子层DC-Classifier分类器对有彩色图像做细分.

2.1 Gray-Classifier分类器

(10)

(11)

(12)

像素p属于无彩色类型的概率定义为

(13)

2.2 DG-Classifier和DC-Classifier分类器

(14)

其中

3 实验结果与分析

为验证提出方法的有效性，笔者采取了11种颜色类型分类，包括不同条件下早上6点到晚上7点采集的共31 800个小块作为训练样本(黑色3 000，灰色3 000，白色4 600，蓝色4 300，棕色1 000，绿色1 100，橙色800，紫色2 000，粉红色2 000，红色5 700，黄色4 300)，采用线性SVM[19]作为基本分类器.采用Dollár等[20]提出的基于聚合通道特征行人检测方法搜集行人数据集.测试阶段，采用同样的方法搜集样本4 998张，其中晚上2 052张，白天2 946张.

为了验证方法的有效性，分别在正常光照条件和傍晚有路灯或者图像受偏色影响条件下进行实验，表1为部分实验结果，“未”补偿表示没有经过光照的处理，“有”补偿表示经过光照处理后进行识别.未去除光照影响前，平均识别精度65.4%.笔者的方法对光照补偿后再分类，平均精度91.8%.实验表明笔者提出的多尺度局部反射统计光照估计方案可以有效地对灯光和偏色图像进行矫正，提高识别准确率.

表1 傍晚和白天“有”去光照与“未”去光照结果对比

文献[21-22]使用RGB颜色直方图特征和不同分类器进行颜色类型分类；胡江华等[21]首先结合形状约束对GraphCut改进，使其能够完整地分割出行人轮廓，根据正常人的1∶3∶4身高比例区分上下身衣着，然后使用颜色直方图和SVM进行颜色分类；马元元等[22]采用KNN(k-nearest neighbor)分类器和RGB颜色直方图投票方式对行人衣着颜色进行分类.文献[21-22]使用的都是颜色直方图作为分类特征，由于RGB颜色空间受光照影响，因此光照和视角变化比较大的情况下这两种方法的鲁棒性会降低;另外，文献[21-22]通过在不同光照条件下的数据作为训练样本来克服光照影响相比，笔者提出的方法在克服光照变化更有效.Brown等[1]采用的是规则分类器，融合HSV和RGB空间特征实验对比结果，但有些颜色对于光照的亮度不同，有彩色类型被误识别无彩色类型，导致准确率不高平均达到79.3%.表2为笔者提出的采用层次化分类器分类的结果与其他方法识别精度对比，实验表明，笔者提出的方法对光照影响具有一定的鲁棒性且精度至少提高12.5%.图3展示了部分识别结果.

表2 不同方法识别精度对比

a：原图；b：矫正后；c：行人分割；d：识别结果.图3 不同光照条件部分实验结果Fig.3 Part of experimental results under various lighting conditions

视频监控中,影响识别结果不准确的原因:首先，目标在运动过程中，会存在相互间的遮挡、其他目标(树木，建筑物等)遮挡情况或者目标行人背包的影响，都会影响识别结果的准确性；其次，实验过程中没有有效地从视频序列中选取图像集，或者没有根据运动轨迹选择不同的目标序列进行全局化的描述，尽量不选择那些遮挡严重的代表帧，也是识别错误的原因之一；最后，消除前景的过程中有部分背景的干扰，前景分割不完整也会使得识别结果错误.

4 结束语

由于复杂场景中光照多变，衣着颜色容易受光照强度以及光照颜色的影响，笔者提出一种多尺度局部反射统计方案和层次化分类方法能有效克服光照的影响.实验结果表明，笔者提出的方法相对其他方法更加鲁棒有效.实验中部分行人分割不完整、行人携带背包、行人被遮挡等都会影响最终识别的精度.所以，在未来的工作中将着重考虑如何从目标行人连续序列中选取有效的目标进行识别，同时进一步考虑如何对衣着类型进行准确识别.

[1] BROWN L M.Example-based color vehicle retrieval for surveillance[C]//Advanced Video and Signal Based Surveillance (AVSS),Seventh IEEE International Conference on IEEE,2010:91-96.

[2] FANG J,YUE H,LI X,et al.Color identifying of vehicles based on color container and BP network[C]//Business Management and Electronic Information (BMEI),International Conference on IEEE,2011,3:226-229.

[3] WANG Y C,HSIEH C T,HAN C C,et al.The color identification of automobiles for video surveillance [C]//Security Technology (ICCST),IEEE International Carnahan Conference on IEEE,2011:1-5.

[4] YANG M,HAN G,LI X,et al.Vehicle color recognition using monocular camera[C]//Wireless Communications and Signal Processing (WCSP),International Conference on IEEE,2011:1-5.

[5] CHEN K W,LAI C C,LEE P J,et al.Adaptive learning for target tracking and true linking discovering across multiple non-overlapping cameras[J].Multimedia,IEEE Transactions on,2011,13 (4):625-638.

[6] PICUS C,PFLUGFELDER R,MICUSIK B.Branch and bound global optima search for tracking a single object in a network of non-overlapping cameras[C]//Computer Vision Workshops (ICCV Workshops),IEEE International Conference on IEEE,2011:1825-1830.

[7] LIAN G,LAI J,ZHENG W S.Spatial-temporal consistent labeling of tracked pedestrians across non-overlapping camera views[J].Pattern Recognition,2011,44 (5):1121-1136.

[8] BUCHSBAUM G.A spatial processor model for object color perception[J].Journal of the Franklin institute,1980,310 (1):1-26.

[9] VANDW J,GEVERS T.Color constancy based on the grey-edge hypothesis[C]//Image Processing,ICIP 2005,IEEE International Conference on IEEE,2005,2:722-725.

[10] GEHLER P V,ROTHER C,BLAKE A,et al.Bayesian color constancy revisited[C]//Computer Vision and Pattern Recognition,CVPR 2008,IEEE Conference on IEEE,2008:1-8.

[11] YANG W,LUO P,LIN L.Clothing co-parsing by joint image segmentation and labeling[C]//Computer Vision and Pattern Recognition (CVPR),IEEE Conference on IEEE,2014:3182-3189.

[12] YAMAGUCHI K,KIAPOUR M H,ORTIZ L E,et al.Parsing clothing in fashion photographs[C]//Computer Vision and Pattern Recognition (CVPR),IEEE Conference on IEEE,2012:3570-3577.

[13] GAO S,HAN W,YANG K,et al.Efficient color constancy with local surface reflectance statistics[C]//Computer Vision-ECCV,Springer International Publishing,2014:158-173.

[14] EBNER M.Color constancy based on local space average color[J].Machine Vision and Applications,2009,20(5):283-301.

[15] CHAKRABARTI A,HIRAKAWA K,ZICKLER T.Color constancy with spatio-spectral statistics[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2012,34 (8):1509-1519.

[16] GIJSENIJ A,LU R,GEVERS T.Color constancy for multiple light sources[J].Image Processing,IEEE Transactions on,2012,21 (2):697-707.

[17] SCHILLER P H.Parallel information processing channels created in the retina[J].Proceedings of the National Academy of Sciences,2010,107 (40):17087-17094.

[18] LUO P,WANG X,TANG X.Pedestrian parsing via deep decompositional network[C]//Computer Vision (ICCV),IEEE International Conference on IEEE,2013:2648-2655.

[19] CHANG C C,LIN C J.LIBSVM:A library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology (TIST),2011,2 (3):27.

[20] DOLLR P,APPEL R,BELONGIE S,et al.Fast feature pyramids for object detection[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2014,36 (8):1532-1545.

[21] 胡江华.静态图像的行人分割及其应用[D].合肥：安徽大学计算机科学与技术学院,2014.

[22] 马元元,李成龙,汤进,等.视频监控场景下行人衣着颜色识别[J].安徽大学学报(自然科学版),2015,39 (5):25-30.

(责任编辑 朱夜明)

Clothing color recognition based on multi-scale illumination estimation and hierarchical categorization

ZHANG Jing1,WANG Wenzhong1,LI Chenglong1,TANG Jin1,2*,LUO Bin1,2

(1.School of Computer Science and Technology,Anhui University,Hefei 230601,China;2.Key Lab of Industrial Image Processing and Analysis of Anhui Province,Hefei 230601,China)

Clothing color of pedestrian,as the most salient appearance features,was easily contaminated by illuminance variation in video surveillance.To this end,this paper proposed a clothing color recognition method based on multi-scale illumination estimation and hierarchical categorization.Firstly,this paper presented a multi-scale illumination estimation model,which employed local reflection statistics,to correct colors of the color-biased image.Secondly,a hierarchical classifier based on multiple color space features was designed to accurately recognize clothing colors.Finally,extensive experiments on the newly created dataset,including 4 998 image samples (2 052 for evening,2 946 for daytime) recorded in campus,suggested that the proposed method outperforms other methods at least 12.5% on accuracy.

clothing color;multi-scale illuminance estimation;hierarchical categorization；video surveillance；color-biased image

10.3969/j.issn.1000-2162.2016.06.006

2015-04-12

国家863计划资助项目(2014AA015104);国家自然科学基金资助项目(61502006,61502003)

张 京(1990-),男，安徽宿州人，安徽大学硕士研究生；*汤 进(通信作者)，安徽大学教授，博士生导师，博士，E-mail:tj@ahu.edu.cn.

TP391

A

1000-2162(2016)06-0024-07