基于多颜色空间级联分类的交通标志图像颜色标准化

刘 洋,黄大荣,刘 洋,钟 蔚

(1.重庆交通大学 信息科学与工程学院,重庆 400074; 2.陆军勤务学院 后勤指挥系,重庆 401331)

0 概述

交通标志检测与识别是智能交通的重要组成部分,对于交通管理、行车安全以及保证道路畅通等具有重要意义。交通标志图像颜色标准化是对交通标志图像颜色数据的规范化处理,其能够降低交通标志图像颜色信息的复杂性,有利于交通标志的检测与识别。

在现实场景中,交通标志图像颜色易受光照、遮挡、雨雾、颜色退化、拍摄角度、标志制作时颜色标准差异以及图像收集器材等因素的影响,使得一种颜色存在不同程度的表示和数据差异,呈现出一种颜色到一类颜色的一到多映射关系。交通标志颜色标准化处理即利用一定的方法将发生偏差的同类多种颜色映射到一种颜色,实现同类多种颜色到一种颜色的多到一映射过程,该过程可称为颜色标准化映射。

在将颜色信息运用到交通标志检测与识别的研究中,文献[1]指出了交通标志颜色会受光照、雨雾和风化等影响而变化的问题。文献[2]基于交通标志颜色稳定性存在的问题和光照对图像颜色的影响,建立一种自适应的基于神经网络的颜色分割模型。文献[3]基于颜色RGB阈值查表的方法进行交通标志图像分割。文献[4]基于HSI颜色空间阈值化对彩色交通标志图像实现分离处理。文献[5]在HSV颜色空间上采用最大稳定极值区域法对道路标志进行检测。上述文献均指出同类交通标志颜色因受外界环境的影响而变得复杂。在颜色标准化处理方法中,文献[6-7]在RGB空间内利用训练好的基于BP网络的颜色分类器对交通标志图像逐点扫描并进行颜色标准化处理,最终实现图像的颜色标准化映射。文献[8-10]选取交通标志颜色的标定值,对颜色的RGB三分量进行阈值化处理,实现24位位图颜色到8种标定颜色的标准化映射。文献[11]提出一种针对组织图像的贝叶斯颜色分割算法,实现了对图像颜色的标准化处理,并将其运用于骨髓增生异常综合征(MDS)的医学图像检测中。文献[12-13]使用9种标准颜色校准玻片采集颜色信息,利用玻片的固有光谱颜色和采集到的颜色形成颜色校正矩阵,运用像素颜色校正矩阵逐像素地将图像颜色映射到目标颜色。文献[14]实现了基于期望最大化分割的数字图像颜色标准化。文献[15]基于同一颜色空间内单个像素颜色与标准颜色之间的偏差对单个像素颜色进行分类。

上述颜色标准化方法主要是基于训练好的分类器逐像素地进行颜色分类,关注对单个像素颜色的分类处理,而对图像像素之间的空间关联性或像素颜色值在颜色空间中的关联性考虑不足。本文对交通标志图像颜色标准映射进行分析,基于RGB空间、HSV空间和YIQ空间颜色之间的关联性和图像像素间的空间关联性,提出一种图像预处理和级联颜色分类标准化映射方法。

1 交通标志颜色标准化映射分析

依据国标《道路交通标志和标线第二部分:道路交通标志》(GB 5678.2—2009)规定,交通标志可分为7类道路交通主标志和1类辅助标志,使用的颜色包含白色、黑色、红色、绿色、蓝色、黄色、棕色、橙色和黄绿色[16],分别用W、Ba、R、G、Bu、Y、Br、O、YG进行表示,令集合Aw、Ab、Ad、Ag、At、Aro和Aan分别表示警告、禁令、指示、指路、旅游区、道路作业区和辅助告示类交通标志颜色的集合,则交通标志颜色集合表述如下:

Aw={W,Ba,R,Y,YG}

Ab={W,Ba,R,G,Bu,Y}

Ad={W,Ba,R,Bu}

Ag={W,Ba,R,G,Bu,Y,Br}

At={W,Br}

Aro={W,Ba,R,Bu,Y,O}

Aan={W,Ba}

令某一矩阵的每行表示一类交通标志,从第一行到最后一行依次为警告、禁令、指示、指路、旅游区、道路作业区和辅助告示类交通标志,矩阵每一列表示一种颜色,从第一列至最后一列依次为白色、黑色、红色、绿色、蓝色、黄色、棕色、橙色和黄绿色,可将交通标志颜色进行矩阵化描述为:

求矩阵MA的秩,可得rank(MA)=7。因此,交通标志颜色空间的维度为7,道路交通标志颜色可使用7种关联性较小的颜色进行线性组合表示,即交通标志颜色可划分为7个颜色类,每类颜色可映射到其代表色,从而实现同类多种颜色到一种颜色的标准化映射。简化矩阵MA可得:

由上式可得,矩阵MA的线性无关列向量为白色、黑色、红色、绿色、蓝色、黄色和棕色对应的列向量。基于交通标志颜色矩阵列向量的线性无关性,本文将白色、黑色、红色、绿色、蓝色、黄色和棕色7种颜色所构成的集合作为交通标志颜色标准化的目标映射集合。

2 颜色标准化方法

2.1 颜色标准化方法总体流程

如图1所示,交通标志图像颜色标准化处理模型的总体流程为:

1)图像预处理。如图2所示,图像预处理包括:图像HSV和YIQ转换,基于OTSU方法[17]的Y值、S值和V值二值化,基于区域RGB统计数据的图像粗分类[18],基于Y值和V值二值化的图像逆光判断。

2)判定为不逆光的图像通过基于HSV和YIQ空间的级联分类器进行分类处理,实现同类多种颜色到一种颜色的标准化映射。判定为逆光的图像则按如下步骤进行处理:

(1)区分高亮度和低亮度区域。

(2)对高亮度区域基于HSV和YIQ空间的级联分类器进行颜色分类处理。

(3)采用最大类间方差法对低亮度区域的Y值和V值重新进行二值化。

(4)针对重新二值化后的低亮度区域,基于HSV和YIQ空间的级联分类器实现颜色分类处理,最终进行整幅图像的颜色标准化映射。

图1 颜色标准化方法总体流程Fig.1 Overall procedure of color standardization method

图2 图像预处理流程Fig.2 Procedure of image preprocessing

2.2 图像预处理

2.2.1 基于区域RGB统计数据的图像粗分类

基于区域RGB统计数据的图像粗分类包括对图像三角中心区域(Triangular Central Area,TCA)和环状区域(Circular Area,CA)的RGB均值统计、基于统计数据的图像粗分类、基于图像粗分类的参数设置和亮度增强。

1)图像区域RGB数据统计

如图3所示,阴影区域为数据统计区域。

图3 RGB数据统计区域示意图Fig.3 Schematic diagram of RGB data statistics area

针对常见指示标志、禁令标志和警告标志的形状特征和颜色分布特性,分别对交通标志图像的三角形中心区域和环状区域内的RGB分量数据进行统计,统计数据为图3(a)和图3(b)所示阴影区域内像素RGB三分量的平均值。由于图像亮度易受外界影响,对统计结果进行归一化处理,计算公式如下:

其中,Rm、Gm、Bm为统计区域的RGB分量均值,max RGBm为RGB分量均值的最大值,NRm、NGm、NBm为归一化后的统计结果。

2)基于RGB统计数据的图像粗分类方法

以标准指示类交通标志、禁令类交通标志和警告类交通标志为例,三角中心区域和环状区域内RGB三分量的平均值统计数据如表1所示。

表1 标准交通标志区域统计数据Table 1 Statistical data of standard traffic sign area

以三角中心区域RGB分量均值统计为例,对29种指示类交通标志、43种禁令类交通标志和45种警告类交通标志进行统计并归一化统计结果,如图4～图6所示。

图4 指示类交通标志统计数据Fig.4 Statistical data of indicator traffic signs

图5 禁令类交通标志统计数据Fig.5 Statistical data of prohibited traffic signs

图6 警告类交通标志统计数据Fig.6 Statistical data of warning traffic signs

如图4～图6所示,利用RGB三分量均值最大分量特征(max RGBm)、RGB三分量均值排序特征(Max,Second和Min)和RGB三分量均值距离特征(Di,i=1,2,3),可对指示类交通标志、禁令类交通标志和警告类交通标志进行粗分类。粗分类方法具体如下:

在由max RGBm、Max、Second、Min、D1、D2和D3构成的可对指示类、禁令类和警告类交通标志进行粗分类的特征空间Q中,令集合Ams、Aps、Aws分别代表指示类交通标志、禁令类交通标志和警告类交通标志在该空间的特征集合,有Amps=Ams∩Aps,Awps=Aws∩Aps,Amws=Ams∩Aws,q∈Q。如果q∈Ams且q∈(Amps∪Amws),则q对应的标志为指示类交通标志;如果q∈Aps且q∈(Amps∪Awps),则q对应的标志为禁令类交通标志;如果q∈Aws且q∈(Amws∪Awps),则q对应的标志为警告类交通标志。除上述情况外,q对应的标志为不确定类交通标志。

3)基于图像粗分类的参数设置和亮度增强

基于图像粗分类的参数设置为后续级联颜色分类器设置参数,包括颜色区间参数和黑色补充分类器参数。颜色区间参数设置即在确定交通标志类型的前提下,针对不同类型的交通标志设置映射目标颜色类的H值区间范围。黑色补充分类器参数设置即在确定交通标志类型的前提下,针对不同类型的交通标志设置一个V值的阈值,当映射目标颜色的V值小于该阈值时,即认为该颜色为黑色。

基于图像粗分类的亮度增强即在确定交通标志类型的前提下,采取基于V值的二值化进行图像亮度提升,亮度提升系数如图7所示,具体方法如下:

(1)将图像从RGB空间转到HSV空间。

(2)基于OTSU实现图像V值的二值化。

(3)V值二值化为1的像素,其RGB分量提升比例为255/V,V为像素亮度。

(4)V值二值化为0的像素,其RGB分量提升比例为255/thresh_v,thresh_v为图像亮度二值化阈值。

图7 基于V值的亮度提升系数示意图Fig.7 Schematic diagram of brightness enhancementcoefficient based on V value

2.2.2 图像逆光判定

逆光采集交通标志图像会形成交通标志处于低亮度区、背景处于高亮度区的逆光图像,如图8(a)所示。将该图进行HSV和YIQ转换,然后采用最大类间方差法进行Y值和V值的二值化,结果如图8(b)和图8(c)所示。由图8(b)和图8(c)可以看出,由于逆光的缘故,交通标志图像的Y值和V值二值化效果图只保留了交通标志的轮廓信息,几乎未保留交通标志图像的内部细节信息。

图8 逆光交通标志及其Y值和V值二值化结果Fig.8 Backlight traffic sign and its binary results ofY value and V value

图9(a)所示为光照暗淡的交通标志图像原图,图9(b)为Y值二值化效果图,图9(c)为V值二值化效果图。由此可见,在不逆光的情况下,将暗淡图像采用最大类间方差法对Y值和V值二值化,仍然能够很好地保留原始图像的细节信息数据。因此,判别图像是否逆光有利于图像预处理后保留图像数据。

图9 非逆光交通标志及其Y值和V值二值化结果Fig.9 Non-backlight traffic sign and its binary results ofY value and V value

本文采用的逆光判别方法为图像中心区域亮度判别法,基本思路为:

1)对原始图像的Y值和V值进行二值化,得到Y值二值化PBWY和V值二值化PBWV。

2)统计PBWY和PBWV中心区域二值化为1的像素比例,并以此作为图像中心区域明亮程度的判别条件。令PBWY和PBWV中心区域明亮程度分别为Pbcy和Pbcv,则有:

在分析交通标志图像图形特征、颜色数据信息构成的基础上,如图10所示,将中心阴影区域作为进行统计的中心区域,该中心区域为矩形区域,大小为图像总面积的1/16,即:

n1=Width×3/8,n2=Width×5/8

其中,Width为图像宽度。

m1=Height×3/8,m2= Height×5/8

其中,Height为图像高度。

图10 矩形中心区域示意图Fig.10 Schematic diagram of rectangular central area

3)通过样本训练获得图像逆光与否的判别阈值Tvbl和Tybl。依据第2步的统计数据,当Pbcv≤Tvbl且Pbcy≤Tybl时,则认为交通标志图像逆光,需要另做处理。

2.3 基于HSV空间和YIQ空间的级联颜色分类器

如图11所示,基于HSV和YIQ空间的级联颜色分类器由基于Y值和S值二值化的黑白色分类器、基于H值可变区间划分的红绿蓝黄色分类器、基于YIQ空间的红棕色分类器和基于图像粗分类的黑白色补偿分类器构成。

图11 基于HSV和YIQ空间的级联颜色分类器模型Fig.11 Cascaded color classifier model based on HSV andYIQ space

2.3.1 基于Y值和S值二值化的黑白色分类器

依据国标《中国颜色体系GB/T 15608-2006》规定,白色(White,W)为物体明度大于8.5的中性色,绝对白色(Absolute White,AW)为物体明度为10的理想白色[19]。本文将物体明度大于8.5的中性色称为泛白色(Generic White,GW)。在实际场景中,绝对白色少见,更多的是泛白色,泛白色是一个相对概念而非绝对概念。

对图像明亮程度进行分析,泛白色相对于绝对白色而言,其明度小于或等于10。在图像整体暗淡的情况下,泛白色的明度甚至小于或等于8.5,但相对于图像中其他颜色(Other Colors,OC)而言,其明度又相对较高。将上述颜色转换到HSV空间,泛白色的V值小于或等于255,在图像整体暗淡的情况下,其V值小于或等于217,但相对于图像中其他颜色而言较高,即:

VGW≤255,VGW≥VOC

同理,在YIQ空间中有:

YGW≤255,YGW≥YOC

因此,泛白色经HSV转换、YIQ转换、Y值和V值二值化后,其对应的Y值和V值二值化值(采用OTSU方法)应为1,即BZ_YGW=1,BZ_VGW=1,其中,BZ为二值化的缩写。

对颜色浓度进行分析,绝对白色在HSV空间中的S值等于0,当S值趋近于0时,其他颜色趋近于白色。因此,有:

SGW≤SOC,SGW→0 ||SGW=0

因此,泛白色经HSV转换和S值二值化后,其对应的S值二值化值(采用OTSU方法)应为0,即:

BZ_SGW=0。

因此,白色的判别条件为:

BZ_YGW=1, BZ_SGW=0

本文基于上式构建白色分类器。

依据国标《中国颜色体系GB/T 15608—2006》规定,黑色(Black,Ba)为物体明度小于2.5的中性色,绝对黑色(Absolute Black,ABa)为物体明度为0的理想黑色。同上所述,本文将明度小于2.5的中性色称为泛黑色(Generic Black,GBa)。同理,由:

VGBa≤64,VGBa≤VOC

YGBa≤64,YGBa≤YOC

得:

BZ_YGBa=0,BZ_VGBa=0

且:

BZ_SGBa=0

因此,黑色的判别条件之一为BZ_YGBa=0,BZ_SGBa=0。本文基于此构建黑色初分类器。

2.3.2 基于H值可变区间划分的红绿蓝黄色分类器

交通标志颜色包括白色、黑色、红色、绿色、蓝色、黄色、棕色、橙色和黄绿色共9种颜色,但是颜色标准化映射到白色、黑色、红色、绿色、蓝色、黄色和棕色共7种颜色。其中,红色、绿色、蓝色、黄色和棕色采用HSV空间区分更直接并符合人类视觉感受。由HSV空间的定义可知,H为色调,S为颜色饱和度,V为颜色明度,H值对颜色的分类起到了主要决定作用。将H值归一化到[0,1]区间内,可得:

HR=0或HR→1

HG=0.333 3

HBu=0.666 7

HY=0.166 7

HBr=0.083 3

其中,HR、HG、HBu、HY、HBr分别为理想状态下红色、绿色、蓝色、黄色、棕色的色调值。根据色调相似性可知,同类颜色在HSV空间中其H值是相等或相近的。因此,可构建基于H值区间划分的红绿蓝黄色分类器,初始H值区间划分如表2所示。

表2 初始H值区间划分Table 2 Initial division of H value interval

由于存在颜色偏差,同类颜色在不同情况下会出现H值偏差。基于图像预处理环节的交通标志粗分类,对于确定的交通标志类图像,可扩大其相关的颜色区间,压缩其他颜色区间,从而构建基于图像粗分类的H值可变区间划分的颜色分类器。

由于红色和棕色的理想标准H值在区间[0,0.1]内,2种颜色H值间隔较小,容易引发颜色误分,因此,本文在分类器后再串联一个分类器,以对这2种颜色进行再细分。

2.3.3 基于YIQ空间的红棕色分类器

将图12(a)所示的红色样本和图12(b)所示的棕色样本进行HSV转换,在直角坐标平面内统计样本图片中所有像素颜色的H值和S值分布,结果如图13所示(彩色效果见《计算机工程》官网电子版,下同)。

图12 红色样本和棕色样本示意图Fig.12 Schematic diagram of red sample andbrown sample

图13 直角坐标平面内样本H值、S值分布Fig.13 Distribution of H values and S values ofsamples in rectangular coordinate plane

在图13中,红色区域为红色样本H值和S值分布区域,品红色区域为棕色样本H值和S值分布区域。在HSV空间中,红色和棕色的H值间隔小,S值有重复,容易产生颜色类错分,因此,在HSV空间中对这2种颜色进行分类的可行性不高。

如图14所示,红色点代表红色样本在IQ平面内的分布情况,蓝色点代表棕色样本在IQ平面内的分布情况。图15所示为样本IQ平面分布热力图,其为图14的直接映射图像。由图14、图15可以看出,红色样本和棕色样本分布重合区域较小。因此,在统计YIQ空间IQ平面内样本IQ值分布的基础上,可基于YIQ空间对红色和棕色进行线性分类。

图14 样本在IQ平面内的分布情况Fig.14 Distribution of samples in IQ plane

图15 样本IQ平面分布热力图Fig.15 Thermal diagram of sample distribution in IQ plane

如图16所示,可利用样本训练得到组合的线性分割函数,对红色和棕色进行较好的分类。

图16 红色和棕色线性分割示意图Fig.16 Linear segmentation diagram of red and brown

线性分割函数L1和L2的计算公式为:

L1→A1I+B1Q+C1=0

(1)

L2→A2I+B2Q+C2=0

(2)

其中,Ai、Bi、Ci(i=1,2)为常数。令Ir、Qr分别为基于H值区间划分后红色Cr的RGB值进行YIQ转换后对应的I值和Q值。将Ir、Qr代入式(1)和式(2)进行计算,则当式(3)和式(4)都成立时,Cr为红色;否则,Cr为棕色。

A1Ir+B1Qr+C1≥0

(3)

A2Ir+B2Qr+C2≤0

(4)

2.3.4 基于图像粗分类的黑白色补偿分类器

绝对黑色在实际图像中较少存在,更多的是相对黑色。在HSV空间中,当V值足够小(V值<0.15时),视觉感知的颜色基本接近黑色,可以忽略H值的影响,仅需一个量化值就可以进行表示[20]。因此,在上文分类器后再级联一个分类器对黑色进行补偿分类,确保黑色完全分类。在不同类交通标志中,相对黑色的色调范围是可统计的,依据统计数据,对各类交通标志相对黑色的颜色提高归一化V值阈值;反之,降低相对黑色的颜色归一化V值阈值。同理,绝对白色在实际图像中较少存在,更多的是相对白色。基于图像粗分类的白色补偿分类器依据统计数据,对各类交通标志相对白色的颜色设置归一化V值阈值。

3 实验分析

3.1 实验样本数据和测试数据

3.1.1 样本数据构成

本文基于中国交通标志检测数据集[21-23],通过互联网搜集和人工手动采集了不同情景下道路交通标志图片共7类200个。其中,标准交通标志图片共7类56个,实际场景共7类144个。图17所示为样本标准交通图片和非标准交通图片数据样例。

图17 交通标志样例Fig.17 Examples of traffic signs

3.1.2 测试数据构成

本文基于中国交通标志检测数据集,选取交通标志图片共3类5 905个,含指示类交通标志1 640个、禁令类交通标志3 082个和警告类交通标志1 183个。

3.2 实验结果及分析

3.2.1 图像粗分类效果

按照交通标志类型对图像粗分类方法进行测试,令M代表指示类交通标志,P代表禁令类交通标志,W代表警告类交通标志,N代表不确定类交通标志,测试结果如表3所示。以禁令类交通标志为例,表3中绝对正确率和相对正确率的计算公式如下:

绝对正确率=粗分类为P数/标志总数

相对正确率=(粗分类为P数+粗分类为N数)/标志总数

表3 粗分类结果统计Table 3 Coarse classification result statistics

在指示、禁令和警告3类交通标志中,绝对正确率最高的是指示类交通标志,最低的是警告类交通标志,相对正确率最高的是警告类交通标志,最低的是指示类交通标志。造成该现象的原因为:指示类交通标志的颜色较为单一,以蓝色和白色为主,利于图像粗分类,使得指示类交通标志绝对正确率较高;警告类交通标志的主要颜色为黄色和黑色,而黄色为红色和绿色的调和色,不利于粗分类,使得警告类交通标志绝对正确率较低。

3.2.2 图像颜色标准化效果

图18所示为颜色标准化成功图例,颜色标准化处理后的图片保留了原图的主要纹理信息和颜色信息,并且对原图亮度不一致的同类色区域实现了颜色和亮度校正,降低了图像的复杂度,提升了交通标志的可识别性。图19所示为颜色标准化失败图例,其虽保留了交通标志的轮廓信息,但对交通标志内部的结构和颜色信息提取较少,降低了交通标志的可识别性。本文所提颜色标准化模型的测试结果如表4所示。

图18 颜色标准化成功图例Fig.18 Image example of sccessful color standardization

图19 颜色标准化失败图例Fig.19 Image example of failed color standardization

表4 颜色标准化测试结果Table 4 Color standardization test results

从表4可以看出,本文所提颜色标准化模型取得了较好的效果,颜色标准化成功率从高到低依次为指示类交通标志、警告类交通标志和禁令类交通标志。对比交通标志粗分类的绝对正确率,指示类交通标志的粗分类和颜色标准化效果保持一致,成功率最高;对比交通标志粗分类的相对正确率,警告类交通标志和禁令类交通标志颜色标准化效果和粗分类相对正确率保持一致。因此,提高交通标志粗分类的绝对正确率有助于提升颜色标准化效果。另外,经过统计分析,可知颜色标准化失败案例主要为低分辨率图像、中心区域高亮度干扰图像和噪声图像,今后可在图像预处理和频域处理上进行改进。

4 结束语

本文在对交通标志颜色标准化映射进行分析的基础上,提出一种交通标志图像颜色标准化方法,确立交通标志颜色标准化映射目标集合,通过图像粗分类和基于HSV-YIQ-RGB多颜色空间级联分类实现颜色标准化映射。测试结果表明,该方法对交通标志图像进行颜色标准化时成功率较高。下一步除探究性能更好的交通标志颜色标准化方法之外,还可就交通标志图像处理问题进行深入研究,以推动交通标志检测与识别的进一步发展。