基于光照不变性颜色特征的行人再识别方法

徐同文，白宗文，杨延宁，张元林

（1.延安大学物理与电子信息学院，陕西延安 716000；2.陕西省能源大数据智能处理省市共建重点实验室，陕西延安 716000；3.西安交通大学人工智能学院，陕西西安 710049）

行人再识别[1-2]是指在无重叠视域跨摄像机网络中对同一个行人目标进行匹配。由于行人姿态具有非刚性、不同的摄像机所在环境光照条件不同以及拍摄到的图像分辨率低等问题，使得行人再识别成为当前计算机视觉的一大挑战性任务。

深度学习方法[3]是当前解决行人再识别问题常用的方法之一。虽然深度学习在行人再识别中取得了较好的识别效果，但是其模型往往过大，需要大量计算资源完成模型训练，此外，所得到的模型也无法部署到移动终端，成为深度学习模型走向应用的技术瓶颈。因此基于非深度学习的传统方法仍然需要进行持续深入研究。由于不同的摄像机可能处于不同的光照条件下，而同一种颜色在不同的光照条件下会表现出很大的差异，因此再用颜色特征就不能准确地描述行人，给行人再识别造成困难。针对这个问题，提出了一种光照不变性颜色特征用以描述行人的外观信息。首先，使用颜色属性转换[4-5]使得行人的不同图像统一转换到相近亮度。然后，把图像从像素值变化大的RGB 空间转换到像素值变化小的颜色空间中去，在转换后的空间上提取颜色直方图作为光照不变性颜色特征。这样提取的特征对光照变化有一定的鲁棒性。最后，使用XQDA[6]算法进行特征间的相似性度量。

1 光照不变性颜色特征

由于不同的摄像机可能处于不同的光照条件下，同一种颜色在不同的光照条件下会表现出很大的差异。如图1 所示，图像来自VIPeR 数据集，图（a）和图（b）是同一个行人在不同摄像机不同光照条件下拍摄出来的两幅图像。从两幅图像中可以看出，行人的外观因为图像亮度不同表现出很大的差异。

图1 行人图像颜色属性转换效果图

1.1 颜色属性转换补偿光照变化

为补偿光照变化对颜色特征的影响，首先使用颜色属性转换把行人不同光照条件下的图像统一变换到相近亮度。为了让两张图像的光照亮度相近，CCT 把一张图像（目标图像）的颜色属性加到另一张图像上（源图像）。首先把源图像和目标图像从RGB空间转化到LMS 空间：

然后再把以上两种图像转化到lαβ 空间：

把源图像和目标图像从RGB 空间都转化到lαβ空间后，分别计算图像3 个通道的均值和标准差。源图像和目标图像3 个通道的均值表示为：，标准 差表示为和。用如下公式把目标图像的颜色属性加到源图像：

最后再转换回RGB 空间：

如图1所示，图（c）是图（a）的颜色属性加到图（b）上转换过来的，从图中可以看到，图（c）的亮度明显比图（b）亮一些，和图（a）相近，这样就补偿了光照变化带来的影响。

1.2 颜色空间转换及特征提取

在进行颜色属性转换后，两幅图像有相近的亮度，但是，在行人图像上相同的位置还是有很大的变化，如图2 所示，左图右膝盖上一个点的RGB值是[135 104 111]，右图是经颜色属性转换而来，目标同一个像素点的RGB值是[75 64 65]，相比于左面图像点的RGB值，其像素值分别变化为[-60-40-46]。根据颜色属性转换[5]算法，相同的像素点在不同的光照条件下，其RGB值大约呈线性变化，即有：

图2 不同光照条件下像素值在RGB空间和nRGB空间的变化量图

其中x、y、z表示转换前像素点的RGB值，k表示比例系数。

如图1 所示，图（c）是图（a）的颜色属性加到（b）上转换过来的，在图（c）右膝盖上取同一个像素点，如图2 右图所示，其RGB值与图1（a）（图2 左图）相同点的RGB值的比例为：

从图2 可以看出转换到nRGB 空间后，点像素值的变化量为[-5 +8 +1]，比原始RGB值变化量大大减小，从而补偿了光照变化对像素值变化的影响，使得不同光照条件下同一个像素点的变化大大减小。同样，通过归一化颜色空间rgs 中的r、g分量，H（色调）、S（色度）的计算公式，可以消除掉变化比例，因此对光照变化也有鲁棒性。

该文为描述目标的颜色特征，首先把图像平均分成6 等分，对于每一个颜色空间分量提取16 维的颜色直方图，即对于三通道的nRGB、HSI 和rgs 颜色空间模型，提取到的颜色特征维数分别为16×6×3=288。在特征提取前，分别去掉图像左右8 个像素点，降低背景对特征描述的影响。在提取出行人的特征后，需要对这些特征向量进行相似性度量。XQDA[6]算法是当前行人再识别中最常用的经典度量算法之一。它可以在进行度量学习的同时得出一个降维子空间，通过降维子空间对向量降维，可以有效避免先降维再进行度量学习的影响，因此度量向量间的相似度较为准确。

2 实验结果与分析

该文实验在Intel(R) CoreTM i5-7500 CPU，频率为3.40 GHz，内存为4.00 Gbyte Matlab 2014a 基础配置环境下进行。

VIPeR 数据集[7]被认为是在行人再识别算法测试中最常用的数据集之一。它是由两个无重叠视域的摄像机采集到632 个行人，共1 264 张图片组成。在算法测试中，随机抽选316 个行人即632 张图像作训练集，剩下的作测试集。CUHK01[3]也是在两个摄像机下采集到的图像组成的常用数据集。一共有971 个行人，每一个行人有4 张图像，两张正面或背面，两张侧面。在实验中，随机选取485 个行人即970 张图像做训练集，剩下的486 个行人的图像作测试集。

该文采用在行人再识别中最常用的评价量化方法累积匹配特性（CMC）曲线[2]作为评价该算法的度量标准。

2.1 在不同公共数据集上进行比较

文中提出的光照不变性颜色特征(Illumination Invariant Color Feature，IICF)在VIPeR 和CUHK01 数据集上使用XQDA 算法进行相似性度量得到的结果与当前的一些算法进行比较。如图3 所示，为在VIPeR数据集上一些当前算法的CMC曲线图。rank 1精度标记在算法名称前。从图中可以看出文中算法的rank-1 精度达44.37%，从rank-1 到rank-15，该算法的精度一直比其他算法高。为了更精确地进行精度比较，表1和表2分别列出了在VIPeR和CUHK01 测试的具体算法精度。从两个表中看出，文中算法rank-1 在两个数据集上分别高出4.37%和5.82%，优于其他算法。另外在表1 中，基于深度学习的方法Deep ML 和SLSTM 的rank 1 精度只有28.23%和42.4%，低于该文算法，间接说明了文中算法优于一些深度学习方法。

图3 该文算法与当前算法在VIPeR上的精度比较图

表1 该文算法与当前算法在VIPeR上的识别精确比较（%）

表2 该文算法与当前算法在CUHK01上的识别精度比较（%）

2.2 特征的有效性实验分析

为说明文中提出的光照不变性颜色特征（IICF）可以有效准确地描述行人的外观特征，在VIPeR 数据集上与当前常用的特征LOMO、WHOS、MCSH、ELF6 这4 种特征进行比较，相似性度量方式都采用XQDA 算法进行度量。如图4 所示，是5 种特征的CMC 曲线比较图。LOMO 特征的rank-1 算法精度为40%，比该文提出的特征精度低4.37%。WHOS 特征是先进行图像的背景弱化，再提取HS、Lab 颜色直方图和HOG、LBP 特征，rank-1 精度为34.15%。MCSH是使用颜色像素值统计、均值和方差直方图来描述行人，rank-1 精度为22.53%。ELF6 特征则是用Gabor、Schmid 和YCbCr 等共同描述目标，rank-1 精度为20.13%。从图中可以看出，文中提出的IICF 用XQDA 度量的结果精度在rank-15 之前要好于其他算法。这说明IICF 颜色特征可以很好地描述行人的外观特征，对光照变化有很强的鲁棒性。

图4 文中提出的特征与常用特征精度比较图

2.3 颜色属性转换补偿光照变化实验分析

为了说明颜色属性转换在算法中补偿光照变化的作用，如表3 所示，列举了进行使用颜色属性转换前后的算法精度对比。从表中可以看出，直接提取3 种颜色特征比使用颜色属性转换后再提取特征的rank-1 精度低22.76%，其他的rank 精度也平均低了大约25%左右。这说明颜色属性转换可以有效地把不同光照条件下的行人图像统一转换到相近亮度，对光照变化进行补偿，提高了算法的精度。

表3 文中使用的颜色特征在VIPeR数据集上使用CCT前后的精度对比（%）

3 结束语

文中提出了基于光照不变性颜色特征的行人再识别方法。首先，对不同光照条件下的行人图像使用颜色属性转换统一转换到相近亮度；再把图像转换到可以使像素值变化很小的颜色空间；最后，在此空间上提取颜色直方图作为光照不变性特征。实验结果表明，文中提出的特征对光照变化有一定的鲁棒性，可以很好地描述不同光照条件下的行人，算法的最终精度超过了一些主流算法。但是，只有颜色特征描述行人的信息有限，未来主要研究使用颜色、纹理、形状相融合的特征表达算法。