基于快速MSR和CamShift的光照变化环境目标跟踪

陈晨

（蚌埠学院，蚌埠 233030）

基于快速MSR和CamShift的光照变化环境目标跟踪

陈晨

（蚌埠学院，蚌埠 233030）

提出一种基于快速MSR的CamShift运动目标跟踪算法，以提高CamShift在光照条件变化的情况下跟踪目标的精度。MSR是Retinex颜色恒常性理论的一种经典算法，但由于计算量大，难以应用于实时系统。通过使用一种改进后的MSR算法，提高运算效率。MSR使得图像在被CamShift处理前能去除光照影响，恢复本质色彩，保证在不同的光照环境下，CamShift处理的图像都是色彩恒定的，从而提高整个目标跟踪系统的鲁棒性。

颜色恒常性；Retinex；多尺度Retinex；目标跟踪；CamShift

0 引言

单一目标跟踪作为一个功能子集，目前被广泛应用于许多系统，这些系统包括交通监控、人群检测、机器人导航等。单一目标跟踪和多目标跟踪的主要区别是单一目标跟踪只需要维护一个跟踪路径，而不必像多目标跟踪那样需要使用协同方法处理多条路径，从而得到最终的跟踪结果。跟踪路径维护的性能对于整个系统的准确度和鲁棒性有很大的影响。

由Intel公司的Bradski提出的CamShift（Continuously Apative MeanShift）算法[1]被广泛应用于单一目标跟踪，它是MeanShift算法的修改，MeanShift针对单张图片寻找最优迭代结果，而CamShift则是对视频序列中的每一帧图片迭代地调用MeanShift来寻找最优迭代结果。CamShift的主要思想是首先获得运动目标的颜色概率分布。颜色概率分布本身是一个灰度图，可以通过颜色直方图来获得，然后用这个颜色概率分布来跟踪目标。颜色直方图作为一个颜色概率查找表存在，CamShift就是在某个跟踪范围内不断寻找颜色分布符合这个颜色直方图的区域，最终通过寻找这个颜色分布区域完成对运动目标的跟踪。

目标跟踪系统工作的实际环境一般都不是非常理想的，存在很多干扰因素，如跟踪目标非刚性会发生形变、目标运动速度快、视频质量低、天气和光照的变化等都对系统的鲁棒性提出很高要求。不断变化的环境必然会增加对被跟踪目标准确建模的难度，更复杂的建模又会要求更高的处理速度，对于采用协同方法跟踪目标的算法而言，最难平衡的就是跟踪的准确度、方法的复杂性和预期的运行速度这三者间的关系。本文主要讨论光照变化时如雾天等情况下对单一目标的跟踪，如果将受光照影响看作图像颜色失真，则问题转换为在进行目标跟踪前对图像色彩进行恢复，因此本文为保证算法的实时性，采用基于色彩恒常性理论的CamShift算法而非协同方法。

颜色恒常性理论指的是，当物体表面的光照变化的情况时，人们所感受到的物体颜色的稳定心理倾向，其中比较著名的有Retinex理论和Gray World理论，Retinex由美国物理学家Land发现，Land经过二十多年的研究分析，发现一些现象无法用先前的色彩理论解释，他发觉人类的视觉系统对传入的图像信息进行了某种处理，仅仅保留了其本质特征，这些特征在经过大脑的繁琐处理后，在人类的大脑中形成图像。基于上述认识，Land提出了Retinex色彩理论。目前使用较多的算法是单尺度Retinex算法（SSR）和多尺度Retinex算法（MSR）[2-5]。两者均使用中心/环绕核函数，其中的卷积计算会浪费大量时间，不适用于实时性要求较高的目标跟踪，本文将使用一种改进的快速MSR算法。

虽然CamShift算法可以工作在HSV色彩空间，使其具有一定的应对光照变化的能力。但是光照依然会对H分量造成影响，后文将说明结合色彩恒常性理论后，跟踪算法会更加精确。

1 相关理论

颜色恒常性指人的大脑在处理眼睛接收到的图像时会自动去除光照等环境影响，恢复物体的原本色彩的稳定心理倾向。Retinex的具体实现算法有很多种，但它们的基本思路均是将进入人眼或捕获设备的图像分为照射分量和反射分量，Retinex假设照射分量是空间平滑的，物体的本质颜色由反射分量决定，当从捕获到的图像中去除照射分量后，就可以恢复物体的原有颜色。在实际应用中，照射分量可能是不同季节、时间的阳光，大气中的雾、尘埃等。这些光照影响一般是全局的，可看作是图像的低频信息。事实上，实验已经证明，针对局部光照变化，Retinex也有很好的复原能力。

单尺度Retinex（SSR）是Jobson对中心/环绕Retinex算法的改进，设图像公式为所示，它的对数域表示为：

上述公式中i表示图像中的第i个颜色通道，在RGB空间分别表示R、G、B三个颜色通道，*代表卷积运算，F（x，y）是高斯卷积函数，称为低通中心/环绕函数，Ri（x，y）表示输出结果。

SSR图像增强算法的卷积核函数，即高斯卷积函数，可以表示为如下形式：

其中，σ表示概率分布的尺度参数。人类视觉敏感于图像的边缘细节信息，这个公式的本质就是利用高斯低通滤波同原图像的卷积来估计图像中的低频信息，用原图像去除这些低频信息，就相当于去除图像的照射分量，保留反射分量，最终恢复图像的本质颜色。

在SSR中σ是一个重要参数，不同的σ对图像的处理效果也不同。公式（2）中不同的σ由不同的Gauss滤波器形成，σ与滤波器的邻域半径存在正比关系，即邻域半径越大σ越大，反之越小。两者的关系会影响Retinex算法的增强效果。形象地说，邻域半径越小，σ越小，动态压缩能力越好，能较好的增强图像内阴影部分的细节，但处理结果存在严重的色彩失真；相反，邻域半径越大，σ值较大，图像的色彩保真结果越好，但处理结果锐化现象明显，动态压缩能力减弱。因此选择合适的尺度参数是，才能得到理想的SSR处理结果。

众多实验表明合并单尺度Retinex算法的高中低尺度能够取得较好的图像增强效果，将SSR方法的三个尺度进行加权平均得到多尺度Retinex算法，其公式为：

（x，y）表示图像中像素点坐标，*是卷积运算，N是尺度个数。N=1，表示图像是灰度图像；N=3，表示图像是彩色图像，i∈r，g，b。Wn是高斯函数标准差的权重因子，通常假设各权重因子是相等的，因此N=3，而Wn取值为1/3。上式中的卷积核函数同SSR中的相同。图像经过MSR处理后，R、G、B分量与原图像中三色分量形成了必然的差异，从而导致处理后的图像色彩失真，为了得到较好的处理效果，在MSR算法的基础上提出了MSRCR（多尺度彩色复原算法）。

CamShift的基本思路则是首先得到初始化跟踪窗口的颜色直方图，将待跟踪目标的颜色信息作为特征；然后在一个比当前搜索窗口稍大的区域查询先前得到的颜色直方图，以确定区域中像素是否属于运动目标，从而将区域图像转换为运动目标的颜色概率分布，利用此颜色概率分布的零阶矩和一阶矩获取运动目标的质心；接着设定新的搜索窗口，将搜索窗口的中心移动到颜色分布概率最大的质心，调整窗口大小和位置，直至窗口移动距离收敛。重复此过程就可以实现对运动目标的连续跟踪，换句话说，CamShift就是迭代地根据上一帧得到的搜索窗口的中心位置和窗口大小自适应地设置搜寻窗口的初始值，从而将颜色信息处理后投影到下一帧图像，在此运动目标图像的基础上分析计算出当前图像中目标的质心位置，定位出运动目标。

2 算法

MSR算法中最耗费时间的就是卷积操作，中心/环绕函数或者说高斯函数的本质就是某个点距中心越近，则它对中心施加的影响越大。空间域的卷积操作可以转换为频域的乘法。这种转换有两个前提，一是图像和模板必须在同一大小，二是图像的大小必须是2的幂，这样的要求会带来边缘延伸和扩展的计算，增加计算了，影响算法效率。因此本文不将其转换到频域，而是在空间域对MSR算法进行优化。

前文提到，中心环绕函数可看作空间域的低通滤波模板。实验表明，当中心环绕函数的参数和模板取某些特定值时，高斯模板中的数值都近似相等。如当选定模板的大小是129×129，σ=200，则高斯模板如（4）。

为了得到需要的卷积结果，这个模板中的每个像素点都需要进行16641次浮点乘法运算和16641次加法运算。在常规的VGA分辨率上，这意味着每一帧都要进行109的数量级的浮点乘法运算。高分辨率的图像需要耗费更多的计算资源。这样数量级的运算是很难将其运用于实时系统中的，这也正是传统Retinex算法的缺陷。然而，观察后发现，高斯模板中的值之间的差异很小，均接近0.6072×10-4，更进一步，接近1/217。所以可用均值模板代替高斯模板，并将乘法运算简化为移位运算。Wen Wang等在[6]中提出了基于这一思想的快速MSR算法。

实验证明，当模板的尺寸和高斯函数的σ参数具有某些特定值的时候，高斯模板的处理结果非常接近于均值模板，于是，我们可以用高斯模板转换来得到均值模板。经过比较和实验，我们使用下面3种尺度的模板和σ参数的高斯函数：

小尺度模板，高斯模板大小是33×33，σ=30，高斯模板转换为9.1×10-4的均值模板；

中尺度模板，高斯模板大小是65×65，σ=90，高斯模板转换为0.2373×10-4的均值模板，右移12位；

大尺度模板，高斯模板大小是129×129，σ=200，高斯模板转换为0.6072×10-4次方的均值模板，右移14位。

经过如上的转换后，很多计算过程的中间结果都可以被重复使用，如图2，模板每次移动一行或一列时，由于模板中像素点值相同，则两次模板移动所覆盖相同区域的中间结果可以建立查找表来保存，避免重复计算。

由此，原始MSR算法每个像素的要进行的16641次浮点运算和16641次加法运算被简化为16641次加法运算和1次移位操作，计算量大大减少，计算效率提高。

当图像中的每一帧经过上述快速MSR算法处理后，物体恢复了本质色彩。将图像由RGB空间转换到HSV空间后，对其应用CamShift算法。这就是整个基于快速MSR的CamShift算法中的基本思想。

具体算法流程图如图1。

图1 算法流程图

3 实验

实验前，我们首先需要确定的一个问题是如何评价跟踪物体算法的优劣。这里，我们引入由Katuri提出的MOTP评分[7]，一种用于判断多目标跟踪精度的评分。

CamShift算法在跟踪目标时候，目标的外围有一个跟踪窗口，评分系统对一段时间内的数帧图像进行处理，通过分析跟踪目标的跟踪窗口或者边界框的大小来获得得分。令NG是真实目标的数量，NM是跟踪到目标的数量，NF是这段时间内帧的总数量。D是边界框，G是真实目标，则MOTP可表示为：

得分的取值范围是[0，1]，1表示最好的得分，0则表示跟踪窗口和真实的目标间完全没有重叠区域，说明此时跟踪系统已经丢失目标。

实验使用三段视频，三段视频均跟踪一个黄色物体，区别是跟踪过程中光照的变化。视频1全程光照条件不变。视频2在过程中关闭室内灯光，模拟全局的光照变化。视频3将小球从明处移动到暗处。分别使用原始CamShift算法和基于快速MSR的CamShift算法进行跟踪。三次实验视频截图如图2，第一行为原始算法，第二行为改进后算法。

图2 跟踪视频截图

可以观察到在第一种光照无变化的情况下，跟踪窗口在两种算法中几乎没有区别。在第二种跟踪过程中关闭室内灯光的情况下，改进后算法的跟踪窗口能更好的覆盖整个物体。在第三种跟踪物体从明处进入暗处的时候，原始算法的跟踪窗口发生了形变，缩小到物体的明亮处，而改进后算法的跟踪窗口依然更好地覆盖了整个物体。三次跟踪的MOTP得分如表1。

?

对于视频1，原始CamShift算法MOTP得分0.1832，改进后算法得分0.1894。对于视频2，原始CamShift算法MOTP得分0.1768，改进后算法得分0.2023。对于视频3，原始CamShift算法得分0.1983，改进后算法得分0.2133。可见，若光照无明显变化，改进后算法没有表现出较好性能。但无论在全局光照变化还是局部光照变化的情况下，相对于原始CamShift，基于快速MSR的改进后CamShift算法均表现出了在跟踪精度上的提高。

4 结语

本文针对光照变化条件下的目标跟踪，提出了一种基于快速MSR的CamShift运动目标跟踪算法，以提高CamShift在此情况下跟踪目标的精度。虽然在算法设计阶段，本文只考虑了全局光照变化条件下，实验却表明这种算法对于局部光照变化也有一定的提高。所以可以得出结论，无论在全局光照变化还是局部光照变化的情况下，相对于原始CamShift，基于快速MSR的改进后CamShift算法均表现出了在跟踪精度上的提高。

需要注意的是，在光照无变化的情况下，快速MSR处理后的图像出现了一定程度的颜色失真问题。虽然初始化窗口是在失真图像上设定，所以对跟踪精度并无影响，但这会严重影响人的观感。如何避免颜色失真问题并使其能应用于实时系统，是后续研究需要考虑的问题。

[1]G，R，Bradski.Computer Vision Face Tracking for Use in a Perceptual User Interface[J].Intel Technology Journal，1998（2）：705-720.

[2]赵艳飞，高清维，卢一相.基于多尺度Retinex算法的遥感图像增强[J].计算机技术与发展，2008（02）:70-73.

[3]Kasson JM，PlouffeW.An Analysis of Selected Computer Interchange Color Space[J].Association for Computing Machinery Transactions on Graphics，1992，11（2）:33-34.

[4]Land，E.H.An Alternative Technique for the Computation for the Designator in the Retinex Theory of Color Vision[J].National Academy of Science，1986（83）：3078-3080.

[5]D.J.Jobson，Z.Rahman，G.A.Woodell.Properties and Performance of a Center/Surround Retinex[J].IEEE Transaction on Image Processing，Mar.1997，6（3）：451-462，.

[6]WangW，Li B，Zheng J，etal.A FastMulti-Scale Retinex Algorithm for Color Image Enhancement[C].Wavelet Analysis and Pattern Recognition，2008.ICWAPR'08.International Conference on.IEEE，2008，1:80-85.

[7]R，Kasturi，D.Goldgof，P，Soundararaj an，V.Manohar，and M.B.V.Korzhova.Performance Evaluation Protocol for Face，Person and Vehicle Detection&Tracking in Video Analysis and Content Extraction（Vace-ii），tech.rep[C].Computer Science and Engineering，University of South Florida，January 2006.

FastMSR and Cam Shift Based Target Tracking in Lum inance Changed Conditions

CHEN Chen

（Bengbu University，Bengbu 233030）

Presets a fast MSR based CamShiftmoving target tracking algorithm,which is to improve the precision of track target in luminance changed conditions.MSR is a classic algorithm of the Retinex theory of color constancy,but because of the heavy calculation,it is difficult to apply to real-time systems.Uses a developed MSR to improve computation efficiency.MSRmakes image which is processed before CamShift can be removed luminance influence,restoring nature color.This ensures that CamShift processing image which is color constant in different lum inance environments,thereby enhances the robustness of whole target tracking system.

陈晨（1988-），女，安徽蚌埠人，助教，研究方向为数字图像处理、模式识别

2017-03-21

2017-05-04

蚌埠学院院级科研项目（No.2015ZR07）、蚌埠学院工程中心研究项目（No.BBXYGC2014B04）

1007-1423（2017）14-0069-05

10.3969/j.issn.1007-1423.2017.14.014

Color Constancy;Retinex;MSR;Target Tracking;CamShift