基于Hu不变矩相似关联度的Mean-shift运动跟踪算法研究

郝行猛，肖 娜，舒 梅

(浙江大华技术股份有限公司，浙江 杭州 310051)

0 引言

目标检测及跟踪是涉及交通、生产、医疗等众多领域的重要应用技术。该技术利用视觉反馈系统对目标的位置速度轨迹 (position velocity and track,PVT)等时空变化特征信息进行计算分析，使得控制系统输出最优决策信息。Mean-shift跟踪算法具有体量小、易于融合其他算法优化自身跟踪性能的特性，是早期常用的实时跟踪算法。传统Mean-shift跟踪算法[1-2]采用基于颜色特征的核密度估计，根据目标模型和候选模型区域颜色直方图的最大相似原则寻找局部最优，以实现目标跟踪。当存在背景颜色干扰时，传统Mean-shift算法由于缺乏对跟踪目标遇到大比例遮挡状况的预测能力，无法准确定位跟踪目标，会出现跟踪迭代次数较多及目标丢失现象。

为优化以上传统Mean-shift跟踪算法存在的问题，本文提出了一种基于Hu不变矩相似关联度的Mean-shift运动跟踪方法。该方法采用Hu不变矩特征描述子提取跟踪目标特征向量矩，由历史帧位移矢量通过线性回归拟合目标运动方向，并依据视频帧率及目标位移速度预估Mean-shift初始迭代搜索的位置。

基于位移矢量方向及预估位置，本文进行8步态方向迭代搜索，并结合Pearson相关系数[3]度量跟踪目标特征矩与候选目标特征矩之间的相似关联度，对目标进行定位，以实现目标跟踪。一方面，该方法采用Hu不变矩特征描述子提取目标特征向量，结合Pearson相关系数法计算跟踪目标特征矩与候选目标特征矩之间相关性系数Pe，并与原始Mean-shift的Bh度量系数进行加权求和，以提高运动目标定位准确度。另一方面，该方法基于运动目标位移矢量，通过最小二乘法拟合目标运动方向，并依据视频帧率及位移速度预估下一帧Mean-shift初始迭代的最优位置。结合8步态迭代搜索，可确定最优的迭代方向，从而有效减少目标搜索时的迭代次数。该方法实现了对运动目标的实时、快速跟踪，提高了对目标跟踪性能的稳定性。

1 Mean-shift运动跟踪算法

Mean-shift运动跟踪算法依据目标模板与候选模板之间的颜色分布直方图相似度最大的原则，输出目标在当前帧的最优匹配位置。分析计算跟踪目标在颜色特征空间中每个特征值的概率密度，并将其作为目标模板。模板中特征值的概率密度估计由式(1)计算得出。

(1)

下帧图像中候选模板的概率密度可由式(2)得出。

(2)

引入bh系数表示当前帧候选模型和目标模型之间的相似度，则相似系数bh(y)通过式(3)获得。

(3)

2 基于Hu不变矩相关度的Mean-shift算法

本文研究的基于Hu不变矩[5-6]相似关联度Mean-shift运动跟踪算法，采用Hu不变矩特征描述子提取跟踪目标特征向量矩，由历史帧位移矢量通过最小二乘法拟合目标运动方向，并依据视频帧率及目标位移速度预估Mean-shift初始迭代搜索的位置。基于位移矢量方向及预估位置，进行8步态方向迭代搜索。通过跟踪目标特征矩Tm与候选目标特征矩Cm之间相关性系数Pe与Mean-shift的Bh度量系数进行加权求和方式，计算候选框b的置信度，优选出最佳目标迭代搜索方向，并根据既得信息对目标位置进行修正。

2.1 Hu不变矩的特征描述

Hu不变矩理论是利用二阶和三阶中心矩非线性组合，构造一组维度1×7，并满足旋转、平移和尺度不变性特征的矩向量。Hu不变矩向量计算式如下。

设定一幅大小为M×N的二维离散图像的密度函数f(x,y)，以黎曼积分的形式给出(p+q)阶二维矩定义：

(4)

(p+q)阶中心矩为：

(5)

归一化的中心矩计算式如下。

(6)

根据中心矩的值，Hu不变矩向量元素计算如下。

(7)

为约束Hu不变矩元素变化范围，对矩向量元素进行ln对数取值。

(8)

2.2 Pearson相似关联度目标位置预估

Pearson相关性系数度量2个特征集之间的相关性程度。当Pe的绝对值趋于1时，表明两者相关性较强；当Pe绝对值趋于0时，表明两个特征集之间的相关程度较低。采用Pe度量目标模板与候选模板之间的相关程度，并将Pe和Bh系数之间加权求和的结果作为当前候选框内目标的置信度[7]得分C，以提高目标定位结果的准确度。

Pe计算式如下。

(9)

式中：xk和yk分别为目标模板与候选模板Hu矩向量中的子元素；N为矩向量中元素的个数。

候选框内目标置信度得分C计算式为：

C(g)=α×Pe(y)+β×Bh(y)

(10)

式中：g为当前候选模板；α和β分别为两模板间Pe和Bh变量的加权系数。

由于目标位移进程连续，在有限帧数N内可通过线性回归的方式，拟合目标在下帧图像运动位移方向。设定目标位移线性回归目标函数方程为：

(11)

式中：(xi，yi)为目标位移向量中跟踪框的中心点坐标；获取未知参量k、b即可建立f值最小时目标位移参数方程。

求取目标函数f最优解时变量k与b的值，一阶偏导计算式如下。

(12)

将式(12)作化简拆分处理后，形式如下。

(13)

(14)

将式(14)求取的参数k、b代入目标函数，即可得到跟踪目标位移参数方程。通过线性回归法[4]拟合目标运动方向，并依据视频帧率及位移速度预估下一帧初始迭代的最优位置。基于当前初始迭代位置，以当前拟合位移方向为正方向，候选框分别向上、下、左、右、左上、右上、左下、右下8步态方向滑动，计算候选框内的目标置信度得分，并将小于设定阈值的方向从队列中移除。本文通过8步态迭代搜索方式选定最优的迭代方向。右主方向的8步态迭代如图1所示。

图1 8步态迭代示意图

2.3 基于Hu不变矩相关度的Mean-shift算法描述

2.3.1 算法关键点

基于Hu不变矩相关度的Mean-shift算法的关键点总结如下。

①用Hu不变矩特征描述子[8]提取目标特征向量，结合Pearson相关系数法计算跟踪目标特征矩和候选目标特征矩之间的Pe，并与Mean-shift的Bh度量系数之间进行加权求和，优选出置信度最高的候选模板框，以提高运动目标定位准确度。

②基于运动目标位移矢量，通过最小二乘法拟合[8]目标运动方向，并依据视频帧率及位移速度预估下一帧Mean-shift初始迭代搜索的最优位置。结合本文的8步态迭代搜索方法，确定跟踪目标的最优迭代方向。通过优化搜索范围，可提高跟踪效率。

2.3.2 算法流程

本文算法流程如下。

①选取跟踪目标，计算目标灰度空间分布直方图[9]。通过式(1)建立目标模板，并由式(7)获取目标模板的Hu不变矩特征向量Vq。

②根据上帧图像中目标跟踪定位结果，结合运动目标N帧位移矢量，通过式(14)的参数解拟合目标运动方向，并依据视频帧率及位移速度预估当前帧迭代的起始位置y0。若当前帧数小于N，则直接采用上帧的定位结果作为当前帧的迭代起始位置y0。

③以y0为中心的候选区域作为初始迭代位置，由式(2)计算迭代区域内的候选模板直方图，并建立候选模型以候选Hu不变矩特征向量Vq。

④利用本文的8步态迭代方法，通过候选模型与目标模板之间Bh系数与Hu不变矩向量Pe相加权的方式，由式(10)计算当前候选模板的置信度得分C，确定当前最优的迭代方向。

⑥将最优定位结果y1链入目标位移矢量中，作为目标运动方向线性回归[10]方程(14)的输入。 依次重复以上步骤，直到视频读取结束。

3 试验验证

本文基于Windows7操作系统，在Matlab R2016a运行环境下分别对小区监控视频1和存在背景颜色干扰的真实标注值(ground truth,GT)标注数据视频2进行了测试，验证本文跟踪算法性能。

为验证本文跟踪算法与Mean-shift算法对目标存在遮挡时的跟踪效果，输入视频1分别对2种算法进行仿真测试。视频1目标匹配迭代次数和Bh相关系数仿真结果分别如图2和图3所示。分析仿真结果可知：由于Mean-shift跟踪算法缺少目标跟踪框的修正机制，导致目标出现部分遮挡时，目标迭代搜索次数增加且Bh相关系数持续走低，使跟踪框与目标贴合度下降。本文基于Hu不变矩相似关联度的Mean-shift跟踪算法，在目标出现部分遮挡时，会通过8步迭代法获取当前最优迭代方向，并引入Bh相关系数与Hu不变矩向量Pe加权的方式对目标跟踪框进行修正，在目标跟踪实时性及跟踪定位精度上有着更好的性能表现。

图2 视频1目标匹配迭代次数仿真结果

图3 Bh相关系数仿真结果

对比本文与Mean-shift算法在跟踪目标存在背景干扰时的跟踪性能，输入带有GT标注数据的视频2进行仿真验证。视频2目标匹配迭代次数仿真结果如图4所示。

图4 视频2目标匹配迭代次数仿真结果

跟踪框与GT的交并比(intersection over union,IOU)仿真结果如图5所示。

图5 跟踪框与GT的IOU仿真结果

由图4和图5可知，当目标运动至90帧左右的背景干扰区域时，Mean-shift跟踪算法单帧迭代次数增加且跟踪框与GT框之间IOU明显下降。本文跟踪算法融合了线性回归[11-12]的优化迭代方向策略，并通过8步态迭代及时对目标跟踪框的位置进行修正，从而保证存在背景干扰时目标跟踪框的定位精度。

算法跟踪性能参数如表1所示。由表1可知，本文跟踪算法的目标跟踪平均迭代次数及跟踪框与GT框间的IOU平均值均优于Mean-shift算法。因此，本文融合Hu不变矩相似关联度的跟踪算法在目标存在部分遮挡及背景干扰时，仍具有更优的跟踪效果和定位精度。

表1 算法跟踪性能参数

4 结论

本文基于运动目标位移矢量，采用8步态迭代搜索方法，获取跟踪目标的最优迭代方向，并通过目标特征矩向量与候选特征矩向量之间Pe与Bh相关系数加权的方式优选出置信度最高的候选模板框，提高了跟踪目标定位精度。通过试验证明，当目标存在遮挡或背景干扰时，该算法依然能够进行有效跟踪定位,改善复杂条件下目标跟踪框的定位精度，减少目标搜索时的迭代次数，并且具有很好的稳定性和抗干扰能力。