多目标跟踪中特征融合算子的选择技术研究

李白燕，禹定臣

(黄淮学院信息工程学院，河南 驻马店 463000)

责任编辑:时 雯

在图像序列中，自动跟踪指定的目标广泛应用于视频监控、人机接口、医疗诊断、运动捕获等诸多领域。当视频中图像变化和目标运动时，目标的跟踪变得异常困难，如多个目标在运动过程中互相遮挡或监控场景复杂，解决上述难题一直是一个挑战。因此，对视频中多目标跟踪技术研究仍然是近年来的热门研究课题。

信息融合是由多种信息源，如传感器、数据库、知识库和人类本身来获取有关信息，并进行滤波、相关和集成，从而形成一个表示构架，这种构架适合于获得有关决策、对信息的解释、达到系统目标(如识别或跟踪运动目标)、传感器管理和系统控制等［1］。

目前，常用的视觉特征主要包括颜色特征、边缘特征、形状特征等，以此类特征构建目标模型进行目标识别和纠正遮挡。但目标在拥挤的人群、城市空间移动并有遮挡时，依靠某个单一特征往往不充分、不稳定，难以取得良好的跟踪性能。针对这一局限性，近年来许多学者提出了利用多视觉信息融合跟踪目标的算法，包括:将目标的位置信息与颜色信息进行融合，建立起多信息合并的运动目标跟踪模型［2］;将灰度特征和梯度特征结合起来，在粒子滤波框架内进行概率融合以跟踪目标，融合目标特征和目标空间位置信息的粒子滤波跟踪算法，可以有效地提高目标跟踪的速度［3］。但这些算法普遍忽略了获得最佳识别和跟踪的特征集或证据也在变化，因此，为了解决上述问题，提出了一种动态选择融合算子的方法，用来识别哪些特征或证据是最有用的，即新型领域的组合融合分析(CFA)。

使用结合多个得分系统的框架、组合融合分析(CFA)和等级评分函数［4－5］作为衡量得分系统之间的多样性。该方法自下而上，没有强制一个模型进行测量。多个得分系统代表不同的传感信息，特征或者信号、特征的组合。

1 组合融合分析(CFA)

1.1 等级函数和得分函数

将单个传感器测量的每个特征(可能多个特征)或多个传感器系统报告每一个证据作为一个评分系统，假设跟踪和识别模块A上的一组n个可能的轨迹为:D={d1，d2，…，dn}。设sA(x)是得分函数，该函数给D的每个di分配一个实数。将函数sA(x)看成关于得分系统A(特征/证据)从D到R(实数集合)的评分函数。当sA(x)作为一个实数的数组，sA(x)数组为降序排列并分配一个等级(一个正自然数)给D每个di，这将引出一个等级函数rA(x)。由此产生的等级函数rA(x)它是一个函数从D到N={1，2，…，N}(|D|=N)取值。为了正确地比较和适当地结合从多个得分系统(多个特征为单一传感器，或多个项目的证据来自多个传感器)得来的得分函数，必须进行归一化处理。采用如下函数

式中:smax=max sA(x)|x∈D ，smin=minsA(x)|x∈D。

根据得分函数sAi(x)和等级函数rAi(x)给定m个评分系统Ai(i=1，2，…，m)，存在几种不同得分系统输出相结合的方式，包括得分组合、等级组合、投票、平均组合和加权组合。下面首先使用平均等级(或分数)组合方式。m个评分系统Ai设有sAi(x)和rAi(x)，分别定义等级组合(RC)和得分组合(SC)的得分函数sR(x)和sS(x)，即

sR(x)和sS(x)按照升序和降序排列以便分别获得等级组合rR(x)的等级函数和得分组合rS(x)的等级函数。当m个评分系统(特征或证据)Ai，结合使用得分函数)和等级函数)，用等级或者是评分函数，有个可能的组合，复杂性的次数是指数，当m较大时将变得尤为高。大型数据集D的多个得分系统涉及复杂的数学、统计、计算方法和技术［6］。例如，每个评分系统Ai的等级函数，在D中(|D|=N)可以被映射到n维空间(称为等级空间)的一个点上。n维空间Qn也是一个Cayley图，作为顶点组和顶点之间连接的对称群Sn被定义为一组生成器(一个排列的子集)，作为它的顶点。

1.2 组合融合分析原理

CFA在红外、公关、VS和PSP已经证明［4］:1)组合多个得分系统(特征或证据)将提高预测或分类的准确率，只有①每个计分系统有一个相对较好的业绩，②得分系统是独特的(或多样化)。2)等级组合表现优于得分组合在①和②条件下以及其他限制下。本文方法考虑两个得分系统组合，该组合从个可能的两个组合中选择，是使用得分系统A和B之间的一个多样性测度d(A，B)。

1.3 评分系统模块之间的多样性

使用得分函数d(sA，sB)和等级函数d(rA，rB)对得分系统A和B之间的多样性d(A，B)进行研究，分别作为相关性和等级相关。现有的融合方法也是使用等级/分数函数这个概念来测量A和B之间的多样性，除了d(sA，sB)和d(rA，rB)外，还有 d(fA，fB)。fA和 fB分别是 A和 B 的等级/评分函数。

当在同一坐标平面绘制评分系统A和B的等级/分数函数的图形(因此它被称为等级/分数图)，多样性措施可以很容易地可视化。

设sA(x)和rA(x)是得分系统A的评分函数和等级函数，那些等级/评分函数fA(x):N→［0，1］的定义为

值得注意的是，集合N不同于集合D，D是n个可能的跟踪集合或n个跟踪假设的集合。集合N作为等级函数值的索引集。等级/评分函数如此定义意味着得分(或等级)行为的评分系统，独立于跟踪或追踪假设。再者，多样性测度d(A，B)=d(fA，fB)可以被定义为几个不同的形式，即

2 实验

2.1 实验方法

实验的目的是判断一个特征差异性测量和一个相对性能测量的组合是否是一个很好的候选指标，从而预测一个特征子集的融合是否将产生更精确的跟踪结果。实验对3个特征进行测量:颜色特征、形状特征和位置特性。实验计算和评估所有特征的组合，并与人工所得的真实数据进行比较。

3种特性、得分和等级操作有11个可能的组合:基本的3个特性(3个组合)，任何2个得分组合(3个组合)，任何2个等级组合(3个组合)，三者等级和分数的结合(2个组合)。

在本文中，对前9个进行评估，忽略了3个特性的结合，造成没有特性的选择。评估包括:比较每个目标的前q=30追踪假设的每一点与视频序列实况。实况通过一个人工观察员在每个视频帧标记目标中心而得到。每个跟踪与实况比较，通过评估一个平均平方之和方差(MSSD)。组合A的性能测量写成P(A)，与前跟踪的平均MSSD成反比，即

其中，tracki是组合A的第i个跟踪假设。

6个两两组合可以分为积极的组合和消极的组合。如果C的性能比A的性能和B的性能好，那么使用特征A和B的组合C是积极的，如P(C)≥max(P(A)，P(B))。对每个组合的两个性能指标进行评估。特性A和B组合的等级评分的多样性计算如式(5)所示。性能比标准PR(A，B)计算为

在每个步骤中，对每个组合，d(fA，fB)的值、PR(A，B)以及组合是积极或消极都被记录到一个日志文件。

用于实验的4个视频序列参见图1。图1a没有遮挡的单个目标从左到右移动;图1b两个横向移动目标;图1c两个垂直移动目标;图1d一群目标水平移动，作为一个松散的人群，主要从左到右。这些显示各种目标遮挡情况，从没有遮挡(从图1a到多次重复遮挡，即图1d)。

图1 实验用视频序列

2.2 RAF(等级和融合)跟踪实验

在跟踪器中，每一帧图像序列的前景对象使用非参数背景估计技术进行提取［5］。这个区域被传递到RAF(等级和融合)系统的3个跟踪器。通过应用专用的跟踪装置测量帧中每个区域cj，收集颜色、位置和形状信息。

1)颜色跟踪:mcol(cj)，平均归一化cj的RGB颜色。

2)位置跟踪:mloc(cj)和cj的图像质心位置。

3)形状追踪:msha(cj)、被cj覆盖的图像区域，以像素为单位。

2.3 实验结果

结果显示如图2所示，展示了积极和消极的组合平面图，分别为跟踪图1a～图1d的视频序列。从而可以看出消极的组合集聚在左下角，即该组合的性能比组合特征中至少一个性能差，也就是说，消极的组合集聚在相对性能和多样性较低的区域。积极的组合更均匀地分散在空间，集聚在相对性能和多样性更高的区域。

图2 组合融合分析标准的分布图

3 结论

本文采用基于组合融合分析、调查所有测量特征组合的空间的方法，解决了相互遮挡的多目标跟踪这个问题。当一个有遮挡的目标移动，跟踪目标采用不同的特征组合是必要的［6］。具体问题是选择哪些特性的组合才能产生最好的跟踪性能。本文建议并评价了结合的指标:等级/分数多样性和相对性能，并预测了最好的组合。

本文进行了1组4个不同的视频序列跟踪实验，从1个单一的目标场景到多个目标同时移动并有重复相互遮挡。使用RAF跟踪系统，该系统被改进用来评估所有组合选择，通过比较合成跟踪的质量与实况跟踪测量，在等级和分数组合上融合颜色、形状和位置等3个特征中的2个。如果组合性能优于任何一个特性，组合是正值，否则组合被认为是消极的。对在各种情况下的等级/分数的多样性和性能比率指标进行了测量。

4个不同的视频序列的结果表明，消极的组合倾向于集聚在低等级/分数多样性和低的相对性能的区域。特别地，只有A和B具备相对高的性能，且A和B是多样化的，1对特征A和B的组合才能提高精度。这说明上述两个条件可以成为一个有用的标准，提高选择特征组合多目标且相互遮挡的跟踪性能。

［1］孔庆杰.信息融合理论及其在交通监控信息处理中的应用［D］.上海:上海交通大学，2010.

［2］周元璞，娄和利.一种基于信息融合的粒子滤波跟踪算法［J］.计算机应用研究，2012(5):1001－3695

［3］胡闽，刘纯平.融合目标特征和空间信息的粒子滤波跟踪［J］.计算机工程与应用，2011(4):191－194.

［4］HSU D F，CHUNG Y S，KRISTEL B S.Combinatorial fusion analysis:Methods and practice of combining multiple scoring systems［EB/OL］.［2012－10－22］.http://www.igi－global.com/chapter/combinatorial－fusion－analysis/7692.

［5］HSU D F，LYONS D M，AI J.Combinatorial fusion criteria for real－time tracking［C］//Proc.AINA 2006.［S.l.］:IEEE Press，2006:831－838.

［6］蔡荣太，吴元昊，王明佳，等.视频目标跟踪算法综述［J］.电视技术，2010，34(12):135－138.