基于正交试验的运动目标跟踪算法性能评价

郗润平,薛少辉

(1.西北工业大学 计算机学院,西安 710129; 2.空天地海一体化大数据应用技术国家工程实验室,西安 710129; 3.陕西省语音与图像信息处理重点实验室,西安 710129)

0 概述

运动目标检测与跟踪作为数字图像处理和计算机视觉领域的一个热门研究方向,具有潜在经济效益和重要应用价值,长期以来吸引着大量学者对其进行深入研究[1-3]。因复杂的环境、目标运动状态多样性等客观因素的影响,一种运动目标跟踪算法通常都仅适用于具体的某一环境或特定的条件,对算法在不同环境和条件下进行客观的性能评价非常必要。

目前,用于运动目标跟踪算法性能评价的数据集有多种,如VIVID[4]、CAVIAR[5]和PETS[6]等。在这些图像序列中,目标物体通常是人或汽车等,上述数据集大多没有考虑影响算法性能的各因素的水平(因素的取值),也没有一个通用的标注框。当前的主流算法评价平台有OTB[7-8]和VOT[9-11]等,其中,OTB使用大量包含某因素的图像序列组合来得到算法在某因素下的性能表现,VOT分析多种视频跟踪算法评价标准的相关性,找到较为合适的评价标准,更新的VOT数据集甚至每帧都对影响因素进行了注释,从而提高了检测精度,但其仍然没有考虑多因素组合场景下的算法性能表现,在评价时存在数据集大和测试次数多等问题。

运动目标跟踪算法的性能受多种因素影响,如光照变化、目标尺度变化、目标形变等。多因素影响分析常用简单比较法、灰色关联度分析法[12]和正交试验设计等数据分析方法。简单比较法原理简单,但在其他因素取值改变的情况下可能得到不同的结论,特别是当因素较多时很容易得到错误的结论。灰色关联度分析法可应用多种无量纲化处理方法,用以计算各影响因素之间的贴近程度,但其难以应用于多因素多水平的测试。正交试验设计方法通过挑选影响试验结果的因素来确定因素水平数,并选取适当的正交表进行测试,使用等水平正交表进行试验设计可以使每个因素的不同水平均匀搭配,既减少了试验次数,也能够保证试验结果的准确性。通过正交试验设计方法的结果,可以利用极差分析法对影响算法性能的各因素的显著性进行讨论、分析和排序,并获得最佳的应用条件。

本文提出一种基于正交试验对运动目标跟踪算法性能进行评价的方法。以TLD[13]和CXT[14]算法为例,利用正交试验方法对影响算法性能的各因素水平进行分析讨论,从而得出算法性能表现最佳时的各因素水平组合方式。

1 正交试验

基于正交试验的运动目标跟踪算法性能评价方法,利用正交原理编写标准化正交表,再依托正交表的正交性从不同水平组合试验中挑选出部分具有代表性的图像序列进行试验,以最少的试验次数取得较全面的试验效果。

1.1 试验因素和水平

目前常用的运动目标跟踪算法有基于区域特征的跟踪算法、基于轮廓特征的跟踪算法、基于目标特征的跟踪算法和基于运动特征的跟踪方算法。

基于区域特征的跟踪算法(如Brox[15]等)利用图像分割结果进行运动目标定位,再利用定位目标位置对图像的分割目标进行修正,该类算法在背景单一的环境中表现良好,但是,目标的运动状态和外部形状复杂多变,如光照变化、外形变化、目标旋转等,在这些情况下,其无法实现区域特征的匹配。在基于轮廓特征的跟踪算法中,较经典的是Snake模型[16],在实际应用中,运动目标的运动场景经常存在遮挡问题,导致该类方法不能实时得到外部轮廓,实现轮廓信息匹配的难度较大,即不能对目标进行有效跟踪。基于目标特征的跟踪算法通过目标的一个或几个特征信息(如目标颜色、纹理、边缘等)进行匹配以寻找目标的位置,实现对目标的跟踪[17],即使目标的一部分被遮挡,也能够通过部分特征点继续对目标进行跟踪,但当目标发生旋转或者运动并非匀速或匀加速时,这种方法的部分特征会消失,这时跟踪效果不够理想。基于运动特征的跟踪算法(如Kalman滤波算法[18]和粒子滤波算法[19])利用历史视频帧中目标的运动信息,在整幅图像范围内进行搜索,找到能够和前面视频帧中目标特征相匹配的目标范围,然后通过检测技术将搜索限定在较小范围内。

运动目标所处的场景多种多样,这些场景对运动目标的检测和跟踪带来较大挑战。例如,条纹状背景会造成基于边缘特征的跟踪算法失效,或背景与运动目标的颜色相近,使基于颜色特征的目标跟踪变得困难。光照变化也是运动目标检测和跟踪中不可忽视的一个问题,在不同的光线下,人体目标的衣着呈现不同的颜色,使基于颜色特征的跟踪算法几乎失效。虽然可采用不同的颜色系统来减轻光照变化对算法的影响,但是光照的变化仍然是困扰目标跟踪的一个重要因素。遮挡是目标跟踪场景中的常见情况,目标可能被背景中静止的物体遮挡,也可能被另外的运动目标遮挡,或者由于自身旋转而遮挡本身的某些信息以遮挡表现为目标信息的逐渐丢失,而跟踪算法的关键就是搜索足够多的目标信息以判定目标所在,因此,遮挡给目标跟踪的结果带来不确定性,可能导致目标跟踪不稳定甚至丢失目标等。

根据以上分析与讨论,本文将影响运动目标跟踪算法性能的因素归结为环境因素、目标特征、跟踪干扰因素3类,表1～表3分别为3类常见因素的具体描述。

表1 环境因素的具体情况Table 1 Specific situation of environmental factors

表2 目标特征的具体情况Table 2 Specific situation of target characteristics

表3 图源跟踪干扰因素的具体情况Table 3 Specific situation of tracking interference factors of image source

1.2 图像序列选取

本文选取7个因素作为运动目标跟踪算法性能评价时所考虑的因素,并对其水平进行适当的划分,具体如下:

A因素表示背景与目标特征相似,水平:是/否。

B因素表示形变,水平:有/无。

C因素表示遮挡,水平:有/无。

D因素表示水平面外旋转,水平:有/无。

E因素表示水平面内旋转,水平:有/无。

F因素表示尺度变化,水平:有/无。

G因素表示亮度变化,水平:有/无。

水平值取1或2,各因素水平值划分具体情况如表4所示。

表4 影响算法性能的各因素水平取值划分Table 4 Value division factors levels affecting algorithmperformance

1.3 图像数据选取

根据表4中列出的7个因素2个水平,选用L8(27)表[20]来进行本文试验。正交表如表5所示,其中,“有”表示这组图像序列明显包含该影响因素,如第7组数据集C、D和G因素最为显著。依据该正交试验表中的因素水平组合来安排本文测试。

表5 图像序列的正交试验表Table 5 Orthogonal test table of image sequence

在表5中,部分因素水平组合的图像序列在实际情况中不易拍摄到,因此,可以考虑采用图像合成[21]的方式,即将目标融合到背景图像中得到无法采集到的图像。正交试验方法是完全试验和简单对比试验的结合,它所选出的数据具有代表性,因此,在运动目标跟踪算法评价中,图像序列选取的应该是能够考核该算法的具有代表性的图像序列。而在有些情况下,由于某种原因,部分因素水平组合所需的试验场景并不能通过拍摄得到或者这部分图像序列采集代价较高。通过人工合成这些不容易获得的数据图像序列成为一种有效手段,过程中的关键是使合成的目标与背景更贴近,使之接近于真实的图像序列。因此,图像合成在图像序列运动目标检测和跟踪算法评价方面具有十分重要的意义。

1.4 试验数据集

图1所示为本文试验所用数据,其中,方框为数据集的基准框,8行图像分别代表了1组～8组的试验数据,每组有3个图像序列,以避免指标受图像序列极端状况的影响而导致试验失败。每组试验选取的3个图像序列数据均满足该组试验因素和水平组合的要求。对算法性能表现结果采用加权平均和的方式来得到本组试验的最终准确率结果。

图1 试验数据集Fig.1 Experimental dataset

2 正交试验方案评价机制

在选定测试图像序列之后,即可进行算法测试和数据分析。基于正交试验方法的运动目标跟踪算法性能评价框架如图2所示。

图2 基于正交试验的运动目标跟踪算法性能评价框架Fig.2 Performance evaluation framework of moving targettracking algorithm based on orthogonal test

基于正交试验的运动目标跟踪算法性能评价方法主要包括以下过程:

1)数据挑选。按照正交表挑选和组合8组满足正交表因素水平组合要求的图像数据。

2)算法测试。使用算法分别对8组图像数据进行目标跟踪,统计每组试验的结果。

3)极差分析[22]。极差分析方法(简称R法)利用数理统计方法计算出正交表中该因素在其取值范围内试验指标变化的幅度,即根据极差R值来判断各因素的主次、最优的因素水平组合。极差R值计算如下,其中,如果Rj值越大,说明该因素对试验结果的影响程度越大。

Kij=Tij/r

(1)

Rj=Tij(max)-Tij(min)

(2)

其中,i为水平数,j为正交表中的列数,即因素数,r为某因素中相同水平重复试验的次数,Kij为第j列第i水平的试验平均值,Tij为第j列第i水平的试验结果yi之和,Tij(max)为第j列中的最大Tij值,Tij(min)为第j列中的最小Tij值,Rj为第j列的极差值。

4)验证试验。正交试验是以少代多的试验,根据试验得出的因素水平组合并不一定最优,但是通过它可以获得算法较好的性能表现。将通过试验分析所得的优选因素组合条件与已做试验中的最好方案的因素组合条件进行对比验证,以确定其优劣。

3 仿真结果与分析

本文以选取的图像序列作为输入,基于TLD算法和CXT算法对图像序列中的目标进行检测,依据检测结果进行极差分析,得出算法的性能评价结果。本节将从评价指标、极差分析和试验结果评估与分析等方面进行讨论。

3.1 评价指标选取与构建

运动目标跟踪算法性能评价标准有多种,如中心误差、区域重叠率和准确率等。中心误差指预测中心点位置与标注的中心位置的欧氏距离,但在实际应用中,跟踪失败和框的尺寸导致中心误差的意义不明确。重叠率S表示重叠面积所占的比例,计算如下:

(3)

其中,rt和ra分别表示跟踪获得的和真实获得的边界框。当重叠率大于特定阈值t0(0

极差Rj在本文中用来表示某因素对算法性能影响的大小。Rj值越大,平均重叠率越小。构造式(5)指标作为算法在该因素下的得分情况,其能反映各影响因素之间的关系。

(4)

表6 2种算法在OTB和本文正交试验方法下的性能表现对比Table 6 Performance comparison of two algorithms underOTB and text orthogonal test

图3 CXT算法各影响因素的得分情况Fig.3 Score of each influencing factor of CXT algorithm

3.2 极差分析结果

图4～图7所示为各试验组下的TLD和CXT算法性能表现对比,括号内数字为AUC值,前8组为算法在各组图像序列下的性能表现,根据这8组性能表现结果进行极差分析,最后一组为试验分析得出的组合因素水平下的算法性能表现。表7、表8所示为算法测试与极差分析结果。根据表6～表8的分析结果得出,7种因素对算法性能影响的强弱关系为:目标形变影响最大,然后依次是目标遮挡、平面外旋转,而光照变化、目标尺度变化、背景相似、平面内旋转等因素对算法性能影响稍弱。根据图3、表6可以看出,本文正交试验对CXT算法的各因素得分情况与OTB基本一致。根据OTB对CXT算法的评估结果可以看出,算法在目标形变因素下的重叠率最低,因此,目标形变因素对算法性能影响最大,然后依次是目标遮挡、平面外旋转等。显然,本文得出的因素对算法性能影响的强弱关系结果与OTB相一致。

图4 TLD算法成功率随像素误差阈值的变化Fig.4 Success rate of TLD algorithm changing with pixelerror rate

图5 TLD算法成功率随重叠率阈值的变化Fig.5 Success rate of TLD algorithm changing with overlaprate threshold

图6 CXT算法成功率随像素误差阈值的变化Fig.6 Success rate of CXT algorithm changing with pixelerror threshold

图7 CXT算法成功率随重叠率阈值的变化Fig.7 Success rate of CXT algorithm changing with overlaprate threshold

表7 算法测试结果Table 7 Results of algorithm tests %

表8 极差分析结果Table 8 Results of range analysis

根据优选结果可以看出,TLD算法在有光照变化、无尺度变化、无目标遮挡、无目标形变、无快速运动、有平面外旋转、无背景相似、无平面内旋转的最优化组合条件下性能表现最佳。显然,最优组合未包含在正交试验设计表中,为对正交试验的优化结果进行验证,本文对算法在最优组合条件下的表现进行测试。按照优选结果,选取平面外旋转和光照变化2种因素最为显著的图像序列组合,图8所示为最优组合数据集。TLD算法在最优因素水平组合(见表9)上准确率达到了0.71,中心误差为10.00,远低于其他组。与正交表中的各组指标值进行比较,发现正交试验设计方法所得优化组合结果有效。对于CXT算法,其在各因素对算法性能影响的强弱关系方面也得到了与TLD接近的结果,而且优选组合结果的表现优于其他组,图9所示为该算法的最优组合数据集。

图8 TLD算法最优组合场景数据集Fig.8 Dataset of TLD algorithm with optimal combination setting

表9 2种算法性能表现最佳的因素水平组合Table 9 Factor level combination of two algorithms withoptimal performance

图9 CXT算法最优组合场景数据集Fig.9 Dataset of CXT algorithm with optimal combination setting

4 结束语

本文提出一种基于正交试验的运动目标跟踪算法性能评价方法。通过引入正交试验设计,实现以较少的试验次数和数据对不同影响因素和水平下的TLD和CXT算法的性能评价,得出各影响因素之间的强弱关系以及算法性能表现较好时的水平组合。仿真结果表明,该方法所得出的结论与实际情况相符。应用正交表设计运动目标跟踪算法性能评价系统是一种高效、快速且经济的方法,其也为其他图像处理算法的性能评价提供了借鉴和参考。下一步将考虑对因素水平进行多级量化,以优化得分精度并拓展适用场景。