分块检测尺度自适应的圆形目标相关跟踪

王国屹，孙永荣，吴 雷，曾庆化

南京航空航天大学 自动化学院 导航研究中心，南京211100

1 引言

在传统KCF目标跟踪算法中存在的一个主要问题是跟踪窗口的尺度无法根据目标的尺度变化进行自适应调整[1-2]，这是由于在初始化KCF算法跟踪窗口时，其尺寸与边界扩充部分的大小是预先设定好的[3]，使得当目标尺度变化较为明显时，传统KCF 算法所提供的跟踪窗口无法准确匹配目标区域；同时该框由于尺度问题造成框内仅有目标的部分图像，而框内图像又将作为样本对于目标模型进行训练，进而导致算法模型误差发散[4]，使得跟踪过程逐渐失败。

对于上述问题，国内外多所高校与科研单位进行了大量的研究工作[5-12]。韩国中央大学研究了改进的DSST算法，通过获取尺度相关性响应的最大值来计算目标图像补丁大小[13]，但在跟踪精度方面其跟踪窗口与目标区域的重叠率平均为0.65，难以满足类似空中加油等高精度任务对于重叠率不低于0.8的跟踪精度要求。沙特阿拉伯阿卜杜拉国王科技大学在跟踪器的检测阶段应用多个尺度的最大池，并在先验值为前一帧跟踪窗口附近的高斯核相关中心值时，选择一个使后验概率最大化的尺度[14]，但在实时性方面其处理速度平均为25 FPS，难以满足类似空中加油等高实时性任务对于跟踪过程平均处理速度不低于50 FPS的实时性要求。北京工商大学利用目标尺度金字塔方法提取不同尺度下目标区域的融合特征，并将模型特征进行对比以获得更新后的目标尺度[15]，但在目标出现尺度变化明显情况时其跟踪精度与成功率均出现较大幅度波动，不仅难以满足空中加油任务的高精度与高成功率的要求，同时也难以保证跟踪过程稳定性。

本文以无人机空中加油为背景，针对其视觉导航过程中圆形加油锥套目标跟踪所存在的目标尺度变换与遮挡问题，开展基于分块检测的圆形目标尺度自适应相关跟踪方法研究，以进一步提升目标尺度变换与遮挡情况下的跟踪算法的准确性、稳定性与鲁棒性。

2 基于分块检测的目标遮挡判断

在原始KCF 算法中难以判断目标跟踪失败，而在目标被遮挡情况中[16]，遮挡使得跟踪积累误差逐渐增大，跟踪模型逐渐被污染，进而导致跟踪偏移[17]，当偏移量过大时跟踪失败。若目标仅被部分遮挡[18]，仍有可能借助其他手段使得跟踪过程持续正常进行，保证跟踪准确顺利进行。针对加油锥套等外部轮廓为圆形或椭圆形的目标，遮挡情况下根据未被遮挡子块仍保留目标特征的特点，判断目标遮挡发生的位置，消除因积累误差产生的跟踪偏移。

2.1 目标图像子块分割

对于加油锥套目标，由于其外部形状呈现为近似椭圆状，根据椭圆一般方程ax2+by2+cx+dy+e=0(a ＞0,b ＞0且a ≠b)，其未知参数为( )a,b,c,d,e ，理论上只要获取椭圆上五个点即可求解该椭圆的一般方程，进而确定椭圆位置、尺寸、旋转角度等数据。在实际情况中，若椭圆上点数选择较少或较为密集都会出现椭圆拟合准确率下降情况，且失真较为明显。拟合失败情况如图1所示。

图1 两组拟合失败情况图

因此若想采用特征点提取与边缘轮廓拟合方法，则需尽量保证所提取的边缘有效特征点符合两个特征，位置特征：尽量均匀分布于边缘轮廓；数量特征：有效特征点尽量多，以便拟合结果尽量准确。为满足这两个特征，将目标图像按行列分割为3×3共9个子块区域，这种分割方法使得遮挡情况发生时，可以保证存在多个未被遮挡的子块可以用于准确拟合目标边缘轮廓的有效特征点，同时极大程度上确保各子块特征的独特性，使得算法复杂性相对较低，冗杂处理最大程度减少。将目标图像经过按行列3×3方式分割后，可以获得9个子块，如图2所示。

图2 子块分割结果

2.2 目标遮挡与跟踪失败状态判断

对于目标遮挡状态与跟踪失败状态的判断，采用了HOG 特征相似度匹配方法，可使特征计算量相对较小。虽然HOG 特征对于旋转具有很强的敏感性，但锥套目标为近椭圆状，具有类似中心对称特性，因而适用于对这种目标的特征描述。

为计算目标特征相似度，需要利用无遮挡状态下包含目标在内的一帧图像作为对照组，因此选取视频序列中包含目标的初始帧图像作为对照组样本并保存，初始帧图像如图3所示。

图3 初始帧原始图像与目标图像

当出现遮挡时，如图4 所示，将当前帧与预先保存的初始帧转化为灰度图像并分别分割为3×3共9个子块同时标记序号。将对应序号的子块图像分别提取HOG特征，由于HOG 特征形式为一组n×1 阶向量，设初始帧某子块HOG 特征向量为An×1，其对应当前帧子块HOG特征向量为Bn×1，则两子块图像相似度对比用其向量作差进行求解，其求解结果η 为：

图4 遮挡状态下整体图像、目标图像与各子块图像

由于相似度对比结果通常以取值范围在0～1 内的小数形式呈现，设置参数k 使得e-η/k＜1，并设初始帧各子块相似度响应值为δinit_i(i=1,2,…,9) ，通过δinit_i=ATA 进行计算求解；再设归一化后的当前帧各子块相似度响应值为δfinal_i(i=1,2,…,9)，通过将上面得到的e-η/k进行处理，使得相似度响应值结果归一化至0～1，得到δfinal_i的解算方法为：

设子块响应阈值为ξsub，当δfinal_i＜ξsub时则判断该子块即被遮挡。对于子块阈值的设置，利用遮挡状态时不同阈值下跟踪效果进行选择。如表1所示，当设置子块阈值为0.2 或0.6 时对于目标的跟踪均失败且重叠率低，阈值为0.6时跟踪则直接中断，表中位置误差单位为像素距离；而设置阈值为0.3或0.5时，跟踪正常，且保持较高重叠率与较低的位置误差，即跟踪过程可靠性与准确性控制较好。因此通常设置子块响应阈值为ξsub=0.3～0.5。若仅有部分子块符合遮挡条件，则判断为遮挡状态，此时这些子块的序号即为遮挡出现的位置；若全部子块均符合遮挡条件时则继续进行跟踪失败状态的判断。

表1 遮挡状态时不同子块阈值下跟踪效果（场景一）

为验证以上子块响应阈值方法的普适性，分别针对不同于场景一的其他两种场景下的目标跟踪进行测试，如表2与表3所示，两种场景下搜索框的重叠率、位置误差与跟踪结果随子块响应阈值设置的变化而各不相同。其中在场景二中子块阈值设置为0.3 或0.5 时跟踪结果均成功，同时重叠率和位置误差表现均较好，而当阈值设置为0.2或0.6时跟踪均失败；在场景三中阈值设置小于0.3 或大于0.5 时跟踪过程均在遮挡出现后产生中断，导致跟踪过程无法继续进行。根据以上结果可以看出本文提出的阈值设置方法针对不同场景下的目标跟踪具有较好的普适性。

表2 遮挡状态时不同子块阈值下跟踪效果（场景二）

表3 遮挡状态时不同子块阈值下跟踪效果（场景三）

根据二维正态分布的特点，对不同子块设计不同权重，如根据遮挡出现后对于跟踪状态的影响情况考虑，其中心子块对于目标图像的跟踪影响最明显，因此设计其权重系数为k1；四角的子块对于受到遮挡时产生的影响最小，设为k3；其余子块权重系数设为k2，则权重系数的设计需满足式（3），通常设置为k1=0.25,k2=0.125,k3=0.062 5。

设总体响应阈值为ξall，根据表4与表5两组遮挡状态时不同子块响应阈值下对于跟踪状态判断准确性的实验结果，通常将总体响应阈值取为ξall=0.5～0.8。加权后的当前帧目标整体相似度响应值为σall：

将其与阈值ξall进行比较，若σall＜ξall则判断为跟踪失败状态。

表4 ξsub=0.2 时，不同总体阈值下跟踪状态判断情况

表5 ξsub=0.3 时，不同总体阈值下跟踪状态判断情况

针对不同跟踪场景或跟踪需求时，由于上述阈值选取方法是基于跟踪效果的实验结果进行的考量，因此其设置结果满足不同跟踪场景或需求下的遮挡与失败状态判断需要，故该阈值设置方法在不同场景或需求下仍然有效。

3 基于特征点提取与拟合的尺度自适应跟踪窗口

为达到尺度自适应目标，多数团队采用的方法是利用尺度金字塔思想实现跟踪框尺度自适应[19-20]，然而由于尺度金字塔的建立带来了大量的冗余样本，使得算法处理时间大大增加；同时其利用响应值选取跟踪框尺度的方法使得跟踪框精度与准确性存在一定的问题。

为在不影响快速性的前提下提升KCF方法的跟踪过程准确性与可靠性，同时实现跟踪框的尺度自适应过程，根据锥套等圆形目标本身所具有的外部物理特征，可以提取目标外部轮廓有效点并将其拟合为目标外部轮廓，进而获取目标的位置与大小信息，根据目标轮廓位置与大小给出参考搜索框供KCF 更新目标模型，其操作流程如图5 所示。通过对未被遮挡子块的目标边缘有效特征点的筛选，可以避免重复考虑诸如被遮挡子块的特征点或目标非边缘特征点等无效特征信息，提高算法速度与鲁棒性；再利用有效特征点进行边缘拟合，根据目标固有尺度信息进行尺度自适应，可以有效提升跟踪过程的精度与准确性。

3.1 特征点提取与边缘拟合

为提取符合要求的锥套外部轮廓有效特征点，利用Sobel算子的图像边缘检测特点提取锥套目标外部有效特征点。对于每一子块的特点，由于将目标图像分为3×3 共9 个子块，其目标外部边缘主要分布于除中间子块外其余8个子块，因此每子块内均包含部分目标外部边缘特征。

以左上角子块为例，其边缘特征可类似分析为圆心指向子块右下角方向的一段圆弧，因此为突出有效边缘点抑制无效边缘点，需要采用45°方向Sobel算子计算其边缘梯度。再考虑其局部明暗变化特征可发现其边缘处为暗，而边缘外的背景图像为亮，需将Sobel算子按图6中算子进行设计，进而使得该算子可以准确提取该子块目标边缘特征。因此设计45°方向的Sobel 算子进行边缘提取后，获得该子块梯度特征点图。

对于非边缘轮廓有效特征点存在的噪点，需要进行有效点特征筛选，以保证在剔除无效噪点的过程中尽可能地保留并提取了有效特征点，对此设计了一组判别标准用以消除噪点。由于子块内边缘特征为目标整体边缘特征的一段圆弧部分，因此子块内边缘特征点应满足相角、幅值两组条件。以左上角子块为例，因为根据该段圆弧可以确定其圆心大致位置应在图片右下角处，因此以右下角为圆心参考点、左上角为坐标原点，分别在图像右下角区域与左上角区域设置一个矩形区域和一个三角形区域，使得区域内全部点剔除，进行粗筛选操作；某一待选点距离圆心参考点的欧式距离与其通过角度计算得到的与圆心参考点的距离分别设为ldis、ldcos，则有：

式中，( xi,yi)、( xo,yo)分别表示该待选点与圆心参考点的位置坐标，θ1表示在该图转化为幅值相角图时该待选点的相角，有效特征点筛选方法如图6 所示，可知若该待选点位于目标边缘轮廓区域则其在该子块中与圆心参考点的距离应满足ldis≈ldcos，设置距离参数与阈值ξdis关系如式（7），阈值范围通常取5 ≤ξdis≤10。

对于符合该距离条件的待选点保留，不符合的则进行剔除；然后根据待选点与圆心参考点的位置关系可得角度参数θ2：

图5 特征点提取与拟合操作流程图

符合筛选条件的待选点的两个相角参数θ1、θ2应满足θ1+θ2≈90°，设置相角参数与阈值ξangle关系条件如式（9），阈值通常取7°≤ξangle≤15°。

满足以上三组筛选条件的待选点便标记为该子块目标边缘轮廓有效特征点。其有效性体现在操作得到的特征点分布于圆形目标边缘之上，满足其边缘特征，可以用于后续边缘拟合操作。针对这一子块的完整操作流程图如图6 所示。经过筛选所得的有效特征点的准确性体现在根据其获得的参考搜索框的位置与尺度准确性之中。由于参考搜索框的给出建立在目标外部边缘轮廓之上，而目标边缘轮廓由在各子块中所提取的有效特征点所拟合得到，因此若算法给出的参考搜索框其位置与尺度均符合真实目标的位置与尺度，即参考搜索框的准确性表现较好，则可认为提取的有效特征点具有较好的准确性。

图6 左上角子块边缘有效特征点提取流程

由于包含目标边缘的子块为除中心子块外的八个部分，以上介绍了对左上角子块进行的操作，对其余七个子块则采取上述相同步骤的操作，可以获得各子块边缘有效特征点，归一化到目标图像中后可获得整体目标的外部边缘有效特征点。由于特征点的提取依赖对于目标边缘的检测，因此所拟合出的目标边缘外圆可以实现对于目标参考搜索框的尺度自适应。

3.2 目标搜索框尺度自适应

获取整体目标图像边缘有效特征点后，可以利用其拟合出目标边缘外圆，同时可以获得该圆的圆心位置、长/短半轴大小以及整体旋转角度，即可获得一个包含位置大小信息( x,y,w,h )目标参考跟踪窗口。该跟踪窗口与KCF 算法初始设定跟踪窗口的尺度( )winit,hinit比例关系可设为ηw、ηh：

并将当前帧图像与参考搜索框的长宽尺寸按照该比例进行放缩即可得到用于更新模型的图像，以及用于在下一帧为KCF算法提供预测位置的搜索框。同时使KCF 初始设定的搜索框位置移动至目标参考搜索框位置( x,y )处，将此时的KCF算法目标搜索框显示在缩放后的图像上并将该图像还原至原始尺寸，从而实现搜索框的尺度自适应，其结果如图7所示。

图7 尺度自适应结果

通过上述操作，可以保证在不影响算法实时性的基础上实现对锥套目标搜索框的尺度自适应。同时，由于锥套图像外部轮廓为近椭圆形，而该方法亦是针对目标外部轮廓进行设计与操作，因此可应用于对其他外部轮廓为圆形或椭圆形的目标的跟踪。

3.3 整体算法实现流程图

本文提出的算法利用特征点提取与边缘拟合解决了原始KCF 算法尺度无法自适应的问题，同时提出的分块检测的方法在保证跟踪的连续性、准确性的前提下，消除了跟踪过程中遮挡带来的影响，其算法整体流程图如图8所示。

图8 算法整体流程图

4 实验结果分析

本文利用一组具有显著的明暗背景变化、目标尺度变化并存在目标遮挡情况的视频序列进行实验分析，视频序列中的两帧处理结果如图9所示，图中蓝色框为原始KCF 算法所给出的搜索框，绿色框则为本文提出的改进算法所给出的参考搜索框，可见改进算法实现了跟踪框尺度自适应，并保证了遮挡状态下对目标的准确与快速跟踪。同时除原始KCF 算法外，分别采用尺度金字塔-KCF 算法、DSST（Discriminative Scale Space Tracking）算法与本文设计的改进算法进行对比，其中尺度金字塔-KCF算法为在原始KCF算法基础上采用尺度金字塔方法实现尺度自适应的算法；DSST 算法为瑞典Linkoping大学团队提出的一种基于KCF算法针对尺度变化问题进行改进的跟踪算法[21]。

图9 算法效果对比图

下面分别从准确性、可靠性与实时性三方面对分块检测的圆形锥套目标尺度自适应算法与其他对比算法进行比较与定量评估。

4.1 准确性试验

算法准确性使用位置误差大小与准确率（即符合位置误差阈值帧数与总帧数的比值）进行定量评估。位置误差大小即参考搜索框与真实框中心点欧式距离lerr：

式中，( xci,yci)、( xco,yco)分别为参考搜索框与真实框中心点坐标，其中真实框由手工标定目标位置框表示。位置误差大小对比结果如图10 所示，改进算法利用拟合目标边缘轮廓的确定圆形锥套目标位置的方法，能够保证在整段实验视频中，参考搜索框与目标真实位置的中心点位置误差大小不超过5像素距离，即表明改进算法的目标跟踪框与目标真实位置偏离较小，准确性较高；原始算法则主要在目标尺度变化与遮挡加入的影响下，使得位置误差大小达到了25 像素距离左右；尺度金字塔-KCF 算法与DSST 算法相较于原始算法平均降低了10 像素距离，但受尺度变化影响仍然较大且鲁棒性较差。四者的效果对比表明改进算法提出的参考搜索框在位置上准确性较其他对比算法有较大提高。

图10 准确性（位置误差大小）对比结果

准确率体现为随着位置误差阈值的增加，其对于跟踪框位置偏离的容忍程度逐渐增加。准确率对比结果如图11 所示，当位置误差阈值设置为5 时，改进算法提出的参考搜索框对应的位置准确率已经接近100%；原始算法给出的目标搜索框此时的位置准确率仅有10%，当阈值设置为27 及以上时其准确率才能达到接近100%的水平；尺度金字塔-KCF 算法与DSST 算法的准确率相对原始KCF算法较高，但仍不及改进算法，当阈值设置低于12 时其准确率均不足40%。另外，由图11中可见原始算法在阈值为23左右、尺度金字塔-KCF算法与DSST算法在阈值为13左右时，其准确率迎来一次突变，这是由于本实验视频序列包含了遮挡情况，使得在出现遮挡后原始算法跟踪框偏差较大，致使位置误差突然变大。这一结果从侧面也证明了改进算法针对遮挡情况的鲁棒性较强。

图11 准确性（准确率）对比结果

4.2 可靠性试验

算法可靠性利用成功率与参考搜索框精度进行定量评估。参考搜索框精度的评价标准依靠IoU（交并比）指数，两个区域交集与并集面积的比值，其表达式为：

式中area(C)、area(G)分别表示算法得出的参考搜索框区域与实际目标位置标记框区域，则精度最理想情况为两区域完全重叠，即IoU=1。精度对比结果如图12所示，改进算法在整个实验视频中可以将参考搜索框精度基本保持在90%以上且稳定性较好，不会出现精度突变或振荡情况；由于前一部分实验视频中目标尺度变化明显，原始算法的跟踪框精度则随着尺度的调整而剧烈变化，因为其过程中目标尺度变化并非单一方向，即既有尺度增大也有尺度减小情况，因此图中可见在约70 帧至140 帧时跟踪框精度出现波动情况，而当从约350帧左右后目标尺度不再发生明显改变时，其精度也得以保持在20%上下；尺度金字塔-KCF 算法的跟踪精度随帧数的变化情况与原始算法基本相同，但平均精度比原始算法高20%；DSST 算法在三种对比算法中精度最高，平均可以达到80%的水平，但仍与改进算法有所差距。由此可见，改进算法的搜索框精度较原始算法提升明显。

图12 可靠性（精度）对比结果

成功率表示为随着对于IoU 数值阈值选取的增大表明判断成功的条件愈加苛刻，符合阈值帧数与总帧数的比值跟随阈值变化逐渐降低。成功率对比结果如图13所示，当重合度（即IoU 值）阈值设置为0.9或以下时，改进算法的参考搜索框成功率基本可以达到100%水平；原始算法在尺度变化与遮挡情况出现情况下鲁棒性较低，在阈值设置低至0.2 时便出现成功率急剧下降的问题，当阈值为0.5 时其成功率为20%；尺度金字塔-KCF 算法与DSST 算法的成功率相对原始KCF 算法较高，但仍不及改进算法，当阈值设置高于0.7时其成功率均不能达到改进算法的水平，两者中表现最好的DSST算法在阈值为0.75 时其成功率与改进算法也有10%的差距。因此，可以判断改进算法的跟踪成功率较高，针对尺度变化与遮挡问题的鲁棒性较强。

图13 可靠性（成功率）对比结果

4.3 实时性试验

算法实时性利用三种对比算法与本文提出的KCF改进算法的耗时对比进行表示。改进算法虽然加入了大量的特征点提取与边缘拟合的基于图形操作的运算，但其运算时间相对原始算法仅增加2～3 ms，整体平均运算耗时约7 ms，相较于原始算法平均运算耗时约4 ms的结果，两者仍保持在同一水平；而尺度金字塔-KCF算法与DSST 算法的运算平均耗时均在10 ms 以上，速度相对于原始算法与改进算法较慢。跟踪过程中，除第70 帧时加入的遮挡使得算法运算耗时出现短暂大幅增大情况外，改进算法运算速度平稳，可稳定在150 FPS左右，满足空中加油任务对于目标跟踪过程算法实时性的要求。对比结果如图14所示。

图14 实时性对比结果

5 结束语

尺度自适应与遮挡判断对于KCF目标跟踪算法的准确性与鲁棒性提升具有重要的作用。本文针对加油锥套为例，提出了利用特征点提取与拟合、分块检测的方法解决圆形目标跟踪阶段搜索框尺度变换与遮挡判断的问题。文中利用目标外部边缘特征点的提取与轮廓拟合方法解决了对于诸如加油锥套的圆形目标跟踪中所存在的目标尺度变换问题，通过分块检测将跟踪过程中目标遮挡情况与跟踪失败情况区分开来，并在遮挡情况下消除了跟踪积累误差，恢复了目标搜索框位置。实验测试可知，算法平均处理耗时为7 ms，平均位置误差小于1像素间距，在遮挡情况下目标跟踪成功率可达90%以上。大量的实验结果表明：本文提出的圆形锥套目标KCF 跟踪方法的遮挡检测方法具有较高实时性、可靠性与准确性的特点，在圆形锥套目标跟踪过程实验中具有较好的跟踪效果，实现了空中加油对接过程中对于锥套的稳定、可靠跟踪。