一种自适应多模式交互图像跟踪算法研究*1



一种自适应多模式交互图像跟踪算法研究*1

黄金涛，杨绍清，刘松涛

(海军大连舰艇学院，辽宁 大连116018)

摘要：图像目标的高精度稳定跟踪一直是舰载光电跟踪中的一个技术难点，由于传统目标跟踪算法结构单一、背景要求简单、稳定性差，因而无法更好地在复杂背景下对目标进行稳定、实时的跟踪。基于一种图像背景复杂程度的自适应判断方法,提出一种形心跟踪和相关跟踪自适应多模式交互的图像跟踪算法，利用形心跟踪与相关跟踪算法的互补性，通过模式转换来提高目标跟踪稳定性和精度。仿真结果表明，该算法计算量小，抗干扰性强，跟踪精度高。

关键词：舰载光电；跟踪算法；模式转换；背景复杂度；自适应判断；图像目标

0引言

图像目标复杂背景下的高精度稳定跟踪，通常情况下其跟踪技术是在时域上进行跟踪，在连续帧中将相同的目标对应起来。而跟踪的难点在于环境和目标的复杂性，因此算法直接影响着跟踪的准确性和稳定性。随着人们对跟踪系统的稳定性、鲁棒性要求的提高，研究一种精确、高性能、抗干扰的运动目标跟踪方法仍然是舰艇目标跟踪领域所面临的一个巨大挑战[1]。本文研究形心跟踪和相关跟踪相结合的自适应模式转换的图像跟踪算法，将这2种跟踪算法相结合，扬长避短，以优化复杂情况下目标的稳定、实时的跟踪。

1自适应多模式跟踪算法模型

1.1形心跟踪和相关跟踪算法原理

常用的跟踪算法有对比度跟踪算法和图像相关跟踪算法。其中对比度跟踪是利用目标与背景之间的对比度来识取和提取目标信号，实现自动跟踪目标运动的一种方法，依跟踪参考点的不同，对比度跟踪的常用跟踪算法有：最大对比度跟踪、边缘跟踪、质心跟踪、形心跟踪等[2]。这些跟踪方法在解决各自特定的问题上具有很好的效果，但是它们在处理其他问题时会出现稳定性差，跟踪精度低等问题。为了进一步优化跟踪方法，可以将2种或多种方法结合起来，通过跟踪模式的智能转换来提高目标跟踪的稳定性和精度[3]。

(1) 形心跟踪

从传感器获取的数字图像经边缘检测得到二值图像后，经过计算得到目标的形心，当目标姿态变化时, 形心的位置变动较小，即对目标形态的变化具有很好的适应能力[4]。所以采用形心跟踪模式时跟踪比较平稳, 而且抗杂波干扰的能力较强，算法简便，实时性好，是成像跟踪系统中常用的一种跟踪模式。但当目标所处的背景较复杂，目标的边缘变得很不明显时，基于边缘检测的形心跟踪法就不能稳定地跟踪目标。

某任意图像的边界所围成的封闭区域如图1所示。设y=f(x)所围成的封闭区域内各点的x坐标为x∈[xmin,xmax],xi为封闭区域任意点处的x坐标。fmin(x)和fmax(x) 为直线x=xi与图像边界交点处的纵坐标[5]。

图1　任意图像边界围成的区域Fig.1　Region of random image boundary

当x=xi与图像边界有2n个交点时，图像中心M(x0,y0)为

(1)

(2) 相关跟踪

相关跟踪是一种利用相关测度与匹配来确定瞄准点的一种跟踪方式[6]。其基本原理就是将跟踪窗口中的图像特征，以数字的形式贮存下来，以后按一定间隔用目标模板与实时电视图像的各个子区域图像进行比较并算出相关函数值，找出相关性最强的图像所在位置，就认为是当前目标的位置,这就是相关跟踪的基本思想,这种方法也叫做“图像匹配”[7]。由于目标的运动，跟踪窗口内的图像也在变化，因而所记忆的图像模板也是不断刷新的。

相关跟踪算法有多种，这里采用均值归一化相关测度[8]。若((i,j)为M×N的目标参考图像，逐点计算参考图像((i,j)与当前搜索图像g(i,j)的互相关函数，在(x,y)处，均值归一化互相观测度为

(2)

图像相关跟踪具有很好的识别能力,可以跟踪复杂背景中的目标，能在低信噪比条件下提供最好的跟踪性能,跟踪距离远,可靠性高,是目前使用较为广泛的跟踪器[9]。但它对于目标姿态变化的适应能力较差,解算器的结构复杂运算量较大,一般用于跟踪低速运动的目标。

1.2跟踪算法流程[10]

通过分析各种跟踪算法的可知，最大对比度跟踪、质心跟踪、边缘跟踪的算法具有各自的缺点。而形心跟踪与相关跟踪虽有各自的缺点，却有先天的互补性：形心跟踪计算量小，对目标姿态的变化不敏感，但不适于跟踪复杂背景下的目标；相关跟踪计算量大，实时性不好，对目标姿态变化的适应能力较差，但却在背景复杂的情况下具有很好的稳定性。

当传感器获得目标图像并边缘检测后，利用判别算法对获得的图像进行目标跟踪模式的判断，若是复杂背景下的低对比度的目标，则选用相关跟踪；反之，则使用形心跟踪。仿真流程图如图2所示。

图2　综合跟踪算法流程图Fig.2　Flow chart of comprehensive tracking algorithm

其中，第1个“Sobel 边缘检测”的阈值是根据图像的对比度获得的，对于某次跟踪过程，一旦确定就不再改变；“Sobel 边缘检测的阈值(T)”的阈值是实时的，是由上一步“阈值自动设定”算法所确定。另外，“相关跟踪”算法中所用的模板是上一帧图像的跟踪结果。

1.3阈值T的自适应过程

在分析的大量不同灰度，背景各异以及不同姿态的海空目标图像中，亮度最低及亮度最高的图像所需的极限阈值分别为0.05和0.40。也就是说若将阈值T设在区间[0.05，0.40]之间，就能满足将绝大多数的目标图像与背景分离出来的要求。通过对边缘检测后的二值图像进行分析，将阈值可分为初步定为0.05，0.10，0.15，0.20，0.30和0.40。

为了实现阈值T的自动设定，手动设定阈值对图像进行边缘检测。得到边缘检测的二值图像后，计算其形心，将所得的结果放入原图像中进行比较。并且每幅图像使用不同的阈值处理后所得的二值图像都会对应不同的F值(如表1)，F是经过边缘检测后的二值图像中滤除小于阈值的边缘后，所剩下的目标边缘的相对数量[11]。F值的计算过程如下：

设二值图像的规格为X×Y，其中的某个像素为g(i,j)。在二值图像中，亮点处g(i,j)=1，反之，g(i,j)=0。

(3)

通过分析大量实际的图像，比较计算所得的形心和原图的形心后，将跟踪效果好的阈值对应的F值标记下来。典型图像的试验分析结果列出如下表1所示。

表1　典型图像F值

其中，图像4和13均可设定2个阈值以实现良好的跟踪效果。

通过对上述13组典型海空背景下目标图像的F值数据分析，若F值过大，则说明经过边缘检测(滤波)后，图像中的剩余的边缘较多。除了目标的边缘外，还残存大量的背景边缘。在形心计算过程中，形心计算是不能区分某个边缘是目标边缘还是背景边缘的[12]。所以，多余的背景边缘就会被误认为是目标边缘，从而导致形心计算结果偏离了真正的目标。而F值过小则有可能除了滤除背景中的边缘外，目标上的强度较小的边缘也被过分地滤除，极限情况是将图像中的所有边缘全部滤去。同样，过度滤除边缘也会导致形心跟踪的精度变差。

根据F值所具有的实际意义，若能找到F值的变化范围，再以该变化范围为限制条件。将边缘检测后的二值图像计算F值，并判断该F值是否落入该预设的范围，将该值与预设的范围相比较。若大于上限，则增大阈值，以滤除更多的边缘；小于上限，则说明边缘被过度滤除，应减小阈值。这样，便实现了阈值的自动设定[13]。

表1中的跟踪统计结果显示，跟踪效果较好的阈值所对应的F值的范围为[10，80]。只要以该F值的范围为限制条件，使边缘检测后的二值图像的F值落入该范围，则相应的阈值T就可确定。

1.4跟踪模式的自动选择

通常情况下，背景比较复杂的图像边缘特性也比较丰富。为此，可以以边缘的丰富程度作为判定依据来判别背景是复杂还是简单，进而进行跟踪模式的智能选择[14]。

在上述的形心跟踪算法中，选用了sobel边缘检测算子来进行目标和背景的边缘检测，通过该算子对图像的处理就可以得到目标边缘的二值图像。对该图像计算F值便可以判断图像边缘的复杂程度。但为了适应不同条件下的背景，形心跟踪算法中边缘检测算子的阈值是自适应的。由于这里要进行跟踪模式的判断，为使判断的条件是相同的，阈值必须为一恒定值[15]。

假定从传感器中得到目标的连续的5帧图像fk+1,fk+2,fk+3,fk+4,fk+5。这5幅图像在较短的时间间隔内取得，相邻2幅图像间的变化是渐变的，故没有必要在相邻几幅间判断是否改变跟踪模式。另外，在5幅图像的范围内，目标姿态发生的变化较小，可以消除因目标姿态变化而引起的边缘变化。当逐渐的差别累积到5幅(根据传感器采样频率)时，就有必要对跟踪的模式进行一次判断：

(4)

式中：Fk+5和Fk+1是在将阈值固定情况下计算出的F值。这里FL的定义是第k+5幅图像中的边缘丰富程度与第k+1幅的差相对于k+1的值。与绝对阈值相比，该算法通过Fk+5-Fk+1可以消除目标边缘对背景判断的影响。在模式判断的过程中，无需对目标是大目标(面目标)还是小目标(点目标)进行判断。

假定第k+1，k+2，k+3，k+4，幅图像的跟踪模式已选定。对第k+5幅而言，若第k+1幅采用形心跟踪模式，当FL≥T，则表明第5幅与第1幅的边缘丰富程度差距相当大， 已经到了形心跟踪无

法满足的程度了，此时就需要改变跟踪模式了。当FL

这样第k+6幅的跟踪模式可以结合第k+2幅按上述算法进行计算得到，依此类推，只要事先指定前4幅的跟踪模式(采样率大时，相邻4幅图像的差别很小，跟踪模式往往与第1幅设为同一种)，就可以实现跟踪模式的智能选择。

2仿真结果及分析

本文算法的核心是跟踪模式的自动选择，判定背景复杂时跟踪模式转换为相关跟踪以获取目标信息。而相关跟踪所需的目标的初始参考模块是由形心跟踪的结果得到(适用于目标从简单背景进入到复杂背景的情况)，也可由人为提取。

由于目标在运动过程中，姿态在不断地发生变化，因此，使用固定模板不能实现稳定的跟踪。接下来的相关跟踪的目标参考模板就可以以上一帧中的匹配/结果区域作为更新模板代替当前模板，以实现对下一帧的跟踪，即下一帧图像的目标参考模板是从上一帧图像的跟踪窗中获得的。依此类推，在有了初始目标参考模板后，就可以自动实现目标稳定有效的跟踪了。

图3中的a)，b)，c)为实拍的运动目标的图像及相对应的单纯使用目标形心跟踪的跟踪结果。

由图3可以看出目标逐渐驶入复杂的背景下(c)左图)。由于a)和b)的背景较简单，边缘和对比度都不明显，可以很好地实现跟踪。但当背景中出现非常清晰的边缘(清晰的山体)时，边缘检测后的山体的边缘甚至强于目标边缘，故跟踪的十字线定位到山体上，偏离了目标。

对图3c)中的图像使用本文的跟踪算法的跟踪结果如图4所示。

图3　复杂背景下对目标使用形心跟踪仿真结果Fig.3　Simulation results of centroid tracking to　　　target under complex environment

图4　复杂背景下辅以相关跟踪后的仿真结果Fig.4　Simulation results of tracking mode conversion　　　to target under complex environment

仿真结果表明,本文算法通过检测目标图像边缘复杂程度来完成跟踪模式的转换，优化了形心跟踪和相关跟踪的不足，提高了图像目标的稳定性、跟踪精度和适应复杂背景的能力。

3结束语

本文图像跟踪算法通过模式转换将形心跟踪和相关跟踪相结合，提高了跟踪的实时性，又保证了跟踪效果的稳定性。阈值的设定是很关键的，仿真中自动设定阈值在整个跟踪过程中能较稳定地跟踪着目标。从目前实验结果来看，本文算法更能适应复杂环境，可以为优化舰艇目标跟踪提供参考。

参考文献：

[1]齐立峰，惠小平. 基于ML-PDA算法的低可见目标跟踪研究[J].弾箭与制导学报，2014，34(1)；27-32.

QI Li-feng, HUI Xiao-ping. Research on Tracking Low Observable Targets Based on ML-PDA Algorithm[J]. Journal of Projectiles，Rockets，Missiles and Guidance，2014，34(1)；27-32.

[2]席志红，邢代玉，徐锡超. 复杂运动情况下的多目标检测与追踪[J].计算机测量与控制，2014，22(1)：51-53.

XI Zhi-hong,XING Dai-yu,XU Xi-chao.Multi-Targets Detection and Tracking Algorithm Complicated Movements[J]. Computer Measurement & Control，2014，22(1)：51-53.

[3]BLACKMAN S S.Multiple Hypothesis Tracking for Multiple Target Tracking [J]. IEEE Aerospace and Electronic Systems Magazine,2004，19(1):5-18.

[4]LU Zi-yun, LIU Wei.The Compensated HS Optical Flow Estimation Based on Matching Harris Corner Points[C]∥Proceedings of International Conference on Electrical and Control Engineering，Wuhan，China，2010；2279-2280.

[5]LIU Jing, WANG Ling.Improved Algorithm of Gaussian Mixture Model for Background Subtraction [J]. Computer Engineering and Application，2010，46(13)：168-170.

[6]JIN Hua. Application of Fuzzy Neural Network in Multi-maneuvering Target Tracking[C]∥ 2nd International Asia Conference on Informatics in Control， Automation and Robotics(CAR)，2010，1；92-95.

[7]Grzegorz M Wojcik, Wieslaw A Kaminski.Liquid State Machine Built of Hodgkin-Huxley Neurons and Pattern Recognition[J]. Neurocomputing，2004(7):58-60；245-251.

[8]YILMAZ A, JAVED O, SHAH M.Object Tracking: A Survey [J].ACM Computing Surveys，2006，38(4)：1-45.

[9]STAUFFER C, GRIMSON W.Learning Patterns of Activity Using Real-Time Tracking [J]. IEEE Trans on Patterns Analysis and Machine Intelligence，2000，22(8)：747-757.

[10]BAR-SHALOM Y.Multitarget-Multisensor Tracking: Advanced applications Vol.I [M].Artech House Publisher，1992.

[11]张明杰，康宝玉.改进的目标检测与自动跟踪方法研究[J].计算机工程与设计，2014，35(4):1308-1311.

ZHANG Ming-jie,KANG Bao-yu.Modified Object Detection and Automatic Tracking Method[J]. Computer Engineering and Design,2014，35(4)：1308-1311.

[12]李涛，陈磊，周胜增，等.一种多目标自动跟踪的逻辑关联方法[J].声学技术，2013，32(6)；469-472.

LI Tao,CHEN Lei,ZHOU Sheng-zeng，et al.A Logical Association Method in Multi-Target Automatic Tracking[J]. Technical Acoustics，2013，32(6):469-472.

[13]高飞，蒋建国，安红新，等.一种快速运动目标检测方法[J].合肥土业大学学报，2012，35(2)；180-183.

GAO Fei,JIANG Jian-guo，AN Hong-xin,et al.A Fast Detection Algorithm for Moving Object[J].Journal of Hefei University of Technology,2012, 35 (2)：180-183.

[14]万缨，韩毅，卢汉清. 运动目标检测算法的探讨[J].计算机仿真，2006，23(10)：221-226.

WAN Ying ,HAN Yi,LU Han-qing.The Methods for Moving Object Detection[J].Computer Simulation，2006，23 (10)；221-226.

[15]陆文广. 快速目标识别与跟踪方法及实现研究[D].南京：南京理工大学，2005.

LU Wen-guang.Study on Methods and Implementation of Fast Object Automatic Detection and Tracking[D]. Nanjing: Nanjing University of Science and Technology，2005.

An Adaptive Tracking Algorithm of Multimodal Interaction Image

HUANG Jin-tao， YANG Shao-qing， LIU Song-tao

(Dalian Naval Academy,Liaoning Dalian 116018,China)

Abstract:The high precision stability of image target tracking has been a technical difficulty for ship-borne photoelectric tracking. Due to the single target tracking algorithm, simple background requirements, poor stability of the traditional structure, the target tracking cannot be better stabilized during real-time tracking under complex background. Based on an adaptive judgment method of image background complexity, a kind of image tracking algorithm of centroid tracking and correlation tracking adaptive multimodal interaction is presented by using complementary between centroid tracking and correlation tracking algorithm, to improve stability and accuracy of target tracking through model transformation. The simulation results show that the algorithm take a small amount of calculation and strong anti-jamming, high tracking precision.

Key words:shipboard photoelectric;tracing algorithm;mode converter; background complexity;adaptive judgment;image target

中图分类号：TN911.73；TP391.9

文献标志码：A

文章编号：1009-086X(2015)-05-0094-05

doi:10.3969/j.issn.1009-086x.2015.05.016

通信地址：116018大连市中山区解放路667号研究生1队E-mail：1049314987@qq.com

作者简介：黄金涛(1990-)，男，陕西铜川人。硕士生，研究方向为军事图像图形处理与虚拟现实。

*收稿日期：2014-09-29；修回日期：2014-12-29