基于红外和可见光融合的目标跟踪①

王 凯,韦宏利,陈超波,曹 凯

(西安工业大学 电子信息工程学院,西安 710021)

引言

信息融合是对从单个和多信息源获取的数据和信息进行关联和综合,以获得精确的位置和身份估计以及对姿态和威胁及其重要程度进行全面及时评估的信息处理过程.红外图像与可见光图像融合是图像融合技术的一个重要分支.红外图像可以克服“烟雾”和细小颗粒等的遮挡问题,通过感知目标的热源来成像,对热辐射比较敏感,但是图像的边缘比较模糊,细节不清楚,只有亮度信息,没有颜色信息;而可见光对目标的细节比较敏感,通过间接反射日光成像或物体自身发光进行成像,容易受到光照条件和气候变化的影响,对“烟雾”和细小颗粒的穿透力比较差.针对这两者之间的优缺点,本文融合红外图像和可见光图像各自的优点来解决目标遮挡时的跟踪失败的问题,并提高了跟踪精度.

文献[1]利用跟踪前融合策略,利用可见光改进的粒子滤波算法跟踪目标,再用红外跟踪模版匹配,实现了准确定位.文献[2]根据背景模型,引入粒子滤波器对行人进行跟踪,设计了采样模型概率空间,最大化模型后验概率,完成了在户外环境中跟踪目标.文献[8]选取了可见光图像的目标颜色特征和红外图像的目标轮廓特征结合均值漂移算法与水平集曲线演化实现了目标定位,并实现了稳定跟踪.

1 Mean Shift

1.1 Mean Shift算法描述

Mean Shift算法属于核密度估计法,它不需要任何先验知识而完全依靠特征空间中样本点计算其密度函数值.基于Mean Shift的目标跟踪算法通过分别计算目标区域和候选区域内像素的特征值概率得到关于目标模型和候选模型的描述,然后利用相似函数度量初始帧目标模型和当前帧的候选模型的相似性,选择使相似函数最大的候选模型并得到目标模型的Mean Shift向量,这个向量正是目标由初始位置移动的向量.由于Mean Shift算法的收敛性,通过不断的迭代计算Mean Shift向量,算法最终将收敛到目标的真实位置,达到跟踪目标的目.

1.2 模型描述

1.2.1 目标模型

对于彩色图像来说,要先对彩色图像进行灰度化处理,通过人工标注的方法在初始帧确定需要跟踪的目标区域.该区域是以x0为中心,以h为边长的矩形区域.设是表示目标区域的像素的集合,用直方图估计的每一个特征值的概率密度为:

其中,C为归一化系数,x0为搜索窗口中心像素坐标位置,xi为第i个像素坐标;为灰度级数;为核函数,b(xi)是xi处像素的量化值;的作用是判断xi的颜色是否属于特征值u,若属于判断式则为1,若不属于判断式则为0,其中h为搜索窗口的宽带,距离目标中心距离越近的像素对灰度直方图的贡献越大,反之距离中心越远的像素对灰度直方图的贡献越小.

1.2.2 候选模型

在当前帧图像中可能包括目标的区域称为候选区域,对候选区域的描述称为目标候选模型.则候选模型的概率密度为:

其中h为核函数窗口大小,决定着像素权重的分配,其他参数的描述与目标模型相同.

1.3 相似性度量

对于Mean Shift算法来说在搜索窗口内的采样点来说,无论其距离中心点的距离远近,对最终贡献的结果是一样的.然而在现实的跟踪过程中,当目标出现不同程度的遮挡时,因为距离中心点远的采样点容易受到遮挡或背景的影响,所以目标模型中心附近的像素比靠外的更加可靠,这样起到弱化边缘像素而突出中心像素的作用.因此,对于不同的采样点来说,每个采样点的重要性是不相同的,对此,我们引入核函数和权值系数来提高跟踪算法的鲁棒性,并提高跟踪搜索能力.文献[13]用Bhattacharyya进行相似性度量有明显的优势,所以使用Bhattacharyya系数用于描述目标模型和候选模型之间的相似程度.定义如下:

目标模型和候选模型的相似度跟ρ(y)的值成正比.相似函数越大则两个模型越相似,当相似度为1时,此时候选区域与目标模型完全重合.核函数采用Epanechnikov:

1.4 目标定位

目标定位过程就是计算均值向量的过程,并根据该向量来反复迭代更新核函数窗口的中心值,通过求相似函数最大值得到关于Mean Shift向量,这个向量是目标从初始位置向目标中心位置移动的向量,由于Mean Shift算法的收敛性,不断迭代计算该向量,最终会收敛到目标的真实位置,从而达到跟踪的目的.算法的计算步骤如下:

2 加权 Mean Shift红外和可见光特征级融合的目标跟踪

针对红外和可见光的不同特征,选取他们各自不同的特征作为融合的对象,选取可见光的颜色特征,这个特征符合人们的视觉习惯,由RGB三个基本特征构成特征向量.红外图像虽然没有RGB的特征向量,但是红外图像的信噪比比较好,可以克服“烟雾”和细小颗粒等的遮挡问题,对热辐射比较敏感,只有亮度信息,没有颜色信息,所以选取红外图像的灰度信息作为特征.

2.1 权值的计算

相似函数是衡量每一步迭代得到的候选目标和目标模型的相似程度,它贯穿了整个Mean Shift的计算以及融合的过程,反映了可见光图像和红外图像提供有用信息的多少,因此在计算可见光和红外各自权值的大小时仍然用相似函数来计算.为了描述方便分别将可见光和红外的Bhattacharyya的系数记为在实际跟踪过程中,可见光和红外的前后两帧的相似度可能出现以下三种情况:(1)可见光和红外的前后两帧的相识度都比较小;(2)一个前后两帧相似度大,另一个相似度较小;(3)两个相似度都比较大.的取值范围是0–1,根据经验分析,的大部分取值都在0.8以上,基于的取值特性,现在设计如下函数,用来计算的权值大小.

然后对上式归一化处理,得到红外图像和可见光图像的权值:

根据红外和可见光的权值可以得到最终的结果为:

yvis和yir分别是可见光和红外的候选目标位置.

3 实验结果

可见光图像跟踪、红外图像跟踪以及基于可见光图像和红外图像融合的目标跟踪的效果图分别如图1、图2和图3所示.跟踪的目标图像如图4和图5所示.

图1 可见光的跟踪效果图

4 实验结果分析

为了验证文中提出的基于红外和可见光加权融合的Mean Shift算法在目标跟踪时对当目标存在遮挡时的有效性和稳健性.分别对同一跟踪目标进行了三种不同的跟踪,分别是基于Mean Shift可见光的目标跟踪;基于 Mean Shift的红外目标跟踪;基于红外和可见光加权融合的Mean Shift算法的目标跟踪.

基于Mean Shift可见光图像的目标跟踪中,在选取的前两帧图像中,从图1可以看出,在未进入遮挡时有良好的跟踪,当目标进入遮挡区域以后,也就是图1的第二幅图片中,跟踪的结果与真实位置明显存在偏差,目标搜索框存在明显的偏移,跟踪效果不明显.

图2 红外图像的跟踪效果图

图3 基于可见光图像和红外图像融合的目标跟踪效果图

图4 可见光目标图像

图5 红外目标图像

基于Mean Shift红外的目标跟踪,对于红外图像来说,由于红外图像只有亮度信息,没有颜色信息,能够提供的可用信息量比较少,整体的跟踪效果不好.在图2的第三幅图片中,目标搜索框也存在偏差,跟踪效果较差.分析可以看出,在目标没有进入遮挡区域时,可见光的跟踪效果明显好于红外图像的跟踪效果,但当进入遮挡区域以后,红外图像的跟踪效果变的好于可见光的跟踪效果.

基于加权Mean Shift可见光与红外融合的目标跟踪,图3是可见光与红外特征融合后的目标跟踪效果,在没有进入遮挡区域时可见光图像的权值很大,起到决定性作用;在进入遮挡区域后红外图像的权值变大,起决定性作用,使得有用信息的作用达到最大发挥,从而达到优化跟踪的目的,从而使目标在部分遮挡时也能达到良好的跟踪的目的.本文选用的就是这种方法,并且提高了目标跟踪的精度.

5 实验的硬件平台

实验平台由光电伺服跟踪转台(如图6)和电脑一台.光电转台是利用光电探测器件作为敏感元件,利用机电控制保持探测器视轴稳定,从而实现跟踪装置对目标的捕获、跟踪、瞄准和稳定功能.在国外,光电伺服跟踪系统被广泛应用于地基、车载、舰载、机载、弹载以及各种航天设备中.主要由光学系统、红外探测器、跟踪器和图像控制器等部分组成.红外激光照明器,与摄像机同轴变焦,人物辨别距离 200 米,发现距离1000米,可见光日夜型彩转黑高解析摄像机,有效像素 (H×V)752×582,水平清晰度 540 TVL,PAL 信号制式,信噪比≥57 dB,DC 自动光圈驱动.

图6 光电伺服跟踪转台

6 结论

红外成像是根据吸收目标出发的不可见的热辐射来实现的;可见光成像是根据吸收目标反射的可见光波段来实现.本文结合红外图像和可见光图像的不同特征进行融合,在其他可变因素(如光照强度、烟雾干扰、背景干扰等)一定的情况下,首先对红外图像进行 Mean Shift跟踪,其次对可见光图像进行 Mean Shift跟踪,再根据Bhattacharyya系数和权值计算函数来判定红外和可见光的不同权重系数,使得有用的信息得到最大的利用,最终得到融合后的跟踪结果.实验证明,本文中的基于红外可见光的特征融合的目标跟踪,提高了单一跟踪的准确度,解决了当目标存在部分遮挡时目标跟踪丢失的问题.

1 Xiao G,Yun X,Wu JM.A new tracking approach for visible and infrared sequences based on tracking-before-fusion.International Journal of Dynamics and Control,2016,4(1):40–51.[doi:10.1007/s40435-014-0115-4]

2 Leykin A,Hammoud R.Robust multi-pedestrian tracking in thermal-visible surveillance videos.Conference on Computer Vision and Pattern Recognition Workshop.New York,NY,USA.2006.136.

3 朱胜利.Mean Shift及相关算法在视频跟踪中的研究[博士学位论文].杭州:浙江大学,2006.

4 Shen XW,Sui XB,Pan KC,et al.Adaptive pedestrian tracking via patch-based features and spatial-temporal similarity measurement. Pattern Recognition,2016,(53):163–173.[doi:10.1016/j.patcog.2015.11.017]

5 丁业兵.基于Mean Shift的视频目标跟踪算法研究[硕士学位论文].合肥:安徽大学,2016.

6 Führ G,Jung CR.Combining patch matching and detection for robust pedestrian tracking in monocular calibrated cameras.Pattern Recognition Letters,2014,(39):11 –20.[doi:10.1016/j.patrec.2013.08.031]

7 Apatean A,Rogozan A,Bensrhair A.Visible-infrared fusion schemes for road obstacle classification. Transportation Research Part C:Emerging Technologies,2013,(35):180–192.[doi:10.1016/j.trc.2013.07.003]

8 赵高鹏,薄煜明,尹明锋.一种红外和可见光双通道视频目标跟踪方法.电子与信息学报,2012,34(3):529–534.

9 刘晴,唐林波,赵保军,等.改进的 Mean Shift目标跟踪算法.系统工程与电子技术,2013,35(6):1318–1323.[doi:10.3969/j.issn.1001-506X.2013.06.32]

10 顾幸方,茅耀斌,李秋洁.基于 Mean Shift的视觉目标跟踪算法综述.计算机科学,2012,39(12):16–24.[doi:10.3969/j.issn.1002-137X.2012.12.005]

11 胡威.基于Mean Shift的视频人体目标跟踪算法研究[硕士学位论文].上海:上海交通大学,2013.

12 封子军,张晓玲,张慧杰.运动目标检测的红外与可见光图像融合方法.计算机工程与应用,2012,48(7):9–11.

13 李良福,冯祖仁,陈卫东,等.基于 Bhattacharyya 系数的由粗到精的核匹配搜索方法.模式识别与人工智能,2008,21(4):514–519.