采用图像特征的激光干扰跟踪效果评估
2014-02-05王挺峰
钱 方,孙 涛,郭 劲*,王挺峰,王 岩
(1.中国科学院 长春光学精密机械与物理研究所激光与物质相互作用国家重点实验室,吉林 长春 130033;2.中国科学院大学,北京 100049)
1 引 言
激光主动成像系统被广泛应用于目标识别跟踪和区域监视领域,激光干扰可以使其上的光电成像器件饱和或造成损伤。光电成像器件通常为跟踪系统提供目标图像,当激光干扰出现后,跟踪视场内不仅有目标也会出现激光光斑,此时跟踪算法很容易将光斑和目标一同提取出来,跟踪精度将会下降,甚至会导致跟踪算法失效,目标丢失。因此,从图像特征改变角度分析跟踪算法失效原因并建立评估模型,进而评价激光干扰效果具有重要的研究意义和实用价值。
目前对于激光干扰对跟踪性能影响的评估方法包括根据干扰后系统跟踪误差是否超出正常跟踪精度的三倍来判定干扰是否有效[1],根据信噪比与跟踪误差的关系来判断干扰效果[2],根据干扰激光能否对跟踪波门区域造成影响来判断干扰效果[3]。以上方法主要是从跟踪精度下降程度来评价激光干扰效果,而没有考虑跟踪图像识别的准确性。此外还有一种基于图像尺度的评价方法,该方法根据图像小波能量与平方和根的大小来评估干扰效果[4-5],但是该方法没有考虑亮度和对比度改变对跟踪图像的影响,也没有给出归一化的评价指标。
从20世纪70年代开始,美、德等国都开展了激光对光电探测器干扰与损伤机理的研究工作。其中法德实验室提出了根据饱和像素数目、信噪比和对比度变化来衡量干扰效果的方法[6-10],该方法计算简单、快捷,但是当光斑位置变化时,该评价方法出现偏差。这是因为当光斑远离目标时,虽然干扰出现但对目标识别的影响不大。
在目标识别跟踪过程中,目标区域的图像质量同样影响识别准确性,因此,本文提出了一种基于图像特征的评价激光干扰对跟踪性能影响的方法。首先通过目标模板确定原始图像和干扰图像的目标区域,然后比较两幅图像目标区域的亮度、对比度和边缘清晰度相似性,得到归一化的评价结果,最后在实验中采集了激光干扰功率不同和光斑位置不同的干扰图像,并利用形心跟踪和相关跟踪两种方法对设定目标进行跟踪,通过实验对评估模型的性能进行了比较分析。
2 激光干扰对跟踪算法的影响
(a) 原始图像(a) Original image
(b) 相关跟踪(b) Correlative tracking
常用的跟踪算法包括对比度跟踪和相关跟踪。相关跟踪是通过寻找实时图像中与目标模板相关度最高的子矩阵,并以此为跟踪点实现跟踪的一种方法。对比度跟踪是利用目标与背景的对比度来识别和提取目标信号实现跟踪的一种方法,可分为形心跟踪、边缘跟踪和峰值跟踪等。激光干扰对跟踪性能的影响主要是使跟踪算法无法准确区分目标和激光光斑。对于相关跟踪,激光干扰会导致图像目标区域的跟踪点误差增加以及相关度峰值下降,甚至丢失目标。对于形心跟踪算法,激光干扰会导致光斑和目标一起参与形心等统计量的计算,从而使计算的形心位置偏离基准位置,影响跟踪精度。
图1的3幅图显示了激光干扰出现前后不同跟踪算法所呈现的效果。图1(a)是没有激光干扰时的原始图像,通过与目标模板匹配后确定目标区域,图中方框表示目标区域,十字线表示形心位置,其坐标为(599,460)。当激光照射在目标景物时,在采集的图像上形成一个白色的光斑,干扰图像目标区域与目标模板的相关性下降,相关跟踪算法无法获取可靠定位点,与原始图像确定的目标位置不一致,目标丢失,算法失效,如图1(b)。由于干扰图像对比度下降,这将影响图像分割的阈值,导致形心位置计算出现偏差,跟踪误差增大,干扰图像中目标形心坐标为(443,514),与原始图像计算的形心位置出现偏差,如图1(c)。
3 基于图像尺度的跟踪效果评价方法
干扰激光对激光主动照明系统跟踪性能的影响主要表现为光斑对其获取图像信息的掩盖,使图像中感兴趣的边缘等细节信息受损,难以提取和识别目标。随着激光能量的持续增加,光斑面积逐渐增大,图像中的饱和区域面积增大,由于光斑周围亮度增加,导致人眼或跟踪器件的关注区域转移到光斑附近,又因为图像的对比度下降,使得目标模板和干扰图像的相关程度下降,最终使跟踪算法无法准确识别和定位目标。本文提出一种边缘相似度(edge-similarity, ESIM)跟踪性能评价算法,该算法从灰度值的改变角度分析干扰图像的亮度和对比度失真对目标跟踪的影响程度。同时考虑到边缘变化会影响到目标的识别,而且大部分跟踪算法对于目标的提取都是以边缘提取为前提的,因此边缘细节的改变程度对目标的准确提取尤为重要[11-17]。综合以上分析,定义的边缘相似度评价算法包含3个部分:亮度比较函数、对比度比较函数和边缘清晰度比较函数。
亮度比较函数l(x,y)为:
(1)
式中:x、y为干扰前后的图像信号,Lx、Ly分别为原始图像和干扰图像的亮度值,计算方法为公式(2),如果认为x为无失真图像,则通过比较y相对于x的质量改变情况,可以判断出y的失真程度。T1为很小的正数,防止分母为零或接近零造成的不稳定。公式(1)中,图像亮度(即人眼视觉系统感觉到的亮度)L(Lx、Ly下标表示不同的图像)定义为:
L(i,j)=logp(i,j),
(2)
其中:p(i,j)为单像素的灰度值。
对比度比较函数c(x,y)为:
(3)
式中:Cx、Cy分别为原始图像和干扰图像的对比度。T2为很小的正数,防止分母为零或接近零造成的不稳定。由于人眼视觉系统响应主要是依赖于背景亮度的局部变化,而不是绝对亮度值,所以这里定义对比度C来评价单像素点的灰度值相对于平均灰度值的变化情况,公式(3)中C(Cx、Cy下标表示不同的图像)定义为:
(4)
式中:p(i,j)为单像素的灰度值,μ[p(i,j)]为平均灰度值,计算方法见公式(5)。
(5)
其中:M为图像总像素数。
边缘清晰度比较函数d(x,y)为:
(6)
式中:Gx、Gy分别为原始图像和干扰图像的梯度幅值。T3为很小的正数,防止分母为零或接近零造成的不稳定。使用Sobel算子对图像求偏导数,得到水平和垂直方向的梯度分量为G(i,j)(h)和G(i,j)(v),公式(6)中梯度幅值G(Gx、Gy下标表示不同的图像)定义为:
(7)
G不为零时,说明对应点处存在灰度变化,为图像边缘,G值越大,该点处具有越清晰的边缘信息,可以用梯度幅值表征图像的边缘清晰度。
所以,结合公式(1)、(3)和(6)中的3个比较函数,定义边缘相似度(ESIM)图像评价算法为:
ESIM(x,y)=[l(x,y)]α[c(x,y)]β[d(x,y)]γ,
(8)
其中:参数α>0,β>0,γ>0,主要用来调整3个部分的相对重要性,一般取α=β=γ=1。ESIM由亮度比较函数l(x,y)、对比度比较函数c(x,y)和边缘清晰度比较函数d(x,y)组成,分别体现了当图像受到激光干扰后,图像整体上亮度和对比度的改变以及边缘细节的失真程度。由于获取图像的质量在很大程度上决定了跟踪算法能否准确提取目标,因此,ESIM可用来评估干扰前后跟踪性能的变化情况及激光干扰效果,ESIM越大,说明激光干扰对跟踪效果的影响越小;反之,ESIM越大,说明图像质量越差,激光干扰对跟踪性能的影响越大。图2为ESIM算法的流程图。
图2 ESIM算法流程图Fig.2 Flow chart of ESIM algorithm
4 实验结果与分析
图3 激光主动成像识别系统Fig.3 Laser active imaging and recognition system
为了验证本文算法评价跟踪性能的有效性,实验中采集了激光干扰功率不同和光斑位置不同的图像。实验搭建了一套激光主动成像识别跟踪系统:使用波长为532 nm的激光二极管泵浦固体激光器发射光束照射远处的目标,并使用Falcon HG 1M120CMOS相机作为接收装置采集图像,像元尺寸为7.4 μm,帧频为30帧/s,图像大小为1 024×1 024。软件编程环境为Pentium Dual-Core CPU、2.60 GHz主频、内存2G、matlab2008a。激光主动成像系统如图3所示。
图4是不同激光功率、不同光斑位置的激光干扰图像,由于干扰功率不同,对图像的干扰程度也不同。随着激光干扰功率的增强,光斑变大并逐渐进入波门,造成形心位置的改变。图(a)是目标模板图,图(b)是原始图像,图中方框表示波门,“+”表示形心所在位置,文中取图(b)中的形心位置为基准形心位置。图(c)~(g)是激光干扰图像,激光干扰功率逐渐增强。对于形心跟踪,可以计算出每幅图像中目标的形心位置。对于相关跟踪,仍采用图4中的干扰图像,计算出每幅图像的最佳匹配点位置和相关峰值。同时,运用边缘相似度(ESIM)算法对目标区域图像的质量进行评估,结果如表1所示。
(a) 目标模板 (b) 0 mW (c) 200 mW(a) Target image (b) 0 mW (c) 200 mW
(d) 320 mW (e) 420 mW (d) 320 mW (e) 420 mW
(f) 530 mW (g) 620 mW(f) 530 mW (g) 620 mW图4 激光干扰图像Fig.4 Laser dazzling images
对原始图像和干扰图像均采用形心跟踪和相关跟踪算法对目标进行跟踪,对于形心跟踪主要分析干扰后的目标形心位置的变化情况,对于相关跟踪主要研究相关峰值及匹配点位置的变化情况。从表1结果可以看出,对激光干扰功率不同的图像,随着激光干扰功率的增加,干扰效果逐渐明显,干扰图像的形心位置与基准位置的偏差逐渐增大,干扰图像中最佳匹配点位置出现偏差,相关峰值逐渐降低。在目标区域,ESIM算法的评价值逐渐减小,说明目标区域的图像质量逐渐下降,跟踪准确率下降,因此该算法能够反映激光干扰对跟踪性能的影响。
表1 激光干扰对比度跟踪效果评估
图5为表1中干扰图像形心和匹配点位置与基准位置的差异曲线,从图中可以看出,随着光斑逐渐增大并进入波门,干扰图像形心和匹配点位置与基准位置之间的距离差异逐渐增大。这主要是由于光斑改变了目标周围区域的亮度和对比度,导致在提取目标的过程中所选阈值出现偏差,而且当光斑足够大时,光斑会遮挡目标信息,此时光斑与目标同时参与了形心等统计量的计算。
图5 不同功率距离差异曲线Fig.5 Distance error for different power
图6为表1中相关峰值和ESIM评价值曲线图,随着光斑逐渐增大并进入波门,干扰图像与目标模板的相关峰值逐渐下降,当它下降到一定程度,探测器将无法识别目标,造成目标丢失。在目标跟踪过程中,目标区域的图像质量同样影响识别与跟踪准确性。从图6中可以看出,ESIM曲线逐渐下降,说明图像质量逐渐降低,干扰对图像的识别跟踪精度的影响逐渐增大。
图6 不同功率评价值曲线Fig.6 Different values for different power
5 结 论
对于激光主动成像系统来说,获取目标图像的质量决定了其后续程序的跟踪效果。本文从图像特征角度出发,对激光干扰主动成像系统跟踪性能的效果进行了评估。实验中采集了不同激光干扰功率和不同光斑位置的干扰图像,分析了出现干扰前后,图像中目标形心位置、匹配点位置和相关峰值的变化情况,并通过ESIM算法对目标区域的图像质量给出了归一化的评价值。实验结果表明在相关跟踪模式下,激光干扰对其跟踪性能的影响主要表现为相关度峰值出现的位置偏离基准位置,相关度峰值随激光干扰功率增大而减小。在形心跟踪模式下,随着激光干扰功率的增强,激光光斑逐渐增大,在视场中覆盖的范围变大,导致目标形心位置偏离基准位置。本文提出的基于边缘相似度的(ESIM)评价方法比较了原始图像和干扰图像目标区域的亮度、对比度和边缘清晰度信息变化情况,随着激光干扰功率的增强,ESIM方法的评价值降低,说明该方法能够真实地反映激光干扰对激光主动成像系统跟踪性能的影响。
[1] 高卫.对光电成像系统干扰效果的评估方法[J].光电工程,2006, 32:461-463.
Gao W. Evaluation method for jamming effectiveness on electro-optical search and tracking systems [J].Opto-electronicEngineering,2006, 32:461-463.(in Chinese)
[2] 王建路,刘雅奇,邓宝,等.对预警机跟踪系统的干扰效果分析[J].海军工程大学学报,2012, 24(6):100-103.
Wang J L, Liu Y Q, Deng B,etal.Analysis of jamming effectiveness early warning aircraft tracking system [J].JournalofNavalUniversityofEngineering,2012, 24(6):100-103. (in Chinese)
[3] 王世勇,付有余,郭劲,等.脉冲激光对CCD图像跟踪系统干扰效果评估[J].激光与红外,2002, 32(1):20-22.
Wang S Y, Fu Y Y, Guo J,etal.Effect evaluation of array CCD detector tracking system irradiated by pulse laser [J].Laser&Infrared,2002, 32(1):20-22. (in Chinese)
[4] 徐银,邵立,孙晓泉.激光干扰对CCD跟踪性能影响的图像尺度分析[J].红外与激光工程,2012, 4(5):1180-1185.
Xu Y, Shao L, Sun X Q. Image metric analysis of laser jamming effect on CCD tracking performance [J].InfraredandLaserEngineering, 2012, 4(5):1180-1185.(in Chinese)
[5] 吴云龙,孙晓泉,徐银.基于压缩感知的激光干扰图像尺度分析[J].发光学报,2013, 34(8):1096-1101.
Wu Y L, Sun X Q , Xu Y. Image metric analysis of laser jamming effect based on compressed sensing theory [J].ChineseJournalofLuminance,2013, 34(8):1096-1101. (in Chinese)
[6] Durécu A, Vasseur O, Bourdon P. Assessment of laser-dazzling effects on TV-cameras by means of pattern recognition algorithms [C]//ProceedingsofSPIE:TechnologiesforOpticalCountermeasure, Washington: SPIE,2007, 6738:1-9.
[7] Durécu A, Vasseur O, Bourdon P. Quantitative assessment of laser-dazzling effects on a CCD-camera through pattern-recognition-algorithms performance measurements [C].ProceedingsofSPIE:InternationalSocietyforOpticsandPhotonics, Washington:SPIE, 2009, 7483:1-10.
[8] Hueber N, Vincent D, Morin A,etal.Analysis and quantification of laser-dazzling effects on IR focal plane arrays [C]//ProceedingsofSPIE:InfraredTechnologyandApplications, Washington: SPIE,2010, 7660:1-11.
[9] Schleijpen M A, Dimmeler A, Eberle B,etal.Laser dazzling of focal plane array cameras [C]//ProceedingsofSPIE:InternationalSocietyforOpticsandPhotonics, Washington: SPIE,2007, 6738.
[10] Shen H B, Shen X J, Zhou B,etal.Experimental of 532 nm pulsed laser irradiating CCD [J].HighPowerLaserandParticleBeams,2009,21(10):1449-1454.
[11] Wang Z, Bovik A C,Sheikh H R,etal.Image quality assessment: From error visibility to structural similarity [J].IEEETransactiononImageProcessing,2004, 13(4):600-612.
[12] Guan Haochen, Chun Lingyang, Lai Manpo,etal.Edge-based structural similarity for image quality assessment [C]//Acoustic,SpeechandSignalProcessing, New York: IEEE Press,2006:933-936.
[13] 唐永鹤,卢焕章.基于灰度差分不变量的快速局部特征描述算法[J].光学精密工程,2012,20 (2):447-454.
Tang Y H,Lu H Z.Fast local feature description algorithm based on grayvalue differential invariants [J].Opt.PrecisionEng,2012, 20 (2):447-454. (in Chinese)
[14] 米曾真,谢志江,陈涛,等.重轨图像增强与边缘提取的关键技术[J].光学精密工程,2012, 20 (9): 1646-1649.
Mi Z Z, Xie Z J, Chen T,etal.Key technology of image enhancement and edge extraction for heavy rail [J].Opt.PrecisionEng,2012, 20 (9):1646-1649. (in Chinese)
[15] 韩希珍, 赵建.结合偏微分方程增强图像纹理及对比度[J].光学精密工程,2012, 20 (6):1383-1386.
Han X Z, Zhao J. Enhancement of image texture and contrast combined with partial differential equation [J].Opt.PrecisionEng,2012, 20 (6):1383-1386. (in Chinese)
[16] 钱方,郭劲,孙涛 等.基于小波加权的激光干扰效果评估[J].液晶与显示,2013,28 (5):781-787.
Qian F, Guo J, Sun T,etal.Assessment of laser-dazzling effects based on weighted wavelet transforms [J].ChineseJournalofLiquidCrystalsandDisplays, 2013,28 (5):781-787. (in Chinese)
[17] Yuan L H, Fu L, Yang Y,etal.Analysis of texture feature extracted by gray level co-occurrence matrix [J].JournalofComputerApplications,2009, 29(4):1018-1021.