红外图像中水炮射流轨迹的提取

王冬月，姚 敏，赵 敏



红外图像中水炮射流轨迹的提取

王冬月，姚 敏，赵 敏

（南京航空航天大学，江苏 南京 211106）

夜间低照度背景下，为了实现水炮对海面可疑目标的精确驱离，需要对水炮发射的射流轨迹进行提取。通过红外热像仪返回的红外图像中，射流轨迹、空气、海水、驱离目标等灰度信息互相干扰，因此在提取射流轨迹曲线前需要对图像进行基于频域分析的预处理滤波。对灰度图像逐行扫描并标记高频中心点，连接标记的相邻点成独立曲线，可以得到较为平滑的射流轨迹曲线与干扰曲线集合。对得到的曲线集合进行基于位置、方位角、轨迹长度、凹凸性、灰度等特征的筛选，确定满足射流轨迹特征的曲线并分析轨迹落点。实验结果表明，使用该图像处理方法提取射流轨迹的实时性和准确性都较为理想。

红外图像；射流轨迹；频域滤波；曲线提取；特征筛选

0 引言

红外图像的应用越来越广，在夜晚低照度的情况下，通过热像仪实现对目标的观测是一种常用的方法，所得到的图像是红外图像。本文研究的是利用计算机视觉技术实现可在夜晚执行任务的海监船水炮自动控制系统中红外图像处理的问题。

目前水炮的控制系统方案可分为两种：开环控制、闭环控制。开环控制即在知道水炮与目标的相对位置时，通过先验数据，计算水炮射流轨迹的参数，控制水炮打击目标的功能，文献[1-2]讨论了通过计算水炮射流的方法定位落点的问题。然而水炮的射流轨迹与现场环境密切相关，实际环境中的风力、气压都对水炮射流有很大的影响，仅用模型计算会存在或大或小的误差。针对这种情况有学者提出了闭环控制方案，文献[3]即是在开环控制的基础上结合计算机视觉，确定射流轨迹并计算射流轨迹与打击目标的偏差，进一步调整水炮参数构成闭环控制系统，这种闭环控制的射流落点准确性显然优于开环控制。但是在夜晚低照度的情况下，得到的是红外图像，其处理方法和普通光的图像有很大的不同。本文研究了在夜晚低照度的情况下，为了实现通过计算机视觉的方式控制防暴水炮准确驱离可疑目标，红外图像中水道及落点的提取问题。

由于海水经过高压水泵抽取并通过水炮以高压方式喷出，因此射流和周围的空气之间存在微小的温差，这种温差可以被热像仪捕捉到，并与图像背景之间存在较低的灰度差，留下淡淡的痕迹。闭环控制问题的关键是如何快速提取昏暗背景中微弱水道轨迹的问题。

文献[4]讨论了基于Hough变换提取水道的方法，但该方法对于水道的图像有很多限制因而影响实际使用效果。本文提出了一种针对弱对比度、不受射流轨迹形态限制的红外图像处理方法。用于夜间监控的热像仪返回的红外图像中射流轨迹的提取。该算法可以将肉眼都难以分辨的微弱轨迹，从红外图像中提取出来，算法的速度快，提取的准确性高。该算法对于红外图像中弱特征对象的提取也有很好的借鉴作用。

1 射流轨迹边缘特征增强

因为温差比较小，红外图像中射流轨迹灰度特征不明显，与背景之间差别很小。又由于红外图像灰度值与气温直接相关，目标发出的热量对射流轨迹灰度的影响也很大，因此不能用对灰度图像进行定值二值化处理的方式得到轨迹。文献[5]讨论了红外测温成像的问题。但通过分析可以发现射流轨迹与背景之间的灰度值存在梯度变化，可以通过基于频域分析的图像处理方法增强射流轨迹的边缘梯度特征，再进一步提取射流轨迹的中心曲线。

1.1 傅里叶变换

射流轨迹的灰度值与可疑目标的温度、气温、水温等密切相关，灰度变化范围比较大，而射流轨迹与背景之间的灰度虽然差别很小，但它们之间梯度的变化有一定规律，比较而言，背景的变化总体上更为平滑一点。射流轨迹的图像细节边缘灰度变化剧烈的点梯度大，也就是频率高；图像背景平坦区灰度变化缓慢的点梯度小，也就是频率低；提取轨迹可以将图像的高频部分凸出，将低频部分减弱。为此提出对红外图像首先采用傅里叶变换进行处理，找出图像频率高或者频率低的区域。

图1(a)所示为无干扰情况下，通过热像仪得到的存在射流轨迹的灰度图，图中射流轨迹与背景相比灰度值之差比较小，但仍存在一定梯度；图1(b)为图1(a)的频谱图，以图形的中心为坐标原点，从图像中心向外频率增高。图1整体比较平滑，主要的频域成分是低频，因此频谱图高频部分面积较小，集中在中心区域。

图1 无干扰灰度图及频谱图

图2(a)为存在高频目标干扰的情况下通过热像仪得到的灰度图，图2(b)为对应的频谱图。图2相比图1存在高亮的干扰，频谱成分更复杂，因此频谱图中存在亮点的区域更大，向四周蔓延。

图2 高频干扰灰度图及频谱图

图1、图2的频谱成分主要集中在反映背景特点的低频部分，而所关心的射流轨迹集中在高频中，这为滤波器的设计提供了很好的处理条件。

1.2 滤波器

射流轨迹的特征增强过程是保留图像的高频部分，削弱图像的低频部分。根据这个要求，可以设计高通滤波器来实现这个目标。文献[6]讨论了抑制红外背景的方法。

高通滤波器设计的目标是很好地保留射流轨迹的梯度特征，这在算法上可以设计高通滤波器与灰度图像的频域进行卷积计算，恢复出图像的高频成分，并剔除低频成分。一维高通滤波器的频谱图如3所示，当频谱频率大于起始频率时幅度为1，小于起始频率时幅度为0。

图3 一维高通滤波器频谱图

根据一维高通滤波器频谱特征，设计适用于二维图像的滤波器，以频谱图像中心作为坐标原点，高通滤波器的频域(,)特性可以设计为：

式中：F为高通滤波器的起始频率，表示为：

式中：(,)表示点(,)处的梯度，由于红外图像中射流轨迹与背景之间对比度较低，一般在3～8之间，多次试验表明(,)为5比较合适，对应的频率为0.02。

图4为高通滤波器的频谱图，图像边界为边框，与图像本身无关。频谱图中的低频区域为黑色，对应幅度为0；高频部分为白色，对应幅度为1。在卷积过程中，图像频谱的低频部分被剔除。使用该高频滤波器对两种不同背景下的射流轨迹灰度图像进行处理，如图5为图1(a)通过高通滤波器处理后的图像，如图6为图2(a)通过高通滤波器处理后的图像，由于处理后的图像整体对比度都降低了，通过二值化处理后发现在无高频干扰的情况下如图5(b)，通过高通滤波器得到的图像可以很好地保留射流轨迹边缘特征，而从图6(b)中可以发现由于存在高频干扰，弱特征的射流轨迹几乎被湮没。

式(4)给出的高通滤波器不足之处是，当存在高频干扰的情况下射流轨迹的特征可能被湮没，这是因为对一款设计好的高通滤波器有确定的起始频率，适应性差。为了克服这个不足，考虑到红外图像背景变换可能带来的影响，本文提出了一种改进型的“高斯型高通滤波器”，不仅对阈值的选取宽容度增加，能够保留水道的轮廓，而且有很好地背景去除能力。

图4 二维高通滤波器频谱图

图5 高通滤波后灰度图及二值图

图6 高通滤波后灰度图及二值图

高斯滤波器是一种线性平滑滤波器，适用于消除高斯噪声。针对高通滤波器的频谱特点设计出一维高斯型高通滤波器如图7所示。

图7 高斯型高通频谱

根据一维模型设计适用于二维图像的高斯型高通滤波器。以图像中心为坐标原点，高斯型高通滤波器的频域(,)表示为：

根据热像仪图像的特点，取高斯型高通滤波器水平向上的标准差为10，垂直方向上的标准差为3。图8为高斯型高通滤波器的频谱图。

图9、图10为高斯型高通滤波器处理后的滤波图以及对应的二值图。图9对比图5，尽管出现了更多的干扰，但仍能保留完整的射流轨迹；图10对比图6可以发现只有通过高斯型高通滤波器处理后的图像能保留射流轨迹特征。通过对比两组图，可以看到高斯型高通滤波器滤波后的图像虽然会留下更多的干扰点，但是能够很好地保留射流轨迹的梯度特征，针对高对比度图1和低对比度图2环境下的图像，使用高斯型高通滤波器都能完整地保留射流轨迹的特征，宽容度好。因此，选择高斯型高通滤波器滤波效果更佳。

图8 高斯型高通滤波器频谱图

图10 高斯型高通滤波后的灰度图及二值图

2 射流轨迹梯度提取法

文献[4]给出的射流轨迹的提取方式是将经过二值化留下的射流轨迹边缘点进行直线拟合，或者直接进行边缘检测，但是由于射流轨迹具有一定的宽度，存在两侧边缘，得到的直线与实际轨迹存在较大偏差。针对这类具有一定宽度的曲线，本文提出一种新的提取方法。

对灰度图像进行逐行分析，找到该行灰度的极大值点，并判断该点是否符合水道的高亮要求，若符合则标记该点。对水道，最佳情况是标记的水道的中心点为亮度极大值点，也就是要求水道高亮区域的亮度分布呈高斯分布形态，但是分析实际情况时出现干扰，我们截取图11(a)中包含水道的一行进行分析，用白色直线选中的点(60,79)到点(60,98)，这20个点的灰度值分别为：(100, 101, 108, 109, 111, 111, 108, 109, 110, 111, 111, 110, 109, 107, 106, 106, 104, 102, 102, 102)，发现在水道的某一行存在两个亮度极值点(60, 83)，(60, 88)，用黑色标记，在选取水道中心点的时候两个极值点互相影响。

图11 截取灰度图及折线分布图

若对图像进行高斯型高通滤波器滤波，使得图像的高亮部分灰度值呈高斯分布，同样截取图12(a)中的一行点(60,79)到点(60,98)，这20个点的灰度值分别为：(102, 103, 105, 107, 108, 109, 109, 109, 109, 110, 109, 109, 108, 108, 107, 106, 104, 103, 102, 102)这20个点灰度值呈高斯分布，只存在一个极值点为(60, 88)，该点位于水道轨迹的正中心，提取较准确。

图12 截取灰度图及折线分布图

对每行提取的极大值点不能直接认为是高亮点，需要给定阈值条件，首先设定极大值点的坐标为(,high)，灰度值为high，再寻找该极大值点之前的极小值点坐标为(,low)，灰度值为low，得到关于极大值点的一个梯度参数定义为：

值越大，其边缘越锋利，特征越明显，同时还需要设定判定该参数的阈值范围high和low，若极大值点的大于high，则该点满足要求，标记该点；若极大值的小于low，则认为该点不满足要求，不标记该点；若极值点的处在high和low之间，则需要考虑该点的上一行或下一行周围是否有点被标记，若有点被标记则也标记该点，否则不标记。设定合适的high和low对提取射流轨迹的影响很大，定义射流轨迹的宽度为，高斯滤波的程度参数为，梯度范围[lowhigh]，则可设置high和low分别为：

如果选取为10，为2.5，[low,high]为[8，3]时，得到high为0.278，low为0.104。

高斯型高通滤波器的另外一个优点是能够很好地减少灰度图像中的噪点，大幅度减少标记点的数量。如图13、图14所示，经过高斯型高通滤波器滤波后的图像中高频噪点明显减少。

图13 滤波后的灰度图及二值图

图14 滤波后的灰度图及二值图

通过上述方法得到一系列标记的点后，将相邻的点进行相连，得到曲线集合，此时的曲线有可能因为提取点的缺失而分段，需要将同一条线上的不同段拟合起来。如图15所示为两段曲线，为绝对距离，/为相对距离，为绝对偏差，为绝对偏差角度。当、/、、均满足一定条件时，可以认为这两条曲线属于同一条直线，连接它们为一条线，即要求：

式中：Dmax为最大绝对距离，设为10pixel；DLmax为最大相对距离，设为0.5；Smax为最大绝对偏差，设为5pixel；Amax为最大偏差角，设为0.5rad。

经过处理后得到的结果如图16和图17所示。图16射流曲线已经清晰地提取出来了，但是图像中还有一些非射流曲线存在，这种情况在图17中尤为明显，这是由于背景的干扰所致，但是射流曲线和非射流曲线有明显的差异，因此可以通过曲线的特征排除非射流曲线，并确定射流轨迹。

图16 无干扰提取曲线

图17 强干扰提取曲线

3 射流轨迹特征分析

文献[7-8]针对射流轨迹的成像特征进行了讨论，通过对射流的红外图像分析可知，在红外图像中射流轨迹的特征主要有以下几个：

1）位置：使用热像仪跟踪目标时，始终保持目标在热像仪的正中间，因此射流轨迹的落点靠近图像正中心；热像仪返回的图像边缘由于灰度突变，在提取曲线时产生干扰曲线。结合以上两点，首先剔除图像边缘处的曲线。

2）方位角：根据水炮与目标的相对位置坐标，我们可以通过计算方法模拟出一条理想水道，在水道的理想射流轨迹模型中，如图18所示，可以将射流轨迹的与水平面的夹角定义为方位角。

图18 理想射流轨迹模型

实际情况下的现场环境复杂，受到风速、空气等影响，射流轨迹与理想模型有较大差别，因此不能仅仅根据方位角精确提取轨迹。根据理想方位角设置角度范围[l,h]，需要注意的是若水炮位于摄像头的右侧，则方位角在[0, 90°]之间，满足：

若水炮位于摄像头的左侧，则方位角在[90°,180°]之间，满足：

为给定的角度阈值范围，通常设为20°，转换为弧度单位。

3）轨迹长度：射流轨迹的长度与方位角、图像大小等密切相关。理想情况下，射流轨迹落点与图像正中心的目标重合，理想方位角为，图像宽度为，高度为，单位为pixel。如图15所示，可以近似计算出射流轨迹的长度为：

考虑实际处理中边缘的截取、落点水花误差、方位角误差等因素，选取长度范围在[0.7×,1.2×]之间。

4）凹凸性：实际的射流轨迹不是一条直线，如图19所示呈抛物线型。根据射流轨迹的凸性，认为越靠近落点的轨迹斜率越大。对于一条射流轨迹曲线，height方向上的坐标越大越靠近落点，斜率越大。

图19 射流轨迹示范图

5）灰度：通过红外热像仪提取得到的图像灰度值与目标的温度直接相关，一般情况下我们通过在水炮中混入冷凝水的方式，提高射流轨迹的温度，因此在图像中射流轨迹是高亮部分，如果通过其他方式降低射流轨迹的温度，导致射流轨迹在图像中是暗的部分，那么在提取射流轨迹时，逐行计算中心点时，选取极小值点。根据射流轨迹的灰度值，具体情况选择不同的处理方式。

根据以上特征提取射流轨迹效果如图20、图21所示，可以提取出准确的水道射流轨迹。

图20 无干扰射流轨迹

图21 强干扰射流轨迹

4 实验结果

硬件处理器型号Intel(R) Core(TM) i5-3470 CPU，使用热像仪型号FLIR TAU2 336，分辨率为336×256。由于低对比度环境中的射流轨迹更不易于提取，使用该热像仪采集600帧包含目标及射流轨迹的低对比度灰度图像进行实验，如图22所示。经测试用该算法得到轨迹及落点的处理速度约为60ms/帧，在600帧图像中有487帧图像检测成功，准确率约为81%。其中影响准确率的主要原因是射流落点处引起的水花面积过大形成一块亮度高于背景的区域，其边缘曲线干扰射流轨迹。针对该问题，拟采用如下修正方法，即射流轨迹的位置特征，射流轨迹不仅位于靠近中心的地方，同时由于射流从高处向低处打击到位于中心的目标，那么射流轨迹的主要部分应位于图像的上半部分。期望通过该方法可以进一步提高准确率。

图22 低对比度灰度图像

5 结论

本文针对红外背景下，弱对比度特征的射流轨迹提取问题，提出一种不受射流轨迹形态限制的曲线提取方法。根据射流轨迹边缘的高频特征，提出基于傅里叶变换的频谱滤波方法，减少背景低频特征，增强射流轨迹高频特征。对图像进行逐行扫描，分析灰度极值点，并标记符合特征的点，连接标记点成曲线。在得到的曲线集合中存在所需射流轨迹，根据射流轨迹的位置、方位角、长度、凹凸性、灰度等特征，找出射流轨迹曲线。经测试使用该算法得到轨迹及落点的处理速度约为60ms/帧，可以很好地满足控制系统的实时性要求。准确率约为81%，并可进一步提高。

[1] 琚学振. 消防炮射流关键技术研究[D]. 哈尔滨: 哈尔滨工业大学, 2012.

JU Xuezhen. Research into key technology of fire cannon jet flow[D]. Harbin: Harbin Institute of Technology, 2012.

[2] 刘正勤. 自动消防水炮性能参数对射流轨迹的影响[J]. 消防科学与技术, 2015(11): 1471-1474.

LIU Zhengqin. The influence of automatic fire water cannon performance parameters on the jet trajectory [J]., 2015(11): 1471-1474.

[3] 苏浩, 赵敏. 消防水炮射流轨迹图像分布逐级筛选方法[J]. 机械制造与自动化, 2015(1): 217-219.

SU Hao, ZHAO Min. The screening solution of water gun jet trajectory image[J]., 2015(1): 217-219..

[4] 房广江. 热像仪图像的海上目标跟踪、水道识别研究[D]. 南京: 南京航空航天大学, 2015.

FANG Guangjiang. Research on target tracking and jet recognize of infrared image[D]. Nanjing:Nanjing university of aeronautics and astronautics , 2015.

[5] 张波, 吕事桂. 基于双响应波段工作的红外热像仪测温原理与误差分析[J]. 宇航计测技术, 2010, 30(6): 11-15.

ZHANG Bo, LV Shigui. Principle and error analysis of infrared thermal imager based on dual response band work[J]., 2010, 30(6): 11-15.

[6] 彭嘉雄, 周文琳. 红外背景抑制与小目标分割检测[J]. 电子学报, 1999, 27(12): 47-51.

PENG Jiaxiong, ZHOU Wenlin. Background suppression and small target segmentation detection of infrared image[J]., 1999, 27(12): 47-51.

[7] LONG M, HU G L, LI Z. Analysis of water jet trajectory of auto-targeting fire sprinkler system in interior large space[J]., 2012, 490-495: 171-175.

[8] Trettel B, Ezekoye O A. Theoretical range and trajectory of a water jet[C]// ASME 2015 International Mechanical Engineering Congress and Exposition. 2015:V07AT09A007.

Extracting the Trajectory of Jet Based on Infrared Imagery

WANG Dongyue，YAO Min，ZHAO Min

（Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China）

In order to achieve high precision when expelling suspicious target on the sea at low-light night, it’s needed to extract the trajectory of jet launched from a water gun. In an infrared image which is obtained from the thermal infrared imager, the gray level of jet trajectory, air and sea water will interfere with each other, which results in an image pre-treated filter based on frequency domain before extracting the jet trajectory needed. The gray scale image is scanned line by line and high frequency center points are marked, then smooth curve set including jet trajectory curve and interference is got by linking a marked point to its neighbors. The curves are filtered based on features like position, azimuth, length of trajectory, convexity and concave, and gray level, the curve is selected which confirms with the features of jet trajectory, and the drop point of the selected curve is analyzed. The experiments show comparatively ideal real time and accuracy when the jet trajectory is extracted by using the above methods.

infrared image，jet trajectory，frequency filter，curve detection，feature-based filtering

TP391

A

1001-8891(2017)12-1120-07

2016-06-12；

2016-09-06.

王冬月，（1990-），女，硕士，主要研究方向：图像处理；E-mail：15189800901@163.com。