消防炮射流轨迹图像分步逐级筛选方法

苏浩，赵敏

(南京航空航天大学，江苏 南京 210016)



消防炮射流轨迹图像分步逐级筛选方法

苏浩，赵敏

(南京航空航天大学，江苏 南京 210016)

摘要：在基于逐点搜索的计算机视觉智能消防系统的消防炮射流轨迹的识别中，围绕多起点搜索技术搜索射流轨迹后筛选最优轨迹的问题，鉴于已有筛选方法寻优能力和抗干扰能力不强，提出了一种分步骤的逐级筛选寻优方法。采取分步处理方式，第一步进行基础筛选，采取两种不同来源的信息并行进行基础筛选，保留优质的轨迹的同时，去除完全不符合射流特征或偏差很大的轨迹；第二步根据粒子群算法的适应度寻优思想和射流轨迹本身的特点，设置适应度值计算规则，再根据适应度值的计算结果，进行筛选择优，使整个筛选方法有较强的可靠性和对环境有较好的适应性，并已在visual studio平台下实现，为智能消防系统的轨迹搜索提供了一种较为理想的筛选方案。

关键词：消防炮射流轨迹；分步筛选；并行筛选；基础筛选；目标提取；适应度值

0引言

随着社会的发展和对消防安全的需求，智能消防炮系统有着越来越广泛的应用前景，尤其在大型建筑和野外环境中，如机场、体育场、加油站等。同时，消防炮也逐渐应用于防爆系统和海监船的自卫武器系统中。

智能消防系统[1，2]是利用计算机视觉技术，运用图像处理的方法，感知、判断和引导消防射流执行消防任务的一套闭环系统。以摄像头为探测器，运用双波段技术探测火焰的同时，利用图像技术，在连续帧的图像中识别消防炮射流轨迹并引导其灭火。

在目前识别消防炮射流轨迹的图像技术中，图像分割和单向搜索[3]是两种已有的方法。其中，单向搜索法是在设置起点后，遵循射流灰度最大的原则，按照某一大的方向，在一定宽度范围内进行逐点的搜索，并逐渐向前推进，从而得到射流轨迹。该方法原理简单、速度较快。然而因为实际情况中背景是复杂多变的，背景和射流本身的灰度也变化不一，在这种情况下单一起点搜索的成功率并不高。为了提高实际背景中射流搜索的成功率，有研究者提出多起点的搜索方法，即一次性多设置几个起点，同时进行多条轨迹的搜索。起点的设置中，有如郭晓博[4]提出的斜线法和九宫格法等。

多起点的搜索会得到相应的多条轨迹，有的轨迹与射流一致，有的误差较大，还有的完全偏离或不符合射流特征。多起点搜索带来的问题是，如何在搜索得到的多条轨迹中去判断和筛选最优的轨迹，作为目标射流的轨迹。本文阐述了一种分步筛选方法，按照先淘汰后择优的思路进行最佳射流的筛选。第一步筛选中，在吸纳长度、角度判据[4]的同时，增加了灰度筛选，引入并行筛选机制，在去除非射流轨迹的同时，很大程度保留优质轨迹；第二步筛选中，根据粒子群算法[5]的寻优思路，建立适应度评价函数，筛选最优轨迹。这种分步搜索的方法在满足系统正常运行的同时，大大提高了射流轨迹筛选的正确率和稳定性。

1射流轨迹筛选方法的现状与对比

在多起点的射流轨迹搜索算法中，对搜索后的轨迹进行筛选择优是一个必要的过程。已提出的有长度、角度判据[4]方法，即根据上一帧或者前几帧的搜索结果，对当前的射流轨迹做一个范围预测，并根据轨迹本身的特点做一个基本判断。这个范围预测主要集中在长度、角度上，充分考虑相邻图帧射流之间的关联性以及射流的一些轨迹特点。将此帧轨迹的长度、角度等信息，和上一帧的长度、角度进行比较，并设定一个范围，将过长或过短的和角度变化过大的射流都剔除掉。另外在角度判断中，加入了射流的凹凸性判断。先对射流使用长度判据，再使用角度判据，将较好地射流保存下来，作为此帧的射流轨迹。

长度角度判据方法，思路明确，筛选速度较快，但对前一帧的搜索结果有较强依赖性，即前一帧的搜索出错很容易影响到下一帧图像射流轨迹的筛选和判断，而且在筛选过后，并未明确提出对剩余的轨迹进行寻优处理的办法。

本文提出的分步筛选方法，第一步进行基础筛选，采用并行机制，借鉴于运动目标分割法获取的轨迹区域信息及自身运行过程中对最优轨迹的记录信息，分别进行基础的筛选，在去除完全不符合射流特征的轨迹同时，又可以很大程度的保证优质的轨迹进入第二步筛选；第二步进行择优筛选，根据粒子群算法的适应度思路进行寻优，按照拟定的方法，计算剩余轨迹的适应度值，以适应度值来判别最优轨迹。这种方法较好地解决了长度、角度判据方法关于稳定性和寻优的问题。

2方法的实现

分步筛选法的实现依赖于两步筛选的配合，第一步负责进行一个初级的筛选，在去除那些明显不符合射流特征轨迹的同时，尽量保留多的符合基本特征的轨迹进入到第二步筛选。第二步筛选负责在初级筛选过后进行择优选择，按照拟定方法计算剩余轨迹的适应度值，并从中选取最优的轨迹。

2.1　第一步筛选

1) 筛选机制

第一步筛选采取并行筛选策略，利用两组信息对水道轨迹分别进行筛选，将筛选结果取并集，传送给第二步筛选。第一组信息为从运动分割法中获得的信息；第二组信息是从前几帧图像的最佳轨迹的记录中获得的信息。如图1所示，为筛选的并行机制示意图。

图1　筛选并行机制示意图

因为射流的长度(len)、角度(angle)、灰度(grey)为射流轨迹的最基本、最易捕捉到的信息特征，并且用此来区分搜索后的射流轨迹和非射流轨迹直观且方便。故在基础筛选中，将此三个特征设置为基础筛选的主要参数，并设立如式(1)、式(2)、式(3)的三个集合范围，当轨迹逐一满足这三个集合时，则认为通过基础筛选进入第二步筛选。式中α、n、β、γ根据不同的信息来源和实验实际情况赋给不同的值。

(1)

(2)

G=[(1-χ)grey,(1+χ)grey]

(3)

2) 筛选信息来源

第一组信息是从运动分割法[6]中获得。运动分割法是以背景减除法为基础，在去除背景后得到运动的前景区域，并从中提取有效的区域，同时不断地更新背景[7]。在进行图像处理(阈值分割、二值化、滤波[8]等)后，根据射流轨迹的抛物线和流线型特征，对图像中的连通区域进行筛选提取，提取符合射流几何特征的区域集。

根据射流目标区域中有效区域的最小外接矩形对角线的斜率和长度得到区域长度信息len1，角度信息angle1。同时，提取相应位置上的原始图帧上的灰度值grey1，作为相应的筛选参数。因为射流目标区域往往为水道轨迹的一部分，所以通常在此部分将n设置为大于1的数。又因为起点设置时会保存相应的区域信息，所以在筛选时会根据不同起点的轨迹对应相应区域的参数信息。

第二组信息是在系统运行的过程中，提取最优轨迹信息作为筛选信息，同时，根据上一帧图像的最优轨迹动态更新筛选信息。在更新时，以增加1/2变动为原则。如式(4)、式(5)、式(6)中，len_pre、angle_pre、grey_pre为上一帧图像轨迹的长度、角度和平均灰度信息，len2、angle2、grey2为更新后的筛选参数信息。

len2=len2+(len2-len_pre)/2

(4)

angle2=angle2+(angle2-angle_pre)/2

(5)

grey2=grey2+(grey2-grey_pre)/2

(6)

根据更新后的长度len2、角度angle2、灰度grey2，并利用式(1)、式(2)、式(3)的几何范围来确定筛选轨迹特征的范围。因为此时的信息与运动分割法中获得的信息略有不同，所以在设置L、A、G时，会采用不同的α、n、β、γ参数。

这样的筛选机制保证了即使有一些干扰扰乱了其中之一，也能正常进行筛选，大大增强了系统的抗干扰能力。

2.2　第二步筛选

第二步筛选是根据粒子群算法的适应度思想，计算每条轨迹的适应度值，根据适应度值的大小，选取最优轨迹。

设置适应度的计算方法时，因为理想的射流轨迹，是呈抛物线特性，且平滑的一段曲线，同时，在一般环境下射流轨迹区域都是最亮的一块区域，所以轨迹越光滑，长度越长，平均灰度越大，则默认离理想轨迹越接近。

取长度len、灰度grey和拟合误差m作为参数进行计算。射流长度len是指射流的起点与末点的直线距离，灰度grey是值整条轨迹点所在像素点的平均轨迹。拟合误差m是将寻找到的射流轨迹点利用最小二乘法[9]进行多次拟合，将拟合的曲线与原曲线逐点作差后的平均值。

设置f为适应度值，为计算方便和防止数据过大而造成的计算溢出，取f最小值为最优的结果。则m与f成正比，len和grey与f成反比。因实验中得知，适应度值受轨迹长度len影响较大，故将其做开方处理，构造公式如式(7)。

(7)

在实验过程中，随机记录了多条最优轨迹的适应度值，分别为1.875、1.955、1.592、1.424、0.717、0.623。因平均值均为较小，故为了保障筛选的正确性，设置一个最大适应度fmax，当f大于fmax时，默认为筛选失败。

3实验结果

该方法已经在PC机上，在Visual Studio2010环境下编程实现，实验处理连续的300帧的现场图片，设置fmax=5，“基础筛选1”中，α=0.1、n=5、β=0.4、γ=0.3，“基础筛选2”中，α=0.6、n=1、β=0.6、γ=0.3，表1为实验数据。

表1　实验结果数据

其中有269帧被识别，31帧未能识别。在识别的269帧中，筛选成功的射流轨迹图片有239帧。 筛选成功率为89.7%。

图2　原始的射流轨迹图

图3　筛选前的轨迹图

图4　第一步筛选后的轨迹图

图5　第二步筛选后的轨迹图

图2是原始的射流轨迹图，图3、图4、图5是筛选的过程图，图中曲线为搜索到的轨迹，轨迹末端的小方框为搜索到的落点区域。图3是筛选前的轨迹图，如图所示单向搜索法搜索出来的轨迹有的与射流一致，有的则会偏离的厉害，甚至完全不符合射流特征；图4是第一步筛选后的轨迹图，在基础筛选后去除了那些基本不符合射流特征的轨迹，保留下了较优质的轨迹；图5是第二步筛选后的图，根据计算所得的适应度值，选择适应度最小的轨迹作为筛选后的最优轨迹。

4结语

本文的分步筛选方法，按照先淘汰后择优的思路，逐级地进行的进行筛选，经试验证明有较强的稳定性和抗干扰能力，有很强的使用价值。

参考文献:

[1] 闵永林，陈晓阳，胡传平. 大空间智能消防水炮灭火系统研究[D]. 上海：上海大学. 2010(5):1-10.

[2] Niu, Liang; Huang, Jing-Jing. Large space intelligent fire protection water cannon system[J]. Liaoning Gongcheng Jishu Daxue Xuebao. 2007,11:131-133.

[3] 陈静，赵敏. 基于图像处理的消防水炮自动定位研究[D]. 南京:南京航空航天大学，2010:54-57.

[4] 郭晓博. 智能消防系统中图像处理和消防炮控制软件设计[D]. 南京：南京航空航天大学，2011:22-30.

[5] 刘衍民，赵庆祯. 粒子群算法的研究及应用[D]. 山东：山东师范大学，2011(5)：15-24.

[6] 朱明旱，罗大庸，曹倩霞. 帧间差分与背景差分相融合的运动目标检测算法[J]. 计算机测量与控制，2005，13(3).

[7] 李小俊,姚驰甫. 背景重建的运动目标分割与改进算法.计算机工程与应用，2009,45(27).

[8] 章毓晋. 图像处理和分析教程[M]. 北京：人民邮电出版社，2009：286-306.

[9] 张亚文，卢书成，张岐. 静态最小二乘法及其应用[J]. 新课程研究(职业教育)，2007(4)：74-75.

Stepwise Selection Method of Fire-fighting Cannon Trajectory

SU Hao，ZHAO Min

(Nanjing university of aeronautics and astronautics, Nanjing 210016, China)

Abstract:In the intelligent fire control computer vision system, based on the cannon jet path recognition by point search method, around the problem of screening the optimal trajectory, this paper proposes a stepwise filtering optimization method. It this method, stepwise processing is adopted, first of all the basis is selected, that two different sources of information are taken out and filtered to remove the trajectory which is completely not in conformity with the jet characteristics or great deviation, and at the same time to retain one with high quality, then according to the fitness of particle swarm optimization (PSO) , and the characteristics of the jet path, the rule for calculating the fitness value is set up to choose the best trajectory. The whole screening method has strong reliability and good adaptability. It is applied to the visual studio platform and an ideal filter scheme is provided for intelligent fire control system of trajectory search.

Keywords:jet path of fire-fighting cannon; stepwise filtering; parallel screening strategy; foundation screening; target extraction; fitness value

收稿日期：2013-10-16

中图分类号：TP391

文献标志码：B

文章编号：1671-5276(2015)01-0217-03

作者简介：苏浩(1990-)，男，湖北荆门人，硕士研究生，研究方向：图像处理。

基金项目：航空科学基金(2012ZC52042)