利用旅行者图的火焰视频动态纹理分析与识别

赵亚琴

（南京林业大学 机械电子工程学院，江苏 南京210037）

0 引 言

目前已有很多学者对火焰视频识别进行深入研究，主要是利用静态特征和动态特征进行火焰识别。静态特征主要有 颜 色［1］、纹 理［2］、几 何 形 状［3］和 能 量［4］等 特 征；动 态特征分析主要是根据火焰的蔓延性和闪烁性，如陈磊等［5］利用小波变换提取火焰的时空能量信息；Anton等［6］研究火焰视频的5个闪烁性特征。上述火焰识别算法通常都需要先检测疑似火焰区域，如果疑似火焰区域检测不准确，就直接影响到特征值的计算和火焰识别的性能。由于受光照、动态变化背景对象等干扰的影响，疑似火焰区域的检测准确率并不总是令人满意。火焰是属于非刚性物体，很适合应用动态纹理来分析。Li等［7］提出一种基于光流法的火焰动态纹理检测方法，研究建筑物内的火灾视频识别；邵婧等［8］运用线性动力系统 （LDS）模型分析火焰的动态纹理特征，但由于LDS模型采用的是简单的线性维数约减策略，使它在分析复杂的、或场景变化较大的火灾监控视频时显得捉襟见肘，因为这些复杂的图像流体通常表现出非线性。本文提出一种基于旅行者行为图论的火灾视频动态纹理分析方法，运用旅行者行为图在3个正交平面定义了火焰视频动态纹理函数，并由此推导了动态纹理特征提取的公式，进而建立火焰动态纹理特征向量，并详细讨论了公式中参数的选择方案和原则。

1 火焰视频旅行者行为图的建立

Andre等［9］提出一种基于确定地部分自回避行为图的图像静态纹理分析方法，定义了像素点的统计位置 （表示图像中接点的连通性）和分散测度 （表示相互连接的2接点的连通关系），生成纹理特征向量。本文以火焰图像的像素点为参观景点，给出旅行者行为图建立的规则如下［9，10］：

（1）对于一个像素点Vi（旅游景点），它有8领域像素点 （相邻的8个旅游景点），从点Vi出发，按照距离最近（或最远）的规则 （原则一旦确定，对所有像素都适用）决定下一个要参观的相邻像素点；

（2）设p 为旅行者记忆的最近参观的像素点数目，则旅行者不再返回到这前p 个像素点；

（3）如果有几个像素点同时满足要求，顺时针方向的像素优先，如图1所示。

图1 8邻域点参观顺序

根据以上规则，以像素点为旅行者行为图的景点，两个像素点Vi和Vj之间的路径作为行为图的边，用eij来表示，就可以得到旅行者行为图。如果以规定以最近距离为原则，且p＝2，用图2来解释旅行者行为图的建立过程［11］：

（1）出发点的像素值为 “52”，根据规则 （1），第二个参观像素点为 “60”；

（2）接下来有两个像素点的灰度值相同，同时满足距离最小，根据规则 （3），选择第3个参观点为右侧 “68”；

（3）与参观点 “68”距离最近的8－近邻点为 “60”，但是由于p ＝2，根据规则 （2），不能再返回到已经参观过的前1个点 “60”，因此，第4个参观的像素点为 “100”；

（4）以后依次为 “121”，“80”，“40”，“31”，最后又回到 “68”。

2 火焰动态纹理特征向量的生成

2.1 纹理分布函数

图2 （b）中，旅行者行为图的边连接两个接点，对每个像素点，都进行旅行者行为搜索，路径开始是单向的，称为transient路径，用实线箭头的表示，transient路径边的数目Si＝2。从第3个点开始，经过几个点后，又回到第3个点，然后一直循环下去，称为cycle路径，用虚线箭头表示，cycle路径边的数目Ci＝6。则旅行者行为图的边反映了图像纹理，因此，定义纹理分布函数为［11］

图2 旅行者行为

2.2 火焰动态纹理特征提取

火焰在燃烧过程中，不仅表现为颜色、纹理、形状等静态特征，而且还表现出复杂的动态特征，如蔓延性和闪烁性，因此，应该从视频大粒度角度进行分析。本文将火焰视频划分为16×16×t的时空视频块，考虑到火焰的闪烁性特征，设定t＝Frate，Frate表示一个帧率。利用式 （1），定义时空视频块在3个正交平面XY、XT 和YT 上的纹理分布函数 分 别 为（Si，Ci），（Si，Ci）和（Si，Ci），正交平面XY的纹理函数（Si，Ci）描述了火焰的空间特征，XT和YT上的纹理分布函数（Si，Ci）和（Si，Ci）描述了火焰的动态特征，图3给出一个时空火焰视频块的3个正交平面，及其在3个正交平面的纹理分布图。

下面介绍利用动态纹理函数定义动态纹理特征向量的方法，以正交平面XY 为例，如果S＋C 是定值，则式 （1）就变为统计满足Si＋Ci＝S＋C 的像素点的数目，则对于不同的S＋C 值，根据式 （1），定义动态纹理概率函数

式中：N——图像中的像素点数目，p 和rule 定义与式（1）相同，δSi，S、δCi，C——克罗内克δ函数。因此，我们可以得到纹理特征向 量TPXY＝｛（0），（1），…，（n）｝，又由第1 节的旅行规则 （2）知，旅行者不能返回到最近参观过的前p 个点，因此，cycle路径边的数目满足Ci≥p＋1，对于某一个p 值，纹理特征向量可写为

图3 时空视频块的3个正交平面及纹理分布

同理，可得到XT 和YT 平面上的纹理特征向量，一个火焰时空视频块的动态纹理特征向量为TP＝ ｛TPXY，TPXT，TPYT｝。图4所示为在正交平面XT 上，当p＝1，rule为最大距离时，常见的疑似火焰视频样本的TPXTp，rule与m 的关系曲线图，由图4知，火焰视频的TPXTp，rule与类火焰颜色对象的视频有明显区别，说明本文提取的动态纹理特征的可行性。

2.3 火焰动态纹理特征向量参数的取值

式 （3）涉及3个参数，分别是p、rule和m。rule为决定下一个旅游景点的规则，距离最小原则侧重于强调像素间的相似性，而距离最大原则更侧重像素间的相异性，本文取距离最大原则；p 为旅行者记忆的最近参观的像素点数目，对于特殊情况p＝0，旅行者好像失忆一样，连当前观察的景点都不记得，如果根据距离最近原则，只能参观当前景点，对于分析纹理没有太大的意义，因此，在本文中，令p≥1，本文取p＝1，2，…，5。m 的取值不易太大，由于纹理分析主要是分析火焰图像的局部特性，过大的m 不仅对识别性能无益，而且会增加计算量，因此，本文取m＝4。在第4节的实验中，对p 和rule 的不同取值进行实验对比。由于p＝1，2，…，5且m＝4，根据式 （3）知，TPXY的维数是20维，因此，火焰视频块的动态纹理特征向量TP 的维数d＝60维。

2.4 计算复杂度

图4 疑似火焰视频的TPXTp，rule（S＋C）与m 的关系曲线

基于旅行者行为图的XY 平面的纹理特征计算复杂度为O（N（S＋C）），其中N 为图像帧的像素数目，S 和C 分别为transient路径和cycle路径的数目，在本文中，S＋C的最大值为（p＋m）＝9，本文的动态纹理分析运用了3个正交平面，因此，计算复杂度为O（3 N（S＋C）），本文提出的火焰动态特征提取算法计算复杂度低。

3 火焰视频识别

提出检测火焰像素的RGB模型，火焰的颜色特征满足3个规则，本文利用前2个规则：规则1：R＞G≥B 规则2：R＞TR。其中，TR为R 通道的阈值，S 指像素的饱和度，当R＝TR时，饱和度阈值TS＝（255－R）×SR／TR。规则1和规则2说明火焰的颜色以红色分量为主，而且与其它对象相比，火焰的R 值更大。因为火灾监控视频中的图像帧数目是海量的，而火焰又有明显的颜色特征，因此，为降低计算量，本文运用规则1和规则2，粗略地检测疑似火焰视频，去除大量的无关视频。然后对标记为疑似火焰的视频片段进行基于旅行者行为图的火焰识别。

由于火焰视频搜集困难，样本较少，且特征向量的维数较大，因此，本文选择SVM 作为分类器，本文提出的火焰视频识别算法如图5所示。

图5 基于动态纹理分析的火焰视频识别算法

4 实验结果与分析

火焰检测实验数据一部分是自己在室外拍着的火焰视频和干扰视频，另一部分来自于开放的火焰视频数据库网站http：／／imagelab.ing.unimore.it／visor，图 像 的 大 小 为320×240，共有26个不同的场景视频，包含14 个正例视频和12个反例视频，随机选择其中的14 个视频 （7 个正例，7个反例）作为训练样本，剩余的12个视频 （7 个正例，5个反例）作为测试视频。

4.1 参数p 和rule 的选择

为选择合适的参数p 和rule，因为时空视频块的大小为16×16×t，在一个视频块的某个正交平面中，p 的最大值只能为16，所以分别取p＝1，2，…，16，rule分别为最小距离、最大距离、最大和最小距离结合。例如当选择p＝1，rule为最小距离时，则动态纹理特征向量为12维；当选择p＝1，rule为最大和最小距离结合时，则动态纹理特征向量为24维，图6显示了当选择不同的参数p 和rule时，本文提出算法的准确率曲线。从图6 可以看出，随着参数p 的增加，算法的识别准确率逐渐下降，当p＝6时，算法的最高识别准确率仅为47.1%。参数rule最小距离的识别准确率最低，与单一采用最大距离相比，最大和最小距离结合的识别率稍高些。因此，本文选择p＝1，2，3，4，5，考虑到减少计算量，参数rule选择最大距离。

图6 参数p和rule取不同值时的火焰视频识别准确率

从图6也可以看出，参数p 取单一固定值，算法的火焰识别准确率并不是很高，因此，本文将不同的p 值生成的特征向量结合，结合方式分别为p＝（1，2），p＝（1，2，3），p＝（1，2，3，4），p＝（1，2，3，4，5），实验结果如图7所示。从图7知，p＝（1，2，3，4，5）时火焰识别的正确识别率最高和误报率最低，因此，本文选择p＝（1，2，3，4，5）生成60维的动态纹理特征向量。

4.2 与其它算法的比较

图7 不同的p 值组合的识别结果

现有文献能较好描述火灾火焰视频的动态特征的方法主要有和闪烁特征［6］和光流法［7］等方法，文献 ［8］采用LDS模型分析火焰纹理特征，因此，为验证本文提出的基于旅行者图的火焰动态纹理特征提取方法的有效性，与文献［6－8］的动态特征提取方法进行比较，对于文献 ［6］，选择性能最好的3个闪烁特征。4种算法的火焰识别准确率和误报率实验结果分别见表1和表2。本文算法的火焰平均正确识别率为96.9%，平均误报率为3.1%，优于其它3种算法，而且对于火焰区域较小的视频Video6，如图8（a）所示，也达到了88.1%的识别率，提高了9.8%，对于与火焰静态、动态特征都很相似的干扰视频Video10，误报率仅为5.7%，降低了5.3%，图8所示为视频Video6和Video10的一帧。

表1 4种方法的火焰正例视频正确识别率比较

表2 4种算法的反例视频误报率

图8 Video6和Video10的视频帧

由2.4节的分析知，本文提出的动态纹理分析算法的计算复杂度很低，为进一步验证算法的运算效率，与上述4种动态特征提取方法的计算时间做了比较，结果如图9所示，图9的横坐标表示12个测试视频片段，纵坐标为火焰识别的运行时间，从图9可以看出，本文的算法对于帧数目多的视频如Video1和Video8，运算时间明显低于其余3种算法，因此，本文的算法适合于应用在视频数据巨大的火灾视频监控系统。

图9 4种算法的计算时间比较

5 结束语

本文运用旅行者行为图的原理，提出一种基于图论的火焰纹理分布分析方法，并从视频片段大粒度角度出发，在3个正交平面推导出火焰视频动态纹理特征向量提取公式，并详述了参数的选择方案，动态特征提取不依赖于疑似火焰区域的检测。实验结果表明，对于具有挑战性的火焰视频，本文提出的动态纹理特征提取方法在提高火焰识别准确率的同时降低火灾误报率，而且本文的方法计算复杂度较低，因此，适合应用于火灾视频监控现场。

［1］Truong Tung Xuan，Kim Jong Myon.Fire flame detection in video sequences using multi－stage pattern recognition techniques［J］.Engineering Applications of Artificial Intelligence，2012，25 （7）：1365－1372.

［2］Zhao Jianhui，Zhang Zhong，Han Shizhong，et al.SVM based forest fire detection using static and dynamic features［J］.Computer Science and Information Systems，2011，8（3）：821－841.

［3］Kalpana Y，Padmaa M.An efficient edge detection algorithm for flame and fire image processing［C］／／International Conference on Communication and Signal Processing，2014：696－700.

［4］CHEN Lei，HUANG Jifeng.Flame detection method based on video［J］.Computer Engineering and Design，2014，35 （9）：669－672 （in Chinese）.［陈磊，黄继风.基于视频的火焰检测方法 ［J］.计算机工程与设计，2014，35 （9）：669－672.］

［5］Panagiotis Barmpoutis，Kosmas Dimitropoulos，Nikos Grammalidis.Real time video fire detection using spatio－temporal consistency energy［C］／／10th IEEE International Conference on Advanced Video and Signal Based Surveillance，2013：365－370.

［6］Anton Stadler，Tjark Windisch，Klaus Diepold.Comparison of intensity flickering features for video based flame detection algorithms［J］.Fire Safety Journal，2014，66：1－7.

［7］Li Xiaobai，Hua Ying，Xia Ning.Fire detecting technology based on dynamic textures ［J］.Procedia Engineering，2013，52：186－195.

［8］SHAO Jing，WANG Guanxiang，GUO Wei.Fire detection based on video dynamic texture ［J］.Journal of Image and Graphics，2013，18 （6）：647－653 （in Chinese）. ［邵婧，王冠香，郭蔚.基于视频动态纹理的火灾检测 ［J］.中国图象图形学报，2013，18 （6）：647－653.］

［9］Andre R Backes，Alexandre S Martinez，Odemir M Bruno.Texture analysis using graphs generated by deterministic partially self－avoiding walks［J］.Pattern Recognition，2011，44：1684－1689.

［10］Wesley Nunes Gonalves，Odemir Martinez Bruno.Dynamic texture analysis and segmentation using deterministic partially self－avoiding walks ［J］.Expert Systems with Applications，2013，40 （11）：4283－4300.

［11］Wesley Nunes Gonalves，Odemir Martinez Bruno.Dynamic texture segmentation based on deterministic partially self－avoiding walks［J］.Computer Vision and Image Understanding，2013，117 （9）：1163－1174.