火灾视频图像定位中特征点提取和匹配

赵丹阳，王慧琴，胡 燕，殷 颖

西安建筑科技大学 信息与控制工程学院，西安 710055

1 引言

火灾的发生具有突发性和很强破坏性，严重威胁人类的生命财产安全和自然环境。火灾视频作为图像型火灾探测的基础，与传统的感温感烟火灾探测灭火设备相比，重点突出了火灾的实时性和便易性。在视频监控的基础上增加火灾的探测与灭火装备功能可以有效地节省开支，并在火灾的初级阶段发现火灾，做到有效地减少资源浪费和火灾的早期防范控制。在早期的火灾探测中火灾定位技术是火灾扑救的一个重要环节。火灾发生时，准确地找到火灾空间位置，驱动高压水炮进行自动灭火，具有重要的研究意义和应用价值。

定位技术主要研究的是在背景环境中获取目标位置问题。利用计算机采集两幅或两幅以上的图像中，选取空间位置一致性的点，利用机器视觉的相关原理，恢复空间位置的三维信息。特征点的提取和匹配是计算机定位技术的核心[1-2]。通常的方法依靠角点信息。Moravec角点检测实现了立体视觉的匹配，在此基础上，Harris对Moravec算子进行了改进。Harry算子具有旋转不变性和缩放不变性等特点，可广泛应用于各种图像匹配和融合算法中。1999年，D.G.Lowe提出了 SIFT（Scale Invariant Feature Transform）算法，2004年完善总结。该算法不仅具有旋转、尺度缩放、视角、光照不变性，对运动物体，视角变化、仿射变换、噪声也保持一定程度的稳定性[3]，广泛应用于机器定位、三维目标识别中[4]。

SIFT算法的一个重要特性就是多量性，即使少数的几个物体也能产生大量的SIFT特征向量，这个特性对于三维信息重建非常有利。但它用的128维向量表示每个特征点，使处理的数据量过于冗长，存在局限性[5]。尤其在视频监控的火灾定位探测中，过长的时间计算量，将会使监控的实时性下降。火灾发生的突发性和高扩散性，使高压水炮灭火产生偏离和误差，失去了实时监控灭火的意义。本文以SIFT算法为基础，针对火灾图像的特性，对SIFT算法进行改进，在匹配数量大致相同的情况下，提高了处理的实时性，保持了算法的准确性以及SIFT算法的旋转、尺度、光照不变性。

2 SIFT算法原理

尺度空间理论最早出现于计算机视觉领域，其目的是模拟图像数据的多尺度特征。一幅二维图像，在不同尺度下的尺度空间可由图像与高斯核卷积得到：

式（1）中，I(x,y)代表图像的像素位置。σ为尺度空间因子，其值代表图像被平滑的程度。值越小，平滑程度越小，相应的尺度也越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。L代表了图像的尺度空间。式（2）为二维高斯函数的定义。

3 SIFT特征点提取与匹配

SIFT算法的主要包括以下四个步骤：

（1）尺度空间生成

为了有效地在尺度空间检测到稳定的关键点，Lowe提出了高斯差分空间（Different Of Gaussian，DOG）利用不同尺度的高斯差分核与图像卷积生成[6]。

（2）尺度空间极值点检测

为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，如图1所示。中间的检测点和它同尺度的8个相邻点和相邻尺度对应的9×2个点，共26个点比较，以确保尺度空间和二维图像空间都检测到极值点。

图1 DOG尺度空间极值点检测

（3）关键点方向分配

利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

其中L所用的尺度为每个关键点各自所在的尺度，m(x,y)表示像素(x,y)处梯度的模值，θ(x,y)表示像素(x,y)处梯度的方向。

实际计算时，在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0°～360°，其中每10°一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。图2是采用7个柱时使用梯度直方图为关键点确定主方向的示例。

图2 梯度方向直方图确定梯度方向

（4）特征点描述生成

将坐标轴旋转到特征点方向，保证旋转不变性。如图3所示，以中央黑点即关键点为中心取8×8的窗口，每个小格代表关键点领域所在尺度空间的一个像素，箭头方向表示像素的梯度方向，箭头长度代表梯度的模值。然后用高斯窗口对其进行加权运算，在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。Lowe建议在实际中使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，可进一步去除光照变化的影响。

图3 由关键点领域梯度生成特征向量

（5）特征点匹配

两幅图像关键点特征向量生成后，采用关键点的欧式距离将作为相似性的判断依据，并设定阈值，进行特征点匹配。

4 火灾图像中SIFT算法改进

实验表明，SIFT算法第四步用128个特征点描述占用了系统大量时间，严重影响算法的实时性，尤其是在视频图像火灾定位中，该缺陷更加明显。为此对传统的SIFT算法进行改进。SIFT算法对实时性的主要影响在第四步，因此，将128维特征向量降低为窗为4×4的8维特征向量，使算法局部化。由于关键点的向量描述减少了，所以降低了特征点的提取时间。同时局部化的改进对匹配率有较大的影响。为此，算法对实时性影响较小的两个地方进行了相应的改进。增加了每个像素的点的多方向性和关键点的双向匹配算法，这两个改进目的是为了提高算法匹配率，提高整体的稳定性和鲁棒性。

具体改进步骤如下：

（1）修改关键点方向分配阈值。

在多尺度空间特征点形成后，关键点方向检测时，降低辅方向的阈值。这样的作用使得每个关键点在生成直方图后，一个像素点可能产生多个方向（一个主方向，一个以上辅方向），一个像素点包含的方向越多，这个像素点就具有越多的不同方向的特性，这样的多方向的像素点在对关键点进行描述的时候，就能保持更多的关键点的特性和唯一性，对关键点的描述也更全面。这样就增加了关键点匹配的鲁棒性，确保特征点描述改进后的匹配稳定性[7]。

（2）降低特征点向量个数。

①对特征点的描述，取以关键点为中心的4×4窗口的16为向量，表示关键点的特征描述。如图4所示，每个窗体由于增加了像素点的辅方向，虽然在关键点处的特征向量减少，但是保持了匹配的稳健性。

②利用4×4的窗体，加上权值累加信息，统计出关键点的8个梯度方向信息。如图5所示。

图4 由特征点生成的特征向量

图5 关键点的8维向量特征

③将这8个梯度方向归一化，以保证光照的不变性。假设 8维特征点向量a=[1，2，3，4，5，6，7，8]按照归一化公式（5）得到归一化的值。

④查找最大梯度方向，得到关键点的8维向量后，利用公式（6）将向量的最大元素移至开头，其余特征向量保持不变，假设8维特征点向量a=[1，2，3，4，5，6，7，8]，则最终关键点的特征向量为a=[8，1，2，3，4，5，6，7]。这样做的作用是消除特征向量排序是产生的减小欧式距离的度量后果，能使得特征描述符在后续步骤中消除错误匹配。同时，采用8维向量匹配，并去除种子点的描述，极大地缩短了特征点的提取时间，增加匹配速率。

（3）由于特征点向量由128维向量减低到8维向量的描述，容易在特征点匹配上产生误差，因此，为了保证匹配的效率，遵循匹配的维一性约束原则，将图像进行双项匹配，如公式（7）所示。匹配的维一性约束指匹配点间的维一映射关系。

在原算法的基础上增加欧式距离算法的匹配，交换图像顺序，再进行匹配。当两次匹配的坐标相同，则完成匹配。一般双目定位采用两张图像，则是2次欧式距离匹配。单目视频图像序列则一般采用每秒6帧图像，将6帧图像分为三组，每组进行双向匹配。然后再进行火焰定位。

5 实验结果

本实验环境选用CPU E5300 2.9 GHz，2 GB的内存。操作系统为Microsoft Windows XP SP3，仿真平台为Matalab 7.8。

实验主要分为以下三类：

（1）将改进算法和SIFT算法进行比较。如图6所示，绿色箭头为SIFT算法，红色为改进后的算法。

（2）利用表格测试改进算法的匹配率。如图7所示。

（3）利用多种火灾图像，仿真改进算法在火灾图像下的匹配效果。如图8所示。

图6 SIFT算法与改进算法比较

图7 表格测试改进算法

图8 火灾图像中的匹配

表1为对多幅不同场景下的火灾图像进行原SIFT算法和改进SIFT算法仿真出的实验相关数据对比。从表1中可以得到：改进前后的SIFT算法在匹配率虽然有小范围的降低，但是极大地缩短了匹配的时间，在火灾图像中，这种实时性的提高是必要的。

表1 图像匹配比较数据

6 结束语

图像特征点的提取与匹配中，提取稳定、可靠的特征点是提高匹配准确度的重要环节。本文采用SIFT特征点提取算法，其不受图像的伸缩、旋转、光照等影响，能够正确地提取出描述物体本质的信息。为了满足视频火灾图像定位速度和准确性的要求，在原算法基础上对SIFT算法进行了改进。改进后的算法极大地缩短了SIFT特征点提取时间，提高了实时性，同时保证了旋转不变性，为下一步的火灾视频监控下的空间定位奠定了基础。

[1]王兆仲，周付根，刘志芳，等.一种高精度的图像匹配算法[J].红外与激光工程，2006，35（6）：75l-755.

[2]张文明，刘彬，林伟，等.基于双目视觉的三位重建中特征点提取及匹配算法的研究[J].光学技术，2008，34（2）：181-185.

[3]郭黎，廖宇，陈为龙，等.基于改进SIFT的超视频分辨率重建快速配准算法研究[J].湖北民族学院学报，2010，28（2）：177-183.

[4]孟浩，程康.基于SIFT特征点的双目视觉定位[J].哈尔滨工程大学学报，2009，30（6）：649-652.

[5]曹娟，李兴玮，林伟延，等.SIFT特征匹配算法改进研究[J].系统仿真学报，2010，22（11）：2760-2763.

[6]Lowe D G.Object recognition from local scale-invariant features[D].Vancouver，Canada：Computer ScienceDepartment，University of British Columbia，1999.

[7]Lowe D G.Distinctive image features from scale-invariant keypoints[D].Vancouver，Canada：ComputerScienceDepartment，University of British Columbia，2004.

[8]Lowe D G.Local feature view clustering for 3D object recognition[D].Vancouver，Canada：Computer Science Department，University of British Columbia，2001.

[9]Li Canlin，Ma Lizhuang.A new framework for feature descriptor based on SIFT[J].Pattern Recognition Letters，2009，30（5）：544-557.

[10]Moreno P，Bernardino A.Improving theSIFT descriptor with smooth derivative filters[J].Pattern Recognition Letters，2008.