基于单目视觉的森林火点实时定位方法

仇金宏，沈明霞，丛静华，李龙国

（1.南京农业大学 工学院，江苏 南京210031；2.南京森林公安专科学校，江苏 南京210046）

随着消灭宜林荒山和实现全面绿化造林事业的不断发展，森林防火问题已经受到越来越多的关注。森林火灾具有突发性、随机性及短时间内能造成巨大损失的特点。火灾扑救决策是否及时得当，主要取决于林火行为的及时发现和其具体位置的准确［1－2］定位。目前，森林火点监测定位一般都是采用人工瞭望观测定位的方式，由于瞭望台都是建在高山上，生活条件差，人员留守难，且极易造成观察空档和观察人员的疲惫，影响瞭望效果。而对利用机器视觉进行森林火点全自动定位方法的研究，目前尚未见报道。对利用机器视觉进行空间目标点定位的研究可追溯到对军事目标信息获取方法的研究［3］。文献［4］研究了一种用于智能机器人的全向视觉定位方法，虽然全向图像包含信息量大，能够把握整体环境信息，但全向摄像机的反射镜需要经过专门的设计，且成像扭曲十分严重；文献［5］详尽地讨论了双目视觉定位技术，尽管使用双目视觉能够获得很大的景深，但其要进行对应点的匹配，耗费大量的时间，难以满足实时性的要求；文献［6］的研究认为，单目视觉模型构造简单，避免了视觉数据融合，易于实现实时监测，但是，单目视觉系统却一般只能采用对应点标定法［7］来获取静态对象的相关信息。文献［7］很好地改善了上述对应点标定法的不足，提出了一种基于单目视觉的实时测距方法，但是该方法却不适用于摄像机焦距发生变化的场合。为了实现对森林火点进行实时准确的定位，本研究提出了一种基于单目视觉的森林火点实时定位方法。

1 森林火点实时定位理论的几何模型

用于森林火情监控的摄像机一般架设于它所能监控范围内的最高点处，同时，其架设高度一般也远远高于它所能监控范围内最高那棵树的高度。当森林中有火情时，必然会有烟雾从森林中飘向空中，此时就以烟雾出来的那个点所处与摄像机架垂直的平面作为投影平面，此时就可以认为摄像机拍摄到的场景图像是三维空间的场景在二维空间的投影，所以，在利用机器视觉对森林火点进行识别的过程中，需要一种逆的求解过程，即从二维图像还原成火点现场实际空间图像。

由于用于森林火情监控的摄像机是根据针孔摄像机的基本成像原理［8］，将用于森林火点实时定位的单目视觉系统简化为摄像机的投影模型［9－13］（图1）。

图1 摄像机投影模型Figure 1 Camera projection model

图1-a中，平面ABI代表火点所处的森林区域，ABCD为摄像机拍摄到的火点所处森林区域的梯形区域。O点为摄像机镜头的中心点，OG为摄像机光轴，G点为摄像机光轴和火点所处森林区域的交点（同时也是视野的对角线的交点）。I点为O点在火点所处平面上的垂直投影，IO的距离为摄像机的实际架设高度。在火点所处的平面坐标系中，将G点定义为该坐标系的原点，摄像机照射方向定义为Y轴方向。G，A，B，C，D各点在图像平面内的对应点分别为图1-b中的g，a，b，c，d，其中a，b，c，d为像平面矩形的4个端点。P点为森林火点，p点为实际森林火点在监控摄像机成像平面上的像点。定义图像矩形的中点g为像平面坐标系的坐标原点，y轴代表摄像机的照射方向。

2 火情监控摄像机视场角的实时计算方法

对于用于森林火情监控的摄像机，其标准画幅：

则摄像机标准画幅的长宽比：

式（1）和式（2）中l为标准画幅ε的长；k为标准画幅ε的宽。

由勾股定理得知，摄像机标准画幅的对角线长：

则摄像机的水平视场角：

故，摄像机的垂直视场角：

将式（2）和式（4）带入式（5）中得摄像机的垂直视场角：

至此，求解摄像机视场角函数可以视为单一变量摄像机焦距的函数，则在摄像机焦距发生变化时，确定森林火点所处具体位置时，一定要考虑摄像机的视场角会随其自身焦距的变化而变化。

3 森林火点实时定位算法

取火点P在其所处实际森林区域平面坐标系中的坐标为（Xp，Yp），其在摄像机成像平面坐标系中像点 p 的坐标为（xp，yp）。

摄像机镜头中心到火点所处森林区域平面的直线距离为：

式（6）中dOI为图1中线段OI的长；k为标准画幅ε的宽；γ0为摄像机的俯仰角。

根据透镜小孔成像的规律，在该投影模型中有：

式（7）中dOg为摄像机镜头中心到像平面中心的直线距离。

由式（7）得：

由式（6）和式（8）得：

3.1 Y轴方向上的成像模型的推导

Y轴方向上的成像模型如图2所示。由图2（b）得：

式（9）中yp为火点P在实际平面里Y轴上的投影；H为像平面的高。

实际平面中目标点坐标的Y轴分量：

Y轴方向上成像模型中矩形像平面的高：

3.2 X轴方向上的成像模型的推导

X轴方向上的成像模型如图3所示。由图3（b）得线段IG的长：

图2 Y轴方向上的成像模型Figure 2 Imaging model in the direction of Y-axis

实际平面中目标点坐标的X轴分量：

式（10）中W为像平面的宽。

X轴方向上成像模型中矩形像平面的宽：

因此，目标点所在平面与矩形像平面之间的映射关系如下所示：

图3 X轴方向上的成像模型Figure 3 Imaging model in the direction of X-axis

4 森林火点实时定位算法试验验证及结果分析

4.1 算法试验方法及步骤

将摄像机安置于一矩形纸质平面的中心对称线上，使得摄像机成像平面的左右对称线与上述矩形纸质平面的中心对称线完全重合。设摄像机的坐标为O（0，0），在摄像机前方矩形纸质平面上的某个位置上放置一个物体（代替火点），通过算法测得该物体相对于摄像机所处位置的坐标Q（x，y）。

求解坐标Q（x，y）的方法如下：①通过CCD摄像机获得视野前方含火点代替物体在内的图像；②通过基于机器视觉的边界检测算法［14－15］识别出上述所得图像中的火点代替物体，并用含标出对角线的矩形框将其标记出来，取两对角线的交点为Q′（x′，y′）；③在所拍摄到的图像平面中求出Q′点的坐标（x′，y′）；④将图像平面Q′点的坐标通过前文提到的几何关系推导成实际火点代替物体所处平面坐标Q（x，y）。

影响本算法结果精度的因素有以下2点：一是是否能够准确及时地获得在变化后的摄像机的焦距；由于用于森林火情监控的摄像机一直处于巡航状态中，故另一个就是是否能够准确及时地获得在变化后的摄像机的俯仰角。

固定摄像机的俯仰角为75°不变，通过改变摄像机的焦距（其他参数不变）得到的Q点的坐标变化数据如表1所示。

固定摄像机的焦距为3.2 mm不变，通过改变摄像机的俯仰角（其他参数不变）得到的Q点的坐标变化数据如表2所示。

表1 随焦距变化的坐标数据Table 1 Location changing with focal length

当摄像机的焦距按步长1.2 mm从1.2 mm至4.8 mm分别进行试验时，2次坐标X分量和Y分量的最小差值分别高达3.2 cm和19.8 cm。当摄像机的俯仰角按步长15°从30°至75°分别进行试验时，2次坐标X分量和Y分量的最大差值仅有0.6 cm和0.6 cm。由此可见，摄像机的俯仰角对准确确定火点替代物所处位置的影响很小，而摄像机的焦距对火点替代物所处位置的确定起着关键的作用，它在很大程度上制约着确定火点替代物所处具体位置坐标的准确性。

在实际的应用中，摄像机的视场角是会随着其自身焦距的变化而变化的。表1中的数据之所以与实际测得的坐标相差如此之大，实际上就是因为没有考虑到这一重要因素。

4.2 静态试验验证及结果分析

移动代替火点的物体8次，每一次都对物体所处的具体位置分别进行一次实际测量和算法测量，试验结果如表3所示，静态试验中2次测得的Q点坐标之间的误差如图4所示。

由表3和图4可知，利用上述实时定位算法进行实际测定时X分量和Y分量的最大差值仅为0.4 cm和0.4 cm，准确性高。

静态试验中误差较小的原因：在进行几何关系的推导时，由于摄像机模型中的AI和BI为水平视场角的2条边，且这两条边能按Y轴保持绝对对称，故利用该几何关系推导法得到的相应参数比较准确，从而使得静态试验中所得的误差比较小。

静态试验中产生误差的原因：在进行各项理论推导时，认为摄像机的各参数是理想存在的，实际上摄像机并非是一种绝对理想的光学设备，其自身总有一定的误差，从而导致了在静态试验中仍然存在着较小的误差。

4.3 动态试验验证及结果分析

当摄像机的转速为10°·s－1，不移动已测得具体所处位置的火点代替物，按1幅·s-1图片的速度采集含火点代替物体在内的图像8次，试验结果如表4所示。

当摄像机的转速为30°·s－1，不移动已测得具体所处位置的火点代替物，按1幅·s－1图片的速度采集含火点代替物体在内的图像5次（由于在摄像机转速为30°·s－1的情况下进行试验，到第6次采集图像时，火点代替物已经超出了摄像机的视野范围，故该组试验只进行5次）。试验结果如表5所示。

2次动态试验中测得的Q点坐标之间的误差如图5所示。

由表4，表5和图5可知，当摄像机的转速较低时，利用上述实时定位算法进行实际测定时两坐标X分量和Y分量的最大差值仅为0.8 cm和0.6 cm，准确性高，可满足实时性要求；当摄像机的转速过高时，利用上述实时定位算法进行实际测定时两坐标X分量和Y分量的最小差值高达2.4 cm和4.0 cm，无法完全满足实时性要求。

在不同速度下进行试验产生不同误差的原因：当摄像机在合适的速度下运转时，摄像机采集到的火点代替物在图像中无拖影，从而保证了用标出对角线的矩形框进行森林火点中心确定时的准确性；而当摄像机在过高速度的状态下运转时，除含有静态试验中产生误差的原因外，还有由于摄像机采集到的火点代替物在图像中形成了拖影，降低了用标出对角线的矩形框进行森林火点中心确定的准确性，以致造成了较大误差。

表3 静态试验的试验结果Table 3 Experimental results of static experiments

表4 摄像机转速为10°·s－1时的试验结果Table 4 Experimental results of this topic with speed of camera in ten degrees per second

图4 静态试验中2次测得的Q点坐标之间的误差Figure 4 Error between Q-points during the process of static tests

图5 2次动态试验中测得的Q点坐标之间的误差Figur 5 Error between Q-points during the process of dynamic tests

4.4 现场实测试验结果分析

2009年7月在内蒙古兴安盟白狼林区进行了上述算法在使用中的测试，其中森林火情监控摄像机焦距的变动数据由南京农业大学工学院实验室自行开发的森林火情监控软件实时传回。试验期间共进行点火试验3次，火情监控摄像机的起始方位为正北，即投影平面上y轴的指向为正北方向，x轴的指向为正东方向，监控范围为以半径为5 km的圆域。现场实测试验结果和算法效率评估分别如表6和表7所示所示。

表5 摄像机转速为30°·s－1时的试验结果Table 5 Experimental results of this topic with speed of camera in thirty degrees per second

表6 现场实测试验结果Table 6 Experimental results of actual measurement on the field

表7 算法效率评估Table 7 Assessment of efficiency of the algorithm

5 结束语

根据单目视觉的基本原理研究了一种森林火点实时定位方法。通过对该方法进行分析研究，推导出了森林火点实时定位理论模型及相关算法，并试验通过进行了算法的验证。试验结果表明，本研究推得的算法能够满足森林火点实时定位的准确性和实时性要求。

［1］胡文奇.森林防火无线远程监控系统［D］.北京：北京邮电大学，2008.HU Wenqi.Wireless Remote Monitoring System for Forest Fire-prevention［D］.Beijing：Beijing University of Posts and Telecommunications，2008.

［2］宋丽艳，周国模，汤孟平，等.基于GIS的林火蔓延模拟的实现［J］.浙江林学院学报，2007，24（5）：614－618.SONG Liyan，ZHOU Guomo，TANG Mengping，et al.Realization of a simulation model for forest fire spread ［J］.J Zhejiang For Coll，2007，24（5）：614－618.

［3］刘进忙，罗红英，刘建都.几何关系的目标信息分坐标处理原理［J］.空军工程大学学报：自然科学版，2009，10（3）：27－31.LIU Jinmang，LUO Hongying，LIU Jiandu.Research on a method of the coordinates fusion based on the geometry relation［J］.J Air Force Eng Univ Nat Sci Ed，2009，10（3）：27－31.

［4］王亮.智能移动机器人定位技术研究［D］.哈尔滨：哈尔滨工程大学，2004.WANG Liang.Research of Intelligent Mobile Robots Location ［D］.Harbin：Harbin Engineering University，2004.

［5］郑瑾.基于双目视觉的目标定位与运动分析研究［D］.秦皇岛：燕山大学，2006.ZHEN Jing.Object Location and Motion Analysis based on Two-Camera Visual System ［D］.Qinhuangdao：Yanshan University，2006.

［6］徐宁.单目摄像头实时视觉定位［D］.上海：上海交通大学，2008.XU Ning.Real-time Visual Localization with a Single Camera ［D］.Shanghai：Shanghai Jiaotong University，2006.

［7］郭磊，徐友春，李克强，等.基于单目视觉的实时测距方法研究［J］.中国图像图形学报，2006，11（1）：74－81.GUO Lei，XU Youchun，LI Keqiang，et al.Study on real-time distance detection based on monocular vision technique［J］.J Image Gr，2006，11（1）：74－81.

［8］许永华.基于信息融合和多行为决策的自主机器人导航系统［D］.长沙：中南大学，2002.XU Yonghua.Autonomous Robot Navigation System Absed on Information Fusion and Multi-behavior Decision-making［D］.Changsha：Zhongnan University，2002.

［9］贾志成，胡天翔，刘春景.基于机器视觉的森林防火监测技术初步研究［J］.林业机械与木工设备，2008，36（10）：21－23.JIA Zhicheng，HU Tianxiang，LIU Chunjing.Preliminary study on forest fire monitoring technology based on machine vision ［J］.For Mach&Woodwork Equip，2008，36（10）：21－23.

［10］邱茂林，马颂德，李毅.计算机视觉中摄像机定标综述［J］.自动化学报，2000，26（1）：43－55.QIU Maolin，MA Songde，LI Yi.Overview of camera calibration for computer vision ［J］.Acta Autom Sin，2000，26（1）：43－55.

［11］ HABED A，BOUFAMA B.Camera self-calibration from bivariate polynomials derived from Kruppa’s equations ［J］.Pattern Recogn，2008，41（5）：2484－2492.

［12］D’HELON C，PROTOPOPESCU V，WELLS J C，et al.GMG——A guaranteed global optimization algorithm：Application to remote sensing ［J］.Mathem&Comput Model，2007，45（6）：459－472.

［13］马颂德，张正友.计算机视觉：计算理论与算法基础［M］.北京：科学出版社，1998.

［14］张磊，王书茂，陈兵旗，等.基于机器视觉的麦田边界检测［J］.农业机械学报，2007，38（2）：111－114.ZHANG Lei，WANG Shumao，CHEN Bingqi，et al.Edge detection for wheat field based on machine vision ［J］.Trans Chin Socr Agric Mach，2007，38（2）：111－114.

［15］蔡健荣，周小军，李玉良，等.基于机器视觉自然场景下成熟柑橘识别［J］.农业工程学报，2008，24（1）：175－178.CAI Jianrong，ZHOU Xiaojun，LI Yuliang，et al.Recognition of mature oranges in natural scene based on machine vision ［J］.Trans Chin Socr Agric Eng，2008，24（1）：175－178.