基于双目视觉的矿井外因火灾感知与定位方法

孙继平，李月

(中国矿业大学(北京)， 北京 100083)

0 引言

煤炭在我国能源供给中占据主要地位，在今后相当长的时期内，我国能源仍将以煤炭为主[1-2]。煤炭行业是高危行业，瓦斯、水、火、顶板等事故困扰着煤矿安全生产[3-4]。其中，矿井火灾事故每起死亡人数最多，是煤矿重特大事故之一。因此，矿井火灾监测和火源定位研究，对避免或减少矿井火灾，减少人员伤亡和财产损失具有重要意义。

矿井火灾包括煤炭自燃引起的内因火灾和其他热源引起的外因火灾。矿井外因火灾一般发生在有电缆、胶带和机电设备的巷道、硐室和采掘工作面。矿井外因火灾一般早期火源较小，但如不及时发现和灭火，极易扩大，产生大量的有毒有害气体和高温，造成大量人员伤亡和财产损失，甚至引起瓦斯和煤尘爆炸[5]。因此，实时监测矿井外因火灾，及时发现矿井火灾并定位火源，自动启动火源附近的灭火装置及时灭火，可最大程度地减少人员伤亡和财产损失。

目前矿井外因火灾监测方法主要有温度、烟雾、一氧化碳、二氧化碳、氧气等传感器监测、分布式光纤测温、红外测温、可见光图像和红外图像监测等。矿用分布式光纤测温可以定位，一般用于电缆和胶带温度及火灾监测。其他矿井外因火灾监测方法均没有火源定位功能。为此，笔者提出了基于双目视觉的矿井外因火灾感知与定位方法，该方法既可感知火灾，又可定位火源，具有监控范围广、成本低、响应快、可视化等优点。

1 基于双目视觉的矿井外因火灾感知与火源定位方法

为解决矿井外因火灾感知和火源定位问题，笔者提出了基于双目视觉的矿井外因火灾感知与定位方法：① 在有电缆、胶带和机电设备的巷道、硐室和采掘工作面多点设置矿用可见光双目摄像机或近红外双目摄像机，采集监控区域图像。② 对图像进行预处理，为减少红色、橙色和黄色等物体对火灾识别的影响，采用图像亮度信息；对采集到的图像进行阈值分割得到二值化图像。③ 火焰是矿井外因火灾的主要特征，对图像进行火焰识别；若图像检测区域有火焰，发出火灾报警信号，并融合温度、烟雾、二氧化碳、一氧化碳、氧气和红外传感器信息，提高报警准确性。④ 通过矿用可见光双目摄像机或近红外双目摄像机，对火源进行测距，结合摄像机位置对火源进行定位。⑤ 输出火源位置信息，控制火源附近灭火装置灭火，也可采用远红外双目摄像机进行火灾感知和火源定位，但成本高。基于双目视觉的矿井外因火灾感知与火源定位方法流程如图1所示。

图1 基于双目视觉的矿井外因火灾感知与火源定位方法流程Fig.1 Flow of mine external fire sensing and fire source positioning methods based on binocular vision

矿井外因火灾感知与火源定位，首先要感知火灾。火焰是矿井外因火灾的主要特征。可见光和近红外图像火焰识别方法主要有尖角特征、圆形度特征、矩形度特征、颜色特征、质心变化率特征、面积变化率特征、亮度变化率特征、闪烁特征等[6]。其中，火焰颜色特征受红色、橙色和黄色等物体干扰。质心变化率特征、面积变化率特征、亮度变化率特征、闪烁特征等需对多帧连续图像进行处理[7-8]，响应速度慢。为及时发现火灾，本文选择不需多帧连续图像的尖角特征、圆形度特征和矩形度特征进行火焰识别。

1.1 尖角特征

火焰形状与矿灯、车灯、巷道灯等其他发光物体相比具有明显的尖角特性，可以用来区分火焰与矿灯、车灯、巷道灯等干扰。火焰的尖角形状表现为上窄下宽。笔者提出了一种火焰尖角辨识方法，如图2所示。

图2 火焰尖角判别方法Fig.2 Judgement method of flame sharp angle

(1) 对图像进行预处理，得到二值化图像。

(2) 搜寻目标图像最高点作为疑似火焰顶点A,A可以是1个像素点，也可以是多个像素点M。

(3) 分别计算从顶点A向下第H1行、H2行和H3行的目标图像宽度N1、N2和N3。1

(4) 若满足M

1.2 圆形度特征

圆形度反映火焰的形状与圆形的接近程度，是识别火焰的一个重要特征。火焰形状是不规则的，而矿灯、车灯、圆形巷道灯等发光物体的形状是圆形，因此，可以通过圆形度特征区分火焰与矿灯、车灯和圆形巷道灯等。圆形度C的值越接近于1，说明检测区域越接近圆。火焰的形状比较复杂，圆形度比较小。因此，可以通过设定圆形度阈值K，判别是否为火焰。当圆形度C≤K时，判定检测区域为火焰。

(1)

式中：C为圆形度；S为检测区域面积；L为检测区域周长。

1.3 矩形度特征

矩形度表示检测区域对其外接矩形的充满程度，反映检测区域与矩形的相似程度[9]，用检测区域面积与其最小外接矩形的面积之比表示。当检测区域为矩形时，其矩形度τ取得最大值1.0。当检测区域为圆形时，其矩形度τ取值为π/4。当检测区域为火焰时，其矩形度τ较小。

τ=S/St

(2)

式中St为检测区域最小外接矩形面积。

2 火焰识别试验研究

试验选取纸张、白炽灯、矩形台灯作为试验对象。纸张燃烧模拟煤矿井下火灾，白炽灯模拟煤矿井下矿灯、车灯等圆形发光物体，矩形台灯模拟煤矿井下巷道灯等矩形发光物体。

使用双目摄像机进行图像采集，以左视图为例，首先对图像进行预处理，对采集到的原图进行阈值分割，得到二值化图像[10];然后进行腐蚀和膨胀处理，去除二值化图像中的一些噪声点；最后采用火焰尖角辨识方法，并用式(1)和式(2)计算图像中火焰、白炽灯、矩形台灯的圆形度、矩形度和尖角数量，根据圆形度、矩形度和尖角数量对图像进行火焰识别。火焰、白炽灯、矩形台灯图像及其面积和边缘提取如图3所示。

(a) 左视图

(b) 面积提取

(c) 边缘提取

3 基于双目视觉的火源定位试验研究

3.1 双目测距及误差试验

使用HNY-CV-002可变基线双目摄像机进行测距，基线可调整范围为2.5～21 cm。摄像机采用USB3.0通信接口，输出彩色、未压缩的双目高清图像，帧率达30帧/s，镜头焦距采用3.1 mm。将左右摄像机拍摄到的画面拼接成一帧图像后输出，并且在硬件上调制2个图像传感器时序绝对同步，最大程度地确保拍摄到的是同一时间的图像。

在进行火灾监测定位试验前，需要测试双目摄像机的测距范围及误差。首先确定基线进行双目标定，得到摄像机的内外参数和畸变参数[11-13]。移动目标物体，进行测距试验，确定可以生成视差图的最近距离；改变目标物体与摄像头之间的距离，得到不同距离的测距误差。选取基线为2.5、4.5、6.5、10、15、21 cm进行测距及误差试验，试验结果如图4所示。从图4可看出，在双目摄像机基线固定情况下，测量绝对误差随实际距离增大而增大，实际距离越大，绝对误差越大。在被测物体与双目摄像机距离一定的条件下，双目摄像机基线越长，绝对误差越小。双目摄像机基线越长，可测最近距离越远，可测最远距离也越远。反之，双目摄像机基线越短，可测最近距离越近，可测最远距离也越近。双目摄像机可测得的最近距离是最近能进行立体匹配并生成物体完整深度图的距离。

图4 不同基线的测距误差曲线Fig.4 Curves of distance measurement errors for different baselines

3.2 基于双目视觉的火焰定位

为提高双目摄像机测距范围，将双目摄像机基线设定为21 cm，图像尺寸是1 280×480。采用基于圆形度、矩形度、尖角数量特征融合的火灾监测方法，在双目摄像机采集到的左右视图中同时进行监测，监测到火焰后用矩形框标注，如图5所示，采用式(3)判断左右视图中监测到的火焰是否为同一火焰。

图5 双目摄像机监测火源图像Fig.5 Binocular camera to monitor fire source image

|Xcl-Xcr-dXcl|≤a

(3)

式中：Xcl为左视图中矩形框中心的横坐标；Xcr为右视图中矩形框中心的横坐标；dXcl为点(Xcl,Ycl)处的视差，视差是左右视图中匹配点横坐标的差值；a为设定阈值。

|Xcl-Xcr-dXcl|的最大值是在测距的最近距离处取得，最大值是12个像素，所以a设定为12。当矩形框中心点在左右视图中横坐标的差值与视差相差不大时，将其判断为左右视图中的匹配点，即同一火焰。

根据监测到的火源在左视图中像素坐标系中的坐标，输出该坐标的深度值作为火源的距离值。改变火焰距双目摄像机距离，试验数据见表1。

表1 火源测距与误差Table 1 Fire source ranging and error

试验结果表明，在2～15 m，绝对误差与实际距离成正比，实际距离越大，绝对误差越大。最小相对误差在实际距离7 m处，为0.46%，随着火焰增大，双目视觉可监测火焰最远距离也随之增加。

4 结论

(1) 矿井火灾会造成人员伤亡和财产损失，是煤矿重特大事故之一。及时发现矿井火灾，并对火源定位，是及时扑灭火灾、减少人员伤亡和财产损失的关键。目前矿井外因火灾监测方法主要有温度、烟雾、一氧化碳、二氧化碳、氧气等传感器监测、分布式光纤测温、远红外测温、图像监测等。

(2) 提出了基于双目视觉的矿井外因火灾感知与定位方法：① 在有电缆、胶带和机电设备的巷道、硐室和采掘工作面多点设置矿用可见光双目摄像机或近红外双目摄像机，采集监控区域图像。② 对图像进行预处理，为减少红色、橙色和黄色等物体对火灾识别的影响，采用图像亮度信息；对采集到的图像进行阈值分割得到二值化图像。③ 火焰是矿井外因火灾的主要特征，对图像进行火焰识别；若图像检测区域有火焰，发出火灾报警信号，并融合温度、烟雾、二氧化碳、一氧化碳、氧气和红外传感器信息，提高报警准确性。④ 通过矿用可见光双目摄像机或近红外双目摄像机，对火源进行测距，结合摄像机位置对火源进行定位。⑤ 输出火源位置信息，控制火源附近灭火装置灭火，也可采用远红外双目摄像机进行火灾感知和火源定位，但成本高。该方法既可感知火灾，又可定位火源，具有监控范围广、成本低、响应快、可视化等优点。

(3) 双目视觉摄像机在基线固定情况下，测距绝对误差随实际距离增大而增大，实际距离越远，绝对误差越大。在双目视觉摄像机与被测物体距离不变的条件下，双目视觉摄像机基线越大，测距绝对误差越小。双目视觉摄像机基线越大，可测最近距离越远，可测最远距离也越远。反之，双目视觉摄像机基线越小，可测最近距离越近，可测最远距离也越近。

(4) 可见光和近红外图像火焰识别方法主要有尖角特征、圆形度特征、矩形度特征、颜色特征、质心变化率特征、面积变化率特征、亮度变化率特征、闪烁特征等。其中，火焰颜色特征受红色、橙色和黄色等物体干扰。质心变化率特征、面积变化率特征、亮度变化率特征、闪烁特征等需对多帧连续图像进行处理，响应速度慢。为及时发现火灾，选择不需多帧连续图像的尖角特征、圆形度特征、矩形度特征进行火焰识别。

(5) 火焰形状与矿灯、车灯、巷道灯等其他发光物体相比具有明显的尖角特性，可以用来区分火焰与矿灯、车灯、巷道灯等的干扰，火焰的尖角形状表现为上窄下宽。提出了一种火焰尖角辨识方法：① 对图像进行预处理，得到二值化图像。② 搜寻目标图像最高点作为疑似火焰顶点A，A可以是1个像素点，也可以是多个像素点M。③ 分别计算从顶点A向下第H1行、H2行和H3行的目标图像宽度N1、N2和N3。1