公路隧道智能火灾检测系统设计
2022-04-02吴宗胜韩改宁
吴宗胜,韩改宁,李 红
(咸阳师范学院 计算机学院,陕西 咸阳 712000)
0 引 言
近十年中国公路隧道建设呈跨越式增长,据统计到2019年底,已建的全国公路隧道19 067座,总长达到18 966.6公里,成为隧道工程建设规模最大、数量最多的国家。与此同时公路隧道发生火灾事故的频率也在增加,和普通开放式道路相比,公路隧道发生的事故数量相对较少,但其后果及影响往往较大,尤其是一旦发生火灾,后果可能极具破坏性和危险性[1]。引起公路隧道火灾的原因主要有:车辆自身故障、交通事故、车辆上易燃物、隧道内电气线路或电气设备短路。隧道火灾的发生不同于一般火灾,通过对多起隧道火灾案例分析,其特点主要有:产生的烟雾大、温度高,隧道内能见度降低;容易引起爆炸,火势蔓延迅速;成灾过程快,持续时间长;洞内空间狭长密闭,人员逃生和疏散较为困难,应急救援难度大;易造成交通堵塞,引发二次火灾;具有随机性和不可预见性。公路隧道火灾事故主要造成人员的伤亡、车辆的损毁、隧道设施的损坏以及隧道结构的破坏等方面的危害,此外火灾也会造成正常交通的中断[2]。
隧道作为高速公路的特殊路段,与高速公路其他路段不同,它是道路上一个相对封闭的区段,能见度较低,常为事故多发地段,并可能诱发各种各样的火灾,由于其窄小的管道空间特征,一旦发生火灾,可燃物产生的浓烟将从起火部位以一定的速度沿隧道迅速扩散,很快充满整个空间,并呈现聚集不散的状态,难以排出隧道外,造成隧道内的温度、烟雾及有害气体浓度急剧升高,对司乘人员的生命造成极大威胁,极易造成车辆连续燃烧或爆炸的连锁反应,使隧道设施遭到致命破坏,甚至导致隧道垮塌,施救工作难度很大。因此,隧道中的火灾检测是保证隧道安全运行的一个重要因素。火灾的早期、可靠、低误报和低漏报是研究火灾检测方案中首先要解决的关键问题[2]。一般火灾的发展过程主要分为非可见烟、可见烟、燃烧和剧烈燃烧四个阶段[3]。现有火灾检测主要集中在第三阶段燃烧阶段,不能做到在火灾发生时进行早检测、早预防的作用。一般情况下火以烟始,烟雾是火灾发生到第二阶段的必然产物,如果能及时检测到火灾烟雾,就可尽快预警并采取火灾施救措施,降低损失[4-6]。
目前,应用机器学习方法进行火灾探测及分类越来越多,在这些研究中首先考虑采用颜色驱动的方法,将时间特征作为浅神经网络的输入,将小波系数作为支持向量机(supported vector machine,SVM)分类器的输入。Chenebert等人[7]考虑使用非时序方法,将颜色纹理特征描述符作为决策树或浅神经网络分类的输入。其他的方法考虑在不同的机器学习方法中使用形状不变特性[8]或基于补丁的在线异常点学习[9]。但是卷积神经网络(CNN)是时域上考虑到连续视频帧之间的动态特征[10]和运动特征[11],只有在这样的背景下进行火灾检测才能取得较好的效果。Frizzi等人[12]应用CNN在视频图像中进行火灾检测,判断哪些帧有火灾发生。Wang等人[13]在tensorflow框架中将CNN和SVM结合实现火灾的检测。陈威等人[14]使用颜色直方图方法提取火焰特征进行火灾探测。回天等人[15]结合Faster R-CNN网络进行多类型火焰检测。熊卫华等人[16]为了丰富火灾模型提取的特征信息,利用不同尺度下的特征,提出了包含两路特征提取器的混合卷积神经网络结构(HybridNet)。但是这些方法只是对火灾中的火焰进行检测,不能有效检测早期火灾。
因此,该文基于深度学习设计了一套智能隧道火灾检测系统,通过监控摄像头和烟雾传感器,运用训练好的基于卷积神经网络(CNN)的隧道火灾图像识别模型,对隧道现场情况进行同时检测,能够及时准确识别火灾的发生,并实现即时现场报警与远程报警,在火灾发生时进行早检测与早预防。
1 系统总体设计
针对公路隧道的特点,在隧道内根据特定的密度铺设一定数量的视频摄像头、烟感探测器和温湿度传感器,在隧道入口一端安装树莓派终端、火灾报警器和4G通信模块进行火灾检测。为了更加准确地检测早期火灾,该系统同时采取视觉检测和感觉检测两种火灾检测方式。视觉检测采取视频摄像头监控隧道情况,一旦发现较大烟雾或明火,可以很快识别出来。在光线的较暗隧道中,当火灾刚发生时产生的烟雾较少,且还未生成明火,视觉传感器不容易识别出来,这时结合隧道中安装的敏感烟感探测器可以提前检测到火灾的发生。温湿度传感器可以检测隧道中的温度和湿度环境,感知火灾引起的温度变化。当系统检测到火灾发生时,部署在隧道入口处的声光报警器进行报警,阻止车辆进入隧道。同时,利用4G通信模块向信息中心报警,并传输现场监控图像。系统结构如图1所示。
2 系统详细设计
2.1 硬件模块设计
系统所用硬件包括:树莓派Raspberry Pi 4B、Intel Movidius神经计算棒(NCS),树莓派夜视摄像头V2,烟雾传感器MQ-2、声光报警器、4G通信模块。树莓派Raspberry Pi 4B作为智能终端,直接和其他硬件连接,通过摄像头采集隧道现场图像,利用神经计算棒对采集的图像进行分析识别,结合烟雾传感器检测隧道烟雾的结果,识别隧道火灾的发生,并控制声光报警器进行报警,同时通过4G无线传输模块向信息中心报警。
(1)智能终端:树莓派+ Intel Movidius神经计算棒(NCS)。
树莓派Raspberry Pi 4B配置64位1.5 GHz四核处理器,高达8 GB的内存,4Kp60的硬件视频解码,双频2.4/5.0 GHz无线局域网,千兆以太网,USB3.0。树莓派凭借其丰富的外设资源和硬件接口,较高的性价比,广泛应用于流行的AI研究与应用项目。Movidius神经计算棒(NCS)是Intel公司研发的基于USB模式的深度学习推理工具和独立的人工智能(AI)加速器,其内部核心是一颗Myriad 2处理器(28 nm工艺),具有80~150 GFLOPS的性能,该处理器也被称为视觉处理单元(或视觉加速器),功耗仅为1 W左右,因此完全可以通过USB供电,可以广泛地为边缘主机设备提供专用深度神经网络处理功能。NCS利用训练好的网络模型计算出图像分析的结果,并传输到主机上,完成推理工作。NCS目前支持Caffe、TensorFlow和Keras深度学习框架。将NCS连接到树莓派的USB3.0接口上,可以利用训练好的深度学习网络模型和NCS强大的计算推理能力,对通过视频模块采集到的图像进行实时推理,及时识别视频图像中的火灾图像。
(2)视频监控模块。
视频监控模块采用Raspberry NoIR Camera V2树莓派夜视摄像头。该模块采用高质量800万像素的Sony IMX219图像传感器,能够拍摄3 280×2 464像素的静态图像,而且还支持1080p30、720p60以及640×480p90视频录像。该摄像头提供了常规摄像头模块所拥有的所有功能,并采用了红外滤光片,使得它能够在隧道低光昏暗的环境中拍摄清晰照片。该款摄像头在图像质量、色彩保真度和低光环境方面有非常好的性能。
(3)烟雾传感器模块与温湿度传感器模块。
烟雾传感器模块采用基于气敏元件的MQ2气体传感器,用于检测隧道中的烟雾气体。该款传感器可以很灵敏地检测到空气中的烟雾、液化气、丁烷、丙烷、甲烷、酒精、氢气等气体;温度传感器模块采用DHT11数字温湿度传感器,用于检测隧道中的温度和湿度,为信息中心提供隧道的实时环境信息。
(4)声光报警器模块。
树莓派主机通过继电器与安装在隧道入口的声光报警器连接,当检测到火灾发生时启动声光报警器进行现场报警。
2.2 软件模块设计
(1)火灾图像识别网络训练模块。
该文采用深度学习的方法对隧道监控图像进行识别。为了能够提高隧道火灾检测的速度和准确性,将VGG-16网络[17]进行了简化,并参照文献[11]和文献[13]做了参数调优,经多次试验,构建了一个火灾检测的深度卷积神经网络结构模型。该网络分别由1个输入层+4个卷积层+5个激活层+3个池化层+1个全连接层+Softmax层组成,结构如图2所示。
在网络中,每个卷积层使用一个滤波器组执行卷积操作生成一组特征图,然后使用激活函数Relu对特征图进行非线性映射,再对其结果进行批正则化(batch normalization)操作,接着使用最大池化(maxpooling)操作进行下采样(采样窗口大小为2×2、步长为2),下采样后得到的每个特征图的长和宽为原来的一半。在网络各卷积层后添加的批正则化层,可以防止深度网络在训练中容易出现的“梯度消失”问题,提高训练的收敛速度和模型精度[18],全连接层后面使用Dropout操作可以防止模型出现过拟合现象[19]。
为了详细展示该网络架构,将网络配置在表1中列出。为了简化显示内容,在表中没有列出网络中的激活层、批正则化层和Dropout层。在第一层卷积层中7×7大小的滤波核用来提取特征,其他卷积层使用大小为3×3滤波核。卷积滤波的步长固定为1,对使用7×7和3×3感知域的卷积层填充1个0值的像素, 使卷积层的输入经过卷积后仍然保留了原来的空间分辨率。最大池化层使用一个大小为2×2、步长为2像素的滑动窗口进行下采样。各层的输入大小和参数如表1所示,池化层全部采用最大池化方法进行下采样。
笔者收集了500幅隧道火灾图像和600幅非火灾图像,对构建的火灾检测网络进行训练。训练时将图像进行适当的预处理,并统一规整为128×128像素大小,训练流程如图3(左图)所示。在训练中使用交叉熵损失(cross-entropy loss)函数作为训练网络的目标损失函数,并采用随机梯度下降法(SGD)对目标损失函数进行优化,并将其学习率设为lr=0.01,动量参数设为momentum=0.9,权值衰减设为weight_decay=0.000 5,然后训练网络直至训练损失函数收敛。每次迭代训练前,将训练集图片打乱,然后按顺序每抽取5幅图像为一个批次(batchsize=5)作为网络的输入。迭代训练100次(epochs=100)后得到的网络模型作为数据预测模型,用于对火灾图像进行检测。
(2)火灾识别模块。
在终端检测主机树莓派上部署Linux系统,使用Python在TensorFlow和Keras深度学习框架下,利用训练好的火灾检测网络模型对摄像头采集到的隧道图像进行检测。火灾检测识别流程如图3(右图)所示。首先将从摄像头捕获的图像帧进行直方图均衡、去噪预处理,然后规整为128×128像素大小的图像,输入到火灾识别网络模型中进行预测识别,如果检测到有火灾,则进行报警处理,否则检测下一帧输入图像。其中火灾预测识别部分由Intel网络神经棒NCS进行推理运算,其推理速度是使用CPU(没有采用NCS)的8倍,大大提高了火灾识别速度,每秒可以检测5帧图像。在火灾中出现明显烟雾和明火的情况下,该网络模式识别火灾的正确率可以达到96%,加上实时性较好,能够满足现实隧道火灾的实时检测要求。
(3)信息中心。
信息中心由Web信息服务器和通信服务器组成。Web信息服务器负责管理各个终端主机,收集和存储各隧道的现场环境信息,包括温湿度、火灾报警信息、火灾现场图像。通信服务器负责向交警部门和消防部门拨打报警电话和发送火灾信息。当有隧道火灾发生时,终端系统立即启动声光报警器进行现场报警,同时将隧道火灾信息推送到信息中心,信息中心将根据隧道的现场情况,通过电话和短信的方式将报警信息及时发送给交警部门和消防部门,使其迅速处理火情。
3 应用效果分析
根据上述的系统设计方案,实现了系统的代码编写,并对系统进行了测试。本测试使用的树莓派Raspberry Pi 4B配置的是1.5 GHz四核处理器,搭配Intel公司的第二代神经计算棒(NCS)。测试中使用的场景来源为网上收集的隧道静态图像和隧道监控视频,其中有火灾在起火前烟雾阶段的场景和起火后明火阶段的场景,并分别采用CPU检测和NCS检测,测试结果如表2所示。
表2 隧道火灾检测结果
从测试结果来看,采用CPU进行火灾检测一帧图像需要约1.7秒,而采用NCS进行火灾推理检测速度达到每秒5帧,每帧约0.2秒,是使用CPU检测速度的8倍;而火灾识别的精度与使用的硬件无关,不管使用CPU还是NCS,因为使用的是相同的推理模型,所以识别率也相同。在起火前的烟雾阶段,识别率为94.8%,稍比明火阶段识别率低,综合识别率为96%。从检测速度上看,基本上能即时识别出火灾的发生。系统结合烟雾传感器检测,可以进一步提高火灾烟雾阶段的识别率,降低误报率。同时,终端系统通过通信模块能够迅速将火灾检测结果和现场图像上传至信息中心并进行报警,大大缩短了应急响应的时间,为及时火灾救援提供时间保障。图4是测试中使用的部分图像,测试结果直接在图像上显示。
4 结束语
针对公路隧道的火灾检测问题,基于树莓派和Intel神经计算棒(NCS)的硬件平台,该文设计了一个隧道火灾监测报警系统。该系统采用高清夜视摄像头采集隧道图像,使用深度学习方法对采集的图像进行实时火灾识别。同时结合烟雾传感器对隧道中实际气体进行检测,提高火灾检测的准确性。该系统能够在光线复杂的环境下尽快准确地识别火灾的发生,并实现即时现场报警与远程报警。在公路隧道中应用该系统,能够在发生隧道火灾时尽可能避免人员伤亡,降低财产损失,具有极大的应用价值。
该系统在火灾中后期阶段的检测效果虽然很好,但在火灾初期没有明火且烟雾很少的情况下视频检测成功率不高,主要借助隧道中离火灾较近的烟雾传感器进行检测;同时视频图像的检测速度仍有提高的空间。在今后的工作中,将进一步提高火灾最初阶段的检测精度,并提高视频检测速度,为火灾救援争取更多的时间。