图像识别技术在林草火灾预警中的应用及优化

1 引言

近年来，随着各地天然林保护工程等林业重点工程的实施和各省政府《封山禁牧条例》的贯彻落实，林木覆盖率大幅度增加，林分质量得到有效改善，林下可燃物大量增加，受全球气候变暖影响，冬春季长期干旱少雨，森林火险等级长期居高不下，防火任务十分艰巨。而林区山大沟深坡陡，山恋重叠，灌木丛枝弥漫交错，道路险恶，基础设施极为落后，一旦发生火灾，便无力组织人员扑救。因此，加强防火基础设施建设，积极实施森林重点火险区综合治理项目，对预防森林火灾的发生，确保森林资源安全具有十分重要的意义。

随着我国各大项活动的发展以及科技水平的不断提升，森林防火预防工作也有了明显的进步，但是不可否认，依然存在一些问题需要解决。如何有效地进行森林防火预防工作，关系着每一个人。

2 研究现状

从传统的地面巡护与瞭望塔人工监视到通过视频进行人工监控，再到目前使用智能化手段自动识别发现火情，森林防火手段在不断的进步提升。目前智能识别火情的主要方法分为三大类：卫星遥感图像处理技术、红外热成像检测方法、基于可见光图像检测方法。

卫星林火监测是一种基于高层空间的森林火灾监测手段，结合利用气象卫星和陆地资源卫星实现森林火灾的监测。80年代初以来，我国卫星遥感在森林防火工作中的应用不断扩大，技术不断提升，对大面积森林可以做到无死角、全天候的监控。近几年新的林火监测技术发展迅速，红外热成像监测以及可见光图像识别都不断的在实际中得到应用。其中，红外热像仪通过探测红外辐射对森林中的火源进行监测，实现了在恶劣天气或无自然光环境下对火焰的检测。可见光图像识别的方法通过对火情发生早期的烟雾进行自动识别，目前算法的准确度可以达到早期预警的作用。随着防火科技手段的不断发展，我国森林火灾发生数量和受害面积实现了“双下降”。

以上3种技术方法各有优势，同时也存在各自的能力限制。例如，卫星遥感技术由于卫星的回访周期原因，发现火情时效性较弱；红外测温技术，在现实场景中，温度异常目标多变（如汽车发动机等），存在一定误识别风险；可见光识别，在夜间由于光照很弱，图像多为黑白照片，烟火特征严重缺失，容易导致漏检或者误报。

中国铁塔公司结合丰富的高点塔资，供电能力，通信线路等优势，在林火预警领域，通过红外双通道视频监控技术构建林草火情预警平台，同时结合人工智能的可见光图像监测技术，进一步提高火情预警的发现能力和应急指挥能力。

3 基于红外双通道的解决方案简介

红外双通道摄像头，由两组摄像头组成，其中一个摄像头具备红外测温功能，另外一个获取可见光视频。在实际使用时，红外测温摄像头通过巡航模式，寻找并发现温度异常场景；可见光摄像头的巡航则给图像中的烟火识别提供视频信息。

该方案，通过测温技术和可见光图像识别技术的融合，发挥不同技术的优势，弥补上文提到的两种技术独立应用的能力不足。

3.1 红外双通道测温能力及分析

目前在森林防火中红外双通道摄像头主要应用红外热成像技术来进行森林火情的自动识别。红外热成像检测方法可以实时对场景内的温度进行监测，一旦发现温度异常情况即判断为有火情发生，可以快速及时的识别到温度异常的烟火。利用温度来进行是否有火情的检测，如图1所示，在夜间，雾天等恶劣条件下，同样可以提供温度异常检测能力。

图1 红外测温发现火情能力示意

但是红外测温在火点被遮挡场景（山体背后，房屋遮挡等），发现火情的时间往往会有所滞后；温度异常的情况也可能是其他运动热源所引起，不完全都是火情造成的温度异常（例如，车辆等），且温度目标的误报数量很大。虽然测温的准确发现能力与人工监看相比已经很高了，但是由于可能存在的误报场景，会降低用户体验感知，如图2所示。

图2 红外测温发现温度异常物体示意

3.2 可见光的图像识别的能力及分析

可见光的图像识别技术，在火情早期尤其以下场景具有更好火情风险的发现能力：① 被遮挡火源（如山体背面）；② 如图3所示，早期火情只有烟雾尚未见到明显火点。

图像识别的能力和红外测温能力形成了良好的技术能力互补，在实践中有较好效果。

图3 可见光早期烟雾识别能力示意

同样，可见光图像识别/视频分析技术也存在能力限制，主要是在夜间，如图4所示，由于光照原因导致颜色、轮廓等特征的消失，图像识别性能下降明显。

图4 可见光夜间识别能力不足示意（房屋灯光）

3.3 红外测温和可见光识别技术融合方向

在林草防火平台建设过程中，通过两种技术的融合，初步研究和验证表明，常见的温度异常目标（如车辆等）通过图像识别方法可以高精度抑制，但依然存在一些误报场景需要针对性优化。对误报场景进行了采样分析后，得表1中所示数据，可以发现，这三大类场景的误报约占了67%。针对实际应用中发现的3种可见光误报情况，将在第4节中进行误报抑制的讨论。

表1 烟雾识别误报情况

4 图像识别常见误报抑制路径

4.1 扬尘与烟雾的区分

由于扬尘与烟雾在形状以及特征的高度相似性，如图5所示，在进行可见光的烟雾检测时可能会出现将扬尘误报成烟雾的情况。虽然有部分扬尘是因为车辆运动引起，但是并不能仅仅用车辆识别得到有效区分。原因如下：①车辆被扬尘遮挡未必可见；② 画面中多辆车辆存在，视角原因，空间结构关系难以确认。

事实上，如果是运动车辆引起的扬尘，通过视频分析方法可以得以抑制，如图6所示，因为目标移动多为直线方向，而烟雾扩散则相对不规则。难点在于固定区域的扬尘识别算法。

针对固定区域扬尘，经过不断试验和调优，将原先的单变量映射识别算法，其中X为早期的单变量高维特征矢量）扩展到多模态组合算法，其中X，Y，Z为烟雾和扬尘分解后的细分维度特征向量）。通过高维细分特征的学习，在算法训练过程中，强制加大细节特征的权重比例。试验结果表明，扬尘区分算法的总体识别率>90%，有效的抑制了该场景误报概率。

图5 扬尘误报为烟雾

图6 烟雾与扬尘对比

4.2 模糊图片的区分

通过可见光通道进行获取单张图片时，可采用设定预置位抓取与巡航模式抓取两种方式。在使用巡航模式抓取图片时会出现摄像头运动导致抓取到如图7的模糊画面，模糊的画面会对识别效果产生一定的影响并导致误报。

图7 模糊的画面

如图8所示，对于模糊画面导致误报的产生，可以通过区分模糊图片并将其过滤的方法来有效的抑制误报。使用图像清晰度检测方法来进行模糊与清晰图片的区分。在真实场景应用中，因为摄像头处于巡航模式，镜头模糊的发生点位、场景不固定。因此，模糊判定算法需要基于无参考图模式展开。对模糊场景进行深入研究后，较之以清晰照片，图像在多维度方向梯度上有较高的分辨率。需要注意的是，多维度方向梯度的阈值设置在算法训练时，需要通过统计数据和概率模型拟合来确定，摄像头的角速率快慢对照片的模糊程度也存在部分细微影响。

4.3 云层与烟雾的区别

通过可见光摄像头对烟雾进行识别时，由于森林防火场景中监控摄像头往往处于高空位置进行监控，且分远、中、近3种场景推进摄像头并巡航，因此不可避免地画面中会出现一些如图9所示与烟雾相似的稀薄云层，可能会导致将云层误报为烟雾。

图8 模糊图像检测流程

图9 天空云层误报

天际线的识别方法，在简单场景中并不复杂，可以通过霍夫变换实现直线检测，或者通过膨胀腐蚀变换后，计算联通区域实现。但是，在复杂场景中，因为高塔上柱状塔杆的存在，会给以上方法带来较大挑战。因此，在该场景下的天际线识别需要采用更有效的方法来解决特定问题。经试验后，新天际线检测算法区域有效识别率大于95%，但是在曲线拟合上可能存在3～8个像素点的线性误差，评估后认为，该线性误差对于区域识别和云层屏蔽影响可以忽略。

在初步划定好天际线后按照如图10的流程进行逻辑判断，对于天际线以上出现的识别目标判定为云，不进行烟火报警；在天际线以下识别到的烟雾判定为真实烟雾，进行后续红外热成像的综合分析；若识别到的目标刚好处于天际线中间，则需要人工辅助进行判断。

图10 云层判断流程图

4.4 抑制效果

在实际应用中，采用本文描述的抑制方法，对烟雾识别产生的主要3种误报进行上述抑制后，再次观察烟雾识别在可见光通道的识别效果，发现误报率减少了90%（其他非通用误报场景的抑制直接通过增量负样本学习方法抑制，本文不再详述原理及步骤）。因此针对上诉三种主要场景的误报抑制有效降低了误报率，提高了烟雾识别在可见光通道的应用效果。

5 信息融合综合判断及管理流程建议

考虑到林草防火系统的高可靠性要求，虽然一直探索通过不同技术的优势整合和信息融合技术以抑制误报场景，但不漏检是系统安全性的第一要素。因此，在多种技术融合时，如果依然存在难以确定的场景，建议通过人工确认手段来保证服务的安全性。

通过对可见光图像识别进行误报抑制后，在红外热成像与可见光图像识别相结合的方法中，双重确认是较于两种方法单独使用的优势以及降低误报率的保证。双重确认需要对红外热成像信息与可见光信息相融合，进行如图11所示的综合判断流程。当温度异常单并没有识别到烟雾，需进行进一步的逻辑判断：当温度置信值很高，温度明显异于常情时刻就直接判断为有火情并立即报警；当温度置信度不高时建议人工判断，但此时人工判断的工作量较两种方法独立使用时少了很多。当既识别到温度异常同时识别到烟雾，直接判断为有火情进行报警。当温度并没有检测到异常，但可见光通道识别到了烟雾，进行进一步分析：当烟雾置信度很高时判断为有火情，立即报警；当烟雾置信度并不高时，建议人工确认。其中关于温度的置信度需要长期进行大数据的追踪来确定。

图11 综合判断流程图

6 结语

在林草监控系统的应用中，基于红外双通道摄像头，叠加可见光烟雾识别的技术，充分利用图像识别与红外热成像探测各自的优点，并对常见可见光误报场景提出了针对性优化方案，提高了红外双通道摄像头在林草防火中对火情识别的准确度，大大的降低了误报率，同时保证了时效性，有助于更好的防范森林火灾，避免经济损失的扩大化。