基于视觉传感的地面烟火监测系统设计

严成，何宁，庞维庆，邓德迎

(1.桂林电子科技大学 信息与通信学院，广西 桂林 541004；2.广西高校无人机遥测重点实验室，广西 桂林 541004)

0 引言

近年来，随着城镇化速度加快，城市火灾事故频发，火灾风险居高不下，造成了重大的人员财产损失和恶劣的社会影响[1-2]。现阶段，我国对于早期的城市、农林、森林火灾监测手段主要有卫星遥感、塔台瞭望、地面巡视和飞机巡护等，但以上监测措施存在着受气候影响大、不能满足全天监测和花费高等弊端[3]。无人机具有轻便灵活，可以全天进行巡航的好处。利用无人机进行火灾监测，并快速准确的界定和测量火灾受损区域，可以为消防部门提供有效的处置依据，为事故处理争取时间。

采用精确目标实际面积测量方法，可以克服双目视觉对应点匹配和面积计算所利用的像素当量产生的误差[4]，但算法没有包含拍摄角度参数，缺少对角度变化测量结果的正确性评估。采用航拍图像的森林火灾面积计算方法，满足对森林火场面积计算的要求[5]，但该方法通过彩色和灰度信息提取航拍图像中的森林火场区域，图像中的色差直接影响图像分割的误差，并且该方法没有通过软件实现，无法实时、高效地提供面积测量结果。孙新博等[6]开发的无人机地理信息视频系统，基于GPS数据实现无人机航迹坐标的实时展示、视频影像定位和距离面积量测等功能，但无法实现无人机定点测量小范围面积的功能。

本文通过电子自动测量手段，提出了一种高精度的地面烟火面积测量方案，通过无人机飞控将视频图像与字符信息叠加传输[7]，为该测量方案提供评估参数。在此基础上，利用适用于该面积测量人机交互的烟火区域面积测量软件，实时进行烟火区域检测。根据面积测量方案，计算出光学图像中单个像素点所代表的实际面积，采用图像处理方法，提取出图像中烟火区域的像素总值，实现快速获取烟火区域面积。通过无人机在几十米到几百米的高空，可实现城市、海域、陆地、森林等环境态势的远程监测和信息获取，为执法和救援提供帮助。

1 系统整体方案与测量原理

1.1 系统方案

基于视觉传感的地面烟火监测系统由无人机载具端与地面监测端组成。无人机飞控为测量方案提供采集的环境及物理参数，地面监测端用于接收分析监控图像和数据，以便快速测量和记录特征区域的面积。系统结构如图1所示。

图1 系统结构

1.2 图像采集与处理

图像处理是对摄取图像先进行微元化，然后将提取的特征区域像素点总数与每个像素点的实际面积相乘，便可计算出特征区域的面积S[8]。

图像分割指的是将数字图像细分为多个图像子区域(像素的集合)，就是把图像分成若干个特定的、具有独特性质的区域并提取感兴趣目标的技术和过程[9-10]。根据传统阈值分割方法的两个步骤：①确定合适的阈值；②将图像中的每个像素分别与该阈值比较，将像素分为几个不同的区域[11]。为了达到图像复杂色差区域分割目的，提高特征区域分割的精度，设计系统在传统阈值分割方法基础上增加前后面板图像堆叠形式。具体实现过程如下：

① 将原始图像(设置为变量image_mask)像素值RGB均设置为(0，0，0)并作为掩膜，放置在底板；将采集到的图像(设置为变量image)放置在前面板。通过鼠标响应函数在前面板上绘制出目标区域，底板也将记载该区域，区域边界线RGB分量为(0，255，255)。

② 对原始图像通过漫水填充算法[12]，经公式(1)将目标区域内像素颜色RGB分量设置为(255，255，255)。算法关键以目标区域内的像素点(x0，y0)为中心(种子)，如果像素点(x，y)属于绘制的目标区域Sxy，将(x，y)与(x0，y0)合并在同一个区域内。

(1)

③ 这一步统计目标区域的像素点总数。首先将步骤②中经漫水填充算法处理后的图像转换为256个灰度等级的灰度图像，像素点值为Gray(x,y)：

Gray(x,y)=0.299×R+0.587×G+0.114×B,

(2)

之后通过单阈值分割方法将灰度图像转换为二值化图像，单阈值设置为254，由下式计算像素点值g(x,y)：

(3)

通过迭代器访问二值化图像中的像素点，统计非零像素值的点。

④ 将二值化图像与采集到的图像进行乘运算，前者像素点值为1的区域将保留后者对应的区域，像素点值为0的区域将抑制后者对应的区域，达到同时分割处理多个区域目的。

1.3 基于单目视觉的面积测量原理

在光学成像几何模型的单目视觉测距系统中，摄像机以一定的俯仰角对地面物体进行拍摄，将所拍摄图像上某点的坐标转换为世界坐标系下的坐标，找出图像与对应坐标的映射关系，为面积测量方案提供理论依据[13]。

基于单目视觉测距原理，提出一种适应于地面烟火面积测量方案。该处理过程是获取计算图像对应的实际平面高度、求取单个像素点所代表的实际面积、计算区域像素点总数并求和得到被监测区域面积。

视觉图像测量原理见图2。图2中阴影部分为摄像机拍摄区域，闭合区域S为特征区域，其面积S是整个测量方案求取的最终值。AB和DE分别为图像对应的实际平面高度和宽度，其中AB为测量系统的待测目标值。

由图2的几何关系可知，垂直视场半角度θ与图像平面高度AB可分别用以下公式求出：

(4)

AB=AM-BM=h[tan(φ+θ)-tan(φ-θ)],

(5)

其中，t=GJ，为底片高度的一半；f=OJ，为焦距；h=OM，为相机的离地高度；φ为相机拍摄角度，相机垂直地面拍摄时φ为0°。

特征区域面积计算原理见图3，其中特征区域S为待计算目标值。

图2 视觉图像测量原理

Fig.2 Principle of visual image measurement

图3 特征区域面积计算原理

Fig.3 Schematic diagram of characteristic area calculation

利用式(5)求得AB，得到图3中单个像素点的实际面积Si为：

(6)

其中，Sx和Sy分别是图像宽度和高度的像素总量。

2 烟火区域面积测量处理

在拍摄的原图像上手动绘制特征区域边界，按照上面过程提取特征区域，得到图4(a)；通过漫水填充处理并基于面积测量方案求取该区域面积，结果如图4(b)所示。

(a)手动绘制特征区域

(b)计算特征区域的面积

图4 提取特征区域并获得结果

Fig.4 Extracting feature regions and obtaining results

为了适应不同拍照设备，软件将不同像素图像统一处理为800×600像素图像，对图4中的特征区域图片进行二值化处理，并统计其像素点总数为9 863个。

使用的摄像头靶面高度为9.6 mm，焦距为9 mm，拍摄高度为7.3 m。相机垂直对目标进行拍摄，角度为0°。

由式(7)求解角度θ：

(7)

求图像对应的实际平面高度AB：

AB=7.3×[tan(0°+28.072 5°)-tan(0°-28.072 5°)]≈7.786 67 m。

(8)

由上面给出的像素参数，得到面积S(结果截取小数点后三位)如下：

(9)

3 系统实操评估与验证

3.1 系统实操

图5 外场实验人机交互测量界面

为验证监测系统的实用性，在外场进行实操，实操中人机交互测量结果如图5所示。所使用的无人机为大疆公司产品CMOS影像传感器,其成像高度为9.6 mm，实际物理固定焦距为9 mm，无人机在离地面高度7.3 m处以垂直方式拍摄目标区域。通过无人机视觉传感进行图像采集与数据信息实时向地面监测基站发送，以便监察管理者对火灾态势的判断识别和分析处理。

图5中测量软件设计由C++编程语言在VS2013中调用opencv库编写[14]，可实现对地面火灾区域进行实时监控和测量。地面端操作人员控制无人机抵达区域上空，并在人机交互的视频显示区发现待测目标区域之后，根据无人机自带相机提供的焦距、靶面高度及回传的拍摄高度VPS数据，对人机交互软件中相应的控件拍摄高度(7.3 m)、拍摄角度(0°)、靶面高度(9.6 mm)、焦距(9 mm)进行设置。经手动在拍摄的图像上描绘过火区域、上位机处理计算得到烟火区域的面积为2.215 m2。根据无人机配备的GPS模块提供地理位置信息，可得到实验中被拍区域的方位为北纬25.204°、东经110.362°。

3.2 系统测试评估与对比

为了验证此系统软件测量的面积正确性与误差，按特征区域图像分割到面积测量的算法流程进行实验并分析数据。面积测量数据对比见表1。

表1 面积测量数据对比

对比结果表明，随着无人机对目标的拍摄高度和角度变化，其误差大小有所不同，当测量角度小于90°测量时相对误差不大于5 %，小角度(正负5°范围内)和垂直拍摄平均相对误差低于1.3 %,优于文献[4]中的平均相对误差1.48 %，满足对污染面积测量工作的需求。本测量软件运行顺畅，很好地完成污染区域面积测量工作，弥补了文献[6]无法实现无人机定点测量小范围面积的不足。

4 结语

本文基于视觉图像，根据单目视觉测距原理，提出了一种高精度的可用于地面火灾面积测量方案，利用无人机航拍为该测量模型提供参数及烟火区域方位信息。分析了光学图像测量原理，采用图像分割技术设计的地面火灾面积测量软件，可对烟火面积进行实时或后期测量。系统方案验证实验结果表明，通过设置的人机交互对烟火区域图片分析，其面积测量精度为10-3m2，测量相对误差低于5 %，垂直拍摄平均相对误差低于1.3 %。系统能满足城市、陆地、森林等环境态势的火灾区域远程监测和信息获取需求，为执法和救援提供帮助。