基于红外与可见光图像火灾定位研究∗

段琳锋 侯新国

（海军工程大学电气工程学院 武汉 430033）

1 引言

随着我国不断发展壮大，舰船的吨位与数量也在不断扩大，各类大吨位舰船越来越多，大空间舰船的消防安全研究成重点［1］。火灾定位是火灾探测到火灾自动扑救的重要环节，能给火灾的快速精准扑救提供位置信息。单一摄像机获取图像信息不完善，火灾探测受干扰较大，而可见光图像具有丰富细节特征和颜色信息，但易受光照和环境的影响；红外图像能够呈现火灾的热效应，受光照影响小，但其分辨率低，利用两种图像的互补性能实现更有效的火灾检测，因此，研究红外与可见光图像的火灾定位具有重要意义。火灾定位是利用双目视觉定位技术计算火灾三维空间坐标的过程。双目立体视觉技术是一种模仿人类视觉系统感知距离的方法，广泛用于火灾定位、运动检测等方面［2］。

在双目视觉定位研究中摄像机标定占有重要地位，摄像机标定是依据摄像机的成像模型，确定空间三维点与图像二维点之间对应关系的参数模型［3～4］，即求解摄像机内外参数的过程。红外摄像机与可见光摄像机的成像原理不同，红外图像主要反映的是物体温度的差异和红外辐射度［5～6］，传统的可见光摄像机标定方法难以直接适用于红外摄像机标定，能同时标定红外摄像机与可见光摄像机的方法并不多。目前，大都研究是基于两个可见光摄像机来进行火灾定位，而对于红外与可见光异源摄像机的火灾定位研究较少。因此，对红外摄像机与可见光摄像机标定技术进行研究，并利用红外摄像机与可见光摄像机进行火灾定位具有重要意义。

本文根据红外摄像机与可见光摄像机的成像特点，设计了能同时标定这两类摄像机的标定板，并进行了异源摄像机标定，最后依据标定的参数进行了火灾定位实验。

2 标定板设计

一般情况下，使用尺寸和形状大小已知的标定板进行摄像机标定［7］。常用打印的黑白相间棋盘格作为标定板虽然颜色不同，但在常温下黑白格之间温度差异不大，在红外摄像头中没有区分度，不能形成对比度较高的标定图像，因此需要设计一种同时能够标定红外摄像机与可见光摄像机的标定板。部分研究者也对此进行了研究，如文献［8］利用透明导热的玻璃制作黑白相间的棋盘格，并在黑色格子涂上隔热材料，再将标定板放温箱中均匀加热后，红外摄像机与可见光摄像机都能识别出标定板的棋盘格。此方法对加热板的加热温度要求较高，温度过高过低都会使得红外图像的对比度不高。文献［9］则是在涂有隔热材料的棋盘格后放一个发光板和一个发热板，通过控制加热时间去控制棋盘格标定板的温差。文献［10］利用黑白分明的漫射棋盘格和温控等装置，再通过控制黑白角点处的温度，采集黑白棋盘格表面的红外图像和可见光图像。文献［11］利用帕尔贴效应，将帕尔贴板嵌在方形棋盘格后面，通过控制电流去控制帕尔贴板的温度，在棋盘格的边缘处产生明显的温度差，获得标定的图像。这类标定板制作工艺复杂，价格昂贵，不适合简单实用的红外与可见光摄像头标定系统。

本文根据现有标定板制作工艺复杂，制作成本高的问题，通过对红外摄像机成像原理和现有的标定方法的研究，制作了一种可以同时提取红外图像与可见光图像的简单实用棋盘格标定装置，如图1所示。该标定板以尺寸为50mm×50mm的铝制片为主要材料，将部分铝制片贴上黑色隔热胶带，再将贴有隔热胶带的铝制片和未贴隔热胶带的铝制片交错排列在吸水板上；将吸水板用热水浸湿，使贴有隔热胶带和未贴隔热胶带的铝制片形成温度差，从而保证标定板在红外摄像机和可见光摄像机下成像都清晰。

图1 棋盘格标定板

3 双目视觉定位技术

3.1 摄像机成像模型

摄像机成像模型是指三维空间中的物体投影到二维像平面上的一个数学模型。常用的摄像机模型是针孔模型，即透视投影模型［12～13］。模型中涉及四个坐标系之间的转换：世界坐标系(OWXWYWZW)、摄像机坐标系(OCXCYCZC)、图像平面坐标系(oxy)和像素坐标系(Ouvuv)。空间中的点在四个坐标系中的转换关系如图2所示。

图2 摄像机透射变换模型

设点P在世界坐标系中的坐标为(XW,YW,ZW)，在摄像机坐标系中的坐标为(XC,YC,ZC)，在图像坐标系中的坐标为(x,y)，在像素平面坐标系中的坐标为(u,v)。各坐标系转换关系如下。

像素平面坐标系与图像坐标系转换关系：

其中(u0,v0)表示坐标原点O在像素平面坐标系中的坐标值，dx和dy分别表示像素在图象中x和 y方向上的实际物理值。

根据小孔成像原理，有：

得到图像坐标系到摄像机坐标系的转换关系：

其中 f表示摄像机焦距，即表示摄像机坐标系原点到像平面的距离。

摄像机坐标系与世界坐标系的转换：

其中R表示旋转矩阵，T表示平移矩阵。

由上可以得出像素平面坐标系与世界坐标系转换关系：

其中M1为摄像机的内参数矩阵，M2为摄像机外部参数矩阵。

3.2 双目视觉定位原理

双目视觉定位模型如图3所示，空间中任意一点P在左右两个摄像头中的像素坐标分别为(μ1,ν1)和 (μ2,ν2)，在左右摄像机坐标系中的位置为(xc1,yc1,zc1)、(xc2,yc2,zc2)。在双目定位应用中，为了简化摄像机坐标系到世界坐标系的转换，一般将左右摄像机坐标系中的一个作为世界坐标系。本文假设左边摄像机坐标系为世界坐标系。假设两个摄像头的内参数A1、A2以及两个摄像头的之间的旋转矩阵R和平移矩阵T都是已知的。根据式（6）可得：

图3 双目视觉定位模型

由此，在知道两个摄像机的内外参数以及P点在两个图像中的像素坐标以后，可以通过求解式（6）可以得到P点在左边摄像机坐标系下的位置(xc1,yc1,zc1)。

4 摄像机标定

4.1 标定图像

该文对海康威视的热成像双谱网络摄像头进行标定，两个摄像机水平放置，可见光摄像机在右，红外摄像机在左，两个摄像头相距约10cm，红外摄像机拍摄的图像最大分辨率是1280×720，可见光摄像机拍摄的图像分辨率是1280×720。利用热成像双谱网络摄像头采集20组不同角度、不同距离的棋盘格图像为标定图像，图4给出了其中1组红外和可见光的棋盘格图像。

图4 采集到的棋盘格图像

该文采用Matlab2017b中的Stereo CameraCali⁃brator模块进行摄像机标定，使用的算法为张友正相机标定法，该方法只需摄像机对标定板进行至少3个不同角度的测量，可以任意移动摄像机和标定板，且移动方向不需要知道，该方法精度高，操作简单。

4.2 标定过程与结果

首先将采集到的红外与可见光图像分别保存到不同文件夹中，在Matlab命令行输入Stereo Cam⁃eraCalibrator调出标定工具箱；然后点击Add images添加保存红外与可见光图像所在的文件夹路径以及标定板的网格尺寸；开始标定，标定板上的角点会被自动检测，在标定完成后得到重投影误差图（见图5）和双目摄像机外部参数可视化模型（见图6），并导出摄像机的具体参数，如表1所示。由图5可知，本文制作的标定板以及标定流程的重投影误差为0.92像素，达到亚像素级别，标定结果验证了本文制作的标定板的准确性和有效性。

表1 摄像机内外参数

图5 误差柱状图

图6 双目摄像机外部参数可视化模型

5 火灾定位实验

为了验证红外与可见光摄像机火灾定位方法的准确性，在模拟舰船大空间试验基地进行火灾定位实验。通过摄像头对不同距离火焰图像的采集，进行视频火灾定位分析。实验开始前，根据测距的需求确定具体点火位置，点火位置示意图如图7所示。在垂直距离分别为5m、10m、15m、20m、30m，水平距离分别为3m、6m、10m的位置采集火焰视频。确定点火位置后，在地面上用卷尺测量出点火位置并做好标记，并调整摄像头底座平行于实验场地地面。

图7 点火位置示意图

在探测到火灾的基础上，得到火灾在红外图像和可见光图像中对应的像素坐标，将像素坐标和摄像机内外参数代入式（6），计算出点火位置与左摄像头的距离，然后对比计算出来的结果与实际测量的距离，并计算绝对误差与相对误差，所得结果如表2所示。表中火焰实际坐标是俯视坐标系下的坐标，火焰定位坐标是对火焰图像识别定位后的坐标，实际距离为点火位置与摄像头的水平距离，定位距离为通过双目视觉定位的火焰位置与摄像头的水平距离。将实际距离距离与定位距离求差值即为绝对误差，再将绝对误差比上实际距离即为相对误差。

表2 火灾定位表

从火灾视频定位结果可以看出，当火焰离摄像头的距离较近时，它的定位误差较小，当火焰离摄像头的距离越远时，它的定位误差就会越大。对误差原因分析，其主要误差来源如下：

1）火焰离摄像机越远时，在图像中呈现的区域就越小，对于远距离物体，单位像素下空间距离变化较大，是误差进一步放大。

2）由于在加工过程中很难制造出理想中的摄像头，总会存在误差，导致摄像头径向畸变和切向畸变，使得生成的图像与针孔成像的模型形成一定偏差。同时，标定用的图像是在近距离拍摄，对近距离火焰定位精度更高，远距离会产生较大的误差。

3）用单个像素坐标来代替火灾区域坐标不太准确，应该用多个火灾区域的平均像素代替火灾区域。

6 结语

该文结合红外与可见光的摄像机成像原理的不同，设计了简单实用的棋盘格标定装置，该装置制作成本低，制作工艺简单，且本能同时标定红外摄像机和可见光摄像机。该文分析了双目标定原理，并采集20组标定图像，利用Matlab中的stereo CameraCalibrator工具箱进行红外与可见光摄像头的标定，标定结果重投影误差较小，达到亚像素级别。最后进行了火灾定位实验，得出实验结果相对误差在7%以内，并对误差原因进行了分析。