基于OpenCV的长波红外摄像机标定研究

张小玉，宫 贺，齐 琦

（北方工业大学 信息工程学院，北京 100144）

计算机视觉的基本任务之一是从摄像机拍摄到的图像信息来还原空间中物体的几何信息。而空间物体表面某点的三维几何位置与其在图像中对应点之间的关系是由摄像机成像的几何模型决定的。摄像机标定的目的就是确定几何模型参数即摄像机参数[1]。摄像机标定技术在立体视觉研究中占有非常重要的地位。一个完整的计算机视觉系统通常可以分为图像获取、摄像机标定、特征提取、立体匹配、深度确定及内插等6个部分[2]。精确标定摄像机内外参数不仅可以直接提高测量精度，而且可以为后继的立体图像匹配与三维重建奠定良好的基础[3-4]。

目前通常使用的标定方法是以“两步法”[5-8]为基础的传统摄像机标定方法，与其他标定方法相比（如主动视觉摄像机标定方法、摄像机自标定方法等），该标定方法标定精度高，而且标定过程简单，经过多年的研究，已发展的比较成熟，鲁棒性高。 OpenCV（Intel open source computer vision）是Intel开放计算机视觉函数库，它由一系列C函数和少量C++类构成，对图像处理和计算机视觉方面的很多通用算法进行了实现，具有强大的图像和矩阵运算能力。该函数库中实现的摄像机标定方法采用的是张正友提出的标定方法。

在摄像机标定中通常使用已知形状和尺寸大小的标定模板来进行标定，如棋盘格、十字架等。但由于长波红外摄像机不能像可见光像机那样，直接获取普通光学系统标定板的纹理，因而无法用普通摄像机的标定板对长波红外摄像机进行标定。所以，需要对长波红外摄像机设计特定的标定装置。

1 红外摄像机标定装置的设计

长波红外摄像机只能感受到温度信息，而不能获取普通光学系统标定板的纹理，因此必须设计一个适用于长波红外摄像机标定的标定装置。

本标定装置是基于前板带有标志圆孔的标定箱，其结构示意图如下图1(a)。图1(a)中1是标定箱的前板，作为标定箱标定数据的靶面，一般为热的良导体，其上设有若干个直径大小一致，形状规则的标志圆孔，且标志圆孔在靶面上以矩形阵列分布。为了区分方向性及标定的准确性，圆孔阵列的行列数不相等。图1（a）中3，4分别为标定箱的箱体和后板，是热的不良导体且具有隔断长波红外线的功能。一般情况下，可以用纸质、木质或则塑料材质的密封箱体，在前板用打孔机打上圆孔矩形阵列，可根据研究的需要对圆孔数量进行设定。使用时，只要将标定箱放入长波红外摄像机视场后，用加热器对标定箱前板进行均匀加热，然后拍摄标定箱前板图像即可。为了增强对比性，前板要均匀的加热一段时间，确保靶面和后板的有一定的温差，从而使标靶图像中圆孔特征更容易提取，使标定数据更准确。对于精度较高的应用场合，则点间距需要事先精确测定。

图1 标定装置原理图及红外像机拍摄的标定板效果图Fig.1 The schematic diagram of calibration device and the calibration board effect chart of infrared cameras

本研究中，使用的是纸质的标定箱，在其前板设有8行6列的标志圆孔矩形阵列，图1（b）为红外像机实际拍摄的前板靶面的效果图。可以看出：由于标靶表面加热，温度比标志圆孔区域高，标志圆孔区域灰度值较小，标靶表面灰度值较大。

2 长波红外摄像机标定板特征点坐标提取

红外像机拍摄的标定板图像中，以标志圆孔重心坐标作为特征点像素坐标。特征点坐标提取算法的流程图如图2。

图2 特征点坐标提取流程图Fig.2 The flow chart of coordinate extraction from Feature points

先对长波红外相机拍摄到的标定板图像进行感兴趣区提取，中值滤波，Retinex图像增强以及二值化等处理，以便对标定板图像标志圆孔坐标的准确求取。然后对二值化标定板图像中标志圆孔进行重心坐标计算，作为红外相机标定的特征点坐标。图3是按照图2流程图对红外像机拍摄到的标靶图像进行图像处理后的结果图。

中值滤波的基本原理是把数字图像或数字序列中某一点的值用该点的周围一个邻域中各点值的中间值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。

图3 对红外像机拍摄到的标定板图像进行特征点提取Fig.3 The extraction of feature point on the calibration plate image through the infrared cameras

Retinex图像增强的原理是利用原始图像估计背景噪声图像，再用原始图像减去背景噪声，得到不受光照影响的图像（噪声图像），利于对图像特征的提取。

二值化：将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。图像的二值化有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出感兴趣的目标的轮廓。

灰度重心法：用图像的灰度值作为权值的加权形心法。灰度图像 I（x，y）中目标 S 的灰度重心坐标（x0，y0）为：

图3中，（a）是原始标定板图像的感兴趣区域，（b）是采用8*8模板中值滤波之后的背景图像，（c）是原始图像（a）减去背景图像（b）之后的差值图像，（d）是差值图像（c）的二值化图像，（e）是对（d）进行重心求取并标出重心坐标的图像。

3 摄像机标定原理

3.1 摄像机标定模型

摄像机标定首先要选择合适的摄像机模型，确定内外部参数。内部参数是用来描述摄像机的几何特性与内部光学的参数，包括图像中心、焦距、镜头畸变和比例因子等；而外部参数就是相对于世界坐标系的摄像机坐标的三维位置和方向。OpenCV标定算法中的摄像机模型是在针孔模型的基础上，考虑了透镜的径向畸变和切向畸变的影响。相比于只引入一阶径向畸变的Tasi模型和针孔模型，该模型更能真实的反映透镜实际的畸变情况。

将三维空间点 P在世界坐标系中的坐标值 Pw（Xw，Yw，Zw）变换为图像平面上像素坐标系中坐标值P（u，v）的过程可分为下述的4步变换[5]。

1）世界坐标系中坐标 Pw（Xw，Yw，Zw）转换为摄像机坐标系中坐标 Pc（Xc，Yc，Zc）

式中：R是一个3x3的旋转矩阵，t是一个平移向量。

2）将坐标值 Pc（Xc，Yc，Zc）在针孔模型中进行规范化投影，得到图像平面坐标系中物理坐标P（x，y）为

3）引入透镜的径向畸变，和切向畸变，P（x，y）转换为P（xd，yd）

算式中 k1和k2是径向畸变系数，k3和k4是切向畸变系数。

4）图像平面坐标系中物理坐标P（xd，yd）转换为像素坐标P（u，v）

式中f是摄像机的有效焦距；s是比例因子，用来适应在计算机图像（帧存）水平方向上取样带来的种种不确定因素；Δx是计算机图像在水平方向（x方向上）相邻两像素之间的有效距离（mm/pixel），Δy是计算机图像在垂直方向（y方向）上相邻两像素之间的有效距离（mm/pixel）；（u0，v0）是基准点，通常在图像的中心。综合上述公式可得到如下等价表达式：

式（5）中 P=（u，v，1）T为图像像素点的齐次坐标，P=（X，Y，Z，1）T是空间点2的齐次坐标，A是摄像机内参矩阵，（R|t）为外参矩阵，（5）式给出了一个图像点和空间点之间的映射关系。

3.2 标定方法

标定过程分为线性计算和非线性计算优化两个步骤：1）不考虑畸变，直接在针孔模型的基础上利用直接线性变换（DLT变换）方法计算出摄像机的内部和外部参数的初值[6]。该步骤的计算过程都是求解线性方程，求解速度快。但是因为没有考虑透镜畸变的影响，得到的参数值并不准确。2）考虑畸变的情况，以步骤。3）中求得的参数为初始值，利用Levenberg-Marquardt算法对图像点与投影点间的距离之和进行非线性最小优化，得到一组精度更高的值。

4 基于OpenCV的红外摄像机标定

基于OpenCV的标定流程模块如图4所示。

图4 标定流程模块图Fig.4 The block diagram of calibration procedures

1）读取标定用的一组标靶图像（如图5所示）。

图5 输入的3张红外像机拍摄的标靶图像Fig.5 Three inputted target image from the infrared camera

2）按照本文2中方法，对标靶图像进行标志圆孔重心坐标提取，此坐标即为特征点在图像坐标系中的坐标。

3）初始化所有的输入参数之后，将特征点在世界坐标系中的坐标值以及在图像坐标系中的坐标值代入cv Cali brate Camera2，最后得到摄像机的内参数矩阵，畸变系数向量、图像的旋转向量、图像的平移向量。

4）计算外参矩阵：利用c）中得到的内参数矩阵和畸变系数向量，用函数cvFindExtrinsicCameraParams计算各幅图像的外参数（旋转向量和平移向量）。

5）分析实验结果：先用cvProjectPoints2计算出三维特征点坐标的投影坐标，再用函数cvNorm比较计算出的投影坐标与通过特征点提取到的投影坐标，从而得到一个误差值。最后注意要用cvReleaseMat函数释放掉cvCreateMat函数分配的内存空间，防止内存泄露。

5 实验结果

根据上述步骤和原理，本文在Windows XP系统下用VS2008编写了一个基于OpenCV1.0的红外摄像机标定程序，程序界面如图6所示。程序输入三张或多张标靶图像，输出是长波红外像机的内外参数、畸变系数，以及畸变矫正后的图像。程序较好的实现了长波红外像机的几何标定，已被应用到某铜厂的红外像机温度变化检测项目中。

研究中，采用红外像机拍摄到3张不同角度的标靶图像，该图像为640*320像素。程序通过计算特征点像素坐标，从而计算出红外摄像机内外参数，畸变系数。利用红外像机内外参数，可求得红外像机的畸变映射，从而实现对畸变图像进行畸变恢复。图7是用红外像机拍摄的铜电解槽的畸变图像和畸变恢复后的对比图。由对比图可以看出，畸变恢复效果较好，表明利用本文中的红外像机标定软件标定能很好的实现红外摄像机的几何标定。

图6 标定程序界面Fig.6 The interface of calibration procedures

图7 铜厂电解槽热红外图像畸变恢复对比图Fig.7 The comparison chart of distortion restoration from thermal infrared image in the electrolytic tank

标定出的红外摄像机参数如下：内参矩阵：畸变系数：[-0.389 570 0.003 941-0.001 758-0.003 108]误差 err：0.162 705

6 结束语

本研究设计了一个能用于标定红外摄像机的标定板，并利用图像处理算法实现了标定板特征点坐标的提取。在标定时，利用红外像机拍摄3张或多张标定板图像，输入基于OpenCV的红外像机标定程序，计算出红外像机的内外参数，同时利用求得的畸变系数，对畸变图像进行了较好的恢复。

OpenCV中的摄像机标定模块为用户提供了良好的接口，有效的提高了开发效率，并且执行速度快，具有良好的跨平台移植性，因此被广泛应用于摄像机标定程序的开发中。OpenCV开发的摄像机标定程序可以有效地应用于需要计算机视觉系统的各个领域。

[1]邱茂林，马颂德，李毅.计算机视觉中摄像机定标综述[J].自动化学报，2000，26（1）:43-55.QIU Mao-lin，MA Song-de，LI Yi.Overview of camera calibration for computer vision[J].Journal of Automation，2000，26（1）:43-55.

[2]David A Forsyth，Jean Ponce.计算机视觉—一种现代方法[M].北京:电子工业出版社，2004.

[3]Rashmi Sundareswara，Schrater P R.Bayesian modeling of camera calibration and reconstruction[C].Processings Fifth International Conferenceon3-DDigital Imagingand Modeling，2005:394-401.

[4]Rodriguez T，Sturm P，Wilczkowiak M，et al.VISIRE:Photorealistic 3D reconstruction from video sequences[C].Proceedings International Conference on Image Processing（03CH37429），2003.

[5]Jean-Yves Bouguet.Camera calibration toolbox for Matlab[DB/OL].（2004）.http://www.vision.caltech.edu/Bouguetj/calibdoc.

[6]ZHANGZ.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）:1330-1334.

[7]赵小松.摄像机标定技术的研究[J].机械工程学报，2002，38（3）:149-151.ZHAO Xiao-song.Study on camera calibration technology[J].Chinese Journal of Me-chanical Engineeri-ng，2002，38（3）:149-151.

[8]毛剑飞，邹细勇，诸静.改进的平面模板两步法标定摄像机[J].中国图像图形学报，2004，9（7）:846-852.MAO Jian-fei，ZOU Xi-yong，ZHU Jing.Planar template improved twostep cameracalibration[J].China Journal of image and graphics，2004，9（7）:846-852.