下视系统CCD大视场镜头图像畸变校正方法研究

李礼 谢井华 王红 黎宇嘉 盆李艳

摘  要：由于镜头在制造及装配过程中必然会存在误差，而且在广角镜头的设计中不可避免的会产生非线性畸变，无法避免最直观的效果就是拍到的图像发生扭曲。为了减小畸变对图像的影响，故需要重建整个系统拍摄得到的2D图像信息与其对应3D空间物体信息之间准确的对应关系。文章通过建立正确的数学校正模型，采用基于MATLAB内部工具箱对相机进行标定，得到相机内外参数投影矩阵关系，从而对畸变图像进行校正。

关键词：光电模块;畸变校正;广角镜头

中图分类号：TP273+.4                文献标识码：A文章编号：2096-4706（2021）19-0168-04

Study on Image Distortion Correction Method of CCD Large Field of View Lens in Downview System

LI Li， XIE Jinghua， WANG Hong， LI Yujia， PEN Liyang

（State-owned Changhong Machinery Factory， Guilin  541002， China）

Abstract： Due to the lens in the manufacturing and assembly process will inevitably have errors， and in the design of wide-angle lens will inevitably produce nonlinear distortion， the most intuitive effect that can not avoided is the captured image is distorted. In order to reduce the influence of distortion on the image， it is necessary to reconstruct the accurate correspondence between the 2D image information captured by the whole system and the corresponding 3D space object information.  In this paper， the correct mathematical correction model is established， and the camera is calibrated based on the internal toolbox of MATLAB， and the projection matrix relationship of the parameters inside and outside the camera is obtained， so as to correct the distorted image.

Keywords： photoelectric module; distortion correction; wide angle lens

0  引  言

航空成像產品在航空侦察中扮演着非常重要的角色，其可安装在各种类型的飞行器上，是获取地面及空中目标信息的重要设备。电荷耦合器件（charge-coupled device， CCD）是目前市面上使用最多的一种图像传感器，它的原理是通过镜头把聚焦的景物光信号转换为后端需要处理的电信号，并且结合后端的图像处理技术进而显示出图像。当拍摄大视场的景物图像信息时，就需要相机的整体视场足够的大，以便探测系统完成图像采集和信息观察，故需要广义上的广角镜头进行聚光。但是会产生的一个很重要的问题就是广角镜头比小视场的镜头产生的非线性畸变更加明显，最终会导致拍到的图像发生扭曲。为了让相机拍到的图像畸变很小，就需要我们找到该相机几何模型从而达到对相机标定。但由于在光学系统设计、加工和装调等流程中，会因为许多不确定因素导致系统畸变，实际效果就是在拍摄中所得的图像信息并不能够准确的反映实际图像信息。为了得到实际图像的三维空间位置与其图像中对应像素点的准确关系，就需要在调试的过程中通过畸变校正的方法来弥补目的。

相机标定是找到图像像素位置与标准模板位置之间的对应关系，从而获取摄像机的内参和外参矩阵，内参和外参系数可以对之后相机拍摄的图像进行后期矫正，从而能够得到畸变相对很小的图像。目前主要的标定方法是传统相机标定法和相机自标定法[1，2]。传统相机标定法是利用已知的标定物尺寸，通过建立标定物上坐标已知的点与其图像点之间的对应关系，并且借助算法获得相机模型的内外参数。传统相机标定法在图像标定过程中对标定物的精度要求非常高，而且始终需要标定物。相机自标定法主要是利用场景中的一些平行或者正交的信息进行标定。其中空间平行线在相机图像平面上的交点被称为消失点，它是射影几何中一个非常重要的特征，所以很多学者研究了基于消失点的相机自标定方法。自标定方法灵活性强，可对相机进行在线定标。但由于它是基于绝对二次曲线或曲面的方法，其算法鲁棒性差。

本文主要研究了航空成像系统下视系统广角相机的畸变校正技术，旨在详细分析畸变校正算法，并在MATLAB上观察校正效果并适当修改相应的值，从而能够让标定结果更加的精确和系统更加稳定。根据畸变前、后图对应点的映射关系，得到偏移量，进而形成校正表，从而实现对图像的校正。

1  标定原理

通俗讲相机标定就是通过建立模型，找到拍摄的实际物点与所成像点之间的一一对应关系，使用算法计算出成像系统的光学和几何参数。相机成像模型实际上就是光学成像模型的简化模型。相机成像模型反映了实际物体到相机成像平面的投影变化关系，相机成像模型是相机标定的关键。

目前常用的有线性模型和非线性模型两种。实际的成像系统是透镜成像的非线性模型。小孔成像模型是相机成像采用最多的模型。在此模型下，物体的空间坐标和图像坐标之间是线性的关系，因而对相机参数的求解就归结到求解线性方程组上。四个坐标系的关系图如图1所示，其中：世界坐标系（Xw，Yw，Zw）就是反应客观现实世界中的绝对坐标系，Xw轴和Yw轴两个方向视情况而定，Zw轴在通常情况下是深度轴;相机坐标系（Xc，Yc，Zc）的原点为镜头的光心，Xc轴和Yc轴与图像相应轴平行，Zc轴为相机的光轴，相机坐标系可以在任意环境中随意摆放;图像物理坐标系（x，y）就是靶面的坐标系统，一般情况下单位为微米或者毫米进行计量，图像物理坐标系中的x轴和y轴分别与相机坐标系中的Xc轴和Yc轴方向平行，而且图像物理坐标系中的原点一定会在相机的光轴上;图像像素坐标系（u，?），像素是图像的单元，故图像像素坐标系与图像物理坐标系共面，并且u轴和x轴平行，?轴和y轴平行。Q为三维空间点，q为Q在图像平面投影成的像点[3-5]。

根据图1可知，相机坐标系与世界坐标系的转换关系即相机外部参数矩阵为：

（1）

其中，R是旋转正交矩阵，t为平移向量。此公式的作用是描述标定板围绕相机运动的位置或者反之。

在使用相机拍摄物体时，图像上每个像素点的亮度值与其强度有关，图像上的图像点位置仅与空间物体的相对方位及相机内部结构有关，而我们可以使用矩阵来表示相机内部结构参数，矩阵为：

（2）

其中，cx和cy是相机光轴与图像平面的投影中心;cx、cy、γ，fx、fy是相机的内参数，内部参数与相机的位置无关。相机标定也就是求解M矩阵的过程。

2  试验及结果分析

2.1  角点提取

首先利用通道转换法将采集到的棋盘格彩色图像转换成灰度图像;

第二步是计算所转换的黑白图像在x和y两个方向的梯度ix，iy，算法如式（3）和式（4）所示：

（3）

（4）

第三步是计算图像在x和y两个方向的梯度乘积，算法如式（5）、式（6）和式（7）所示：

i2x=ix * iy                                         （5）

i2y=iy * iy                                         （6）

i2xy=ix * iy                                         （7）

第四步是将第三步所得的x和y方向的梯度乘积利用高斯函数进行高斯加权，分别生成矩阵δ、ε和?，算法如式（8）、式（9）和式（10）所示：

（8）

（9）

（10）

第五步是计算每个像素的响应值S，当响应值低于所设定阈值λ时通过算法将其置为零，算法如式（11）所示：

（11）

第六步是再设定的区域内进行非最大值抑制处理，局部最大值点就是所采集的图像中的角点。

2.2  角点精度优化方法

使用上述算法检测出来的角点，有可能会在真正的角点附近非常小的邻域里同时存在几个“伪角点”。故角点的精度就显得尤为重要，因为对标定的结果有着非常大的影响。本文章所用的方法就是先找出这些伪角点，然后将X轴坐标和Y轴坐标分别进行相加并且取相应的平均值，得到的平均值就是真正的角点。这种方法就削弱了因摄像环境等因素引起的噪声影响。

利用平均法优化后的数据坐标和真实的坐标的整体误差得到了有效地降低，提高了角点的精确度，并且角点的检测精度也得到了非常好的改善，从而提高了所采集图像的标定的精度。

2.3  试验结果

利用上述步骤便可得到图像中的各个角点，并且通过坐标转换关系得到不同图像中每幅图像多个角点之间的投影转换关系。

在本试验中，由于相机的特殊性，不能够连续采集，只能够单独一帧采集。所用棋盘格图纸是通过Excel表格制作，通过把棋盤格图纸固定在一张平整的泡沫板上，手拿着泡沫板变化不同的角度，从而采集到不同位置和不同姿态的图像，从中选取20幅图像质量较好的图像进行试验。部分图像如图2所示。

图3为试验角点提取，从图3中可以看出，由于CCD相机像素不高，图像质量一般，但是该工具箱都能够准确的自动提取角点。在导入图像的过程中，有提示需要输入棋盘格的尺寸，输入前期测量好的尺寸即可。在提取角点的过程中会发现软件自动提取的角点与实际图像的角点存在差距，这个可以通过反复修角点重投影进行误差修正，通过不断的反复修改，直到达到理想的角点提取效果。

图4为相机与标定板的三维空间模型，从图中可以非常直观地看出相机坐标系，图中不同的颜色的网格代表标定板相对于相机的不同位置和方向角，坐标系（Xc，Yc，Zc）的原点为镜头的光心，Xc轴和Yc轴与图像相应轴平行，Zc轴为相机的光轴，相机坐标系可以在任意环境中随意摆放。

角点提取成功之后就是相机标定。标定所有的参数，其中内参数包括图像中心、畸变系数以及有效焦距。如果在标定后误差值比较大的话看角点提取是否不精确，调整方法按上文操作。最后通过调用函数调出相机畸变模型分析畸变的程度。本文利用MATLAB标定试验后得到相机的内参和外参，并利用相机畸变校正数学模型在MATLAB软件中进行后期处理，对像素坐标位置进行了校正。

广角镜头相机的图像畸变校正分为灰度校正和像素点的几何变化，定量地分析相机图像的灰度校正效果。图5是指投影的点（理论值）与图像上的测量点的误差图，从图中可以看到校正后的图像误差效果还是比较理想的，但是畸变是无法彻底消除的，只能够调整在合适的范围内。因为这里面不仅有试验条件所带来的误差，比如墙体不是非常的光滑、所用模板不是非常的平整等。而且在实际操作中不可避免的认为误差，更有甚者安装误差、加工误差等更加是不可避免的，是绝对存在的。因此后期工作只是能够改善其畸变，但是并不能够完全抵消，还是会存在一些剩余畸变量。

本文针对所研究目标的实际使用情况，航空相机本身的精度比较高，其畸变量相对较小，与普通相机不在一个数量级上。因此可以在校正图像中将图像平面的畸变中心作为参考中心点，利用畸变中心最近四点连同所在区域的中心点为基准，并且以两点之间的距离作为参考从而能够找到像素坐标位置，进而得出畸变率。

3  结  论

航空成像系统在对地面景物进行成像时，为了能够获得足够大的景物范围。航空成像系统利用广角镜头来得到足够大的实时图像视场，以便于实时图像的大面积采集，从而能够实现高效便捷的探测工作。利用模板法進行标定，试验结果表明，通过采用角点精度控制方法实现了对角点的高精度控制，提高了角点坐标精度。利用MATLAB自带的标定工具箱可以得到CCD相机图像的内外部参数和畸变系数，并且里用算法实现了标定，由于对角点有了非常有效的控制，使得最终的标定结果更加的准确，并且可以通过自己编程序实现部分不具备的功能。

参考文献：

[1] 康健.图像处理的数码相机定位技术的研究与实现 [D].淮南：安徽理工大学，2009.

[2] 贾丹.摄像机现场标定算法研究 [D].哈尔滨：哈尔滨工程大学，2007.

[3] 朱铮涛，黎绍发，陈华平.基于平面网格模型的摄像机镜头畸变校正技术 [J].计算机工程与应用，2004（23）：32-35.

[4] 崔洪州，孔渊，周起勃，等.基于畸变率的图像几何校正 [J].应用光学，2006（3）：183-185+215.

[5] 江洁，张广军，周富强，等.大视场广角物镜畸变的实时数字校正 [J].仪器仪表学报，2004（2）：174-177+182.

作者简介：李礼（1985—），男，汉族，广西贵港人，工程师，硕士研究生，研究方向：制导武器工程化应用。