激光照射性能测量中异源相机的标定方法

2020-06-18景文博黄炳坤刘健于洪洋

兵工学报 2020年5期

景文博，黄炳坤，刘健，于洪洋

(1.长春理工大学光电工程学院，吉林长春 130022； 2.长春理工大学电子信息工程学院，吉林长春 130022)

0 引言

激光照射性能测试系统通常采用单个相机的降级使用进行测量，可见光靶板和近红外光斑目标成像在同一幅图像上，可见光和近红外目标清晰度不能同时得到保证，后期的目标检测精度低。本文要标定的系统是可见光相机和近红外相机作为一个测量系统，可见光系统成像具有较强的对比度和形态信息，可以准确快速的对被测量目标进行监视、识别等操作，而近红外相机对近红外波段的激光成像技术具有明显优势。该系统前端成像部分采用卡塞格林光学系统进行设计，在保证测量精度的同时可以有效减小测量系统的体积，并且受光学镜头制造精度及装调精度等的影响，目标经镜头成像后通常会产生不同程度的非线性畸变，需要对两个相机进行标定消除畸变；另外，由于可见光相机和近红外相机的安装、分辨率不同、视场不同均会产生一定程度的空间透视误差，需要对两个相机进行空间配准消除轴线非一致性的影响。

张正友相机标定法[1]广泛应用于单个大视场短焦距相机畸变校正；Merras等[2]利用改进的遗传算法对未知三维场景进行参数自标定，该方法适用于相机内部参数变化较大情况；Ramalingam等[3]提出一种针孔、鱼眼、折反射及多相机网络的统一标定方法，利用空间中的一组图像像素和相关的光线建立相机模型，根据图像像素与空间三维光线的映射关系求解参数，可以将相机的中心、轴向及非中心分开校准。上述方法主要集中在短焦相机标定，考虑因素过多，计算过程复杂。Reznicek等[4]提出了相机校准的有限元方法；而Manuel[5]提出了基于深度学习单图像标定方法，从一个单一的图像来预测外在(倾斜和滚动)和内在(焦距和径向畸变)参数；孟晓桥等[6-7]在相机自标定方法中提出更具稳定性的基于曲线拟合的圆形标定法。这些方法均没有涉及在远距离长焦距成像系统中如何进行相机标定的具体方法。传统的双相机轴线一致性是通过机械调整法完成[8]，一般会受到装调精度的影响。通过图像特征的相机配准方法主要有：杨琪[9]提出基于复合特征的异源图像配准方法；吴雪[10]在红外与可见光图像融合用到基于改进多尺度分析的方法；甘健飞[11]用基于目标检测的方法实现红外可见图像配准，通过融合梯度方向的信息和互信息，对异源图像运动目标进行特征检测，从而实现配准；Kong等[12]利用结构转移融合方法进行红外和可见光图像融合，首先构建结构转移模型将灰度结构从可见光输入图像转移到红外图像中，然后执行红外细节增强策略来补充红外图像的缺失细节。这些方法都是根据图像特征在像素坐标平面完成的平面配准，由于该测量中的可见光相机和近红外相机坐标平面存在一定的空间变换关系，上述方法无法提供两个相机坐标平面的空间变换配准。在激光照射性能测量过程中，共用卡塞格林反射式光学系统的可见光相机和近红外相机(因为两个相机作为一个整体使用，以下称这个整体为异源相机)属于长焦、远距离成像系统，本文要解决异源相机的畸变校正和轴线一致性配准问题。由于卡塞格林光学系统带来的像差在成像中不可忽略，根据对张正友短焦、近距离成像相机标定方法的改进，提出一种长焦、远距离的相机标定方法，对成像图像进行畸变校正；同时，通过在室内采用网格目标板对可见光和近红外相机的空间变换进行配准，完成双相机光轴一致性配准。

1 相机标定和配准方法

激光照射性能测量系统如图1，由卡塞格林反射结构、光学透镜、直角分光棱镜、窄带滤光片、反射镜、可见光相机、近红外相机等组成。

图1 激光照射性能测量光学系统示意图Fig.1 Schematic diagram of laser irradiation performance measurement optical system

可见光的靶板目标和近红外的光斑目标同时经过卡塞格林反射结构传播至测量系统中，经过分光棱镜分为两路，分别获得可见光靶板和近红外光斑图像。

1.1 相机标定

本文选用扩展的针孔模型作为相机模型，该模型可以得到世界坐标系到图像坐标系的映射关系[11]。定义世界坐标系为OwXwYwZw，可见光图像像素坐标系为Ovuvvv. 在本文中，可见光和近红外相机的标定方法相同，以下只对可见光相机标定进行讨论。

远距离成像相机标定中可以忽略透视畸变的影响，本文在张正友相机标定方法[1]的基础上，使相机内参数中扭曲因子为0，则可见光图像坐标系与世界坐标系的转换关系[13-14]可表示为

(1)

1.1.1 内外参数求解

一般情况下，假设物体平面在世界坐标系中的Zw坐标为0. 可见光相机的图像与三维空间点单应性关系为

(2)

式中：rvok(k=1,2,3)是旋转矩阵Rvo第k列。

当Zw=0，(2)式中的单应性矩阵可以表示为

(3)

将单应性矩阵Hv表示为3个列向量：

(4)

式中：λv为任意标量。

由(4)式可求得相机外参数为

(5)

相机三维空间的运动，各个旋转单位向量相互正交，即rvo1和rvo2是单位正交的向量，于是有

(6)

(7)

因为Nv为对称矩阵，只需提取出其中的6个元素，即令nv=[Nv11,0,Nv22,Nv13,Nv23,Nv33]T，然后可以得到：

(8)

式中：wvij=[hi1hj1hi1hj2+hi2hj1hi3hj2hi3hj1+hi1hj3hi3hj2+hi2hj3hi3hj3]T，将(8)式代入(6)式可得

(9)

在标定过程中，采集m张图像，迭代可以得到：

Bvnv=0，

(10)

式中：Bv是一个2m×6矩阵。当m=3，通常能得到一个唯一解nv；若m>3，为超定方程，通过最优化方法即可求得最优解nv.

(11)

根据求得的相机内参数，结合(5)式即可确定可见光相机的外参数。

1.1.2 畸变参数的求解

相机镜头固有的透视失真和复杂的光学系统装调精度不高的问题，导致理想成像点沿着径向偏移。为了提高标定精度，同时考虑理想成像点沿着径向和切向的偏移影响，如图2所示。

图2 径向畸变drv和切向畸变dtvFig.2 Radial distortion drv and tangential distortion dtv

(12)

式中：(uv,vv)、(u′v,v′v)分别为可见光图像的理想成像点坐标和畸变成像点坐标；kv1、kv2、kv3为可见光相机的畸变参数；pv1、pv2为可见光切向畸变参数。这里定义畸变向量kv=[kv1,kv2,kv3,pv1,pv2]T，将(12)式畸变点与理想点之间的关系定义为

(u′v,v′v)=ψv{(uv,vv),kv},

(13)

式中：ψv表示理想点到畸变点之间的映射关系。

(12)式通过畸变参数说明畸变点与理想点之间的关系，结合(12)式根据图像坐标系之间的转换关系可以得到非齐次线性方程组：

Dvkv=dv，

(14)

式中：Dv为含有图像采样点和主点坐标的矩阵；dv为含有图像采样点对应的理想点坐标的向量。通过正规方程组解法得到最小二乘解[15]：

(15)

上面求解的相机的内参数和外参数并不是相机参数的准确值，获得的解是有偏差的，求得畸变参数后，就获得了扩展的针孔模型的全部初始参数，下一步使实际图像检测的像素点与成像模型预测的像素点应用LM迭代优化算法[12]对参数进行优化：

(16)

式中：q为参与计算的点的个数；mvi为实际图像检测到的像素点;vi是空间三维点Pvj经过没有进行优化前的参数投影到图像上的点。最优化的结果就是可见光相机标定的结果。近红外相机的标定与可见光相同。

1.2 相机配准

由于两个相机在一个测量系统中，所以标定出可见光相机的内部参数，并将近红外相机配准到可见光相机上，测量系统所需要的参数就都被得到。下面是可见光图像平面和近红外图像平面的配准过程，网格目标板在两个相机上的成像示意图如图3所示，配准示意图如图4所示。

图3 网格目标板在两个相机上的成像Fig.3 Imaging of grid target board in two cameras

图4 像面配准Fig.4 Image registration

本文研究的相机配准本质是相机坐标系之间的转换，并且相机配准应用的是二维图像数据，将两个图像平面中的一个透视投影到另一个平面，用齐次变换矩阵表示空间投影变换：

(17)

(18)

通过两个相机采集到的图像坐标像素坐标，同一对点可以产生两个方程，因此只需要4个不在一条直线上的点就可以求出配准矩阵T.

1.3 网格十字角点检测

相机标定和相机配准中的数据主要由两个相机对应的十字中心点坐标组成。对每个十字中心点感兴趣区域(ROI)进行计算获得亚像素级位置坐标，ROI如图5所示。

图5 网格板示意图Fig.5 Schematic diagram of grid plate

亚像素十字中心检测的算法按如下步骤进行：

1)对ROI用最大类间方差法做阈值分割，得到二值化的ROI图像；

2)用阈值分割前的ROI与二值化的ROI图像相乘得到灰度ROI图像；

3)对列(行)方向像素进行投影计算获得灰度累积和最大的一列ξ(行η)；

4)以坐标(ξ，η)为中心像素产生一个邻域窗口，本文可见光相机图像邻域窗口取15×15，近红外相机图像邻域窗口取9×13，在邻域窗口内按照质心算法进行计算，获得单个ROI的亚像素十字中心坐标。

2 实验结果与数据分析

在获取摄远光学系统校正模型后，搭建实验系统，搭建标定系统实物图如图6所示，包括：光源；在光源的一侧依次设有平行光管以及摄远光学系统，摄远光学系统与计算机相连接；平行光管内设有网格板。获取图像之前，首先调整各个设备的位置，使得网格板中心点成像于可见光图像的中心。

图6 实验实物图Fig.6 Experimental system

标定系统参数的各项参数：可见光相机型号IMPERX ICL-B1410，分辨率1 392×1 040，焦距545 mm，像元尺寸6.45 μm；近红外相机型号XSW-640-TE1, 分辨率640×512，焦距566 mm，像元尺寸20 μm；平行光管型号F1600；网格标定板规格2 mm±0.05 μm；光源为6 V的全光谱灯。

根据要校正的摄远光学系统通过使用平行光管使系统等效为距离L处光源的校正系统。

产生平行光时焦距为f′v，平行光管微调标尺刻度为l. 平行光管透镜焦距与折射率关系为

(19)

式中：k为比例常系数；n为空气中折射率；n′v为可见光相机透镜折射率。由此计算产生近红外平行光时的平行光管透镜焦距f′ni：

(20)

(21)

调整网格板的位置，分别采集可见光与近红外图像。

2.1 相机标定和配准的实验结果

采集图像如图7(a)、图8(a)所示，选择以图像中心矩阵区域的网格角点，即如图5中虚线框示意的网格点所成的像，提取网格角点坐标。提取坐标如图7(b)、图8(b)中标记的网格点坐标，图7(b)是可见光图像标记的网格点，图8(b)是近红外图像标记的网格点，其中所标记的网格点坐标是亮色的圆点。

图7 可见光图像Fig.7 Visible image

图8 近红外图像Fig.8 Near-infrared image

通过成像模型可以计算出边长d在理想图像上对应的像素大小，结合畸变向量k(可见光为kv，近红外为kni)可以得到理想无畸变图像坐标Cd，之前所提取的畸变图像坐标记为C. 由(13)式的畸变校正模型，Cd与C之间的映射关系为

Cd=ψ-1(C,k).

(22)

由表1、表2的重投影误差统计数据可知，采样点数越多,重投影误差越小。

表1 可见光相机平均重投影误差与采样点数统计表

表2 近红外相机平均重投影误差与采样点数统计表

由1.1节的相机标定方法分别得到可见光相机内参数矩阵Mvi、旋转向量Rvo、平移向量tvo、畸变向量kv和近红外相机内参数矩阵Mnii、旋转向量Rnio、平移向量tnio、畸变向量kni，这里畸变向量保留5维。可见光相机标定和近红外相机标定的具体结果如表3和表4所示。可见光相机标定的重投影误差为0.08像素，近红外相机标定的重投影误差为0.19像素。

用得到的可见光和近红外的标定参数对图像进行畸变校正，得到如图9校正后的图像。设光学畸变校正后图像为I′，原图像为I，由(22)式的畸变校正模型可得

I′=ψ-1(I,k).

(23)

结合(1)式可得

Hv=Mvi(Rvotvo).

(24)