双线阵CCD相机的畸变校正和标定方法

朱虹，程松，王栋，陈好刚，王佳

1.西安理工大学自动化与信息工程学院，西安 710048

2.洛阳圣瑞机电技术有限公司，河南洛阳 471000

双线阵CCD相机的畸变校正和标定方法

朱虹1，程松1，王栋1，陈好刚2，王佳2

1.西安理工大学自动化与信息工程学院，西安 710048

2.洛阳圣瑞机电技术有限公司，河南洛阳 471000

1 引言

相机标定是双目视觉三维重建的重要环节，对于面阵CCD相机的标定方法，主要分为设置参照物进行标定的基于标定物的标定法[1]，以及仅依靠相机在运动过程中周围环境的图像与图像之间的对应关系实现的自标定方法[2-3]两类，自标定法目前理论还不成熟，标定精度较差。张正友平面标定法[4]是介于基于标定物的标定法与自标定法之间的方法，对于面阵相机的标定具有良好的效果。对于线阵CCD相机的标定，有文献[5-7]把线阵数据当作是面阵CCD数据的一行，从面阵相机数学模型和标定方法来推导计算线阵相机的内方位元素完成标定，均忽略了镜头畸变[8-11]的影响。镜头的光学畸变主要有径向畸变和偏心畸变。由于线阵相机视场较宽，相机越靠近视场边界，光路越长，镜头畸变使得距离相机中心越远的物体偏离其实际位置越大，严重影响后续的图像匹配。因此，本文提出了一种双目线阵CCD标定及镜头畸变校正方法，设计了平行等距条带和角度等距条带的两种标定板，在左右相机单应性变换实现三维重建的前提下，以垂直方向上姿态角和水平方向的错切角建立线阵CCD的模型，将其标定和畸变校正确立为消除这两个角度的影响。

2 双目线阵CCD的标定原理

2.1 基于单应性变换的三维信息

面阵左右相机的单应性变换为：

对左右相机做单应性变换后，其基准平面上的物体匹配重合，而其上的立体物匹配后则会出现像差，且像差的大小与立体物相对于基准面的高度成正比。因此可以将求物体在世界坐标系中的三维信息转换为求物体相对于某一基准面的高度，并利用其绘制三维图像。

2.2 双线阵CCD成像模型

线阵CCD的数据可以看做是面阵CCD数据的一行，根据针孔成像模型，可得线阵相机的模型如图1所示，OXYZ是相机坐标系，OAB是线阵相机视平面，v是物体运动方向。

图1 线阵CCD模型

理想情况下，两相机之间没有任何角度差异，在水平面处于同一直线，在垂直面处于同一高度，则同一时刻两视平面相交部分拍摄到的是同一内容。实际上，在相机安装过程中，不可避免地左右相机的位置会出现偏差，以左相机为主视，右相机相对于左相机在空间上有姿态角α和错切角β，如图2所示。

α角的存在会使得离相机远的物体在图像上比其实际尺寸小。如图3所示，用线阵CCD拍摄等宽且平行的线条，根据线宽的变化，可以估算出该姿态角。

平面CDEF上的直线a,b,c,d,e互相平行，且间距相等，构成了等宽条带。OAB是相机的视平面，L1是理想的线阵CCD的位置，平行于平面CDEF，L2是实际的线阵CCD的位置，它与平面CDEF存在一个α角度。可以看出，线阵CCD所拍摄的图像中，几条直线间的间距将不同。

图2 姿态角和错切角示意图

图3 α角影响示意图

如图4所示，线阵CCD在同一时刻拍摄到的只有一行数据，左右相机之间的β角会使得同一时刻两相机拍摄到的不是同一物体。

图4 β角影响示意图

两黑色条带宽度相等，成一定角度γ，L3是左相机所在直线，理想条件下，右相机应在该直线上，L4是右相机实际位置，与直线夹角为β。x1与x2是拍摄图像上得到的标定靶图的两个等宽条带的宽度，理想条件下，x1=x2cosγ，由于β角的存在，使得其偏离正确比例。当已知x1，x2和γ时，它们与β角之间有如下关系：

由此可以解出β。

α和β描述了左右相机之间的旋转平移关系，即左右相机之间的单应性变换关系。

当相机镜头的畸变可忽略时，采用上面的方法便可对双目相机进行标定，然而，由于相机镜头是非理想的光学系统，存在着非线性畸变，而多种畸变叠加时的解析模型较难准确给出。线阵相机视场宽，镜头畸变严重影响后续的图像匹配，因此需要在标定的过程中，进行畸变的校正。

3 镜头畸变校正的相机标定

本文所提出的镜头畸变校正的相机标定分为两个部分，首先，设计如图5（a）所示的由等宽条带构成的标定板1，对拍摄标定板1的数据进行曲线拟合，利用曲线关系得到校正系数，消除镜头畸变和角α的影响；之后，设计由如图5（b）等宽成一定角度的条带，对拍摄标定板2得到的数据，根据公式（2）计算β角并校正。

图5 相机标定板示意图

3.1 姿态角α和镜头畸变的校正

由于角度α和镜头畸变的存在，使得等宽条带在平面上的投影为非等宽的条带。为了避免物体运动时引入的其他误差，本文采用了对图5（a）所示的标定板1静止放置拍摄，这样，线阵CCD以一定频率重复对同一位置采样得到拍摄图像。

由于标定板采用的是黑白间隔的条带，因此，以全局阈值方法便可获得黑色条带区域的宽度，设为w1,w2,…,wn。将标定板左右移动，以获得相机视场不同位置上的数据为移动标定板的次数，得到条带宽度信息点集

图6 左右视分段拟合二次曲线并三次样条插值

对条带宽度点集数据进行数据拟合。姿态角α会导致黑色条带距相机由近到远，图像上黑色条带宽度由宽变窄线性变化，镜头畸变导致从图像中心向两边黑色条带宽度非线性变化。另外镜头从中心向两边进光量变小，图像两边会比中心暗且模糊。因此本文在拟合时采用最小二乘拟合方法，将点集分为三段，段与段之间的数据部分重叠，每段均以二次曲线进行拟合，之后再将三段融合并进行三次样条插值得到最终的拟合曲线。选取左右相机拟合曲线中间段的最大值作为标准，根据拟合曲线获得校正系数，分别对左右相机进行校正。

3.2 错切角β的校正

将图5（b）给出的标定板2放置在相机视场内进行拍摄，得到的图像经过3.1节的校正之后，代入公式（3）：

其中，x1，x2分别为垂直条带以及倾斜条带的宽度，γ为倾斜条带的倾角。

分别将γ=30°和γ=45°代入公式（3），计算β角，分别为β30和β45，则β为：

求得β后，对图像进行错切校正。

4 实验

4.1 标定实验

根据第3章中的标定方法，标定实验首先对拍摄的标定板1的左右图像检测其黑色条带宽度点集如图6（a）（d）所示，可以看到其变化趋势由一个凸点及两个凹点组成，将其分为三段每段以二次曲线拟合得到的拟合曲线如图6（b）（e）所示，将三段融合并三次样条插值得到的最终拟合曲线如图（c）（f）所示。

图7 左右视姿态角α及镜头畸变的校正结果

根据拟合曲线得到的校正系数对图像进行校正之后再检测其条带宽度，校正前后条带宽度对比如图7所示，可以看到校正之后条带宽度基本相等，误差在两个像素以内。

对拍摄到的标定板2的图像根据前面求得的校正系数进行图像校正后检测其条带宽度，并根据式（3）求出β角，对图像进行错切校正，表1给出了求得的β及校正结果。可以看到，校正后x1和x2符合其正确比例，误差小于0.5个像素。

4.2 标定结果的验证

经过标定校正后的图像，同一平面上的物体应能匹配，以一个平面作为基准面，则相对于该基准面的立体物存在一定像差。为了验证本文算法的有效性，设计以下实验：（1）在相机视场全范围内放置平面待匹配物，为了便于验证，这里选择的测试目标为具有丰富纹理的平面测试靶图。图8（a）是标定校正前将左右视图像匹配的效果，可以看到，当图像中间的文字匹配上时，图像水平两边的文字出现了位置的偏移且文字有上下错切。图8（b）是标定校正之后左右视图像匹配的结果，左右视图像在全视场范围内都能较为准确匹配；（2）在纹理丰富的平面上放置形状各异的立体物，将底面作为基准面进行匹配，标定校正之前和之后的匹配结果如图8（c）（d）所示，基准面匹配后，其上的立体物会出现一定的像差，该像差隐含着立体物的深度信息。图8（e）（f）是将具有一定高程的一个立体物的顶面作为基准面匹配并将这一局部放大的结果，可以看到，在标定校正之前这个平面上的纹理不能完全匹配，在标定校正之后，该平面匹配较为准确。

表1 错切角β的校正结果

图8 标定校正前后左右视图像匹配结果对比

经过本文算法的两步标定校正之后，左右视图像在全视场范围内匹配都较为准确。在0.2 mm/pixel的图像上，误差在2个像素之内。

5 结论

针对具有镜头畸变的双目线阵CCD的标定，本文提出了两步畸变校正与标定方法，首先将姿态角的标定与镜头畸变校正同时进行，通过分段二次拟合融合曲线，给出校正关系，并对双目线阵CCD进行姿态角的标定校正；之后，根据所求出的错切角进行错切变换，完成对双目线阵CCD的标定与校正。实验结果表明，对于0.2 mm/pixel的图像，经过校正后在任意方向匹配误差在2个像素之内。

[1]邱茂林，马颂德，李毅.计算机视觉中摄像机定标综述[J].自动化学报，2000，26（1）：43-55.

[2]Guo Yang，Fang Zheng，Xu Xinhe.An analytic solution of a linear camera self-calibration[C]//The Sixth World Congress on Intelligent Control and Automation，2006，2：9930-9934.

[3]孟晓桥，胡占义.摄像机自标定方法的研究与进展[J].自动化学报，2003，29（1）：110-124.

[4]Zhang Zhengyou.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

[5]Horaud R，Mohr R，Lorecki B.Linear-camera calibration[C]// IEEE International Conference on Robotics and Automation，1992，2：1539-1544.

[6]张洪涛，段发阶，丁克勤，等.基于两步法线阵CCD标定技术研究[J].计量学报，2007，28（4）：311-313.

[7]曲文乾，叶泽田，赵文吉，等.车载多传感器集成系统中线阵相机的检校方法及数据分析[J].光学技术，2009，35（5）：649-653.

[8]杨必武，郭晓松.摄像机镜头非线性畸变校正方法综述[J].中国图象图形学报，2005，10（3）：269-274.

[9]贺俊吉，张广军，杨宪铭.基于交比不变性的镜头畸变参数标定方法[J].仪器仪表学报，2004，25（5）：597-599.

[10]朱铮涛，黎绍发.镜头畸变及其校正技术[J].光学技术，2005，31（1）：136-141.

[11]韩友美，王留召，钟若飞.基于激光扫描仪的线阵相机动态高精度标定[J].测绘学报，2010，39（6）：631-635.

ZHU Hong1,CHENG Song1,WANG Dong1,CHEN Haogang2,WANG Jia2

1.Faculty of Automation and Information Engineering,Xi’an University of Technology,Xi’an 710048,China
2.Luoyang Sunray Technology Co.Ltd.,Luoyang,Henan 471000,China

Camera calibration and lens distortion correction for linear CCD are the basic parts of 3D reconstruction with binocular linear CCD.An approach of calibration and lens distortion correction for binocular linear CCD used in 3D reconstruction is proposed.Based on the homography between left camera and right camera,and linear CCD imaging principle, spatial relationship between binocular camera is modeled as attitude angle and shear angle.By data fitting,the attitude angle and lens distortion are corrected,the shear angle is also computed to complete camera calibration.As to the analysis above,camera calibration and lens distortion correction are achieved.The experiment results show that the precision of calibration and correction could satisfy the need of image matching of 3D reconstruction in the future.

linear Charge-Couple Device;3D reconstruction;camera calibration;lens distortion correction

在双线阵CCD的三维重建中，对线阵CCD相机的标定和镜头畸变校正是基础环节。提出了一种用于三维重建中的双线阵CCD标定及镜头畸变校正方法。根据左右相机间的单应性关系，以及线阵CCD的成像原理，将双目相机间的空间关系分解成姿态角与错切角的关系。通过靶图数据的拟合，对姿态角和镜头畸变进行校正，根据求出的错切角完成相机间的标定，实现对具有镜头畸变的双线阵CCD的标定。实验结果表明，标定和校正精度满足后续三维重建中图像匹配的需求。

线阵电荷耦合元件；三维重建；相机标定；镜头畸变校正

A

TP391.4

10.3778/j.issn.1002-8331.1212-0208

ZHU Hong,CHENG Song,WANG Dong,et al.Camera calibration and lens distortion correction for binocular linear CCD.Computer Engineering and Applications,2014,50（22）：175-179.

国家国际科技合作项目（No.2011DRF10480）。

朱虹（1963—），女，博士，教授，主要研究领域为数字图像处理与模式识别；程松，硕士研究生；王栋，讲师。E-mail：zhuhong@xaut.edu.cn

2012-12-17

2013-03-19

1002-8331（2014）22-0175-05

CNKI网络优先出版：2013-03-29,http://www.cnki.net/kcms/detail/11.2127.TP.20130329.1540.007.html