基于鱼眼镜头的全方位视觉参数标定与畸变矫正

冯为嘉，张宝峰，曹作良

(1. 天津大学精密测试技术及仪器国家重点实验室，天津 300072；

2. 天津理工大学天津市复杂工业系统控制理论及应用重点实验室，天津 300384)

全方位视觉一次拍摄可摄取 360°方位角中的全部景物，这一特性非常有利于多目标捕获、机动目标跟踪，尤其对移动机器人的视觉导航具有特殊的意义．近年来利用全方位视觉传感器构建全方位视觉系统得到了广泛地研究[1-3]，全方位视觉传感器虽然可以在一次拍摄中捕获水平方向 360°的全部信息，但是在垂直方向有一定的视场限制，且镜头本身将会出现在拍摄的图像中造成盲区．笔者利用鱼眼镜头构建全方位视觉系统在捕获 360°方位角信息的同时可兼顾天顶 185°半球域视场．鱼眼镜头存在的光学偏差以及镜头与相机的装配误差，往往造成图像中心偏离成像芯片靶面中心等误差，因此需要对成像系统进行标定以确定图像中心坐标和其他成像系统参数[4-5]．在建立成像系统模型的基础上提出需标定的系统内、外部参数，对传统的线性标定方法进行改进，设计适合于鱼眼镜头标定的新型靶标和标定方法，为畸变矫正奠定基础．国内外学者对鱼眼图像畸变矫正和图像复原算法进行了大量研究[6-8]，目前常见的鱼眼镜头矫正模型有球面模型、对数极限模型、多项式变换模型等．不同光学结构的镜头适合于不同的矫正模型，通常为不同类型鱼眼镜头选择适合的矫正模型是较为困难的．笔者利用等距投影定理及支持向量机训练的方法分别实现了对鱼眼图像中的像素点和整幅图像的畸变矫正，取得了理想的效果．

1 成像系统模型

图 1为成像系统模型．本文建立的成像系统模型包括世界坐标系(xw，yw，zw)，鱼眼镜头坐标系(x，y，z)，摄像机坐标系(x'，y'，z')，图像坐标系(i，c)，成像平面坐标系(u，v)．

其中 p为世界坐标系中一点，OO′为光轴，h为 p点到镜头表面的距离，r为p到镜头中心O的水平距离，ω 为 p点相对镜头中心的入射角(仰角)，θ为 p点在摄像机坐标系中的方位角，p′为 p在成像面上的像点，r为像点离图像中心点O′的距离(径向距离)，θ'为像点在图像物理坐标系中的方位角．

根据等距投影定理，O′为鱼眼图像的中心点(u0，v0)，(u，v)为成像点 p′在成像面中的像素坐标，它们之间的关系为

图1 成像系统模型Fig.1 Model of imaging system

2 成像系统参数标定

本文研究与鱼眼图像畸变矫正相关的图像中心点、镜头表面到成像点距离l、径向畸变系数kx和ky4个参数的标定方法．

2.1 图像中心标定

世界坐标系与摄像机坐标系变化为

世界坐标系与图像坐标系变换关系为

式中：(u0，v0)是像素中心坐标；dx和 dy分别为一个像素在 x轴与 y轴方向上的物理尺寸，而 sx=1/dx,sy= 1 /dy即单位长度的像素个数．

由于鱼眼镜头的“桶形”畸变量比较大，无法直接使用传统的线性标定方式，因此根据鱼眼镜头的成像模式建立简单的直接以视场角为参数的成像模型，假设偏心畸变、薄棱镜畸变、正交畸变为 0，在仅考虑径向畸变和内方位元素误差的情况下，利用类似与线性标定的方法，同时解算外部参数和成像模型内部参数．根据等距投影定理式(1)和坐标系转换公式(2)和式(3)组成方程为

式中：rd为标定点成像点距图像传感器中心的距离；(xd，yd)为标定点所成像点的图像传感器坐标，xd＝(u-u0)dx，yd＝(v-v0)dy．

以上公式表达了径向尺寸约束，另外还有径向排列约束为

联立径向尺寸约束(4)和径向排列约束(6)，就可以组成包含外参数(旋转矩阵和平移矩阵)和内部参数(径向成像模型参数)的方程组，只要给定比较接近的初始值便可以求解合理的参数值[9]．

实验平台及采集到的鱼眼图像如图 2和图 3所示．根据靶标上的 24个基准圆建立世界坐标系，结合采集图像中提取出的这些基准圆圆心的图像坐标，即可建立包含摄像机位姿旋转矩阵、平移矩阵的非线性方程组，通过旋转矩阵约束关系，利用最小二乘拟合算法解算出旋转矩阵和平移矩阵，及待求的像面中心．实验步骤如下：

步骤 1利用 CAD制图软件设计靶标，在预定的位置绘制24个圆，用来构建世界坐标系；

步骤 2将鱼眼镜头摄像机固定在光学平面上，镜头摆放的角度无特殊要求；

步骤 3在镜头前放置直线位移平台，其上固定着靶标，靶标面垂直于平台的直线位移方向，但靶标与镜头的位置无特殊要求；

步骤 4采集图像，保证图像包含所有标定圆；

步骤 5利用直线位移平台使靶标水平移动固定距离 L，按步骤 4要求再采集 1幅图像，重复此步骤，获取多幅图像；

步骤 6利用求质心方法获得每个圆的圆心坐标．

图2 鱼眼镜头标定实验平台Fig.2 Experimental environment of calibration

图3 标定实验中采集的原始图像Fig.3 Original image in calibrating

考虑到鱼眼图像的剧烈畸变，边缘的基准圆将畸变为椭圆，为了提高标定的精度，在实验中采用每幅图像中间部分的 4个基准圆准确地提取出圆心的位置．从图 3中提取出部分基准圆圆心的图像坐标如表1所示．

利用上述坐标数据可以解算出旋转矩阵 R和平移矩阵T分别为

表1 基准圆圆心图像坐标与世界坐标Tab.1 Image coordinate and world coordinates for the Tab.1 centre of basic circle

根据解算出的旋转矩阵 R、平移矩阵 T、像面中心(u0，v0)，结合已建立的包含摄像机位姿旋转矩阵、平移矩阵的非线性方程组，以及旋转矩阵约束关系，利用采集得到的一组基准圆的圆心图像坐标，反向解算对应的世界坐标，并与这组基准圆实际的世界坐标进行比对，以验证标定结果的正确性，具体验证结果如表2所示．

表2 基准圆圆心坐标实际值与解算值比较Tab.2 Comparison between practical values and calculation values for basic circle

由图4和表2可见，各个基准圆圆心图像坐标的实际值和解算值基本一致，证明利用上述鱼眼镜头标定方法获得的标定结果是准确可靠的．

图4 x和y实际值与解算值比较Fig.4 Practical and calculation value comparison of x and y

2.2 镜面到成像点距离l标定

镜面到成像点的距离l，属于成像系统内部参数，是标定径向畸变系数的必要前提，但它无法通过直接测量得到．根据等距投影成像原理，如果空间 2点到鱼眼镜头的入射角相同，则在成像面上的径向距离相等．

空间中不同的2点p1、p2点在鱼眼成像面上的像点为同一点 p′，p1、p2点到镜面的垂直距离为 h1、h2，到光轴的水平距离为s1、s2，从图5(a)中可以得

图5 参数l标定Fig.5 Calibration of parameter l

从式(10)中可得知，只要在空间中找到2点能成像于鱼眼图像中同一点，测得这2点的水平和垂直距离，即可求得l．

设计特殊的标定靶标如图 5(b)所示，针对靶标模式在程序中建立5个基准点，一方面用来保证成像系统坐标系与靶标坐标系的一致性，另一方面便于捕获标定点在图像中的像素值．在保证靶标与成像系统垂直的前提下，移动靶标位置，多次测量、计算取平均值得到l为17.8 mm．

2.3 径向畸变系数kx、ky标定

将径向畸变分解到x、y轴上得

式中rx和ry为像点到图像中心点的距离在x和y轴上的分量，图像中心点为(u0，v0)，空间一点入射角为ω的p点在图像平面的成像点为p′(u，v)，那么

将式(11)代入到式(12)得

kx、ky标定模型如图6(a)所示．

图6 kx和ky标定Fig.6 Calibration of kx，ky

表中Δuxi、Δuyi为标定点的成像点到图像中心的像素个数差，Δsi为标定点到光轴的实际空间距离，为θi标定点的入射角，θ= a rctan．求取实验数据的平均值得 kx= 3 .2145，ky= 3 .2258．

表3 kx的标定结果Tab.3 Calibration results of kx

表4 ky的标定结果Tab.4 Calibration results of ky

3 畸变矫正

3.1 像素点矫正

根据前文标定得出的成像系统参数，建立虚拟像面，推导出空间任意一点与畸变图像点之间的对应关系．空间任意一点 p在虚拟像面上的点与在鱼眼图像之间的关系如图7所示．

图7 鱼眼图像矫正模型Fig.7 Model for rectification of fish-eye lens image

式中 z'为矫正后虚拟像面的高度，也可理解为矫正图像的放大倍数，z'与矫正后的图像大小成正比．若令z'等于 p点与成像系统间的空间垂直距离，则可以通过鱼眼图像中的像素点求得物点的世界坐标．这为利用鱼眼图像实现AGV空间定位奠定了基础．本文以两点定位算法[10]为例，定位结果与实际测量结果如表 5 所示，其中 z'＝2.08×106µm．

表5 AGV定位结果Tab.5 Localization results of AGV m

3.2 鱼眼图像矫正

目前常见的鱼眼镜头矫正模型有球面模型、对数极限模型、多项式变换模型等．不同光学结构的镜头适合于不同的矫正模型，通常为不同类型鱼眼镜头选择适合的矫正模型是较为困难的．因此，本文采用支持向量机替代矫正模型．支持向量机是基于统计学习理论的机器学习方法，依据结构风险最小化原则，将输入空间映射到一个高维内积空间中提高学习机的泛化能力，能有效地解决过度学习问题，具有良好的拟合、回归和分类的能力．

由于本文中解决的是一个非线性多项式函数，故采用多项式核函数为宜．将 SVM 应用于函数拟合问题，首先考虑用线性回归函数

拟合数据{x , y } ,i = 1,⋅ ⋅ ⋅,n , x ∈ Rd,y ∈ R 的问题，

i i i i并假设所有训练数据都可以在精度ε下无误差地用线性函数拟合，即

这里αi∗和αi将只有小部分不为0，它们对应的样本就是支持向量，一般是在函数变化比较剧烈的位置上的样本；而且这里只涉及内积运算，只要用核函数K( xi, xj) 替代式(19)和式(20)中的内积运算就可以实现非线性函数拟合．

为将鱼眼镜头的实际成像点恢复为理想像点，要建立理想像点与畸变图像对应像点间的映射关系．在尝试点阵模型、网格模型的基础上设计了一种较大差异的环形训练模型．

如图 8(a)所示，以畸变中心为圆心，绘制圆环，每一圆环的半径为其相邻内层圆环半径的 1.5倍，每一圆环的宽度也为其相邻内层圆环宽度的 1.5倍；过畸变中心做 6条直线，相邻直线间的夹角为 30°；以各圆环与过畸变中心直线的交点作为训练点．训练模型在鱼眼镜头下的成像如图 8(b)所示．图 8(a)中可以看到，沿畸变中心向外的方向，虽然圆环的半径增量和宽度都是递增的，但图 8(b)图中圆环的半径增量和宽度却基本保持不变，因此基于此训练模型能够在靠近鱼眼边缘的图像获得清晰的像点．而传统模型在靠近鱼眼边缘处无法得到理想像点进行准确的标定，影响矫正效果．

图8 SVM训练Fig.8 SVM training

利用SVM实现鱼眼图像矫正流程如图9所示．

图9 基于SVM的鱼眼图像矫正的流程Fig.9 Flow chart based on SVM for fish-eye lens image Fig.9 rectification

依据训练模型，建立实际空间像点的径向距离与鱼眼畸变图像中相应像点径向距离的对应关系．将物理空间像点的径向距离作为 SVM 的输入，相应鱼眼畸变图像中像点的径向距离作为 SVM 的输出，对SVM进行训练．通过训练好的SVM模型，将矫正后图像像素的径向距离转换为鱼眼畸变图像中的径向距离，从而建立矫正后图像与畸变图像对应像素的坐标映射．基于此算法的鱼眼镜头图像矫正结果如图10所示．

图10 基于SVM训练的鱼眼图像矫正结果Fig.10 Fish-eye lens image rectification results based on Fig.10 SVM

为了进一步研究利用SVM方法矫正后的图像与未畸变的鱼眼图像间的关系，按照本文提出的训练模型，采用等距的同心圆将图 10(c)从内到外划分为 7个区间．在不同的区间中随机抽取角点．通过提取角点在矫正前和矫正后图像中的坐标位置来分析不同区间内的矫正规律．每个区间中的像素点在矫正前、后的图像中距图像中心点的平均距离(像素个数)如表6所示．

表6 矫正结果分析Tab.6 Rectification results analysis

通过以上分布规律发现，利用本文提出的 SVM训练模型得到的矫正图像在区间 1和区间 2在内矫正前、后像素点位置变化不大；而区间 3到区间 7内的像素点在矫正前、后则保持了一种相对稳定的变化率，与本文提出的 SVM 训练模型相一致如图8(b)．由于本文采用的是严格符合等距投影规律的鱼眼镜头，若依照等距投影定理入射角与径向距离的关系改进本文提出的SVM训练模型图8(a)，将得到更为理想的图像矫正结果．

4 结 语

基于鱼眼镜头构建全方位视觉系统．在建立全方位视觉系统模型的基础上，提出图像中心、镜面到成像点距离 l、径向畸变系数 kx、ky的详细标定方法．利用参数标定结果，依据等距投影定理和支持向量机训练的方法实现鱼眼图像的像素点矫正和全图像矫正．实验结果证明，本文提出的方法有效、实用，

有助于促进鱼眼镜头在多目标识别、跟踪、AGV视觉自主导航等领域的应用．

［1］Goedeme T，Nuttin M ，Tuytelaars T，et al.Omnidirectional vision based topological navigation[J].International Journal of Computer Vision，2007，74(3)：219-236.

［2］Hrabar S，Sukhatme G S. Omnidirectional vision for an autonomous helicopter[C]// 2003IEEE International Conference. Los Angeles，USA，2003：558-563.

［3］Sun Y J，Cao Q X，Chen W D. An object tracking and global localization method using omnidirectional vision system[C]//Proceedings of Intelligent Control and Automation on 2004 Fifth Word Congress. Harbin，China，2004：4730-4735.

［4］Li S G. Full-view spherical image camera[C]// Proceedings of the 18th International Conference on Pattern Recognition. Hong Kong，China，2006：386-390.

［5］Ying X H，Zha H B. Using sphere images for calibrating fisheye cameras under the unified imagingmodel of the central catadioptric and fisheye cameras[C]//Proceedings of the 18th International Conference on Pattern Recognition.Hong Kong，China，2006：539-542.

［6］Brauer-Burchardt C，Voss K. A new algorithm to correct fish-eye and strong wide-angle-lens-distortion from Single Images[C]// Proceedings of the 2001International Conference on Images Processing. Saloniki，Greece，2001：225-228.

［7］Hartley R，Kang Sing Bing. Parameter-free radial distortion correction with centre of distortion estimation[C]//Proceedings of the Tenth IEEE International Conference on Computer Vision. Beijing，China，2005：1834-1841.

［8］邱志强，陆宏伟，于起峰. 用射影不变性纠正鱼眼镜头畸变[J]. 应用光学，2003，24(5)：36-38.

Qiu Zhiqiang，Lu Hongwei，Yu Qifeng. A correction method of fish-eye lens distortion using projective invariability[J].Journal of Applied Optics，2003，24(5)：36-38(in Chinese).

［9］陈启军，张宏辉，王月娟. 一种简单的机器人鲁棒自适应轨迹跟踪控制算法[J]. 华中科技大学学报：自然科学版，2004，32(增)：256-268.

Chen Qijun，Zhang Honghui，Wang Yuejuan. A simple robust adaptive trajectory tracking control for robotic manipulators[J].Journal of Huazhong University of Science and Technology：Nature Science Edition，2004，32(Suppl)：256-268(in Chinese).

［10］李雁斌，曹作良，刘常杰，等. 基于粒子滤波的全方位视觉传感器实现移动机器人导航[J]．传感技术学报，2009，22(5)：745-750.

Li Yanbin，Cao Zuoliang，Liu Changjie，et al. Omnidirectional visual sensor for mobile robot navigation based on particle filter[J].Chinese Journal of Sensors and Actuators，2009，22(5)：745-750(in Chinese).