基于平行直线的三自由度云台摄像机标定

伍显胜，徐荣华，高雪峰，钱东海

（1.上海大学 精密机械工程系，上海200072；2.浙江中烟工业有限责任公司 宁波卷烟厂，浙江 宁波315040）

0 引 言

在卷烟厂自动化生产中，为提高生产效率，常采用云台摄像机对烟包进行检测，然后将烟包的相关信息反馈给工业机器人，最后工业机器人进行打包带裁剪、烟包抓取等操作。目前的摄像机云台多为两个自由度，由于云台自身转动以及目标物体所处位置的影响，会出现采集图像相对人眼或显示器倾斜的情况，这增加了检测难度，也有可能造成误检。为解决上述问题，现将摄像机固定在三自由度云台上，使其具有水平旋转、俯仰转动及绕摄像机光轴的旋转，其中第3个自由度可以使采集的图像正向显示。

为提高视觉检测能力，云台摄像机在系统的控制下可以时刻进行3个自由度的转动。由于摄像机的位置时刻变化，图像坐标系与世界坐标系之间的转换关系也在变化，这就要求能够对摄像机进行实时标定。传统的标定方法［1－3］主要依赖预先制作的高精度的特殊标靶，虽然此类标定方法精度高，但标定过程繁琐，每当云台摄像机姿态发生变化时，不能利用场景中的物体进行标定，需要重新将标靶放入标定场景中再进行标定，不具备实时自动标定的能力。郑红等［4］虽然对云台摄像机自标定方法进行了研究，但其标定方法只用于二自由度云台摄像机，其成像模型无法套用在三自由度云台摄像机上；李勃等［5，6］对云台摄像机自标定方法进行了创新，但其成像模型把像素坐标原点设在了光轴与像平面的交点上，没有求取成像平面中心点，并且由图像信息无法直接得到空间点的绝对坐标，需要间接求解；目前很多学者［6－9］采用基于平行直线进行摄像机标定的方法，利用现场物体的一些平行直线特征作为参考进行标定。因为烟包在解包之前是用打包带捆扎的，其捆扎规则有序，因此本文也采用平行直线方法来进行摄像机标定。

针对以上情况，本文提出一种适用于烟包解包系统中三自由度云台摄像机的标定方法。将捆扎规范且打包带互相平行的烟包放在指定位置，在系统的控制下调整云台摄像机，使得图像中的烟包正向显示并且烟包图像尽可能多地布满整个画面。在此情况下，利用文中的标定方法可以得出此时云台摄像机的姿态及需要标定的摄像机内外参数，从而在后续生产中可以对后续烟包上任意捆扎打包带的位置进行实时检测。当云台摄像机的姿态发生变化时，仍可以利用该方法对云台摄像机的内外参数重新进行标定，即具有实时标定的能力。

1 三自由度云台摄像机成像模型

机器人烟包自动解包系统如图1所示，将三自由度云台摄像机安装在固定杆上，云台中心 （第二自由度转动轴线在其法平面的交点）到水平面的高度为H。烟包放在物料车上，烟包上表面到水平面的高度为h。其中H，h可以通过测量获得。

图1 机器人烟包自动解包系统

1.1 坐标系的建立

结合上述内容，现将烟包上表面作为参考面来建立摄像机成像模型，如图2所示。假定在云台结构设计和安装符合要求的情况下，云台中心与摄像机光心重合，则此时摄像机光心OC到烟包上表面的垂直距离s＝H－h。如图2所示，摄像机成像模型中有4 个坐标系，世界坐标系XW－YW－ZW、摄像机坐标系XC－YC－ZC、图像坐标系u－v及物料坐标系Xm－Ym－Zm，其中物料坐标系Xm－Ym－Zm原点Om为摄像机光轴与烟包上表面的交点。

图2 三自由度云台摄像机成像模型

世界坐标系XW－YW－ZW中YW－ZW平面与烟包上表面重合，YW轴平行于物料车定位线且正向指向右方，ZW轴与摄像机光心OC到烟包上表面的垂线重合，正向指向光心OC，XW满足右手准则。物料坐标系Xm－Ym－Zm与世界坐标系XW－YW－ZW平行。

图像坐标系u－v位于成像平面上且垂直光轴，原点O不是光轴与成像平面的交点。坐标系XC－YC－ZC为摄像机实际坐标系，其原点OC与物料坐标系Xm－Ym－Zm原点Om的距离为t，坐标系XCγ－YCγ－ZC为摄像机理想坐标系，YCγ轴位于OC－OW－Om平面内，其中XC－YC平面和XCγ－YCγ平面都与成像平面平行。设三自由度云台摄像机在任意时刻的3个转动角分别为α、β、γ，α代表云台的水平转动角，为摄像机光轴在烟包上表面的投影线与YW轴正向的夹角；β代表云台的俯仰转动角，为光轴与烟包上表面的夹角 （锐角）；γ代表摄像机绕光轴的转动角，为摄像机实际坐标系XC－YC－ZC相 对 于 理 想 坐 标 系XCγ－YCγ－ZC绕ZC轴 的 转 角。α、β、γ的初始值都为0。

1.2 坐标系之间的转换

摄像机标定的主要目的是求取图像中二维信息与实际三维空间中物体之间的对应关系，接下来将结合以上坐标和参数建立各坐标系之间的相互关系。

为建立图像坐标系与世界坐标系之间的转换关系，现将坐标系变换分解为3个步骤。

（1）建立物料坐标系与世界坐标系对应关系。由图2及坐标定义知，物料坐标系与世界坐标系之间只有平移变换，设此变换为T1，其对应关系为

（2）建立摄像机坐标系与物料坐标系之间的关系。由图2 可 知，理 想 摄 像 机 坐 标 系XCγ－YCγ－ZC与 物 料 坐 标 系Xm－Ym－Zm之间既有转动又有平移，设旋转变换为R1，平移变换为T2，其变换过程如下：先将物料坐标系Xm－Ym－Zm绕Zm轴顺时针 （从旋转轴正向看向原点）旋转α角度，再绕Xm轴顺时针旋转β＋π／2角度，最后沿摄像机光轴即ZC轴向OC点平移t长度。其对应关系如下

将理想摄像机坐标系XCγ－YCγ－ZC绕ZC轴顺时针旋 转γ角度就可以得到实际摄像机坐标系XC－YC－ZC，设此变换为R2，得到对应关系如下

（3）根据摄像机线性成像原理［10］，可得到图像坐标系与实际摄像机坐标系之间的对应关系如下

式中：fx＝f·dx，fy＝f·dy，f 为摄像机的焦距，dx、dy分别表示图像中横向、纵向上单位长度的像素个数，在已知摄像机分辨率和标准成像图像大小的情况下，可获得dx、dy的值大小，因此本文假定dx、dy已知，焦距f 为未知量。（u0，v0）为图像中心，即摄像机光轴与成像平面的交点。

现设M1＝R2T2R1T1，由摄像机标定的定义可知，M1是包含外参数α、β、γ、t的转换矩阵，M2是包含内参数f、u0、v0的转换矩阵，摄像机标定的主要工作就是求出这些未知参数。图像坐标系与世界坐标系的对应关系如式（5），这里用符号M 表示实际计算结果，M＝M2M1

求出M 以后，就可以知道图像坐标系与世界坐标系之间的对应关系。对于烟包来说，知道图像中任意点的图像坐标，再结合烟包上表面ZW＝0，就可以得出该点在烟包上表面对应的世界坐标，从而可以实现对烟包的位置检测。

2 摄像机内参数的标定

对于三维空间中的一对平行线来说，当摄像机光轴与平行线及其所在平面都不垂直时，其在图像中对应的两条直线已不再平行，此时这两条非平行直线在成像平面中的交点称为消失点［11］。接下来将结合消失点求解摄像机的内参数f、u0、v0。

2.1 求解消失点

卷烟厂生产中的烟包一般用3条打包带捆扎，每条打包带之间相互平行，如图3所示。

图3 烟包捆扎模型

烟包的3个可见面的9条边线在图像中会形成3个消失点J、P、Q，如图4所示。

图4 消失点求解

如图4所示，根据直线AD、BC 及其相交延长线的比例关系可得如下方程

式中：（uA，vA）、（uB，vB）、（uC，vC）、（uD，vD）、（uJ，vJ）分别是A、B、C、D、J的图像坐标，点A、B、C、D 的坐标可以从图像中直接获取，联立求解可以得出消失点J的坐标（uJ，vJ）。同理，利用直线DC、AB可以求出消失点P的图像坐标（uP，vP），利用直线AF、BG 可以求出消失点Q 的图像坐标（uQ，vQ）。

2.2 求解图像中心 （u0，v0）

图5 图像中心求解

在得到3个消失点的基础上，由每个消失点向另外两个消失点所连的直线作垂线，3 条垂线相交且只有一个交点即图像中心I［12］，如图5 所示。现取其中任意一条垂线如垂线JL⊥PQ，根据几何关系可得出直线JL的方程为同理可以求出另外两条垂线的方程，由于3条垂线都经过图像中心，将未知图像中心 （u0，v0）代入上述3 条垂线方程可得到含有图像中心坐标的方程组利用最小二乘法求解上述方程组，可以获得图像中心I的坐标 （u0，v0）。

2.3 求解焦距f

由图5得出了3条垂线，现以其中一条垂线段QH 为直径作圆，过图像中心I作线段QH 的垂线，该垂线与圆相交，取其中任意一个交点S，线段SI的长度乘以像素列间距即1／dx，乘积结果即为焦距f［12］，如图6所示。

由几何知识可求得以线段QH 为直径的圆的方程

图6 焦距求解

由图5、图6可知，直线JP⊥QH，SI⊥QH，所以JP∥SI，又图像中心I点坐标 （u0，v0）已知，则直线SI的方程为

联立式 （9）、式 （10）可以求出圆与直线SI交点S的坐标 （us，vs），此时S、I的坐标都已知，可以求出线段SI的长度，最后SI的长度值乘以像素的列间距1／dx，得到焦距f。求得焦距f，根据fx＝f·dx，fy＝f·dy，即可求出参数fx、fy。

结合本节求出的参数就可以求出内参数转换矩阵M2。

3 摄像机外参数的标定

由图像的成像原理可知，当摄像机沿光轴正向 （摄像机绕光轴的转角γ＝0）拍摄时，实际空间中无穷远处 （即地平线）在图像中的成像是一条水平直线；当摄像机倾斜时，空间中无穷远处在图像中的成像将是一条倾斜直线，倾斜角度等于摄像机绕光轴的转角γ。此外，由消失点的知识可知，空间中同方向的平行直线在成像平面中对应的所有直线都会相交于同一点即消失点［13］，此消失点位于实际空间中地平线在图像中的对应直线上。利用以上知识可以求得摄像机绕光轴的转角γ。需要强调的是，本小节中的A、B、C等所有代号与前述的A、B、C等所有代号分别代表不同的点。

物料小车最右端处于定位线上，在物料车中辊道与挡块的共同作用下，烟包会进行粗定位，如图7 所示。烟包上表面的上、下边线处于水平，左、右边线竖直，在挡块的作用下，只有上边线在世界坐标系中的YW已知，其它边线的坐标未知。Xm，Ym方向如图7 所示，其中线段AB、EF、CD 为3 条打包带在烟包上表面的部分，AB∥EF∥CD。

3.1 求解外参数γ

图7 烟包标定模型俯视

假设图7中烟包所对应的图像如图8所示，利用消失点求取式 （6）可以求得线段AB、EF、CD 的公共消失点O1以及线段AC、BD 的消失点O2。

图8 烟包上表面打包带成像及其消失点

由前述知识可知，O1、O2位于地平线在图像中的对应直线上。此时线段O1O2的倾斜角度等于摄像机绕光轴的转角γ，如下所示

由上式求出γ 以后，可以通过电机控制云台使得摄像机绕光轴转动γ角度 （γ为正则逆时针转动，γ 为负则顺时针转动），使摄像机实际坐标系XC－YC－ZC与理想坐标系XCγ－YCγ－ZC重合。此时图像坐标系与世界坐标系的对应关系由式 （1）、式 （2）和式 （4）决定，如式 （12），此时用M3表示总的转换矩阵，M3＝M2T2R1T1，M3中只有外参数α、β、t未知，参数γ、fx、fy、u0、v0已经在前面求出，如下式

3.2 求解外参数α、β、t

因为云台中心到烟包上表面的距离S＝H－h已知，结合图2的成像模型可以得出下式

将式 （13）代入式 （12），则总的转转矩阵M3只含有α、β两个未知参数。由图2的成像模型可知，本文主要针对的是烟包上表面包含打包带的平面所成的图像，因此式（5）、式 （12）中Zm＝ZW＝0，在此情况下通过换算可以求出ZC，ZC的表达式中包含α、β以及XW、YW。对式 （12）进行转换以后，可以得出下式

式中：N——只含未知参数α、β的矩阵。现取打包带中A、B、C这3点为参考点，（XA、YA）、（XB、YB）、（XC、YC）为A、B、C这3点的世界坐标，值得注意的是此时并不需要知道这3点世界坐标的具体值。根据世界坐标系中平行线之间的关系以及图8可得出下式

从图8中可以获知A、B、C 这3点的图像坐标，结合式 （14）、式 （15）可得到包含未知参数α、β的两个等式，联立这两个等式即可求出参数α、β的具体值。

将求得的β值代入式 （13），即可求出参数t。

至此，摄像机外参数α、β、γ、t和内参数f、u0、v0已全部求出，则图像坐标系与世界坐标系之间的两个转换矩阵M、N 变为已知量，根据式 （5）、式 （14）再结合烟包上表面ZW＝0，可以对烟包上表面的世界坐标与其对应的图像坐标进行相互求解。

4 结束语

利用烟包表面平行直线特征的摄像机标定方法，不需要借助特殊制作的标靶，只需一系列烟包图像以及云台中心到烟包上表面的高度，就可以实现三自由度云台摄像机的标定。此外，本文的标定方法也适用于其它一些应用云台及场景中具有平行直线特征的场合。该标定方法建立在理想模型的基础上，接下来的工作需要分析影响标定的因素，并在实际应用中提高摄像机标定精度。

［1］YU Xiaqiong，GAO Yan，CHEN Xiangning.Nonlinear optimization algorithms for camera calibration based on 2Dpatern［J］.Engineering of Surveying and Mapping，2013，22 （5）：25－33 （in Chinese）.［喻夏琼，高岩，陈向宁.基于非线性优化的 摄 像 机2D 标 定 法 ［J］.测 绘 工 程，2013，22 （5）：25－33.］

［2］DUAN Jian，ZHANG Shaopeng，WANG Xiankang.Calibration for visual system in teaching demonstration industrial robot［J］.Mechanical Engineering and Automation，2013 （1）：97－101 （in Chinese）.［段坚，张少鹏，王现康.工业机器人视觉检测系统的摄像机标定 ［J］.机械工程与自动化，2013 （1）：97－101.］

［3］NIU Haitao，ZHAO Xunjie.New method of camera based on checkerboard ［J］.Infrared and Laser Engineering，2011，40（1）：133－137 （in Chinese）.［牛海涛，赵勋杰.采用棋盘格模板的摄像机标定新方法 ［J］.红外与激光工程，2011，40（1）：133－137.］

［4］ZHENG Hong，LIU Zhenqiang.Self－calibration of pan－tilt camera based on accurate model［J］.Robot，2013，35 （3）：326－338 （in Chinese）.［郑红，刘振强.基于精确模型的云台摄像机自标定 ［J］.机器人，2013，35 （3）：326－338.］

［5］Dong Rong，Li Bo，Chen Qimei.An automatic calibration method for PTZ camera in expressway monitoring system［C］／／WRI World Congress on Computer Science and Information Engineering，2009：636－640.

［6］LI Bo，DONG Rong，CHEN Qimei.Automation calibration method for PTZ camera ［J］.Journal of Beijing University of Posts and Telecommunication，2009 （S1）：24－29 （in Chinese）.［李勃，董蓉，陈启美.路况PTZ摄像机自动标定方法［J］.北京邮电大学学报，2009 （增刊1）：24－29.］

［7］YAN Hongping，WANG Lingfeng，PAN Chunhong.Automatic self－calibration of expressway surveillance camera under dynamic condition ［J］.Journal of Computer－Aided Design and Computer Graphics，2013，25 （7）：1036－1044 （in Chinese）.［严红平，汪凌峰，潘春洪.高速公路动态环境下的摄像机自标定 ［J］.计算机辅助设计与图形学学报，2013，25 （7）：1036－1044.］

［8］HU Binghua，YAN Hui，CHEN Bei.Research on camera calibration in flight test［J］.Measurement and Control Technology，2013，32 （5）：134－137 （in Chinese）. ［胡丙华，晏晖，陈贝.试飞测试中摄像机标定方法研究 ［J］.测控技术，2013，32 （5）：134－137.］

［9］Alvarez S，Llorca DF，Sotelo MA.Camera auto－calibration using zooming and zebra－crossing for traffic monitoring applications［C］／／Proceedings of the 16th International IEEE Conference on Intelligent Transportation Systems，2013：608－613.

［10］LU Jin，SUN Huibin，CHANG Zhiyong.A novel method for camera calibration with orthogonal vanishing points［J］.Chinese Journal of Lasers，2014，41 （2）：1－9 （in Chinese）.［卢津，孙惠斌，常智勇.新型正交消隐点的摄像机标定方法［J］.中国激光，2014，41 （2）：1－9.］

［11］XU De，TAN Min，LI Yuan.Visual measurement and control for robots ［M］.2nd ed.Beijing：National Defense Industry Press，2011 （in Chinese）.［徐德，谭民，李原.机器人视觉测量与控制 ［M］.2 版.北京：国防工业出版社，2011.］

［12］Bénallal M，Meunier J.Camera calibration with simple geometry［C］／／International Conference On Image And Signal Processing，2003.

［13］Radu Orghidan A，Gordan CM，Aurel Vlaicu D，et al.Projector－camera calibration for 3Dreconstruction using vanishing points［C］／／International Conference on 3DImaging，2012：1－6.