基于HALCON的机器人运动空间中心点摄像机标定方法

，，

(安徽工程大学 电气工程学院，安徽 芜湖 241000)

视觉是人类获取外界信息的重要途径，拥有视觉的生物能够让他们的生活变得更方便，同样拥有视觉的机器人可以定位出空间物体的信息，并方便抓取[1].目前，在需要对产品进行搬运与装配的自动化生产流水线上，大部分机器人仅能在预先编程好的程序和专门的环境下工作，缺乏对周围环境的判断,因而无法及时应变，因此极大地限制了机器人的应用.随着各类新型传感器技术的日益发展，为了满足在工业上的生产需求，让工业机器人发挥更大的作用[2].搭载了类似人类的视觉系统，让机器人更加的智能化，可以实现部分人类视觉的功能.而这种视觉引导的工业机器人利用视觉传感器采集图像，并且利用算法进行图像处理以获得空间定位的数据，实现了对三维空间的坐标定位并进行路径地图规划，最终实现了工业生产流水线的搬运与装配[3-4].而在实际生产流水线工作的时候，为了得到空间几何信息与采集图像之间的对应关系，视觉机器人在不同位势下采集图像，需要对摄像机进行标定[5-6].传统的摄像机标定方法存在一定的缺陷，必须在特定的环境和已知的参照物下才能标定.比如文献[7]提出的确定模板上点阵的物理坐标以及图像和模板之间的点的匹配来实现标定求取内外参数；Tsai[8]等提出的线性模型摄像机的外参数和焦距标定方法等.随着标定技术研究的不断发展，其多用点、线、圆弧等基本特征来进行标定且自身参数之间相互约束，因而更为灵活.如文献[9]提出的一种特殊的平移运动方式完成自标定；文献[10]提出的另一种特殊的旋转运动方式确定的一种自标定等.结合各种标定方法的文献，研究中提出的基于HALCON的机器人运动空间中心点摄像机标定方法，便是通过点特征来进行标定的，机器人携带摄像机在工作空间中进行图片采集，图像采集结果如图1所示.设其重合空间内某一点为中心点，利用HALCON进行视觉图像处理，对摄像机采集到的照片进行分析，它在视觉软件开发成本和周期上均具有很大的优势，且具有灵活的架构[11].

1 针孔模型

图像是空间物体几何信息通过摄像机模型在二维成像平面的反映[12].针孔模型是最常被使用的经典模型，空间中的物体通过孔投射到成像平面，形成倒立的实像，称为针孔模型[13],如图2所示.设光线延长线与Z轴平行，原点为光轴中心，以指向目标点为正方向建立坐标系P1(x1,y1,z1)，P2(x2,y2,z2)得：

(1)

式中,f是摄像机的焦距，f=z2.

图1 图像采集结果图2 针孔模型

2 摄像机参数的求取

2.1 摄像机内参数的求取

由式(1)相似原理知，设空间中几何坐标系的点投影到图像平面上坐标系的坐标为(u,v)，与成像平面的交点记为(u0,v0)，它们之间的关系为：

(2)

即：

(3)

转换成矩阵形式为：

(4)

2.2 摄像机外参数的求取

如图2所示，由上面推导可知，空间中几何坐标系的点与成像坐标系的变换关系为：

(5)

3 中心点摄像机标定方法

在摄像机视场内，机器人做特定的平移和旋转运动，调节机器人的不同位势采集图像，至少采集3组图像，并记录3组末端姿态.根据图像软件处理,将目标重合空间内的某一点设为中心点，在中心点平面上建立世界坐标系，以其法线方向作为z轴.所以zw=0.

由式(4)、式(5)得：

(6)

式中,ud=u-u0；vd=v-v0;

将式(6)展开消去zc，得：

(7)

提取标定点，通过最小二乘法可以求得[h11,h12,h14,h24,h31,h32]T.

因为‖m33‖=1，m1·m3=0和m2·m3=0得：

(8)

(9)

ax3+bx3+cx+d=0,

(10)

式中，

由以上各式得：

(11)

(12)

利用数值计算方法容易获得式(10)的解，其中至少有一个正实根xr.对其开平方可以求出m34，然后通过式(8)分别求出m12、m23和m33，其中m33的符号根据h11和h22确定.由式(9)可以求出kx和ky，然后利用式(12)求出其他参数，获得外参矩阵.

4 HALCON的标定实验

HALCON是德国 MVtec 公司开发的图像处理软件，它具有完善的综合标准软件库和机器视觉集成开发环境.HALCON 提供了丰富的函数库 ，包括 blob 分析 、形态学 、模式匹配、 测量、 三维目标识别和立体视觉等. 它支持Windows，Linux 和 Solaris 操作环境 ， 整个函数库可以用C，C++，C#，Visual Basic 和 Delphi 等多种普通编程语言开发，有效提高了开发效率，并且执行速度快，具有良好的跨平台移植性.

为了让视觉搬运机器人在工作时定位更加准确，必须建立空间中物体与所采集图像之间点的存在关系，因此必须对摄像机进行标定.在空间中放置一个已知信息的平板即标定板[13]，使用的是制作的30 mm*30 mm标定板.通过HALCON算子gen_caltab来制作一个标定板.

4.1 标定板的制作

在机器视觉定位、搬运等应用中，为了得到空间中物体与其采集图像中对应点之间的关系，进行摄像机标定，由摄像机模型计算得到高精度的测量和定位结果.在HALCON中自带算子gen_caltab(::XNum,YNum,MarkDist,DiameterRatio,CalTabDescrFile,CalTabPSFile:)方便自己动手制作一个合适的标定版，如图3所示.

XNum为每行黑色圆点的个数.YNum为每列黑色圆点的个数.MarkDist为相邻黑色圆点的中心距.DiameterRatio为圆点的直径和圆点之间圆心距的比值.CalTabDescrFile为标定板描述文件的文件路径(.descr).CalTabPSFile为标定板图像文件的文件路径(.ps).使用制作的标定板标定其参数如下：gen_caltab(7,7,0.003 75,0.5,'D:/30_30.descr','D:/30_30.ps').

4.2 基于HALCON的标定

在实际生产应用中，视觉引导机器人分为Eye-In-Hand或者Eye-To-Hand两种常用方式.而研究中所使用的是摄像机与机器人分开固定的另一种安装方式，即Eye-To-Hand手眼标定，摄像机固定不动，由机器人运动完成任务.在标定时机器人将制作好的标定板夹持在适当的位置，在不同的位势下对标定版进行图像采集，其标定流程图如图4所示.

图3 30 mm*30 mm标定版图4 标定流程图

在进行摄像机标定时，采集图像的个数和标定的精度成正比关系，理论上所采集的图片越多越好，所选图像中标定板的位置必须能覆盖所需标定图像的4个角.在实验中通过HALCON软件处理的部分图像的拍摄效果及标定如图5所示.

图5 标定效果

5 实验结果及分析

在实验室里，利用HALCON中的Calibration助手进行摄像机的标定，选择加载图像文件中上述制作的标定板，删除加载失败的采集图片进行标定.对标定板图像进行特征处理，在其特定的区域内抓取轮廓范围，分析其灰度，确定标定版的边界转化为XLD轮廓如图6所示.通过HALCON软件对其特征图进行处理，其直方图如图7所示.

图6 轮廓图图7 灰度直方图

因为每个摄像机本身的物理属性不同，在摄像机标定完成后，摄像机的参数也不再变化，相机也不可移动，否则需要重新标定.实验标定的摄像机参数结果如表1所示，标定后摄像机的位势如表2所示.

表1 标定后摄像机参数

表2 标定后摄像机的位势

为了验证标定的准确性，在标定机器人视觉系统后，现场进行实际测试，测试图如图8所示.

图8 标定测试图

采用校验点真实的世界坐标，即机器人坐标和利用标定后参数所求得的坐标之差的平均值作为标定精度的度量参数.

(13)

分别计算横坐标Tx=10.655 8 mm, 纵坐标Ty=-2.851 29 mm.又因为ABB机器人的XY轴坐标精度为0.01 mm, 研究中采用的摄像机有500万像素精度，测量精度理论值为0.01 mm, 所以可得标定精度在一个像素范围内, 且精度较高.

另外计算得横坐标最大差值为0.361 mm, 纵坐标最大差值为0.143 mm, 横坐标差值的标准差为0.128 mm, 纵坐标标准差为0.049 mm.因为标准差可以表征测量系统的不确定度, 因此横纵坐标的不确定度都在一个像素范围内, 且精度较好.

6 结论

机器视觉结合机器人在搬运行业的应用，打开了工业机器人逐步智能化的开端.而视觉的定位、识别等离不开摄像机的标定，其标定的结果影响着整个系统的精度，所以只有做好摄像机的标定才能进行后续的工作.研究中提出的中心点摄像机标定方法，利用HALCON软件对视觉搬运机器人的标定方法进行了研究，其标定结果精确、运算率高、操作简单，具有良好的实用性.

[1] 潘武．基于机器视觉的工件的识别和定位[D]．北京：北京化工大学，2012．

[2] 王殿君．双目视觉在移动机器人定位中的应用[J]．中国机械工程，2013，24(9)：1 155-1 158．

[3] 刘维．基于双目立体视觉的物体深度信息提取系统研究[D]．长沙：中南大学，2009．

[4] 吴跃民，刘荣，董代．用于光电子器件对准的显微立体视觉系统及其标定方法研究[J]．中国机械工程，2005，16(14)：1 235-1 239．

[5] 罗晨，朱利民，丁汉．标定模板与图像平面平行时的摄像机标定方法[J]．中国机械工程，2005，16(17)：1 558-1 560．

[6] 张世辉，郭翠翠．一种新的基于并联机构的摄像机线性标定方法[J]．中国机械工程，2009，20(14)：1 651-1 655．

[7] Z ZHANG.A Flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1 330-1 334.

[8] R Y TSAI.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf cameras and lens[J].IEEE Transactions on Robotics and Automation,1987,3(4):323-344.

[9] S D MA.A self-calibration technique for active system[J].IEEE Transaction on Robotics and Automation,1996, 12(1):114-120.

[10] R HARTLEY.Self-calibration of stationary cameras[J].International Journal of Computer Vision,1997,229(1):2-5.

[11] 罗珍茜，薛雷．基于HALCON的摄像机标定[J]．电视技术，2010，34(4)：100-102．

[12] Z ZHANG.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1 330-1 334.

[13] 解则晓，程传景，金明．基于共面法的视觉传感器的标定方法[J]．中国机械工程，2006，17(16)：1 690-1 693．