机械手视觉系统的非均匀标定法研究

田浩辰，张银龙，赵海文，刘玉鑫，刘 聪

（河北工业大学　机械工程学院，天津 300130）



机械手视觉系统的非均匀标定法研究

田浩辰，张银龙，赵海文，刘玉鑫，刘 聪

（河北工业大学机械工程学院，天津 300130）

摘 要：针对恶劣工况下机械手视觉识别能力差的现状，以履带轮自动回火上下料生产线为例，提出了一种局部线性化的像机标定算法，对探头的工作原理进行分析，采用基于粗定位和精确定位两步走的算法，实现了对工件图像坐标下圆心位置的提取，将整个控制系统的算法以方框图的形式给出，完成了控制系统软件设计，为视觉定位系统提供新的思路。

关键词：智能化生产线；视觉系统；标定；机械手

0　引言

组成现代工程机械的很多必须零件，在加工之前必须经过淬火和回火处理。为了减少淬火和回火的准备时间，提高整个热处理加工过程的效率，同时保障在此恶劣工作环境中工人的人身安全，提高生产安全系数，很多企业都希望引进自动化设备。在自动化生产线中，对于物料的运输，工件的搬运，零件的装配，车体的焊接，机械手都得到了广泛的应用。为了增强机械手的灵活性和通用性，各类传感器被应用到机械手。其中将视觉传感器应用到机械手之中，能够辅助机械手获取大量的数据信息，方便对各种形状、规格的工件进行识别与定位，提高物料运输效率。

虽然视觉传感器应用比较广泛，但其仍然存在很多问题，尤其在复杂环境下，如何提高视觉系统的鲁棒性显得十分重要。本文以履带轮自动回火上下料生产线中的机械手为例，提出了一种利用基于“智能视觉+手爪末端探头”的机器人视觉标定方法，不需要标定板等工具，直接借助工件完成对视觉系统的标定，随着工件搬运数量的增多，标定的精度越来越高，具有反馈位置信息的手爪探头使用，克服了以往标定板标定过程不适于工业现场的特点，以及自标定方法鲁棒性差的特点，保证了在视觉精度不变的条件下，整个系统定位精度的提高。

1　像机线性成像模型及其存在的畸变误差

像机线性模型即小孔成像模型，引起视觉系统图像畸变的因素可分为透视误差和镜头畸变误差。

为了减少误差，通常的做法是选择或制作事先确定好尺寸的标定板，包括圆点校正标定板、棋盘格校正标定板等。然而像机的畸变量在像平面上并非均匀的，随着偏离轴线的位置的增大而增大，而标定板标定的方式对于整个视野中的点的精度是相同的，这就将导致标定完的效果为：离光轴比较近的区域标定精度高，离光轴比较远的区域标定精度低。由此，我们需要寻求一种精度更高的标定方法。

2　局部线性化的标定方法

根据履带轮自动上下料生产线视觉定位系统的特点我们发现，不检测图像的深度信息，只获取二维平面的数据信息并建立起二维工件平面与二维图像平面的映射关系，可以简化标定工作。首先在线性模型下建立映射关系，如图1所示。

图1　成像模型

在不考虑深度信息的条件下，根据图1所示的线性模型，可得到简化的空间任意点p在世界坐标系下的齐次坐标pw（xwywzw1）T和像素坐标系下的齐次坐标PP（uν 1）T之间的关系，待测平面上各点的坐标可以与图像平面上相应点的坐标用线性组合的形式表示为：

其中，wi为世界坐标系下，待测平面上的特征点，其齐次坐标为（xwiywi1）T；pi为图像坐标系下，图像平面上对应的特征点，其齐次坐标为（uivi1）T；M是在wi和pi之间建立的回归参数型矩阵，阶数为3×3。

为了确定M矩阵中的参数，需要至少确定待测平面上个点的世界坐标值与其对应的像素坐标值，再利用最小二乘法便可求出矩阵M。

W是已知标定点在世界坐标下的坐标组成矩阵，若标定点个数为n，则矩阵W为3×n阶；P是已知标定点在图像坐标下的坐标组成矩阵，若标定点个数为n，则矩阵P为3×n阶。

该方法同样是建立在线性成像模型的基础上的，由于像机自身存在各种畸变，因此用该模型去测量也必定会存在误差。

对于履带轮自动上下料生产线系统，由于工件筐的限制，工件的圆心将会分布在整个世界坐标系中几个相对有限的小区域内，相应的图像坐标点也将分布在图像坐标的几个有限的小区域内，如图2所示。本视觉标定系统中，更关心的是各个圆心坐标所在的邻域内的标定精度，而领域以外的其他区域的视觉定位精度对整个视觉系统的精度影响不大。根据工件分布特点，本文采用不均匀分配的特征点对视觉系统进行标定，工件出现概率大的区域标定点密度高，工件出现概率小的区域标定点密度低。

图2　工件圆心坐标分布

图中各个工件的圆心坐标在世界坐标系下组成的矩阵为：

其中wi，j=（xwi，j， ywi，j，0）T为各个履带轮的圆心在世界坐标系下的坐标值。对应的各个圆心坐标在图像坐标系下的坐标值组成的矩阵为：

其中pi，j=（uwi，j，vwi，j）T为各个履带轮的圆心在图像坐标系下的坐标值。

首先确定工件圆心所在的邻域，其次选取与待测点相邻的四个点组成一个插值单元，用最小二乘法便可求出回归矩阵M，在根据图像成像简化模型便可求出该点在世界坐标下的坐标值。采用局部线性插值时，四个插值点所覆盖的面积越小，标定的结果越精确。

在工业现场，首先通过机械手各个坐标轴上的磁栅尺和末端手爪探头传感器获取工件在机械手坐标系即世界坐标系下的坐标值，再由智能视觉系统通过图像处理获取工件在图像坐标系下的圆心坐标值，利用这些可靠的数据点分别建立矩阵W和矩阵P。待由机械手末端的探头检测标定精度，若该测量点精度足够，则该点的世界坐标和图像坐标将会被作为有效数据插入到圆心的世界坐标矩阵和图像坐标矩阵中，实现视觉系统的动态标定。

由于工业现场工件搬运的过程，就是数据收集的过程，在完成工件的搬运过程中就完成了数据库系统的建立，而不必费为了建立数据库而费时费力的收集数据。最后达到的效果就是机械手越用越好用，定位精度越来越高，工件的抓取越来越准。

3　工件世界坐标提取

在履带轮自动上下料生产线中，机械手手爪末端与工件的相对位置关系划分为5个区域，当机械手的视觉定位精度不够高时，很容易导致机械手末端探头位于图3的b区域内。现在对机械手处于b区域时的状态加以分析。先设定机械手Z轴从零点到到工件上表面的距离为Z0，探头锥面的高度为L0，锥顶角为φ0，锥顶到旋转轴心的距离为L1，如图4所示。

图3　工件区域划分图

图4　探头与工件的位置关系

设机械手下降距离为Z时，探头的锥面与工件的内圆刚好接触，设此时探头接触点所在的截圆半径为R0，根据机械手定位精度的不同，截圆半径R0的值也不相同，如图5所示。R0是下降距离Z的函数，其关系可表示为：

图5　定位误差与探头截圆半径关系

已知履带轮的轴孔的直径为F，设定此时机械手末端探头的坐标为（X1，Y1，Z1），则机械手末端手爪的位置与待抓取工件的圆心位置的距离差Δr可以表示为：

由式（4）可以确定机械手末端手爪位于以工件端面圆心为圆心，半径为Δr的圆周上，若要确定手爪末端探头具体与工件的那个点接触，还需要一个角度坐标信息θ，如图6所示。

图6　探头与工件的角度关系

现在使机械手在与工件刚发生接触后，沿Z轴方向继续向下移动δz，此时探头绕支撑点发生转动，设此时与Z轴的夹角为α，如图4所示。由探头的机械结构可知，按照元件的运动方式分解，探头与Z轴的夹角α可以分解为为绕x轴和y轴两个转动，转角分别为β和γ，而x轴和y轴的转动反应为探头x、y方向两路霍尔元件检测的电压值变化。探头末端p所能到达的空间点在xy平面上的投影点组成的集合定义为U，如图7所示。探头转动角度大小与输出电压值的对应关系如图8所示。在探头沿Z方向发生δz大小的位移时，探头末端有点p运动到p'，因此可确定此时探头与X轴正方向的夹角θ：

其中，p'x为发生δz位移后在x轴查测出的电压值，px为发生δz位移前即探头与工件相切时在x轴查测出的电压值；p'y为发生δz位移后在y轴查测出的电压值，py为发生δz位移前即探头与工件相切时在y轴查测出的电压值。

图7　探头的有效检测区间

图8　探头转角与输出电压关系

由式（3）、式（4）、式（5）便可以确定机械手在抓取工件时的实际位移与工件圆心的位置关系。当机械手抓取工件时手爪定位在工件的b区域内时，可根据探头反馈信息计算出当前位置误差，并转化为机械手X轴和Y轴的位移量，将数据转换后传送给机械手的伺服电机，自动控制机械手完成误差的校正。其中：

4　工件图像坐标提取

本文中机械手上下料过程中用到的视觉系统，主要完成对工件筐内工件的位置和形状信息进行获取，因为工件为圆柱形，因此不涉及方向信息，只需进行位置定位。为了获取工件的位置信息，视觉系统主要完成图像采集、图像处理、目标识别和目标定位。

图像采集的过程利用CCD图像传感器把光信号转化成电荷信号，再经过采样放大以及模数转换，最终将光学影像转化为数字信号。

针对本机械手系统工作环境特点，图像识别选择基于特征匹配的方法进行工件识别，匹配方式为边缘抽取。对图像进行边缘抽取时，使用相同的边缘阈值和不同的像素范围。

因为履带轮是规则的圆柱体，所以可以直接利用工件的图像是圆这一形状特征提取中心点，同时选择计算量较小定位精度较高的根据最小二乘来拟合曲线的方法获取圆心坐标。

对工件的定位分为两个步骤：

第一步是粗定位，通过EC圆搜索，搜索到工件在图像中的大概位置。对工件的匹配效果如图9所示。

图9　工件特征提取效果图

第二步是精确定位，在第一部定位到圆的粗略位置后，以该位置为中心重新确定扫描区域，在该区域内通过最小二乘拟合进行精确定位。

最小二乘拟合即在取定函数类Φ中，对给定的数据点｛（xi，yi）（i =0，1，⋅⋅，n）｝求取函数使误差的平方和最小，可表示为：

采用基于圆形的最小二乘拟合法，根据最小二乘原理选取圆的方程进行圆的轮廓拟合。圆的方程为：

则误差的平方和δ2可表示为：

其中U为边界点的集合，（xi，yi）为图像边界点坐标，（a，b）为以图像左上角为原点计算出来的圆心坐标，r为圆的半径。再根据像机的标定就能获取圆心在世界坐标上的位置信息。

具体的圆心精确定位方法如下：

1）以粗定位中为检测中心，定义扫描区域，并设定扫面带的宽度，设定边缘检测方向，和检测点数以及起始检测角度，本文中选择在圆周上均匀分布的n各点，如图10所示。

2）在边缘的检测带内以浓度差宽度的相对位置进行测量，确定先前选定的n个点的像素坐标值，如图11所示。

3）根据计算出来的n个点的坐标值采用最小二乘法进行近似圆拟合，计算圆的半径和圆心，如图12所示。

4）由于一盘工件中共含有9个工件，再进行圆的精确匹配时测量区域固定，所以采用坐标变化对图像进行平移，测量其他位置工件的圆心坐标，如图13所示。

图10　区域设定

图11　检测点坐标计算

图12　圆拟合

图13　多点测量

对于工件筐边缘位置的确定，本文采用基于直线拟合的最小二乘法，根据最小二乘原理选取直线方程进行工件筐边缘直线拟合。直线方程为：

其中E为工件筐边缘上的点的集合，（xi，yi）为工件筐边界点坐标，（k，b）为以图像左上角为原点计算出来的直线方程待定系数。检测效果如图14所示。

图14　工件筐边缘提取

5　基于单目视觉定位控制流程

通过前述过程，我们完成了一套完整的单目视觉系统定位的控制研究，具体流程设计如图15所示。

机械手上下料系统以机械手零点为原点，以X、Y、Z三个运动轴正方向为坐标轴方向，并以各轴上的磁栅尺为标尺，建立现实世界的空间坐标系。视觉系统的建立，首先通过手动操作，控制机械手末端探头检测工件筐位置信息，其次通过智能像机获取工件筐的图像位置和姿态信息，通过智能匹配算法，建立起工件筐的图像数据与现实世界坐标的对应关系；手动控制机械手到上料位，抓取定位完成的履带轮，记录下此时机械手在上料位的坐标信息，并搬运到工件筐内，待放料完成，记录下此时机械手在放料位的坐标信息，重复上述过程，直到工件筐内有9个履带轮，即完成一筐工件的上料，此时通过智能视觉传感器进行图像采集，获取9个履带轮的圆心坐标，通过智能匹配算法，建立起履带轮的图像数据与现实世界坐标的对应关系，经过长期示教，建立起图像坐标与世界坐标之间对应关系的数据库。运动控制系统的建立，根据视觉系统获取的工件位置信息，经过与已有数据库系统查询，计算出工件的实际位置，实时的将参数传递给机械手人的控制系统，通过控制伺服电机控制机械手完成对履带轮的抓取，并根据末端探头的状态调整或反馈抓取效果，待完成一个工件的抓取后将可靠的数据存入数据库中，扩充和优化已有数据，上下料过程如图16所示。

本系统已在实验室和生产线上进行的实地应用测试，不仅对工件定位准确，而且运行效率高，是一套可行性很强的视觉标定系统。

图15　控制系统流程

6　结论

本文主要完成了上下料机械手控制系统的关键技术研究。首先，提出了一种局部线性化的像机标定算法，采用上料过程进行标定点提取，适合工业现场快速标定的要求，通过标定建立起图像坐标和世界坐标之间的对应关系，并且标定点个数随着机械手的使用不断的增加；其次对探头的工作原理进行分析，建立了探头提取工件在世界坐标下圆心位置的算法；之后采用基于粗定位和精确定位两步走的算法，基于最小二乘的拟合算法，实现了对工件图像坐标下圆心位置的提取；最后将整个控制系统的算法以方框图的形式给出，完成了控制系统软件设计，不仅为系统的投用打好了理论基础，也为除履带轮以外的其他生产线的视觉标定系统改进提供了思路。

图16　上下料循环过程示意图

参考文献：

［1］ 郭洪红.工业机器人技术［M］.西安：西安电子科技大学出版社2006，3.

［2］ Hirai， K， M. Hirose， Y. Haikawa， and T. Takenaka， 1998，The development of honda humanoid robot［A］.IEEE Int.Conf. Robotics and Automation［C］.1321-1326.

［3］ 陈祥勇.基于OpenGL的工业机器人操作可视化研究［D］.南京航空航天大学，2008.

［4］ 张建中，何永义，李军.机器人装配视觉定位应用研究［J］.机电工程，2011，08：934-937.

［5］ 席斌，王振，雷钱锋.机器人视觉工业检测系统的应用与发展［J］.控制工程，2006，5（13）：220-222.

［6］ Copot C， Lazar C， Burlacu A. Predictive control of nonlinear visual servoing systems using image moments［J］.IET Control The ory&Application，2012，6（10）：1486-1496.

［7］ 吕晓明.基于DSP的视觉传感器的关键技术研究［D］.天津大学，2007.

Non-uniform calibration method research of loading manipulator system based on vision positioning

TIAN Hao-chen， ZHANG Yin-long， ZHAO Hai-wen， LIU Yu-xin， LIU Cong

中图分类号：TP241.2

文献标识码：A

文章编号：1009-0134（2016）05-0041-06

收稿日期：2015-12-16

作者简介：田浩辰（1988 -），男，硕士研究生，研究方向为自动化生产线。