基于机器视觉的传送带分拣技术研究

方 雨，李大寨，林 闯

(北京航空航天大学 机械工程及自动化学院，北京 100191)

0 引言

工业机器人技术的发展和成熟，引领了制造业的新一轮革命,使得产品流水线更加灵活多变，生产效率逐步提高，因此对分拣系统提出了更高要求。传统技术下的分拣系统，主要通过预先设定分拣动作，以继电器控制或离线编程的方式实现分拣，过程繁琐，效率较低[1]，且一旦产品或工作环境发生变化，就需要进行重新设计，故障率偏高，因此传统分拣系统难以满足现代制造业对信息化和自动化的要求。将机器视觉应用于分拣系统，利用其适应能力强，应用范围广，效率高，信息化程度高等特性，可以极大地提高分拣系统的工作能力[2]。

本文提出了一种将机器视觉和机器人应用于分拣系统，针对传送带上多类型工件进行识别定位和分拣的方法。

1 工件定位分拣系统

本文所用分拣系统主要由上料单元、输送分拣平台、摄像机平台、机器人系统四部分组成。

摄像机平台采用高分辨黑白摄像机，安装于传送带上方，与传送带平行布置，采用连续触发采集方式进行定时采集。输送分拣平台上安装有增量型旋转编码器，可以采集传送带运动信息，用于进行工件跟踪定位。机器人系统通过Ethernet接口与摄像机平台通讯，获取工件的定位识别信息，完成抓取和分拣。工件定位分拣流程如图1所示。

2 坐标系的设定

在摄像机的成像过程中现实空间的点被投影到图像平面上，并转换成对应像素点位置上的颜色信息，找到现实空间的点与图像上的点的正确对应关系，是摄像机标定的目的。如图2所示，设在摄像机的图像平面上有两个平面坐标系，分别为以像素为单位的像素坐标系O0UV和以毫米为单位的图像坐标系O1XY；此外，设摄像机坐标系Cam为o-xyz，规定摄像机光心点O点为原点，x轴和y轴与图像平面上的X轴和Y轴平行，z轴为摄像机光轴，与图像平面垂直；在现实空间中工件坐标系Wobj为Ow-XwYwZw，此坐标系位姿由传送带的位姿确定。设机器人坐标系Base为OB-XBYBZB。

图1 工件定位分拣流程

3 摄像机的标定

3.1 摄像机坐标系

如图2所示，设在工件坐标系Ow-XwYwZw中有一点P(Xw,Yw,Zw,1)T,点P在o-xyz坐标系中的坐标为(x,y,z,1)T,投影到图像平面上为点p，其在O0UV坐标系与O1XY坐标系中的坐标分别为(u,v,1)T和(X,Y,1)T。

首先计算坐标系O0UV与O1XY的转换关系。若O1在O0UV坐标系下的坐标为(u1,v1)，图像中相邻像素沿X向与Y向的距离分别为dX、dY，则p在O0UV与O1XY下的坐标转换关系为：

(1)

根据摄像机针孔成像模型，点P(x,y,z,1)T与其投影点p(X,Y,1)T有如下比例关系：

(2)

其中：f为oxy平面与图像平面的距离；s为比例因子。

最后用旋转矩阵R和平移矢量t来描述工件坐标系Ow-XwYwZw与摄像机坐标系o-xyz的转换关系，即：

(3)

将式(1)和式(2)代入式(3)得到工件坐标系与像素坐标系即Ow-XwYwZw坐标系与O0UV坐标系的转换关系：

(4)

其中:ax为U轴上的尺度因子;ay为V轴上的尺度因子;M1为摄像机的内参矩阵；M2由摄像机相对于工件坐标系的方位决定，称为摄像机的外参矩阵。

图2 坐标系的设定

3.2 摄像机参数的标定

为了计算摄像机的参数矩阵,本文采用棋盘格标定法进行标定，选择带有基准标记的国际象棋盘。该标定板由14×24个黑白相间的正方形方格组成，每个方格的大小为10 mm×10 mm。规定以标定板所在平面为XwYw平面，Xw轴和Yw轴如图3所示，Zw轴以右手定则确定。

4 机器人的标定

在分拣系统中，机器人与摄像机、传送带之间的坐标系相对关系如图4所示。机器人的标定过程分为机器人与摄像机的位姿标定和机器人与传送带的位姿标定两个部分。

图3 标定板及对应坐标系

图4 各个坐标系相对位置关系

4.1 机器人与摄像机位姿标定

由于相机视野范围与机器人工作空间不重叠，因此传统的机器人手眼标定方法并不适用于本系统，为了得到摄像机与机器人的位姿转换关系，借助传送带在摄像机视野范围和机器人工作空间建立两个工件坐标系Wobj1和Wobj2来得到Cam坐标系与Base坐标系的转换关系。Wobj1和Wobj2的关系在传送带标定中进行说明。

在传送带静止状态下，将标定板安装在传送带上，保持标定板在摄像机的视野范围内。调整标定板，使X方向与工件的运输方向保持一致。规定此处标定的工件坐标系为Wobj1。Cam坐标系与工件坐标系Wobj1的位姿转换矩阵为：

(5)

4.2 机器人与传送带位姿标定

机器人系统读取的编码器输出的脉冲计数器的数值需要转换成对应的传送带运动距离信息[4]。设D为单位脉冲下传送带运动距离，传送带上工件在运动前、后的两个位置下计数器读数分别为p1和p2，传送带运动距离为s1。则有：

D=s1/(p2-p1).

(6)

然后进行传送带运动方向与机器人位姿关系的标定。在摄像机下标定Wobj1后，启动传送带，使标定板运动，直至其进入机器人工作空间内，规定此时标定板上坐标系为Wobj2。设运动前、后计数器读数分别为p3、p4，则传送带运动距离s2为：

s2=D(p4-p3).

(7)

Wobj1与Wobj2坐标系间为平移关系，转换矩阵为：

(8)

移动机器人在标定板上沿Wobj2坐标系Xw轴上测得点X1和X2，在Yw轴上测得点Y1。则两坐标系间转化矩阵为：

(9)

且

(10)

因此可以求得机器人坐标系Base与摄像机坐标系Cam的转换矩阵为：

BaseHCam=BaseHWobj2·Wobj2HWobj1·(CamHWobj1)-1.

(11)

5 实验结果

采用IRB 360型机器人搭建分拣平台进行实验，目标工件为正方形、圆形和三角形三种形状的塑料薄片。

5.1 摄像机标定实验

在图3所示标定板上，共有277个特征点。实验中识别出277个特征点位置，误差平均值为0.087像素，达到了标定精度要求。

5.2 工件识别定位实验

利用三种形状的目标工件对系统的识别定位精度进行实验。将三种工件放置于摄像机视野内并移动两次进行识别定位训练，得到3组数据，三种零件都被有效识别和定位，如图5所示。

启动传送带将工件输送到机器人工作空间内，操作机器人对准工件，测得机器人坐标系下的工件坐标，并将摄像机识别定位结果根据转换矩阵转换到机器人坐标系下，得到的实验结果如表1所示。

从表1可以看出：摄像机对工件识别的准确率达到100%，而定位精度的误差小于1 mm。因此标定精度较高，能够满足识别分拣的要求。

6 结论

本文对机器视觉系统在分拣平台上的应用进行了分析，提出了结合机器视觉系统、机器人系统和传送带单元的标定方法，最终实现了视觉系统识别定位工件，利用机器人在传送带上进行较高精度的定位抓取。实验证明：本文方法定位精度达到1 mm，能够满足工业生产要求。说明机器视觉在传送带分拣平台上得到了有效应用，能够提高分拣系统效率、精度以及适应性。

图5 工件识别结果

表1 工件识别定位实验结果 mm