基于机器视觉的汽车工件抓取定位系统设计与开发

翟永杰 刘金龙 程海燕

摘 要： 基于機器视觉的定位方法具有非接触、柔性好、自动化和智能化水平高等特点，能够较好地满足工业自动化生产的需求。针对某汽车焊装生产线的“五门一盖”上、下工件系统进行研究，充分考虑某汽车生产线的现场条件及工件特性，设计一套基于机器视觉的工件抓取定位系统。系统以FANUC机器人为基础平台，采用Basler工业相机、光学镜头等共同搭建视觉定位单元。系统标定采用单应性矩阵的原理，定位采用最小外接矩形方法。结果表明，该系统实现了车门的准确定位及抓取，定位精度达到了生产线的技术要求。

关键词： 机器视觉； 工件定位； 图像处理； 标定； 特征检测； 汽车生产线

中图分类号： TN948.2?34 文献标识码： A 文章编号： 1004?373X（2018）20?0006?04

Abstract： The positioning method based on machine vision has the characteristics of non?contact， flexibility， higher level of automation and intelligence， which can meet the requirements of industrial automation production. Therefore， a workpiece grasping and positioning system based on machine vision is designed， taking the upper and lower workpiece system （a cover and five doors） of a certain automobile welding production line for research， and fully considering the site conditions and workpiece characteristics of the automobile production line. In the system， the Basler industrial camera and optical lens are used to cooperatively establish the vision positioning unit， taking the FANUC robot as the basic platform. The principle of homograph matrix is adopted for system calibration. The minimum external rectangle method is adopted for positioning. The results show that the system can realize accurate positioning and grasping of automobile doors， and the positioning precision can meet the technical requirements of the production line.

Keywords： machine vision； workpiece positioning； image processing； calibration； feature detection； automobile production line

在汽车生产中，焊装车间主要完成对白车身的五大主体（侧围、“五门一盖”、后地板、前地板、机舱）的涂胶、焊接、装配等加工作业。经调研，某汽车焊装生产线除上、下工件外，均可由工业机器人自主完成，不需人工参与。该汽车焊装生产线目前工件的定位方式为传统的定位方式：重力定位、机械定位。需要人工将来自冲压车间的工件从料筐中取出，然后精确放置到固定夹具或对中台上，然后机器人以固定的姿态将工件抓起。重力定位及机械定位，虽然在一定程度上能满足作业要求，但需要人工介入，不能实现可持续的自动化生产，在灵活性、效率及精度方面存在一定的缺陷。

本文针对该汽车焊装生产线未实现自动化生产的人工作业环节进行研究，在不更换原有粗定位料筐的基础上，采用机器视觉定位技术实现工件定位。机器视觉定位技术可以很好地满足柔性化生产的需求，实现焊装车间全流程自动化作业，降低生产线改造成本，提高焊装车间的自动化水平。

1 系统总体设计

本文所设计的视觉抓取定位系统包含工件抓取单元、工件定位单元两部分。系统的研究工作是基于机器人学与计算机视觉技术来完成的。

1.1 系统方案

本文所设计的机器视觉抓取定位系统包括工件抓取单元、工件定位单元两部分。工件抓取单元主要用于协助机器人机械手将目标工件从料筐中顺利取出。工件定位单元包括硬件部分和软件部分，硬件部分主要用于采集清晰的目标工件图像。软件部分旨在通过视觉算法获得目标工件的图像坐标，进而通过标定参数将像素坐标转换为世界坐标[1]。系统整体流程图如图1所示。

1.2 工件定位单元硬件部分

硬件部分由工业相机、工业镜头、光源等组成，相机固定于机器人的抓手之外（机器人右前方），相机不随机器人抓手的移动而移动。 系统的具体选型见表1，系统的结构图见图2。

1.3 视觉定位软件系统设计

系统软件的视觉算法部分主要是基于Windows使用EmguCV图像库与C#混合编程开发的，机器人侧的编程通过KAREL语言实现，由于试验的原因借用PC机作为处理器。视觉定位依赖于相机采集到的二维图像，因此只进行二维定位。

视觉定位软件的工作流程如图3所示。

2 系统标定

2.1 单应性矩阵原理

平面的单应性定义：一个平面到另外一个平面的投影映射。在图形学中，物体在物理坐标系中的坐标与像素坐标系中的坐标之间是一一对应的，其关系为一投影变换矩阵（单应性矩阵）。一个单应性矩阵H的大小为3×3，设某点p在一坐标平面上的齐次坐标为p1=（x1，y1，w1）T，将其映射到另一坐标平面上，对应点的齐次坐标为p2=（X1，Y1，w2）T。则满足：

由式（5）可通过最小二乘法或SVD分解来求解矩阵H。求得矩阵H，可以根据式（1）在已知面内的一点坐标求解其投影平面内的坐标。

2.2 单应性矩阵在系统标定中的应用

本文研究的内容是基于相机的针孔模型[2?5]进行的，相机的几何成像图如图4所示。图中OC?XCYCZC为相机坐标系，其中ZC轴为光轴且垂直于相机的成像平面。OW?XWYWZW为世界坐标系，为根据需要而建立的外部坐标系，通常是通过机器人的标定建立的，用来描述对应空间中物体的位置与姿态。

2.3 本文视觉系统标定模型的构建

本文使用EYE_TO_HAND工作模式，EYE_TO_HAND的系统结构如图5所示。在此系统中主要存在以下几个坐标系：机器人末端工具坐标系（Tool_0）、机器人夹具工具坐标系 （Cal）、相机坐标系（Camera）、世界坐标系（World 或Base），用户坐标系（UF）。

图中：机器人基坐标系Base到Tool_0及Tool_0到夹具坐标系Cal的转换关系可以通过机器人控制器直接读取获得，即转换矩阵B与X已知[7]；用户坐标系UF到机器人基坐标系Base的转换关系Y，同样可以借助“三点法”建立UF的过程由机器人示教器获得。图中用矩阵H表示图像坐标系中的一点q到用户坐标系的转换关系。依据第2.2节的原理，可以通过查找图像坐标系与用户坐标系中不共线的4组对应点来求取矩阵H。从而通过式（1）得到图像中的一点在用户坐标系UF中的坐标，然后通过矩阵Y转换：

将Q点的坐标转换为世界坐标系中的坐标[QW]。从此机器人控制器通过逆向运动学原理及矩阵B与X求解各轴的转动角度，最终控制机器人末端将工件调整至目标姿态。

2.4 系统标定的实现

系统标定的过程如下：

1） 将工件置于标准的参考位置，并将标定板固定于工件特征区域，示教机器人通过“三点法”建立用户坐标系；

2） 采集标定板图像，并取6个角点信息，如表2所示；

3） 通过上述原理计算单应性矩阵H；

3 工件定位

3.1 目标图像预处理及特征提取

在本文中以汽车左前门为例进行测试，特征选择为门把手的安装孔。直接采集的图像由于周围环境的影响（如焊装车间点焊的火花、弧焊的弧光等）使得图像质量下降，因此，先对特征信息进行增强、提取。对目标特征进行分析：特征为不规则的多边形，并且多边形的相邻边均为平滑连接，角点特征不稳定[8?9]。因此选择对特征的轮廓信息进行研究，为了准确地提取轮廓信息，增强感兴趣区域，预处理过程如图6所示。预处理结果及特征轮廓见图7。

3.2 工件定位

鉴于目标工件的特征特点，选用最小外接矩形定位方法[10]。定位过程如图8所示。定位原理如下：首先建立一个标准参考模板，记录模板特征的最小外接矩形的中心及长轴的斜率；然后在每次采集图像后同样计算工件特征的最小外接矩形的中心及长轴斜率；最后与标准参考模板比较算出工件的偏移量及旋转角度。

4 试验结果

为了便于测量计算系统的定位误差，在参考模板的基础上示教机器人分别在X，Y方向上移动固定的距离D。然后利用视觉系统对工件定位，定位结果为d，机器人本身的误差为e，则定义视觉定位误差：

通过试验可知，视觉系统可以准确地将工件定位，且定位精度满足生产工艺的要求。由此通过料筐取料、视觉系统定位、坐标转化等机器人可以自主地将工件从料筐中取出直接进行下一步的涂胶、装配等作业，替代了人工上料及机械定位的过程，提高了生产节拍。

5 结 论

在工业应用中，大多数基于视觉的抓取定位作业都是将相机安装于机械臂上，随机器人一起运动。本文考虑到工件大及料筐的特性，将相机与机械臂分离，借用相机独立采集工件的特征区域进行定位，在保证作业精度的同时充分利用了现有的粗定位料筐，大大降低了生产线改造成本。本文通过单应性矩阵将相机坐标系转换到世界坐标系来实现位置的统一，方法简单易行。本方案充分考虑汽车生产的现场条件及工件的特性，将机器视觉定位应用于汽车生产过程中，通過反复测试，此系统重复定位精度较高，符合汽车生产的基本要求。

参考文献

[1] 陈阳光，王磊.基于HALCON的机器人视觉标定[J].光学仪器，2016，38（4）：320?324.

CHEN Yangguang， WANG Lei. Robot visual calibration based on HALCON [J]. Optical instruments， 2016， 38（4）： 320?324.

[2] BENHIMANE S， MALIS E. Homography?based 2D visual servoing [C]// Proceedings of IEEE International Conference on Robotics and Automation. Orlando： IEEE， 2006： 2397?2402.

[3] YANG Xingfang， HUANG Yumei， GAO Feng. A simple camera calibration method based on sub?pixel comer extraction of the chessboard image [C]// Proceedings of IEEE International Conference on Intelligent Computing and Intelligent Systems. Xiamen： IEEE， 2010： 688?692.

[4] CHAUMETTE F， MALIS E. 2 1/2 D visual servoing： a possible solution to improve image?based and position?based visual servoings [C]// Proceeding of IEEE International Conference on Robotics and Automation. San Francisco： IEEE， 2000： 630?635.

[5] 刘嵩，叶玉堂，孙强，等.基于单应性矩阵的棋盘格角点检测研究[J].电子设计工程，2012，20（6）：114?117.

LIU Song， YE Yutang， SUN Qiang， et al. Research of chessboard′s corner detection based on homography [J]. Electronic design engineering， 2012， 20（6）： 114?117.

[6] 丁建华，姚明海，赵瑜.基于单应性矩阵的机器人视觉伺服系统研究[J].机电工程，2012，29（12）：1485?1489.

DING Jianhua， YAO Minghai， ZHAO Yu. Study of visual servoing system of robot based on homography matrix [J]. Journal of mechanical & electrical engineering， 2012， 29（12）： 1485?1489.

[7] ZHUANG H， ROTH Z S， SUDHAKAR R. Simultaneous robot/world and tool/flange calibration by solving homogeneous transformation equations of the form AX=YB [J]. IEEE transactions on robotics and automation， 1994， 10（4）： 549?554.

[8] 赵鹏.机器视觉理论及应用[M].北京：电子工业出版社，2011.

ZHAO Peng. The theory and application of machine vision [M]. Beijing： Publishing House of Electronics Industry， 2011.

[9] 张铮，王艳平，薛桂香.数字图像处理与机器视觉[M].北京：人民邮电出版社，2010.

ZHANG Zheng， WANG Yanping， XUE Guixiang. Digital image processing and machine vision [M]. Beijing： Posts & Telecom Press， 2010.

[10] 陈栋梁，李蓓智，周虎.基于零件轮廓形心与最小外接矩形的图像配准方法[J].制造业自动化，2012，34（8）：48?51.

CHEN Dongliang， LI Beizhi， ZHOU Hu. An image registration method for mechanical parts based on centroids and minimum enclosing rectangles of contours [J]. Manufacturing automation， 2012， 34（8）： 48?51.