基于视觉引导的自动组装技术探究

陈发毅, 贺敏, 吴蕾, 秦付军, 何紫杨

（1.西华大学机械工程学院, 成都 610039；2.苏州富纳智能科技有限公司，江苏苏州 215000）

0 引言

自工业机器人诞生以来，其应用和种类不断得到扩展，其中装配机器人在工业制造领域获得了广泛应用，主要用于电器、汽车、电子等产品及其组件的装配任务[1]。传统的依靠专用夹具配合且按照固定轨迹运行的组装模式，无法满足目前自动化装配行业的需求。机器视觉技术应用到自动化行业，极大地提高了产品的组装精度。通过视觉传感器引导机械手实现精确组装具有更高的灵活度和精度。

陈伟华等[2]将VisionPro视觉软件结合C#编程语言开发了机械手的视觉定位系统。董大钏等[3]开发了基于视觉引导的机器人位姿在线校正算法。卢军等[4]使用Halcon视觉函数库开发了六轴机械手的自动装配引导系统。使用VisionPro视觉软件结合C#编程语言开发了基于上下相机的四轴直角坐标型机器人自动组装系统。

1 组装系统方案

1.1 系统方案

在四轴直角坐标机器人平台基础上搭建视觉引导系统，选用汇川H3u-3232-MT中小型PLC，搭建运动控制模组。视觉系统选用相机型号为OPT-CC130-GM-04，接口为GigeVision的130万像素相机，通过以太网巨型帧实现大批量的图像数据传输，相机镜头选用OPT-C2514-2M，光源选用RI10080-W低角度环光，搭建图1所示视觉引导系统。

图1 视觉定位系统硬件

1.2 装配流程

在自动装配之前，需要对机械手各个点位进行示教，将各点位的位置保存到PLC当中。示教时采用反向示教的方法，可以提高装配精度，示教流程如图2（a）所示。

自动组装流程如图2（b）所示，上相机第一次拍照定位方块，再移动到方框上方拍照定位方框，机械手吸取方块到下相机拍照进行角度补偿，角度补偿完成后再次拍照进行位置补偿，最后完成组装。

图2 示教及自动组装流程图

2 视觉定位引导系统

对基于视觉引导的自动化装配技术进行了研究，提出了一种基于视觉引导的自动化组装系统，包括相机通信及硬件参数设置、相机标定、视觉定位。通过GigeVision助手设置相机的IP地址，通过调整相机的内参、光源的亮度、镜头的光圈和聚焦环得到对比度强的取像。相机标定通过棋盘格标定工具标定相机内参，五点标定工具建立图像坐标系与机器人坐标系的坐标变换关系[5]。通过拖拽工具加脚本结合的方法，编写检测目标物位置和角度的视觉程序。视觉定位技术方案如图3所示。

图3 视觉定位技术方案

3 相机标定及视觉引导

图4所示为世界坐标系、机器人基坐标系、机械手坐标系、工件坐标系、相机坐标系之间的关系。

图4 视觉系统坐标关系图

3.1 相机内参标定

由于相机和载具安装存在人为误差，造成相机和成像面切向畸变[5]。常用的定焦和变焦镜头呈鱼眼状，当光线以不同的入射角进入镜片时产生径向畸变。使用美国Cognex软件公司开发的视觉软件VisionPro中的棋盘格标定工具来标定相机内参，校正切向和径向畸变，校正结果如图5所示。校正后的各对应点的RMS均方差约为0.090。

图5 下相机棋盘格标定结果

3.2 相机外参标定

标定相机外参采用五点标定法，目的是将相机获取到的图像坐标系与机器人的运动坐标系建立映射关系。实验使用的机器人是四轴直角坐标系机械手，由于单目相机不涉及Z轴方向的深度，于是在Visionpro软件平台上使用了一种简化的标定方法，只需标定出机器人的定位精度与运动方向，通过一次示教计算各位置的补偿值来实现对不同放置产品的组装。

由于每台机器人的硬件特性不同，我们对机器人的运动模组进行了校正。使用CogCalibNPointToNPointTool，控制轴依次运动5个点，并依次运行视觉程序抓取视野中的Mark点，将抓取到5个Mark点的坐标同机械手的位置建立坐标变换矩阵，其中上相机的标定方向与模组的运动方向相反，下相机标定是将吸嘴吸取方块移动到下相机视野中，获取方块的中心作为Mark点坐标，依次走5个点并记录各点坐标。需要注意的是，下相机的标定方向与机器人的运动方向相同。下相机的标定时记录的点位如表1所示，一共5组点位，其中未校正点坐标是图像坐标点，已校正点坐标是机器人运动的点位。下相机的标定结果如图6所示，通过校正相机内外参数，最后得到标定文件的RMS均方误差约为0.013。

图6 下相机五点标定结果

表1 五点标定的坐标数据

4 装配补偿

装配补偿分为角度和位置补偿，首先拍照获取取块工位的位置补偿和组装工位的角度和位置补偿。吸取方块到下相机拍照点，第一次拍照完成后进行角度补偿，补偿完成后第二次拍照获取位置补偿。通过第二次拍照获取的方块位置补偿，可以消除角度补偿时旋转中心不在方块中心引入的误差。如图7所示，通过第二次拍照获取到的假设旋转中心到实际旋转中心的垂直和水平分量与计算旋转引入位姿差校正算法得到的垂直和水平分量相同。采用两次拍照的方式可以消除吸取时定位中心同旋转中心不在同一点所产生的误差。

图7 角度补偿图

5 实验结果

为验证视觉定位引导的有效性，以方块为实验对象，设计使用和不使用下相机定位引导，尝试不同位置和角度的组装来进行实验。两种情况各进行25轮装配，总计200次装配，实验结果如表2所示。其中序号1为不使用下相机的情况，序号2为使用下相机的情况。

不拘一格，大胆尝试.—种、两种、三种……，出现了许多教师未曾预设的连接方法，其中包括在区间(a,b) 内有单一零点的函数图象(单调或不单调)，也有多个零点的函数图象；有用线段连接的(如图4，5等)，有用曲线段连接的(如图6，7，8，9等)，还有因为没有注意到条件要求而画错的图形(如图7)，这有利于纠正部分学生对函数概念理解的偏差.教师用实物投影展示(限于篇幅，文中只给出以下几种连接方法).

表2 实验验证数据

实验结果数据表明，引入下相机定位可以提高产品的组装准确率。不使用下相机定位时，在补偿角度过大的情况下会导致组装时方块碰撞到方框边缘，造成错误组装。在使用下相机进行定位引导时，由于引入二次定位使得组装的准确率得到提升。

6 结语

设计了一种依靠视觉定位引导的自动组装系统，其中软件部分通过C#和VisionPro视觉软件联合编程，硬件部分通过以太网与工控机通信控制PLC进行运动控制。视觉引导系统在X方向视野为60 mm的情况下，单相素定位精度达到0.048 mm/Pixel的定位精度，在Y方向上视野为40 mm的情况下，单相素定位精度达到0.039 mm/Pixel的定位精度。为满足系统的稳定性，使用4个像素宽度表示0.048 mm，则视觉定位引导系统的定位精度能达到0.192 mm，满足方块组装的精度要求。