基于Halcon的工件视觉分拣系统

廖秉旺 林文煜

摘  要：为了实现多种工件的准确抓取和分类，设计了一款基于Halcon的工件视覺分拣系统。该系统利用标定算法对标定板进行标定，得到相机坐标系与机械臂坐标系间的仿射变换矩阵，利用基于形状的模板匹配算法对工件进行匹配，结合仿射变换矩阵得到工件的位置坐标。最后将工件坐标与种类信息发送到机械臂控制器，引导机械臂对工件进行抓取与放置。经过多次分拣实验，结果表明该分拣系统可实现对工件的准确分拣。

关键词：Halcon;视觉分拣;标定;模板匹配

中图分类号：TP242.62      文献标识码：A 文章编号：2096-4706（2021）01-0156-03

The Visual Sorting System of Workpiece Based on Halcon

LIAO Bingwang1，LIN Wenyu2

（1.School of Information Engineering，Guangdong University of Technology，Guangzhou  510006，China;

2.Guangzhou Yourai Intelligent Technology Co.，Ltd.，Guangzhou  510006，China）

Abstract：In order to grasp and classify many kinds of workpieces accurately，a visual sorting system based on Halcon is designed. The system uses calibration algorithm to calibrate the calibration target，which obtains the affine transformation matrix between the camera coordinate system and the manipulator coordinate system. Then，the template matching algorithm based on shape is adopted to match the workpiece，and the position coordinates of the workpiece are obtained by affine transformation matrix. Finally，the workpiece coordinate and type information are sent to the manipulator controller to guide the manipulator to grasp and place the workpiece. After many sorting experiments，the results show that the sorting system can realize the accurate sorting of the workpiece.

Keywords：Halcon;visual sorting;calibration;template matching

0  引  言

随着智能制造工业4.0概念的提出，工件自动化分拣作为智能制造中的重要一环，其相关技术也在快速发展。传统工业分拣机器人的分拣作业一般都是通过示教或离线编程实现[1]，机器人的抓取方向和运动路径都是预先设定好的，待分拣工件需摆放在指定位置，否则机器人无法准确抓取工件。将机器视觉技术应用于工件分拣系统，能够提升工件分拣系统的柔性和效率[2]。Halcon是德国MVtec公司开发的一款机器视觉软件[3]，由一千多个独立功能的函数和底层数据管理核心组成，内置的函数算子和样例涵盖了滤波、形态学处理、分类等功能，可用于快速开发工业视觉项目。本文基于Halcon和Visual Studio 2015进行编程开发，设计并实现了一套工件视觉分拣系统，可以对移动传送带上的各种工件进行有效的识别定位与分拣。

1  工件分拣系统组成

本系统的硬件部分由计算机、图像采集单元、物料传送单元和机械臂分拣单元组成。计算机用来连接和管理其他单元;图像采集单元用来采集标定板图片和工件图片;物料传送单元用来传输不同种类的工件，使得工件流经相机的拍照区域和机械臂抓取区域;机械臂分拣单元接收工件的平面坐标信息，抓取待分拣工件并将其放置到指定作业区域。

2  分拣系统工作流程

整个工件视觉分拣系统的工作流程分为4个模块，分别是标定模块、工件特征模板生成模块、视觉定位模块和机械臂分拣模块。标定模块的作用是获取图像坐标系与机械臂坐标系间的仿射变换矩阵;工件特征模板生成模块的作用是提取不同种类工件的形状特征，建立一个工件特征库;视觉定位模块的作用是建立计算机与机械臂控制器之间的通信连接，调用标定模块与工件特征模板生成模块，把得到的工件坐标信息发送给机械臂分拣模块进行分拣作业。

2.1  标定模块

机器视觉系统的标定流程能够建立起图像与对应三维世界的转换关系，标定模块包含相机标定与手眼标定两部分[4]。本系统使用的工业相机固定在移动传送带上方的工作架上，与机械臂是分开的，构成Eye-to-hand结构，具有较好的运行稳定性和较大的工作视野范围。

2.1.1  相机标定

相机镜头由于制造装配工艺上的缺陷存在着畸变问题，镜头畸变主要分为枕形畸变和桶形畸变。利用相机标定算法能够获得所使用工业相机的参数[5]，相机的参数包括畸变系数k，通过畸变系数可以矫正一定程度的镜头畸变。

本系统的标定模块采用型号为HC150_7.5的7×7圆形阵列标定板，标定模块实现的原理是根据相机初始参数、标定板描述文件和标定板的图片来寻找标定板图片上的标志点，进而完成标定，标定结果如表1所示。相机标定的具体步骤为：（1）调用Halcon的create_calib_data创建一个相机标定模型，为该模型设置相机的初始参数和所使用标定板的描述文件。（2）采集和加载15张具有不同位姿的标定板图片，标定板图片分别位于相机视野的不同位置，而且图片中的标定板都在相机视野之内。调用find_calib_object算子寻找图片中的标定板区域，确定圆心，将结果加载到相机标定模型。（3）调用calibrate_cameras算子求解相机的模型系数。

表1中，f为相机镜头焦距，k为所使用的工业相机畸变系数，（Sx，Sy）为相机的像元尺寸，（Cx，Cy）为光轴中心，Err为优化的反投影均方根误差。

2.1.2  手眼标定

手眼标定的目的是对工业相机和机械臂的位置关系进行标定，求取相机坐标到机械臂坐标系的转换关系[6]，后续可以根据识别工件图像得到的像素坐标去引导机械臂抓取工件。

本文所使用的工业相机安装在机械臂本体外的固定支架上，构成Eye-to-hand结构。手眼标定流程中，将标定板固定在机械臂末端的夹具上，采集标定板图像与该图像对应的机械臂位姿信息，之后创建手眼标定模型并将相机参数与标定板对应的机械臂位姿信息设置到标定模型中，利用该手眼标定模型读取标定板图片，最后进行手眼标定，得到相机坐标系与机械臂坐标系的转换关系。

2.2  工件特征模板生成模块

工件特征模板生成模块用于生成不同种类工件的特征模板文件，建立一个工件特征模板库。系统运行时对采集到的工件图像进行特征提取，利用提取到的工件特征在模板库里面进行匹配，根据匹配结果确定工件的种类。

特征提取与模板匹配是机器视觉中的重要一环，目前常用的模板匹配方法有基于灰度值的模板匹配和基于形状的模板匹配。基于灰度值的模板匹配以图像的灰度值信息作为特征值进行匹配，但该方法易受周围光照条件的影响，只有在光照条件稳定的工作环境中才具有良好的匹配准确率;基于形状的模板匹配以图像中的目标物体形状轮廓信息作为特征值进行匹配[7]，不易被外界工作环境的光照影响，由于工件分拣系统对分拣工作的稳定性要求较高，故选用基于形状的模板匹配方法。生成工件特征模板文件的流程分为以下3步：（1）图像采集与预处理。利用工业相机采集工件图像，采集的图像存在一定畸变[8]，需对有畸变的图像进行畸变矫正。调用gen_radial_distortion_map算子生成能够矫正图像畸变的映射矩阵，然后调用map_image算子来矫正有畸变的工件图像，输出经过畸变矫正的图像。（2）形状特征提取。使用Halcon的二值化函数对预处理后的工件图像进行处理，使用区域生长得到连通域，借助预设的面积参数对图像的形状特征进行筛选，裁剪特征明显的形状区域，得到该种类工件对应的形状特征[9]。（3）工件特征模板生成。调用Halcon的create_shape_model算子，输入工件的形状特征，设置模板的缩放系数和旋转角度等参数，生成该种类工件的模板文件，调用write_shape_model算子保存生成的工件模板文件。

2.3  视觉定位模块

视觉定位模块是分拣系统的核心，用来获取图片中工件的平面坐标信息，并把对应的坐标信息发送给机械臂进行分拣[10]。该模块首先发送拍照指令控制相机对传送带上的工件进行拍照，调用Halcon的find_shape_model算子判断拍摄的工件图像中是否存在与工件特征模板库中的工件相类似的形状特征，得到工件的种类信息和工件质心在图像坐标系下的坐标，结合标定模块得到的相机坐标系与机械臂坐标系间的转换仿射矩阵，将图像坐标系中的工件坐标转换为机械臂坐标系中的坐标信息，得到工件质心在机器臂坐标系下的坐标信息，最后将该坐标信息发送给机械臂进行分拣。

2.4  机械臂分拣模块

机械臂分拣模块负责接收视觉定位模块发送来的工件平面坐标和放置区坐标，预先设置好机械臂运动的速度系数和加速度系数，机械臂控制器根据接收到的坐标信息控制机械臂去对应的传送带位置上抓取工件，并把工件放置到对应的放置区域。

3  系统测试

整个工件视觉分拣系统的实物图如图1所示，系统由计算机、机械臂、工业相机和传送带等组成。本系统采用的工业相机是海康威视MV-CE200-10GM，使用的机械臂型号是KNK4566，机械臂末端用来抓取工件的工具是真空气动吸嘴，通过外接的空气压缩机和电磁阀来产生负压。

系统运行时，传送带运送待分拣工件，相机拍摄传送带上的工件照片，然后将所拍摄的图片经过视觉定位模块处理，得到待分拣工件的种类信息和坐标信息，将工件的坐标信息连同传送带的速度计算出机械臂要抓取的坐标信息，将以上信息发送到机械臂对工件进行抓取和放置，不同种类的工件会被放置到对应的放置区域。

为了验证本系统的分拣效果，我们采用了如图2所示的5种工件，每种工件随机选取40种角度放置在传输带上供系统抓取，共进行了200次分拣实验。在200次分拣实验中，系统均能准确抓取并能正确归类。图3是传送带上的待分拣工件图，图4是该分拣系统的分拣效果图，不同种类的工件被放置到指定的区域。实验结果表明该系统能很好地完成分拣任务。

4  结  论

本文基于Halcon，利用基于形状的模板匹配和标定技术，结合Visual Studio 2015开发了多种类工件识别定位抓取系统。该系统可以实现实时地对传送带上的工件进行识别和抓取，识别精度和分拣速度均可以达到工业分拣生产要求。不过当传送带的移动速度较快时，会出现一定程度的漏检现象，下一步将就如何提高分拣速度做进一步的研究。

参考文献：

[1] 卫泓宇，刘冠灵，谢爱倍，等.基于单目视觉的智能物料分拣机器人的设计 [J].计算机技术与发展，2020，30（2）：98-103.

[2] 张国福，沈洪艳.机器视觉技术在工业检测中的应用综述 [J].电子技术与软件工程，2013（22）：111.

[3] 陈为，李泽辰，张婧，等.基于HALCON的工业机器人视觉系统标定方法研究 [J].电子测量技术，2020，43（21）：137-141.

[4] 冯亮，谢劲松，李根，等.摄像机标定的原理与方法综述 [J].机械工程师，2016（1）：18-20.

[5] 景国峰.基于计算机视觉的相机标定方法 [J].北京测绘，2021，35（1）：122-125.

[6] 黃玲涛，王彬，倪涛，等.基于Kinect的机器人抓取系统研究 [J].农业机械学报，2019，50（1）：390-399.

[7] 孙炼杰，樊臻.基于模板匹配的光纤收发PCB板目标检测 [J].计算机应用与软件，2018，35（1）：128-131+190.

[8] 李佳莹，郭斌，江文松，等.基于共线性的机械臂视觉系统畸变矫正 [J].组合机床与自动化加工技术，2020（12）：121-124.

[9] 王江辉，吴小俊.基于形状轮廓特征的金字塔匹配算法 [J].计算机工程与应用，2019，55（1）：191-195.

[10] 刘建春，黄勇杰，黄海滨，等.大尺寸工件细小孔视觉定位研究 [J].组合机床与自动化加工技术，2018（1）：98-101.

作者简介：廖秉旺（1996—），男，汉族，广东湛江人，硕士研究生在读，研究方向：机器视觉、视觉定位;林文煜（1990—），男，汉族，广东潮州人，工程师，硕士，研究方向：图像检索与大数据技术。