结合Dalsa工业相机和ABB工业机器人的码垛系统

易焕银 潘伟荣 郝建豹 林子其 詹华广

摘要：实现了一种结合Dalsa工业相机和ABB工业机器人的码垛系统。首先利用Dalsa视觉系统软件检测到工件的中心点坐标和偏转的角度，然后利用Dalsa视觉软件提供的脚本语言编程通过TCP/IP协议发送给系统总控软件（C#语言开发），总控软件收到结果后将其处理为ABB工业机器人方便处理的格式并通过TCP/IP协议发送给工业机器人，最后由ABB工业机器人实施抓取、码垛动作。系统对任意摆放位置和任意摆放角度的工件都能成功码垛，拓展了工业机器人实训平台的教学项目。

关键词： Dalsa； 工业相机； 机器视觉； 工业机器人； 码垛； 任意摆放； TCP/IP协议

中图分类号：TP393 文献标识码：A

文章编号：1009-3044（2019）07-0267-03

Abstract：A palletizing system that combines Dalsa industrial cameras with ABB industrial robots is realized. Firstly， the center point coordinates and deflection angle of the workpiece are detected by Dalsa vision system software， and then sent to master control software （C# language development） of the system by TCP/IP protocol using the script language provided by Dalsa vision software. After receiving the result， the master control software processes it into a convenient format for ABB industrial robots and sends it to the industrial robot via TCP/IP protocol. Finally， ABB industrial robots implement the crawling and palletizing operations. The system can successfully palletize workpiece of any position and any angle， and expand the teaching project of the industrial robot training platform.

Key words：Dalsa； industrial camera； machine vision； industrial robot； palletizing； arbitrary placement； TCP/IP protocol

機器人的制造及应用水平，代表了一个国家的制造业水平，发展机器人产业应上升到国家战略高度。工业机器人是集机械、电子、控制、计算机、传感器、人工智能等多学科先进技术于一体的现代制造业重要的自动化装备。自从1962年美国研制出世界上第一台工业机器人以来，机器人技术及其产品发展很快，已成为柔性制造系统（FMS）、自动化工厂（FA）、计算机集成制造系统（CIMS）的自动化工具[1]。

随着工业自动化及工业机器人技术飞速发展和企业对工业机器人现场安装与调试人才需求量越来越大，目前很多高校都新建了工业机器人实训平台。外部信号的有效获取是工业机器人正确动作的前提，而外部信号的获得主要依赖于传感系统。目前各个高校新建的工业机器人实训平台主要配置了光纤传感器、色标传感器等这些仅能输出开关量信号的简单传感设备（有些虽然配备了工业相机但由于缺乏相关熟悉机器视觉的师资而没有应用起来），因此限定了机器人只能做预设目标对象、预设位置和预设路径的动作，使得工业机器人的功能没有得到充分的利用。典型的例子是，广东交通职业技术学院于2017年新建了“工业机器人实训室”，目前该实训室拥有6个以ABB IRB 120工业机器人为核心的实训平台，总投资160多万元，但目前教学平台工业机器人可以完成的教学项目比较有限，主要包括码垛、模拟冲压、模拟焊接这几个固定路径动作的教学项目。而基于视觉的图像处理技术能获取设定场景下的整个图片信息，而一些图像处理算法能有效地利用图片内信息，进而让工业机器人的灵活性和整个系统的柔性大大增强。虽然该教学平台的供应商提供了Dalsa工业相机和镜头，但由于他们缺乏懂得机器视觉的工程师，没有提供任何视觉与工业机器人联合动作的教学项目。

关于视觉引导的工业机器人码垛技术的研究，国内一些研究人员已公开其研究成果。文献[2]针对基于平行四连杆机构的码垛机器人运动控制与视觉抓取的问题，进行了相关运动学和视觉算法的研究，并且仿真结果表明，该码垛机器人可以有效解生产线上码垛作业问题。文献[3-6]研究并设计了不同应用场景的视觉引导的码垛系统。

本文实现了一种结合Dalsa工业相机和ABB IRB 120工业机器人完成的对任意摆放位置和角度工件的码垛系统，是视觉引导的工业机器人码垛技术结合应用广泛的Dalsa工业相机（加拿大品牌）上的实现。该系统首先利用Dalsa视觉软件来检测相机视野中待码垛工件的中心点坐标和偏转的角度，然后利用Dalsa视觉软件提供的脚本语言来编写一个脚本程序，该脚本程序通过TCP/IP协议将视觉检测结果和工件的中心点坐标和偏转角度信息发送给系统总控软件（C#语言开发），总控软件收到收据后将其处理为ABB工业机器人方便处理的格式，并通过TCP/IP协议将数据发送给工业机器人，最后由ABB工业机器人根据收到的数据实施完成抓取、码垛动作。由于该系统对任意摆放位置和任意摆放角度的工件都能成功码垛，因此拓展了工业机器人实训平台的教学项目。

本文实现的视觉引导的工业机器人抓取和码垛效果已拍摄成短视频并分享到下面的百度网盘网址（该视频会永久共享且观看时无须提取码），可见该系统可以对视野内任意摆放的工件进行码垛。

https：//pan.baidu.com/s/1MNsYT9B_fm7NM2EWwYMb1Q

1 本系统的硬件、功能介绍及实现效果说明

本文实验平台的硬件整体图如图1所示，主要由ABB IRB 120小型工业机器人、Dalsa工业相机及Computar镜头、2个竖井架（工件仓库，用于自动输出工件到传送带）、2个传送带和2个工件放置盘构成，虽然整个机器人实训台还包括一些其他的硬件模块，如模拟压铸模块、模拟焊接走轨迹模块、气泵、上位机电脑以及做整个实训台的电气控制和外围设备控制的西门子PLC 1500，由于它们在本系统的开发过程中没有进行任何修改，同时不好在一张图片中展示且不影响对系统的理解，因此没有在图中标出。

其中，ABB IRB 120小型工业机器人功能是执行码垛动作；Dalsa工业相机用于捕获任意放置在工件放置盘上的工件的图片并分析出工件的位置信息；2個竖井架充当工件仓库的角色，收到西门子PLC指令后自动通过气动送出一个工件到传送带；2个传送带的功能是将来自竖井架的工件运送到靠近机器人的一端给机器人码垛；工件放置盘的功能是作为机器人码垛后工件的存放点。

下面通过对比实训平台原有的无视觉参与的码垛工作流程和本文开发的视觉引导的码垛工作流程来说明本文所开发系统的功能。

实训平台原有的码垛流程如图2所示，实物说明如图3所示。可见，无视觉引导的码垛系统也可以做到一键命令后自动码垛，但机器人码垛需要工件被运送至固定位置后才能码垛，整个码垛动作的工件抓取点和放置点都是提前手动示教完成的。由于对抓取起始点处的工件位置非常敏感，如果位置稍有变化就可能导致抓取工件的动作失败，因此实训室建设厂家在传送带的中间位置的两边设置了两个金属块，用于纠正工件的位置，确保送到机器人抓取点的工件位置是固定的。

实训平台原来的无视觉引导的码垛效果请观看视频：https：//pan.baidu.com/s/1sCOZ19hxnQvwKZmeQIDbwg

本文开发的视觉引导的码垛工作流程如图4所示，实物说明如图5所示。可见，本文开发的视觉引导的码垛系统除了能够实现一键自动码垛外，还能自动适应工件摆放位置和旋转角度的变化，因此提高了码垛系统的柔性。

视觉引导的码垛效果请观看视频：https：//pan.baidu.com/s/1MNsYT9B_fm7NM2EWwYMb1Q

2 本系统的软件实现

本系统的软件由三部分构成：① Dalsa视觉软件；② 系统总控软件；③ ABB工业机器人端的机器人程序。

其中，Dalsa视觉软件主要是在相机抓拍的照片中搜索工件，并计算出捕获到工件的位置信息，包括中心点坐标和偏转的角度。系统总控软件采用C#语言开发，功能主要是发送命令触发相机抓拍和将Dalsa软件发送过来的数据进行处理，然后发送给工业机器人。工业机器人程序主要根据从总控软件接收到的数据后完成数据的提取，根据工件偏转的角度值通过机器人第6轴对夹具旋转相应的角度，然后移动到新的工件中心点坐标进行抓取工件和完成码垛动作。

三者之间的通讯关系如下：作为服务器的Dalsa视觉软件与作为客户端的系统总控软件建立TCP/IP连接，作为服务器的系统总控软件与作为客户端的ABB工业机器人端的机器人程序建立TCP/IP连接。

1） Dalsa视觉软件端的操作与脚本开发

Step1：使用Dalsa视觉软件“匹配”工具捕获任意摆放位置和摆放角度的工件；

使用“匹配”工具的主要过程是，在工件放置盘2上放置一个工件，放置时工件的边缘平行工件放置盘的边缘，以便于设置匹配目标的模板。打开Dalsa视觉软件，然后在视觉软件“工具”中选择“匹配”工具，设置搜索空间包括整个工件放置盘2，设置匹配目标模板为整个工件，然后设置匹配相关参数，同时设置选择输出匹配结果的中心点的X/Y坐标和旋转角度。 操作步骤如图6所示，“匹配”工具的具体操作请参考Dalsa视觉软件的用户手册中的“设置工具”部分。

设置完成后回到软件开始界面，点击“运行”按钮，在工件放置盘2上任意改变工件位置，观察视觉软件是否可以成功捕获工件，成功捕获到的效果如图7所示。

Step2： 使用脚本将捕获的工件中心点坐标和偏转角度信息发送给总控软件；

在视觉软件“控制”中设置Dalsa视觉软件的TCP/IP通信地址，具体细节请参考Dalsa视觉软件的用户手册中的“设置控制”部分和“PLCs”部分。然后使用Dalsa提供的脚本语言编写脚本，通过TCP/IP协议将捕获的工件中心点坐标信息和偏转角度信息发送给总控软件。本文系统所编写的脚本如图8所示，该脚本编写方法和功能说明请参考Dalsa视觉软件的用户手册中的“关于脚本语言”部分。

2） 系统总控软件的开发

系统总控软件控制着相机和机器人的动作和通讯，采用C#语言编写，是本项目开发过程中工作量较大的地方。功能上，当用户点击“启动视觉检测”按钮后发送指令命令相机抓拍，所启动的客户端收到相机服务器处理完成的数据后，总控软件对数据进行一些控制判断和处理，然后作为服务器发送给机器人客户端程序。

Step1：对相机控制、交互部分的开发；

相机触发功能实现：给相机IP的5021端口发送“gen”软件触发指令（相机软件端需设置为“软件触发模式”）。具体细节请参考Dalsa视觉软件的用户手册中的“网络指令”部分。

此部分视觉总控软件作为TCP/IP的客户端来开发，主要包括TCP/IP连接服务器界面和数据收发显示、控制界面，放在“TCP Client”选项卡页面中。交互部分的开发与普通C#语言的TCP/IP开发相同，具体细节请参考C#语言手册。所开发出的对相机服务器界面如图9所示。

Step2：与机器人交互部分的开发；

此部分视觉总控软件作为TCP/IP的服务器来开发，主要包括对机器人的TCP/IP客户端监听界面和数据收发显示、控制界面，放在“TCP Server”选项卡页面中，开发过程与对相机交互部分的开发过程类似。所开发出的对机器人客户端界面如图10所示。

3） ABB工业机器人端的设置与程序开发

Step1：与总控软件交互部分的开发；

这一部分是本系统开发过程中的一个难点，所花费时间较长。原思路是总控软件与西门子PLC通讯，然后西门子PLC与工业机器人通讯，在实现过程中遇到一些难以克服的困难。文献[7]的方法直接实现了工业机器人的TCP/IP通讯，启发了本文系统的开发，最终工业机器人作为TCP/IP客户端连接总控软件的服务器，实现了工业机器人与上位机软件的直接通讯，通讯结果在机器人示教器界面上的显示如图11所示。

Step2：实现抓取工件和码垛动作部分的开发；

这部分的开发与普通工业机器人码垛程序的开发类似，在此不详细叙述，具体请参考ABB官方培训的相关培训资料的“工业机器人入门”部分和“工业机器人进阶”部分，链接如下：

http：//www.robotpartner.cn/

3 结束语

本文实现了一种由Dalsa工业相机引导的ABB工业机器人的柔性码垛系统，由机器视觉获取工件的中心点坐标和摆放角度信息，通过总控软件反馈给机器人，从而完成了机器人对任意放置工件的抓取和码垛動作。本文开发的视觉引导的码垛对被抓取工件的摆放位置和摆放角度不敏感，拓展了工业机器人教学平台的教学项目。

参考文献：

[1] 张红霞. 国内外工业机器人发展现状与趋势研究[J]. 电子世界， 2013（12）：5-7.

[2] 曹成涛，许伦辉，赵雪，等. 四轴工业机器人运动控制与视觉码垛[J]. 机械设计与制造， 2016，（11）：158-161.

[3] 郭海冰，霍华，封文江. 机器视觉算法在码垛机器人中的应用[J]. 沈阳师范大学学报（自然科学版）， 2011， 29（2）： 221-225.

[4] 刘振宇，李中生，张涛，等. 基于机器视觉的码垛机器人系统研究[J]. 组合机床与自动化加工技术， 2014（4）： 9-14， 18.

[5] 程启良. 智能码垛装车工业机器人控制系统的研究与应用[D]. 山东建筑大学， 2017.

[6] 胡敏. 视觉系统在异型烟码垛机器人系统中的应用研究[D]. 重庆大学， 2017.

[7] 许校军. 浅谈ABB工业机器人视觉通讯程序编制[J]. 科技文档， 2018（27）：218

【通联编辑：唐一东】