基于NX MCD的工业机器人视觉分拣数字孪生系统设计

苏建，慕存强，任善剑，王仁忠，黄婷，刘广

(苏州市职业大学机电工程学院，江苏苏州 215104)

0 前言

新一代信息技术与制造业的融合发展，加速了制造型企业数字化变革，促进了制造业数字化转型，推动了企业数字化、网络化、智能化的发展。数字孪生是伴随新一代信息技术飞速发展的新兴技术，它利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相应实体装备的全生命周期过程，其本质就是信息世界对物理世界的等价映射。

数字孪生与智能制造的深度融合，是当前制造型企业快速发展的一个重要方向。企业融入数字孪生技术后，可以为物理世界中的产品开发、生产过程等建立虚拟模型，缩短了产品设计开发周期，实现生产过程的实时监控，优化生产设备的维护与管理等，有利于企业提高生产效率和产品质量。

当前，制造业中数字孪生技术的研究主要集中在数控加工领域中，如吴雁等人[1]实现了在MCD平台上完成数控车床上下料机械手机电一体化概念设计与控制仿真；林裕程、韩勇[2]提出了基于TIA博图和MCD的数控机床虚拟调试方案；赵辉等人[3]提出了全自动注塑机的虚拟调试方法。郑魁敬等[4]、杨艳芳等[5]、赵丹丹[6]针对工业机器人的数字孪生技术开展了一些研究工作，但是基于视觉的工业机器人分拣作业数字孪生系统的研究还不够深入。

针对生产过程中多类型、多颜色工件的检测、识别与分拣作业，作者提出一个基于工业视觉的工业机器人分拣作业控制方案，应用NX MCD软件构建了工业机器人分拣作业数字孪生系统，将工业视觉检测到的工件数据映射到孪生系统中，实现高精度、高效率的工件虚实同步分拣作业，缩短了系统开发调试周期，实现了产品生产过程实时监控。

1 方案设计

针对一批底座、电机、减速器和法兰工件，每种工件均有红、黄、蓝、黑4种不同颜色，现需要设计一个工业机器人分拣作业控制系统，实现不同颜色、不同类型工件的检测、识别和分拣作业。

1.1 物理系统设计

融合工业视觉和以太网技术的工业机器人分拣控制系统[7]，可以提高工件识别准确率和分拣作业效率，如图1和图2所示。

图2 数字孪生系统构建

该系统选用康耐视工业视觉检测工件类型、颜色等特征数据；利用装有双功能末端工具的工业机器人进行工件分拣搬运；采用西门子S7-1200PLC进行硬件系统的组态、通信及流程控制；同时通过变频驱动的输送带、步进驱动的打包分拣平台、阻挡气缸、检测传感器、人机界面等设备实现工件检测与分拣作业流程。

1.2 数字孪生系统设计

为了实现系统的虚实同步作业，基于NX MCD软件，构建一个工业机器人分拣作业数字孪生系统，系统包含工业机器人、工件输送带、工件分拣平台、气缸、传感器等三维模型，将物理系统相关数据映射到孪生系统中，实现虚实同步的功能。数字孪生系统中相关模型的机电概念如表1所示。

表1 孪生系统模块与机电概念

1.3 系统通信方案设计

此系统需要将视觉检测到的数据实时发送给PLC，PLC将数据处理完成后发送给工业机器人，实现工件的检测、识别、分拣等功能，还需要将物理系统中的相关数据实时映射到数字孪生系统中，因此需要构建一个包含工业机器人、PLC、工业视觉、HMI、变频器、编程计算机、孪生系统等的以太网通信网络，如图2所示。同时需要利用相关软件对物理和孪生系统中的数据进行分析与处理，如利用KeMotion软件对工业机器人进行编程调试；利用In-Sight软件进行工件特征学习与训练；利用TIA Portal软件对系统进行组态、通信及流程控制。为了能够将孪生系统与物理系统进行虚实同步，需要将物理系统的控制量、状态量等数据映射到孪生系统，利用KEPServer软件实现TIA Portal和NX MCD之间的数据映射。

2 工件的视觉检测与识别

此系统选用康耐视IS2000系列的智能相机，基于In-Sight软件中视觉工具检测工件的颜色、位置、直径、孔数等数据，PLC接收到检测数据后进行分析与处理，进而识别出工件的颜色、类型、位置等特征数据，以便工业机器人正确抓取并分拣工件。

2.1 视觉检测原理

2.1.1 RGB颜色检测原理

RGB颜色空间是以红、绿、蓝3种基本色为基础，进行不同程度的叠加，产生各种各样的颜色效果，也称三基色模式[8]。3种基本色所占比例不同，得到的颜色就不同。在RGB颜色空间，任意色光F都可以用RGB 3种颜色不同分量的相加混合而成，如公式(1)所示：

F=r[R]+g[G]+b[B]

(1)

根据学习训练的目标色光，在允许的误差范围内，根据公式(2)进行图像二值化处理，根据公式(3)计算图像中目标色光的像素总数。

(2)

(3)

其中：F0为目标图像学习训练得到的色光值；d为允许色光误差；B(x,y)为允许误差范围内的二进制图像；PN为目标颜色像素数和。

2.1.2 图像匹配位置检测原理

图像匹配是应用计算机和相应的数学理论对给定图像按照特定目的进行相应匹配处理[9]。匹配原理如下：在特定的搜索范围内(如对称图像范围为[-90°，90°])，将图像模板T0(m0,n0)旋转θ角度得到新的模板图像Tθ(m0,n0)，然后与被搜索图S(W,H)进行匹配，当新的模板图像与搜索图像中的部分区域达到一定相似度时，即可在搜索区域中获得模板图像的角度、x方向偏移量、y方向偏移量等特征数据。模板匹配公式如下所示：

(4)

其中：i、j为子图左下角在被搜索图S上的坐标；θ为模板旋转角度。

2.1.3 圆孔及直径检测原理

圆孔检测是模式识别领域和计算机视觉领域的重要研究内容[10]。基于霍夫变换[11]及相似度的圆孔检测方法较为成熟。此例基于霍夫变换原理，对目标图像进行滤波、二值化、边缘检测等预处理[12-13]，然后获取若干封闭图形边沿，若边沿满足如下公式，则该封闭图形边沿即为圆孔。

(5)

其中：Rk(i,j)为圆的半径；(i,j)为当前圆孔的圆心位置；k为目标图像中圆孔个数。

2.2 特征学习

此系统选用In-Sight软件中的颜色像素计数、图案匹配、斑点计数和圆直径4种工具来检测工件的特征数据。其中，颜色像素计数工具需要关闭背光源，避免背光源太亮颜色失真，其他3个工具需要打开背光源，以便获得清晰图像。图案匹配工具主要用来确定工件的位置和角度，而斑点和圆直径用来区分工件的类型。以黑色减速器工件为例，该工件检测图像与特征数据如图3—5所示。

图3 关闭背光源

2.3 检测数据处理

由于IS2000型号智能相机只能检测工件特征数据，不能编写数据处理脚本程序，因此需要将检测到的特征数据发送给PLC，由PLC对特征数据进行处理，识别工件颜色与类型，确定工件位置。

图6为工件颜色识别处理程序，其中KK、RR、YY、BB为检测到的颜色标记。图7为工件类型识别处理程序。

图6 颜色识别

经测量，底座、法兰、减速器和电机4种工件外圆直径分别约为240、210、188、178个像素，且误差不超过±2%。此处设定4种工件的外圆直径界限为230、200、182、170像素，通过外圆直径和工件圆孔数量结合的方式区分工件类型。图8为工件位置数据处理程序。通过模板匹配获取工件的特征数据，然后与基准位置作差获取x方向、y方向偏移像素，再乘以像素当量Px，获取偏移距离。为了确保数据转化过程中小数点后1位数据不丢失，将偏移数据乘以10，机器人接收数据后再除以10。工件的高度经测量后有序存放在H数组中，根据工件类型进行调用。

图8 工件位置处理程序

3 数字孪生系统的构建

3.1 工业机器人数字孪生系统构建

工业机器人数字孪生系统(如图9所示)的机电概念主要由刚体、固定副、铰链副、位置控制组成，如图10所示。工业机器人由8个刚体组成：承重板、基座、关节1、关节2、关节3、关节4、关节5、关节6。工业机器人的各个关节之间通过6个铰链副串联而成，其中关节1铰链副的基本件为基座，连接件为关节1，轴矢量方向向上，1轴电机限制角度范围为[-175°，175°]；关节2铰链副的基本件为关节1，连接件为关节2。依次类推，完成6个铰链副的创建，并对应创建6个位置控制。

图9 机器人孪生系统

工业机器人末端安装了吸盘和手爪双功能工具(如图11所示)，其中吸盘工具的机电概念由刚体、滑动副、碰撞传感器和弹簧阻尼器组成，如图12所示；手爪工具机电概念由刚体、滑动副、位置控制和碰撞传感器组成。通过固定副将工具安装到工业机器人六轴法兰上。

图11 末端工具孪生系统

3.2 输送带数字孪生系统构建

输送带数字孪生系统的机电概念主要由刚体、传输面、碰撞体、滑动副、位置控制、碰撞传感器组成，如图13所示，其中拍照位阻挡气缸、抓取位阻挡气缸和空托盘库为刚体，输送链及输送带末端创建了碰撞体，输送链上创建了一个传输面，拍照位气缸和抓取位气缸均创建了滑动副和位置控制，还创建了拍照位和抓取位两个碰撞传感器。

图13 输送带机电概念

输送带的控制由PLC发送过来的输送带启停信号CovSt和速度信号CovSp决定，在输送带信号适配器中创建real型参数CovSpd，添加bool型信号CovSt和real型信号CovSp，通过公式(6)实现输送带的控制。

CovSpd=If (CovSt) Then (CovSp) Else (0)

(6)

输送带上YV1和YV2两个气缸通过PLC的输出信号控制。此处采用仿真序列实现，拍照位碰撞传感器的下降沿触发YV1气缸伸出，拍照完成信号控制YV1气缸缩回；抓取位碰撞传感器的下降沿触发YV2气缸伸出，抓取完成信号控制YV2气缸缩回，保证气缸虚实同步控制。YV1气缸控制仿真序列如图14所示。

3.3 工件数字孪生系统设置

工业机器人视觉分拣数字孪生系统的难点是工件的正确识别与同步显示。物理系统中，通过工业相机对工件的x、y方向偏移量、角度、颜色等特征数据进行检测，通过PLC处理程序对工件类型进行识别，同时将识别后的工件类别、位置偏移量、工件颜色实时映射给数字孪生系统，数字孪生系统获取数据后通过刚体质心、铰链副、位置控制、显示更改器等机电概念，实现工件虚实同步显示。

3.3.1 工件位置确定

NX MCD中刚体确定后其质心也就确定了，即Px、Py、Pz质心值是唯一的，改变质心数值即可改变刚体的位置。将工件基准位置的质心与工业相机拍照获取的偏移量进行代数和，实现工件随机位置的正确显示，x、y、z三个方向质心计算如下所示：

x=x0+Δx

(7)

y=y0+Δy

(8)

z=z0+Δz

(9)

其中：x0、y0、z0为工件基准位置的质心数据；x、y、z为工件实际位置的质心数据；Δx、Δy为工业相机检测到的水平方向偏移量，Δz为工件的高度，用于隐藏和显示工件。以上变量单位均为mm。

确定工件基准位置和初始位置质心数据后，即可在信号适配器中通过公式(10)确定x方向质心数值，y方向和z方向质心数值同理可得。

If ((基座号=1)&拍照完成&(工件类型=1)) Then

( 855.1+X方向偏移 )

Else ( Base1_X )

(10)

3.3.2 工件角度确定

数字孪生系统中工件的角度主要通过铰链副和位置控制实现，将相机拍照获得的角度与基准角度进行代数和，获取工件实际角度值，从而使孪生系统中的工件与实际工件角度显示一致。

如图15所示，电机的铰链副设置中，基本件为一个可移动的长方体，影藏于托盘输送带内部，链接件为电机。由于电机为对称工件，设置上下限角度为[-90°，90°]。如图16所示，电机位置控制的对象为电机铰链副，通过最短路径方式、360°/s速度旋转到达目标角度，实现电机角度的控制。

3.3.3 工件颜色确定

为了保证工件颜色虚实同步，此处选用“显示更改器”，依据颜色信息修改数字孪生系统工件的颜色。进入显示更改器设置界面，选择对象为电机刚体，单击颜色可以修改并查看颜色的ID号，其中红色为186、黄色为6、蓝色为175、黑色为201。利用信号适配器，根据公式(11)确定当前工件的颜色ID。工件显示及对应数据如表2所示。

表2 工件显示及对应数据

If ((电机号=1)&拍照完成&(颜色号=1)) Then ( 186 )

Elsif ((电机号=1)&拍照完成&(颜色号=1)) Then ( 6)

Elsif ((电机号=1)&拍照完成&(颜色号=1)) Then ( 175)

Else (201)

(11)

4 PLC与工业机器人联合编程与测试

PLC是整个系统的控制中心，它不仅控制工业相机拍照、获取并处理视觉检测数据，而且控制系统的作业流程，发送机器人工件取放数据，控制机器人分拣作业，还通过KEPServer软件将数据发送并映射到NX MCD中，实现虚实同步。

为了提高机器人的作业效率，建立PLC和工业机器人以太网通信网络，通过两者联合编程实现机器人快速分拣功能。如图17所示，左侧为机器人程序流程，右侧为PLC程序流程，通过信号交互的方式可以减少机器人延时等待时间，在通信速率范围内实现信号快速交互，确保数据的可靠发送和接收。PLC发送给机器人16个INT型数据，其中I0为控制字、I1为机器人工步、I3-I6为机器人抓取工件的x、y、z方向和旋转角度A偏移数据，I7-I10为机器人放置工件的x、y、z方向和旋转角度A偏移数据。机器人将O0状态字实时发送给PLC，以便PLC确定机器人的当前状态。

图17 PLC和机器人编程流程

针对以上控制方案，对100个不同颜色、不同类型的工件进行测试，如图18—21所示为蓝色电机、红色底座、黑色减速器和黄色法兰4种工件的检测、抓取、分拣的虚实同步效果图。实验结果表明：基于工业视觉的工件检测与识别正确率为100%，机器人分拣速度达到20个/min。

图18 蓝色电机虚实同步

图19 红色底座虚实同步

图21 黄色法兰虚实同步

5 结束语

综上所述，针对多颜色、多类型工件的工业机器人视觉分拣作业控制方案是可行的；利用In-Sight软件中视觉工具能够检测到工件特征数据，并结合PLC程序正确识别工件；基于NX MCD软件构建了工业机器人、输送带、工件等数字孪生系统，能够与物理系统同步动作；通过工业机器人和PLC的联合编程，简化了机器人的程序、提高了机器人的作业效率。实验证明，该系统工件识别正确率高，工件分拣效率高，数字孪生系统能够实现虚实同步作业、动态监控和虚拟调试。