视觉引导虚拟仿真系统的研究

张文 顾莉栋 费建东

1.长春理工大学 机电工程学院 长春 130022 2.西门子工业软件(上海)有限公司 上海 200082

1 研究背景

目前,我国制造业正处于高速发展阶段。随着工业市场对技术、成本、可靠性等的全面需求,装备灵活性和智能化的要求越来越高。当前,物理样机生产周期长、价格高昂,以及物理样机系统调试环境的不确定性和风险性、样机调试变更技术需求等因素直接制约我国制造企业迈向智能制造发展的步伐。

国内外学者围绕设备调试虚拟仿真系统开展了深入研究,提出设计自适应制造系统的工程方法,实现机器人的离线编程,完成控制程序验证,并提出虚拟设备建模方法。随着各种虚拟仿真方法的提出与理论的完善,国外已经开发了多种虚拟试生产系统,目前技术成熟度较高的是德国PS-CEE系统[1]、WINMOOD-RF系统,以及芬兰Visual Components系统,这些系统在生产系统的研制与开发中不断完善、发展,并在欧美智能装备装领域实现推广。我国制造厂商目前已在数控[2-3]、打磨[4]等领域采用国外较为成熟的虚拟试生产系统,并进行了初步应用研究。一汽大众利用WINMOOD-RF系统进行虚拟试生产已经达到90%,一汽红旗利用EKS-RF系统进行虚拟试生产已经达到80%,一汽自主轿车品牌利用PS-CEE系统进行虚拟试生产已经达到20%。其它各个主机厂,如华晨宝马、北京奔驰、吉利等,利用虚拟试生产系统进行白车身焊装线调试达到30%～80%不等。虽然虚拟试生产已在汽车白车身焊装制造业中实现较为广泛的使用,但在这一领域中,工业软件研发我国仍处于起步阶段。随着视觉装备在智能装备中的比重越来越高,国外现有的工业软件及硬件都无法对视觉系统进行虚拟化验证分析,由此将导致以传统方法搭建的虚拟试验生产系统工业成本较高。

笔者通过分析,提出视觉引导虚拟仿真系统。这是基于现有各种工业软件,通过用于过程控制的对象连接与嵌入协议进行集成搭建的虚拟化仿真系统,创新性地将虚拟视觉系统集成至虚拟仿真系统,实现由虚拟视觉调试辅助代替实际调试,避免高昂的硬件投入。

2 系统搭建

视觉引导虚拟仿真系统主要包括可编程序控制器虚拟控制、机电一体化数字样机、虚拟视觉检查系统、虚拟调试仿真控制系统四个部分。

本着系统建设周期快、投入小的原则,通过对西门子虚拟仿真系统进行分析,在不影响试验效果的情况下,优化取消硬件,选用现有成熟的工业软件进行系统搭建,并加入视觉开发软件与虚拟相机。

对于数字样机平台,选用以西门子MCD软件作为平台的基础数字样机软件[5-6]。虚拟电控样机选用西门子Plcsim Advanced,用于与MCD软件实现联合仿真。编程平台采用Tia Portal,虚拟相机及视觉开发系统选用MVtec公司开发的HALCON平台。虚拟相机应用XSplit软件,可以实时监控虚拟物理样机,并且通过更改码率实现视频大小控制,更好地兼容计算机性能,使整个系统更为稳定。

视觉引导虚拟仿真系统如图1所示。在视觉引导虚拟仿真系统中,MCD软件为基础数字样机软件,所有数字样机的运动控制均由虚拟电控样机Plcsim Advanced来进行驱动。当数字样机运行时,数字图像采集由XSplit软件完成,XSplit软件采集的图像发送至HALCON平台,进行数据处理,并通过用于过程控制的对象连接与嵌入统一架构(OPC-UA)协议将引导动态坐标值发送给Plcsim Advanced,整个Plcsim Advanced控制程序的修正与调试由Tia Portal平台来完成。

图1 视觉引导虚拟仿真系统

3 系统应用

视觉引导虚拟仿真系统最少需要在两台计算机上完成,一台计算机用于数字样机的图像采集监控,另一台计算机用于对可编程序控制器、HALCON平台程序的监控与优化。首先进行数字样机建模,然后在数字样机中进行虚拟样机搭建,得到仿真序列逻辑后开始进行可编程序控制器编程,确定视觉引导的变量,导入虚拟可编程序控制器后进行虚拟物理样机与电子样机耦合,试运行系统。最后通过虚拟相机将图像采集至HALCON平台进行处理,得出引导的坐标变量,赋予虚拟可编程序控制器,由虚拟可编程序控制器修正后驱动虚拟物理样机。

视觉引导虚拟仿真系统的逻辑控制框图如图2所示。

图2 视觉引导虚拟仿真系逻辑控制框图

4 虚拟图像处理

在HALCON平台中建立标定板,标定板命名为caltab_100mm descr,厚度为1.5 mm。选择图像采集助手,将16个标定板逐个采集。标定板在横坐标0、纵坐标400像素位置的图片作为参考位姿。之后进行标定及代码插入,并替换read_cam_par、read_pose。插入代码后,在grab_image下新建一条指令write_image,存储图像至计算机,然后再将创建模板用的图像获取方式由采集改为读取文件。

HALCON平台在标定摄像机时,需要准确填写摄像机参数,作为参考数据。参考数据会影响最终测量出的摄像机参数。成像数学模型如图3所示,设世界坐标系为OW-XWYWZW,摄像机坐标系为OC-XCYCZC,图像平面坐标系为OR-XRYRZR。

图3 成像数学模型

设镜头的焦距为f,通过图像平面坐标与相机坐标的换算式,可以求得图像平面坐标(xR,yR)。像素坐标与图像平面坐标的单位不同,像素坐标将图片的第一个像素点作为基准,而图像平面坐标的基准为光轴与图像采集平面的交叉点。对此,在研究中通过建立用齐次坐标与矩阵形式表示的关系式进行坐标变换。(u,v)为像素的列数与行数,dx、dy分别为每个像素在X轴和Y轴上的物理尺寸。

图像平面坐标与相机坐标换算式为:

(1)

像素坐标与图像平面坐标变换关系式为:

(2)

在实际物理样机中,相机坐标系与世界坐标系间存在选择与平移变换。因为虚拟模型中数字样机安装可以不考虑旋转变量,而只考虑平移向量t,所以在研究过程中可以得到相机标定模型为:

(3)

根据相机标定模型,在计算机中将NX软件窗口设置为左侧显示器,显示器分辨率为1 920像素×1 080像素,任务栏高度为40像素,NX软件窗口边框左右各为1像素。由于标定板为正方形,像素宽度等于像素高度。

在标定板采集时,XSplit软件的输出分辨率为1 920像素×1 080像素,监控整个显示器。XSplit软件采集MCD软件虚拟样机标定板如图4所示。

图4 XSplit软件采集MCD软件虚拟样机标定板

在HALCON平台中,选择新的image acquisition资源选项卡,图像获取接口状态为directshow。链接选项卡中的设备为XSplitBroadcaster,OPC.UA地址默认为192.168.0.56,端口为4840,这一地址是虚拟相机安装的计算机地址。OPC.UA.While(true)后的代码用于获取图像,位置数据通过OPC.UA发送至Plcsim Advanced,将程序下载至可编程序控制器并运行。

5 视觉引导

可以通过手眼标定的方法实现视觉引导[7-8],对相机拍摄的图片坐标与机器人基坐标进行变化。对于任意点p(px,py,pz)、p(pu,pv,pw),R为旋转变量,T为平移变量,通过设立标定板,分别建立相机与标定板、机器人与标定板之间的关系,再消除标定板,实现相机坐标与机器人坐标的转换,将偏移变量赋值至可编程序控制器系统。转换关系式为:

(4)

可编程序控制器系统可以通过并联机器人实现算法的动力学逆解。并联机器人逆运动学结构如图5所示,用SCL语言对算法编程求解,求解各轴,赋值至并联机器人,驱动并联机器人根据物料位置变化后的结果去抓取物料[9-10]。

图5 并联机器人逆运动学结构

(5)

(6)

从动臂长度F为定值,由此得到并联机构约束方程为:

[(R+Ecosθi-r)cosαi-x]2

+[(R+Ecosθi-r)sinαi-y]2

+(Esinθi-z)2=F2i=1,2,3

(7)

因为并联机器人结构限制,导致虽然有八组逆解,但是可以取各个关节的最小值为唯一解。在算法编程完成后,基于逆解算法应用MATLAB软件建模证明算法的可行性。

经过MATLAB软件验证后,进行可编程序控制器编程,制作并联机器人,实现人机交互界面,如图6所示。将程序加载至虚拟可编程序控制器,启动MCD软件及视觉检测系统进行仿真。仿真结果见表1,综合对比,X轴抓取精度为99.8%,Y轴抓取精度为99.7%,Z轴抓取精度为99.3%,综合抓取精度99.6%。仿真结果抓取精度较高,从而证明视觉引导虚拟仿真系统具有良好的工作效果。

图6 人机交互界面

表1 仿真结果

6 结束语

针对现有主流虚拟试验生产系统需要硬件投入,不能视觉调试仿真的问题,笔者提出视觉引导虚拟仿真系统。应用用于过程控制的对象连接与嵌入协议,使用现有工业软件平台,搭建了视觉引导虚拟仿真系统,实现了可编程序控制器控制与视觉控制联合虚拟仿真。利用手眼标定原理与并联机器人动力学逆解算法原理,将可编程序控制器控制的机器人关节数据及视觉引导数据传送至虚拟仿真样机,从而达到基于虚拟视觉分拣抓取的目的,有效打通了MCD软件虚拟样机中虚拟视觉变量驱动分拣机器人的技术瓶颈,仿真抓取精度达到99.6%。视觉引导虚拟仿真系统可以大大降低真实带机械视觉功能的智能装备在研发时的费用,避免在真实样机制造后更改调试的浪费,加快高端装备的研发进程,具有一定的工业应用价值。