基于虚拟仿真的工业机器人视觉系统设计

张会华

（唐山工业职业技术学院自动化工程学院 河北省唐山市 063299）

新时期下，工业机器人是机电一体化产品的典范，在工业、农业、航空航天等领域内均有广泛应用。在机器人学、计算机及图像处理技术等快速发展的背景下，机器视觉功能实现情况得到了广泛关注，机器人视觉系统为一个重要的研究方向。机器视觉是工业机器人捕获环境信息的主要形式，其能显著提升工业机器人的识别定位及多机写作能力，使工业机器人工作过程更具灵活性。工业机器人基于视觉系统精准获得图像相关信息，快速计算出目标物体的几何参数与位姿，这是机器视觉在工业机器人技术内的主要运用形式。

1 概念介绍

1.1 虚拟仿真技术

虚拟仿真是上个世纪80 年代JaronLamer 首次提出虚拟仿真的概念，其又被叫做“虚拟现实技术”，属于一门综合性学科，将人工智能、计算机图形、计算机仿真技术聚集为一体。简单的说，虚拟仿真就是运用计算机技术构建虚拟环境，运用模拟的形式科学调动用户视觉、嗅觉、触觉及听觉等，实现真正意义上的人机交互，使用户有身临其境的沉浸感。虚拟现实技术主要包括如下几种：

（1）桌面虚拟现实：这类技术在人们的学习、工作领域已经有广泛应用，选择计算机桌面作为媒介建立用户与虚拟世界之间的连接关系，用户仅需简单操作鼠标、键盘等就能达到人机交互。

（2）沉浸式的虚拟现实：多用在体感游戏等娱乐项目内，用户利用头盔、眼镜等装置创造一个封闭式虚拟环境，采用操控手柄或本体动作去实现人机交互，以上过程中用户主观上能产生较好的沉浸感。

（3）增强现实型虚拟现实：该种技术最大的特点是有机结合虚拟世界与现实世界，建设出半虚拟、半真实的环境可以顺利、真实的诠释现实世界很难通过常规方式表达的信息，进而协助人们更好的处置不同事物之间的复杂关系。

（4）分布式虚拟现实：该项技术运用互联网把众多用户统一至同一个虚拟情景内，在该环境内用户可以协同执行某项任务，有益于提升模拟处理效果。

1.2 视觉系统

视觉系统是当今社会中的重要研究领域之一，既往国内外专家学者在大量研究中期许运用人工形式模拟出个体视觉。伴随相关研究深度的不断拓展，机器视觉得到了较好的发展，且其于计算机仿真情景下成功的实现了个体的局部视觉功能。机器视觉把视频及图像数据作为原始数据开展相应的研究工作，提取、解析图像及视频信息。摄像机捕获图像过程中，一般会掺杂各种噪声与干扰，故而要对相关图像加以处理。图像处理不仅能增强图像的实用信息，优化图像外观品质，还能为计算机分析创造便利条件。一个完整的图像处理过程主要由图像的预处理、分割、分析等构成。

机器视觉与机器人科技之间存在着密切关联性，伴随机器视觉应用范畴的拓展，工业机器人视觉系统被公认成机器人研发领域的一个重要趋向，相应的研究工作持续进行。目前，机器视觉用在制造、产品检测和物流等领域内凸显出极大的现实价值，其最大的特点是能在不适合人工作业或人类视觉很难符合要求的场景下将人类视觉取而代之，提升实际生产效率及自动化水平。

2 工业机器人视觉系统需求分析与方案设计

2.1 系统关键技术

开展本课题研究的宗旨是执行好机器人视觉系统设计研发任务，合理运用该系统，帮助机器人顺利、有效的发挥物件自动化抓取功能，技术关键点包括：

（1）摄像机的标定：依照摄像机标定的内、外参数设定情况计算出两个摄像机在方位上建立的关系。

（2）手眼标定的精度：主要是运算机器人对工件设置的抓取坐标。

（3）预处理图像及提获边界轮廓：在掌握成像过程原理的基础上，规范的执行图像预处理方法的使用过程，专研图像强化和边缘轮廓提取各自对应的方法，筛选出适宜的图像预处理手段，便于后续模板匹配的识别与定位工作。

（4）多目标的识别：实质上就是在数个目标物体内能快速、精准确定出需要抓取物体所处方位坐标。

2.2 方案设计

视觉系统研究中，本课题设计了其功能实现的整体方案，技术流程见图1。

图1： 技术流程图

2.2.1 结构的选用

视觉系统作为工业机器人使用过程中感知环境的载体，能辅助增强机器人的感知及决策能力。结合运行原理的差异，可以对系统做出不同的分类，结合摄像机数量的差异，可以被分成单目、双目及多目视觉系统；参照现实需求，安装摄像机的方位也有差别，可以把视觉系统分成Eye-in-Hand 式、Eye-to-Hand 式。

本文主要研究的是机器人对目标物的辨识与定位抓取功能，综合多方面因素后决定选用双目视觉系统，现场运动过程要数次采集图像，运用Eye-to-Hand 式系统无法实时追踪目标物的状态，易形成视觉盲点，且机器人运动时可能会遮挡摄像机的局部视觉范畴，以致被采集图像形成较大的定位偏差，降低机器人定位抓取的精准度，故而运用 Eye-in-Hand 式手眼系统。

2.2.2 图像处理软件

运用了Halcon 机器视觉软件，提供完整、标准化的Machine Vision 功能。且可以把代码译成C++、C#、VisualBasic 的源代码，达到了Halcon 与C++、C#等的联合式编程，进而在其他系统内取得更好的集成效果，具备较好的跨平台移植性能。

Halcon 机器视觉软件对初学者表现得很友好，能提供九百多个算法的例程作参照，协助他们在较短时间内入门，显著提升了进阶速度。和其他视觉软件相比，Halcon 软件的优势主要集中在如下几点：

（1）快速性：对算子的自动并行化过程提供了稳定的支持作用，模板匹配快速，只需零点几毫秒；

（2）精准性：在该软件的协助下，能显著提升摄像机标定、三维测量的精准度；

（3）鲁棒性：Halcon 软件凭借自身强大的功能得以运于各个行业，处理了很多极具挑战性的问题，例如基于机器人的智能水果采摘、海底探测等。二维码辨识、模板匹配的鲁棒性的水平也很高；

（4）综合性：主要表现在该软件能对外提供全面的三维技术，比如多维度立体视觉、三维匹配、透视转换、Depth from focus 等。

3 数字图像处理

3.1 处理基础

3.1.1 图像的数字化

为了能运用计算机进行处理，需要运用离散化的数据结构去表示图像。数字化过程主要由采样与量化两部分构成。运用采样确定出图像的空间分辨率，量化图像的幅度分辨率具体值。运用矩阵的形式去阐释数字图像，为了使计算过程更加精简，处理数字图像时经常把灰度图像转变成二值图像进行处置，通常用链码表二值图像和图像边界的轮廓。

当前八方向链码是常用的链码形式，各个方向是十进制的0 ～7，与之相对应的二进制编码是000 ～111（图2）。

图2： 八方向链码

3.1.2 图像像素之间的关系

（1）像素的邻域：结合对点的邻近像素定义上的差异，可以获得不同形式的邻域，4-邻域，对角邻域与8-邻域是像素邻域。受篇幅限制，本文仅对4-邻域N4 进行分析，其由点p 的水平方向（左、右）和垂直方向（上、下）共计四个邻近像素构成，四个邻近像素的坐标依次是(x-1,y),(x+1,y),(x,y-1),(x,y+1)。运用r 表示p 的4 各邻域像素。

（2）像素的连通性：只有明确两个不同像素之间是否形成相邻关系及其之间的灰度值是否符合设计条件时，方能判断出两个像素是否实现了连通。4-连接，8-连接与M-连接（混合连接）是常用的连接形式。本文如下对混合连接开展分析：如果两像素取值符合r 在N（p）或在N（p）内，且N（p）∩N（p）是空集时，可以将其叫作M-连接。如图3 所示，r 在在N（p）内，N（p）包括标是abcd 的四个像素，N（r）包括标对应的是cdef 像素，N（p）∩N（p）包括标是cd 像素。嘉定V={1}，在图3（b）内，N（p）∩N（p）是空集；图3（c）内，N（p）∩N（p）是1。

图3： 混合连接说明图

3.2 图像预处理

频率域增强采用调整图像内不同频率分量的形式去强化图像。低通滤波方法最大的作用使滤掉噪声并降低边缘剧变程度。高通滤波主要用于滤除图像的低频分量，进而确保图像的高频部分能顺利通过，这种方法对图像能起到较好的锐化作用。带通滤波准许某一频率范畴的信号通过，对其他频率范畴中信号通行行为起到阻碍作用，如果设置的频率上限为无穷时，带通滤波就会转变成低通滤波。

3.3 图像分割

（1）基于阈值的分割算法：结合图像内目标和背景灰度值的差异进行分割。实践中先要确定好一个阈值，随后对比图像内所有像素的灰度值和该阈值，最后达到分割图像的目的。

（2）基于边缘的分割算法：结合图像目标和背景特性的不同开展分割工作，利用边缘检测算子精准的探寻到图像边缘，随后执行分割过程。Robert、Aplacian、Sobel 算子等均是常见的边缘检测算子。

（3）基于区域的分割算法：基本思想是运用图像属性（灰度、纹理、外形等），筛选出最显著地属性，在此基础上对图像做分区处理，利用该特征分割不同的小区域。

4 工业机器人的视觉系统实验分析

4.1 硬件平台

选择欧德吉（ODG）工业机器人本体作为实验平台，型号JLRB20。安装摄像机时，要确保建成的两个立体图像有较大的交叠区，结合目标物体的形态合理设计立体视觉系统的安装方法。严格按照技术规范组装摄像机，选择铝合金型材作为制造材料，在机器人尾端组装机械结构，这种设施较好的满足了视觉系统内对摄像机方位及姿态调整的需求，且稳定性较高。配置运用的是Gig E 系列CCD 工业摄像机，像素200 万，其分辨率2448*2048，帧率10fps。建议选用景深较大的镜头，便于完成对焦，本文运用了两个焦距为是8mm，型号 computer 普通镜头。

4.2 软件平台

基于Halcon 软件执行视觉处理算法的程序编写任务，HDevelop 输出C++代码，基于Visual Studio2015 程序创立用户界面。选择Visual Studio2015 开发环境作为开发平台，利用其生成MFC 程序界面。

4.3 系统主要性能的验证分析

4.3.1 定位抓取实验平台

参照硬件平台构建及软件配置的实际情况，综合既有实验条件，建设出的实验平台见图4。

图4： 实验平台

实验探究中选择机器人础坐标系作为参考坐标系，掌握工件的像素坐标后，将手眼标定结果转变成基坐标系下工件的三维数据，然后控制执行器进行定位抓取。机器人对各目标工件的抓取功能的位姿坐标见表1。

表1： 机器人抓取坐标

4.3.2 分析目标物的定位抓取结果

运用机器人机械手选定的目标工件分别开展定位抓取实验。实验结果见表2。

表2： 工件抓取结果统计

分析以上所得实验结果，机器人抓取三种工件的综合误差最大为5.52mm。对于工件的定位误差情况本课题研究中设计了容错性，鉴于工业领域内常用工件几何特征的的量级多集中在数十毫米上下的实际情况，所以初步认为本实验中形成的误差量符合设计要求。针对机器人位姿误差产生的影响不做分析，此时定位误差的成因主要包括：

（1）摄像机的标定误差：具体是在标定处理摄像机环节中，工作人员在适当时机标定结果，经重投影误差法分析判断以后认定误差较小，满足设计精度要求。实验研究张运用的镜性能较好，据此判断摄像机标定结果给定位误差带来的影响较小。

（2）模板匹配识别定位的误差：视觉系统的左、右摄像机采集到的图形信息有差别，那么容易形成辨识至目标工件的几何外形有差异的情况，直接影响机器人抓取工件时定位的精准性。为规避以上状况，本实验规划并使用了改良的模板匹配法，利用其取得的模板匹配效果较好，有助于减少其给工件定位误差带来的影响。

5 结束语

总之，机器人视觉系统能较精准的获得目标工件的三维立体化位姿坐标，实现了在线动态化的定位抓取目标工件。在梯度模板匹配算法的协助下成功匹配工件，针对处理后所得的坐标结果及时将其输入给工业机器人，精准调控机械手的动作发生过程，成功抓取物件，在不同类型、多个目标工件抓取及定位领域均体现出良好效能，定位精准度高，满足工业实际发展要求，值得推广。