机器人及视觉理实一体化教学模式研究★

廖志青， 段海峰， 卢健能

（广州城市理工学院机械工程学院， 广东 广州 510800）

0 引言

各种工业机器人的应用对于助推我国制造业转型升级，提高产业核心竞争力功不可没。机器人应用已经进入了高铁速度阶段，尤其是柔性制造系统，视觉技术和智能工厂的快速发展，使得作为工作基础的工业机器人相关专业的人才培养大大落后于市场的发展及需求，而高校现有的智能制造课程却集中在如何进行结构设计、工艺分析，使得装备的设计更为合理；完整的机器人应用培养却变成了一个容易被忽视的部分，作为机器人智能化体现之一的视觉技术更是无法被学习[1-2]。

理实一体化教学是在一定的理论指导下，引导学生通过以实践应用为载体，巩固理论知识、形成技能、提高综合素质的教学过程。智能制造课程学习应该以工业机器人为核心，按照智能制造工程领域闭环的流程进行教学，并配合以机器人应用及视觉技术等先进技术，才能使学生真正意义上的理解工业机器人技术在行业中的具体应用场景及应用方法。

1 机器人及视觉理实一体化课程实验装置概述

机器人及视觉理实一体化课程中所用实验装置包括一台桌面机器人（Dobot Magician）、两种气动夹具以及相应的视觉装置，具体由机器人、光源、视觉相机、气泵、夹具和支撑部件组成，如图1 所示。

图1 机器人及视觉理实一体化课程实验装置

按照安装要求安装好各部件并经过适当的接线、调试以后，该实验装置便可以使用；配以机器人控制软件DobotStudio 便可以实现Dobot Magician 机器人的动作设计、示教再现、写字画画、激光雕刻、3D 打印等功能；采用视觉数据采集软件MVS 采集视觉数据；采用视觉分析处理软件DobotVisionStudio，便可以根据多种应用场景快速组合算法，设计机器人动作路径和视觉应用方案，实现对工件或被测物的查找、测量、缺陷检测等功能的应用。

2 机器人及视觉理实一体化课程知识图谱及内容安排

根据机器人及视觉理实一体化课程需要，设计教学大纲、教学日历和课件，提炼课程知识图谱如图2所示，课程内容包括机器人控制学习、视觉信息采集、视觉方案知识点学习以及机器人视觉应用案例4 个部分。包含了如何从机器人视觉设备采集视觉信息，如何对采集到的视觉信息进行查找、测量、分析以及根据分析结果设计工程应用的视觉方案，最后利用硬件机器人进行视觉方案的运行和验证[3-4]。

图2 机器人及视觉理实一体化课程知识图谱

该课程设计为32 个学时，包括8 个学时的机器人理论学习及实操学习，18 个学时的视觉软件及知识点的学习和6 个学时的视觉案例的实践；图2 中的数字表示了每个知识点的课时数，包含理论和实践两类内容，完成机器人及视觉理实一体化的课程模式；课程目的为学生可以设计简单的工程应用视觉方案。

3 机器人坐标学习及示教编程简析

Dobot Magician 机器人是一款桌面级智能机器人，由底座、大臂、小臂、末端工具等组成；底座上有电源开关及状态指示灯，用以显示机器人的状态，如图3 所示；该机器人的动作由4 个旋转轴驱动，分别为J1、J2、J3、J4关节点，在这4 个关节点将形成机器人关节坐标系，从而驱动Dobot Magician 机器人按要求在其工作空间内移动；设置坐标原点（基坐标系）及末端坐标点（工具坐标系），后面的示教再现将采用基坐标系进行编程。

图3 Dobot Magician 机器人坐标分析

DobotStudio 示教编程有两种取点方式，一种是直接将机器人末端移到指定位置存点（需要按住机器人小臂上的专用示教按钮）；另一种方式是在机器人控制软件机器人动作控制区域位置，学生通过点击区域内的X、Y、Z、R 的坐标位置和J1、J2、J3、J4的关节点旋转将机器人末端位置移动到的指定位置点，然后在位置点进行存点；如果某一个位置的末端工具（实验里只有手爪、吸盘）发生动作，可设定动作模式，完成后可以进行下一次存点；每存一次点，便会形成一行机器人动作程序，当所有动作完成后保存；启动程序，机器人便会按照之前的示教动作进行工作，示教完成后还可以对程序进行进一步的修改，比如调整机器人速度、加速度、暂停时间等[5-6]。

4 机器人视觉知识点学习及视觉案例分析

机器人视觉应用主要包括定位测量、缺陷检测、特征识别、组合视觉以及其他视觉需求。视觉分析及控制机器人软件Dobot Vision Studio 主界面设定了视觉工作区、视觉方案流程图区域、图像显示区和结果显示区。视觉工作区包含了视觉方案设计的各种视觉工具，包括采集、定位、测量、识别、标定、图像处理、颜色处理、缺陷检测、逻辑工具和通信等工具[7]；视觉方案流程图区域为针对工程应用设计的视觉方案的逻辑流程图，包含了整套视觉应用的主体内容；流程图中每一个元素单位都代表了视觉方案中的一个视觉逻辑细节，都需要根据应用需求进行特定的参数设置；图像显示区为针对采集到的视觉图像以及图像模板进行处理的显示区，而结果显示区则是根据视觉处理后的结果进行显示[8]。

4.1 视觉方案知识点学习

不同的视觉工程方案需要选择相应的视觉工具和算法模块组合使用，每一个视觉方案都是由若干个视觉工具按照视觉逻辑算法组合而成；针对不同应用场景设计视觉方案，需要熟悉各种视觉工具和算法模块；如图4 所示，一套完整的视觉工程方案往往包括视觉采集、视觉分析、图像处理、逻辑运算、通信和机器人工具六个模块，有些简单的视觉方案可能会缺少某些不需要的模块。

图4 工程视觉应用视觉工具和算法模块组合流程

4.2 视觉案例分析

下面以字符缺陷视觉检测案例进行教学范例，目的是检测字符是否存在差异、缺陷，并找出有缺陷的字符，利用机器人将其搬运分类；样本字符如图5-1所示，其中某一个“Detection”中的字母C 上设定了缺陷标志。

图5 字符检测样本及字符视觉训练模板

需要说明的是在进行视觉检测之前，需要先对该字符进行模板特征设定，即训练字符模板，如图5-2所示。

根据字符缺陷视觉检测要求设计视觉方案流程如图6 所示；整套方案由字符上端的相机对字符进行实时拍照采集视觉信息；然后由视觉软件对该图像进行特征识别、位置修正及图像处理，得到最清晰的需检测的视觉字符，接着与字符视觉训练模板进行对比分析，从而找出有缺陷的字符，并进行标定转换[9]。

图6 字符缺陷视觉检测方案流程

字符图像分析后，如图7-1 所示，如字符没有发现缺陷，软件图像显示区和结果区会显示OK 标志；如图7-2 所示，发现字符上有缺陷标志，则会显示NG标志，并将该结果传送条件检测模块。

图7 字符缺陷检测结果

如图8 所示，得到字符缺陷检测结果以后，条件检测模块会根据检测结果进行判断，并将判断结果输入分支模块，再由分支模块判定机器人执行结论，即机器人执行结果是通过吸盘将字符分别搬运至有缺陷或无缺陷区进行分类[10]。

图8 条件检测和分支模块参数设定

5 结语

机器人及视觉理实一体化课程不但包含了机器人、视觉技术相关理论知识点的学习，还进行了机器人示教编程实操和机器人视觉案例设计及实操；既巩固了机器人理论知识，同时也加深了学生对机器人、机器人视觉应用的了解；相较于教学体系过多地偏向理论教学的课程设置，能使学生真正意义上的理解工业机器人及视觉技术在行业中的具体应用场景及应用方法；能更好地与企业实际工程应用相锲合，培养出企业真实需求的机器人人才；对于助推我国制造业转型升级、智能制造工程领域发展起到一定的作用。