结合机器视觉课程案例（库）建设提升研究生课程教学效能

王福斌 曾凯 张瑞成 陈波

[关键词]专业学位研究生;案例（库）建设;机器视觉课程;实践技能

机器视觉课程作为控制科学与工程及控制工程学科的专业学位课，是一门实践性极强的课程，要求学生在掌握基本的数字图像处理理论的基础上，利用计算机视觉技术解决实际与图像、视觉相关的工程技术问题。随着感知技术的多元化，尤其是智能感知技术的发展，基于视觉的识别、测量技术得到了重视，如在机器人视觉伺服控制领域、生产线瑕疵产品检测领域、人脸识别安全监测领域等，机器视觉技术都扮演着越来越重要的角色。在研究生课程学习阶段引入机器视觉案例教学，将理论知识与工程实际案例相结合，不仅可加深学生对课程理论知识的理解，更能让其掌握将所学的理论知识应用于实践的技能，为学生在研究生课题研究阶段解决实际问题能力的提升打下基础。

《教育部关于做好全日制硕士专业学位研究生培养工作的若干意见》（教研〔2009〕1号）阐明了开展专业学位硕士研究生教育的必要性，为培养社会紧缺的应用型、技能型专门人才给出了指导性建设原则[1]。各高校对研究生课程教学案例库建设投入了较大的力量进行研究和建设，并取得了积极成果;围绕专业学位研究生教育对案例资源库建设的案例选择、整理与优化以及案例资源库案例的实践与应用进行了大量研究[2]，从师资培训、教学内容调整、案例库建设、课程组织实施和教学评价等方面对案例建设与研究生培养进行探索[3]。案例式教学模式在研究生培养效果提升方面的作用日益显现，对专业学位研究生培养的应用效果显著，对提高研究生综合能力，让其更好地适应将来的工作具有积极的意义[4]。

一、机器视觉课程典型工程案例（库）建设总体方案

为深化专业学位研究生培养模式改革，提高培养质量，教育部出台了《关于加强专业学位研究生案例教学和联合培养基地建设的意见》[5]，对案例教学的意义及地位进行了阐明。

机器视觉是一门实践性很强的课程。自开设机器视觉课程起，对授课对象（包括專业型硕士、学术型硕士）就引进工程案例方法进行分析与讲解。近几年在机器视觉应用方面积累了一些工程案例，如，成捆钢筋的端面图像采集与计数、烧结火焰断面图像特征识别、天车机器人双目立体视觉避障及视觉实时距离测量、振动模糊图像复原、激光结构光视觉测量及三维目标物重构、无人机航点视觉定位、飞秒激光烧蚀微光斑的微视觉几何参数测量等。如何对以往的案例进行整合、总结及系统化，使案例内容更翔实、丰富，更符合教学规律，是本课程案例库建设遵循的原则。

机器视觉课程典型工程案例（库）建设过程以工程应用为主线，以案例分析与程序实现为方法，通过实际应用需求分析、工艺分析、详细设计、程序实现、程序运行及调试、运行结果分析等环节，使学生能对机器视觉快速地认知、熟悉，进而解决机器视觉“做什么、怎么做”的问题。案例库先期基本建设框架如图1所示。案例库建设过程遵循动态建设原则，在反馈及修正补充过程中不断地得到完善。

二、机器视觉课程先期案例建设核心内容

案例库建设将结合机器视觉课程的讲授内容，在总结现有机器视觉应用的基础上，针对机器视觉系统构建、硬件设备选型、相机标定、结构光视觉系统、视觉三维重建等环节给出详细的工程实现过程。在多个机器视觉技术应用的关键环节结合典型案例给出详细的实现步骤、方法、程序及运行结果。整个案例建设给出“手把手”式的机器视觉构建与分析详细过程，对学生快速融入机器视觉领域、增强实践能力具有较好的指导意义，这能为学生今后在机器视觉研究领域及工程应用打下坚实的理论及实践基础[6]。

要本着真实性、典型性及创新性原则对案例进行筛选，并能利用实验室现有实验平台进行实验内容建设，以保证案例的真实、可复现、可验证性。同时，突出案例的典型性、代表性，并兼具一定的创新性，保证案例教学的效能及新知识、新观点的启发作用。机器视觉案例库教学的核心建设内容有以下几方面。

（一）机器视觉光学系统设计、选型及参数计算

为学生讲述如何根据实际工程要求搭建一个光学系统，实现对特定目标的图像采集。为提高图像采集质量，需对照明光源进行选型设计，包括条形光源、点光源及环形光源设计等;为使得工业相机适合工程实际目标图像采集的需要，需对相机视场、靶面尺寸、分辨率及物距等参数进行计算，确定相机与计算机的通讯形式等;对镜头与相机的接口进行选配，对镜头焦距等参数进行计算等。通过光学系统硬件设计、选型，可提高学生对光学系统的感性认识，促进工程设计理念的形成。

（二）微视觉系统及微结构目标的图像测量

为学生讲述基于单目相机的微视觉系统图像测量方法及基于双目微视觉系统的图像测量方法。首先，采用远心镜头构建微视觉测量系统，对飞秒激光在硅晶片上烧蚀的微光斑进行图像采集;对光斑图像进行预处理、分割及几何中心提取，获得光斑本身的像素尺寸及光斑之间的像素尺寸;通过测量尺寸已知的标准物体尺寸，标定出几何尺寸与像素尺寸之间的对应比例系数，进而应用比例系数求出光斑的几何尺寸，实现微结构的视觉测量。

（三）双目立体视觉系统的标定及视觉测量

采用两个面阵工业相机构建双目立体视觉系统，对工件几何尺寸进行测量。通过案例建设使学生掌握立体视觉的构建，相机畸变参数标定及双目立体相机的旋转矩阵与平移向量的标定;工件深度方向的尺寸测量方法等。这可为学生将来采用视觉方法进行不同目标物体的图像几何测量问题提供有意义的借鉴。

（四）激光结构光视觉系统的标定及视觉测量

在光学实验平台上搭建线激光结构光与单目相机构成的结构光测量系统;将待测工件放置在二维运动控制工作台上，当工件随着工作台移动时，激光线扫描整个工件，由工业相机采集激光线条图像，构成工件的激光线条图像。通过标定相机参数及激光与相机之间的光学系统，实现激光结构光测量系统。

（五）基于激光结构光的工件三维重建

所用硬件平台与激光结构光测量系统一致，包括相机、激光器、精密移动平台及标定板等。只是在相机内外参数标定、激光器的光平面标定基础上，通过对激光光条图像的处理，在光条二维图像坐标基础上求取光条的三维点云数据。

三、案例库动态建设过程

在先期建设完成的案例库实践教学基础上，总结教学实践经验、教学效果及存在的不足，动态完成了第二部分案例库的建设内容，如图2所示。

案例库后期建设内容涵盖基于Blob分析的目标识别、基于模板匹配及仿射变换的几何定位与动态跟随、直角坐标机器人视觉系统的9点标定、基于直角坐标机器人的工件随机视觉抓取及定位摆放、基于视觉的光学字符识别及C#联合Halcon编程内容。

（一）基于Blob分析的视觉目标识别案例

研究实现目标图像的分割及识别，主要内容有：采集图像—图像分割（Blob分析前，将图像分割成区域和背景）—形态学处理—连通域分析，将图像中不同目标打散—数学形态学处理—特征提取，根据不同几何特征条件，筛选出目标。

（二）基于模板匹配及仿射变换的几何定位与动态跟随

建设内容：确定图像对比度，形成目标轮廓。对于模板中的轮廓线，轮廓线少了，提取的轮廓特征也少，匹配精度不好;相反，轮廓线太多了，则不易匹配，因此，用三个参数进行筛选（对比度（低）、对比度（高）、最小组件尺寸）。确定合适的图像匹配金字塔级别，基于形状的模板匹配，将图像和模板在高层金字塔进行搜索，然后映射到低层，提高搜索速度。模板设计为可旋转、放缩的搜索，从原图创建模板图像再生成模板轮廓，从原点开始搜索。

（三）直角坐標机器人视觉系统的9点标定

利用实验室现有三坐标直角运动平台，配置单目相机构成直角坐标机器人视觉系统。讲述实现9点标定的详细过程：建立图像平面与机械手之间的一一对应关系，利用图像得出机械坐标偏差。通过9点视觉系统标定，将图像的像素坐标和目标点的物理坐标对应起来，将像素位移转换为机械手的几何尺寸位移。

（四）基于直角坐标机器人的工件随机视觉抓取及定位摆放

讲述机器人的基础坐标、工具坐标的建立，并通过特征点标定机器人工具坐标系的0点位置;通过9点标定确定工具坐标与图像坐标间的关系。对标定后的4轴机械手进行目标物体的随机摆放视觉识别、抓取，并进行定点摆放。

（五）基于视觉的光学字符识别

完成如下内容的建设：1.坐标变换：通过极坐标变换调整图像，将字符转换到标准位置;2.光学字符图像的处理：图像平滑、阈值分割、图像匹配、连通域分割、形态学处理、区域特征提取;3.光学字符识别，应用OCR分类器，识别出分割出来的字符。

（六）C#联合Halcon编程

结合工程实际案例，以“自动售药机剩余药品数量的视觉统计”为例，讲述并实现如下案例内容：C#联合Halcon编程过程。创建C#窗体程序项目，设计C#控件操作界面，将HALCON/.NET类库、控件HwindowControl添加到C#的工具箱中;为实现C#中调用Halcon相关算子，加入using HalconDotNet命名空间的引用，将Halcon程序导出成C#程序等内容。

四、课程建设与效果反馈

机器视觉课程的实践性要求在课程学习过程中必须紧密结合实践，这样学生才能真正将所学的理论知识学活、学透彻。在案例库教学活动中遵循教师讲解与启发、学生实践、效果反馈机制，使每个学生都能从案例教学过程中收益，有所收获，有所进步。完整的案例建设及效果反馈机制如图3所示。

机器视觉案例库建设是一个动态的、持续改进的过程，在案例库建设之初要列出详细的建设大纲、建设方案并进行可行性分析，同时广泛征求有益的意见和建议，使得案例库建设一开始就能做到科学、可行、合理、有效。案例库主要通过教学实施及学生实践形成教学活动，此环节是检验案例库建设成效的关键，因此要保证案例库建设内容要丰富、翔实，同时教学手段及教学方法要与案例库实际相衔接，充分调动学生的学习积极性，鼓励学生大胆实践并进行创新性学习[7]，在案例库基本教学内容基础上有所收获、有所启发。在对案例库建设成效、教学效果及学生学习效果评价环节，主要采用师生互动进行讨论、分析、查找不足等方法。在对讨论结构形成共识的基础上对案例库内容进行修正、完善，做到在建设中改进、在改进中完善。

五、结束语

案例库教学是提高研究生实践教学效能的主要方式之一。我校在研究生案例库建设方面给予了大力的支持，在设备购置、建设资金支持方面得到了保障。我校结合控制学科研究生教育与培养过程，建设了机器视觉教学案例库，突出了机器视觉教学活动的实践性，使学生在学习与实践过程中真正掌握机器视觉课程学习的理论及实践技能，实现了“学有所成，为我所用”的目标。本文研究内容提高了机器视觉课程教学效果，提升了学生的学习效能，具有实践意义。