《图像处理与机器视觉》课程动态案例教学研究与实践

杨大伟,张汝波,张 涛

(大连民族大学 机电工程学院,辽宁 大连 116605)

案例式教学法在高等教育中一直备受青睐,但对于自动化类工科专业课程来说,由于案例样本需要达到一定数量才会对课堂教学、实验教学产生积极作用[1]。故此,在《图像处理与机器视觉》课程中应用案例式教学法,需要解决如何生成大量相关图片的技术难点,才能为教学法提供必要的案例基础。

当前,国内大多数高校图像处理类课程案例教学主要还是以经典案例教学为主,教学案例主要来源于互联网上获得的固定和少量图片[2-5]。经典案例教学在课程培养的限定条件下非常有效,对于文科类专业来讲,它们的案例非常之多,能够使学生在课程当中充分了解知识本身并进行有效学习;而在工程实践当中,很多案例却受到专利法保护,工件造型和外观尺寸等均属于实用新型等保护范畴之内。这也使得经典案例仅能提供固定形状的工件照片。为了能让学生更加了解生产一线工程实际案例样本,同时满足产学合作和区域经济发展的市场需求,在专业课程中,设计翻转课堂、实验实践、课程设计等教学环节,可利用人工智能创造大量工件图像,为课程涉及的理论和实验内容,提供案例式教学基础资源保障。

信息时代的发展,使得人工智能走入课堂,各种课程教学案例中的照片呈现出如日中天爆发式的增长状态[6-8]。动态案例教学利用人工智能,能够生成从光线变化、条理变化、背景颜色等各方面都贴近产业中真实的工件图片。人工智能的发展使得扩散模型、chatGPT等一系列技术工具应运而生,在课程应用当中逐渐凸显它们的重要地位,动态案例教学借助人工智能技术,使得课堂更加活跃,同时提高教学质量和教学反馈速度。例如:人工智能技术突破了传统和信息化课堂教学行为分析的局限,实现了分析的自动化和智能化,使得课堂教学行为分析更加精准、全面、真实[9];人工智能优势在于整合了研究、开发用于模拟、延伸和扩展,将人工智能带进艺术设计学科课堂则很好地弥补了人力洞察学生综合理论与实践学习的不足,从而高效给予学生更适合的教育内容,做到因材施教[10]。目前,已经有动态案例教学课程利用chatGPT等人工智能工具为课堂辅助,但是这些工具明显缺少产业上的应用指导功能,既无法生成可控的动态案例,更无法用图片指导生成合理的工件图片为案例式教学使用[11]。

大连民族大学机电工程学院自动化专业,《图像处理与机器视觉》课程,引入智能制造领域的工业机器视觉动态案例,帮助学生理解和应用各种图像处理手段和方法,理论联系实际,教会学生学习真实工件的检测与识别工艺流程。这种动态式案例教学方式,借助于工控企业现实场景中出现的工件、零配件的外观和造型,在不违反知识产权保护限制的前提下,结合人工智能的深度学习生成模型技术,用真实的工件、零件为参照物,大量可控地衍生出授课、实验所需的课程案例的多样化图片结果。这样的优势是,既保护了产业对知识产权的保护要求,又合理地提供了多种多样地课程案例动态样本。这种教学方式能够将现实场景中,与课堂教学需求相近似的部分引入到课堂教学、实践教学中来,让学生能够做到人在课堂、心在实践的教学感受,不仅可以提高学习的兴趣,更可以根据实践中的近似真实案例的模拟来完成教学过程。

1 《图像处理与机器视觉》课程动态案例教学建设特色

目前课程项目式教学中引入的教学案例存在与工程实际脱轨,而且大部分为静态案例的情况,这严重影响案例式教学的实施效果和学生学习的积极性,缺乏对学生探索性思维的刺激和学生在复杂工程应用中研究问题和解决问题的环境。因此在国家不断加强高等学校工科专业应用型建设水平和普遍开展工程教育认证和新工科建设的背景下,课程建设中引入工程实际案例开展项目式教学已经成为一种趋势。

《图像处理与机器视觉》课程动态案例教学建设摒弃传统,利用人工智能AI技术工具建设动态案例,提供海量且应用于不同场景的动态案例。为配合课程的产学建设目标,以工程实践中出现的实际工件为案例库建设核心,采用动态案例教学方法,利用人工数字图像处理手段,对现有工程实践中,受到发明专利和实用新型专利等法律保护的工件样本进行数据集增广扩充。动态案例教学的开展,能够在本专业的实验实践中,贴近工程实际需要的同时,不违反企业单位对产品外观的法律约束和保护限制,提高学生实践动手的真实性和工程性,更增加了学生对实践问题的解决能力。

同时动态案例考虑实际应用条件,保证教学与工程实际的一致性。从自动化专业建设的基本需求来看,大四的选修课程应该支撑起学生就业能力的培养和工程实践动手能力的锻炼。在这样的背景下,结合产学合作基地的产业化需求,本课程依照工程实践中实际加工、生产的工件为蓝本,通过人工智能数字图像所需的生成手段,不断产生贴近真实工件,但又不违反外观专利约束的合理工程样本,为学生授课、实践环节提供大量的不重复应用图片。这些图片本身就是基于真实工件的随机生成样本,这些样本可以通过文字信息加以修正和变形,但其归根结底的基础雏形不变,仍具有工程实践的真实性,能够作为自动化专业学生的动手实践所需的输入图像来使用。同时,更加真实的案例图片,会激发学生极大的学习热情,促进学生动手能力的培养。

从解决实际工程问题出发建设动态案例,鼓励学生根据应用条件设计个性化解决方案。对于《图像处理与机器视觉》课程来说,最大的难题是要搜集海量的样本作为学生练习课堂方法的基础准备。但是,任何一张图片的纹理、颜色等特征都是独一无二的,对于通常的图像处理方法来说,一旦了解到这个特征的特殊性,处理起来就会得心应手。不过,这种现象到了课堂实践反而成了一种桎梏。因为这种特殊性的存在,使得大部分同学都倾向于使用单一手段去处理这个固定图片的内容,而忽略了解决工程问题的手段和途径。更让每一次的工程实践课题,变成了同学们抄袭借鉴思想的阵地,彻底失去了工程实践案例的建设初衷。所以,能让每个参与课程教学的同学,拥有专属工程案例,才成为了动态案例教学课程建设的目标。

2 利用人工智能AI技术建设《图像处理与机器视觉》课程动态案例

《图像处理与机器视觉》课程涵盖,图像表达、图像预处理、图像分割、物体识别和图像理解等五个部分,共32学时,24学时理论,8学时实验。该课程目标对毕业要求的支撑点有两个,一是对自动化复杂工程问题能够进行分析和评估;二是掌握自动化领域工程设计和产品开发流程,熟悉基本设计方法。

以往课程采用的经典案例教学内容,对于工业、产业结合的课程需求来说,照片陈旧,而且出现所需工件等图片无法获得及时更新,而致使所针对问题与现实需求完全脱钩,不能直观地让学生及时掌握自动化领域实践中存在的检测和识别难题。

由于图像处理本身就属于人工智能AI当中的热门应用之一,随着图像风格迁移[12]和图像生成[13]等技术的迅猛发展,以工业生产实践中的零部件为原型,创造大量的、接近生产所需的图片,照片的生成有指导依据,符合课程需求,又能贴近于工程真实样本及实际工件,能够做到非常少量的工业样本就能生成大量且不同外观形式和材质的工件图片,其逻辑示意图如图1。

图1 基于GAN指导的扩算模型样本工件案例生成系统逻辑示意图

本课程为保证工业零部件图片的生成外观,接近于原始形状但又不会泄露实用新型专利形状,创新性地采用基于GAN指导的扩散模型(后简称GDM模型),来生成动态工件样本案例。其中,图像GAN生成模块的目的是,解决外观风格迁移变化的约束问题,而扩散模型则可以在改变后的外观上,进行随机扰动生成出形态各异的新型零部件结构来满足学生的课堂和实验需要。为改变外观和背景等参数的便利,GDM模型借鉴文本到图像的Text-to-Image模式,可以通过参数选项来改变外观形态,使得生成的图片结果不仅能够满足自动化专业学生,工程实践动手能力培养的需求,还能调动学生的趣味性且提高学生的专业能力。

利用GAN动态案例教学法的GDM模型,既不影响各公司相关制度规定,又能扩充数据库,让学生有丰富的实践能力。这种方法可以使用少量实际工件为指导依据,形成可控的动态案例输出,不凭空捏造,能够做到源于工程实践,运用于案例教学,贴近一线生产,有目的、有依据地模拟了工件在实际生产线上的环境和背景。这对于学生和教师来讲,不仅缩短了产学之间的距离,缩短培训周期,还能够有助于他们贴近需求、贴近服务、贴近产业。动态案例教学激发创新,提高兴趣,激发学生自主学习能力,引导学生自主学习,这也是课程学习的目的与意义。由于GDM系统具有随机扰动的初始化条件存在,即便输入同一张初始图片,系统输出也会有明显的差异。也就是说,该系统不会两次生成同一个输出结果,能够保证每次运行,其结果都会存在明显差异。这也有效地保证了动态案例教学的应用需求。

这里,GDM的输入还有一定的语义约束参数可选,其中工件语义约束条件见表1。这里的三个语义约束属性分别为:光照、纹理和背景颜色属性,而且,每个属性中的3个约束条件,每次只能选择1个。工件语义约束案例如图2。

表1 工件语义约束属性和对应的约束条件

图2 工件语义约束案例

图2中,利用GDM模型分别生成长方形托盘类工件、三角刀具工件和圆形垫片等三个动态教学案例。在表1的语义约束下,得到不同形式的案例样本。

3 《图像处理与机器视觉》课程动态案例教学实施策略

《图像处理与机器视觉》课程动态案例GDM模型,通过架设在校园网内服务器进行远程访问,每次可以根据需求循环生成需要数量的图片,来满足课上、课下的使用需求。服务器硬件是一台双网卡2U科学计算服务器,核心计算任务由8块Nvidia 2080TI显卡构成。建立校园网和工件样本生成服务器之间连接,随时为课堂和实验环节提供图片样本服务。

课程动态案例可以在理论教学中构建项目式教学,由教师事先准备恰当的案例来辅助课程教学。为保证教学效果,根据课程教学内容的安排,提前选择工件原型,帮助同学们理解检测、分割、识别等理论内容。同时也可以利用动态案例来设计翻转课堂,在老师讲授完原理知识之后,把课堂交给学生,利用丰富的动态案例让学生熟练掌握理论知识的不同和应用条件,自己摸索动态案例的解决方案,在实践中理解工程知识的应用。

同时,课程动态案例也可以应用到实验教学中,由教师给出受保护工件图像作为实验课程的输入,该图片学生对学生不可见。由学生访问案例数据库服务程序,通过从表1中选择不同的约束条件,来生成所需要的案例样本,作为实验课程的标准输入使用。由于GDM模型随机扰动的初始化存在,其输出图片能够满足人人都是全新的工件样本图片,不会存在任何两个人具有相同的工件案例。这样利用动态案例实验就可以有效避免学生的抄袭问题,也为远程开放实验设计提供了可能。

另外,课程动态案例也可以用来给学生布置个性化设计作业。以往设计作业由于全体同学题目相同,不可避免地会发生解决方案设计一致,学生抄袭的问题。利用动态案例就可以给每一位学生布置应用条件各不相同的个性化设计作业题目,提高设计作业的差异性,让学生主动学习,积极思考个性化工程问题的不同解决方案,培养学生依照不同条件完成工程设计的能力。

以上是课程动态案例教学三种教学实施策略,基本涵盖了课程教学的全部过程,无论在课堂教学、实验实践环节和课程考核评价中,都可以应用动态案例提高案例的变化性,培养学生善于思考、积极动脑,主动学习的良好学习态度和分析解决问题的工程能力。

4 《图像处理与机器视觉》课程案例教学效果评价

课程教学评价形式主要有课程目标达成情况评价、学生教学效果调查问卷、同行评价和教学督导评价等。课程的课程目标达成情况评价主要由学生翻转课堂成绩、课程实验成绩和课程设计作业成绩三部分组成,其中课堂教学、课程实验和设计作业均利用动态案例完成。

本课程开展动态案例教学三年以来,除了完成课程教学目标达成情况评价外,为保证学生在动态案例教学获得良好教学效果,对连续3届选修课程学生进行跟踪调查,以课前问卷、结课调查、毕业生反馈跟踪抽样的方式进行。收到反馈共计72份,均获得良好以上的满意度认可。调查问卷中发现,动态案例教学方式的引入,对毕业生工程应用的理解和工程视野的开阔提供了积极推动作用。近三年课程教学效果结果统计参见表2。

表2 近三年课程教学效果评价结果统计

从评价结果分析,动态案例教学在近三年的教学实践过程中,课程目标达成度一直稳步提升,学生(含毕业生)满意度调查问卷中,95%以上的学生能够认可本课程的改革方式,同时,督导评价和同行评价也一直为优秀。由此说明,本课程的动态案例教学,具备积极推动课程教学进程的作用,有效调动课堂气氛,激发学生参与实践动脑思考的兴趣,能够帮助学生掌握工程复杂问题的分析方法,提高学生理论的应用能力,有利地支撑了课程教学目标的达成。

5 结 论

《图像处理与机器视觉》课程教学采用动态案例教学方式,以人工智能AI手段辅助课程教学,生成大量符合工程实践又不影响实际工程生产专利保护的零部件图片,为学生提供有效的课堂参考和实践应用案例样本,让课程教学融入具有挑战性的工程问题。同时,在动态案例教学的实施过程中,不仅让学生参与翻转课堂,根据工程实际提出个性化解决方案,还通过问题差异性,有效监督学生独立思考,探索创新。经教学评价反馈,动态案例教学的应用,让学习成为了学生的兴趣,让更多学生敢于大胆地动手实践,激励了创新思维的萌发,有效培养学生分析和解决问题的能力。