“图像理解”课程全方位双驱型建设探索研究

鲁 斌，刘 丽

（华北电力大学〔保定〕 计算机系，河北 保定 071003）

研究生阶段的课程具有鲜明的理论性、实践性和应用性，课程内容不仅与国家发展规划、行业改革发展密切相关，同时承载着职业道德与规范，具有很强的技术伦理与社会责任，具有天然的思政育人功能。“图像理解”课程是计算机科学与技术、软件工程专业领域的一门研究生课程，涉及多个交叉学科领域，其目标是使学生学习了本课程之后，具备解决智能化检测与识别、控制等应用问题的初步能力，为以后从事模式识别、计算机视觉、图像通讯、多媒体技术等领域的研究与开发工作打下扎实的基础。

一、课程设计理念和目标

图像理解（Image Understanding，IU）是对图像的语义进行理解。它是以图像为对象，知识为核心，研究图像中有什么目标、目标之间的相互关系、图像是什么场景以及如何应用场景的一门学科，是研究用计算机系统解释图像，实现类似人类视觉系统理解外部世界的一门科学。其主要研究内容包括图像的获取、图像处理、图像分析以及图像识别等。图像既包括静态图像和动态视频图像，也包括二维图像和3D立体图像。

图像理解与人工智能密切相关。传统的人工智能以人类的知识为对象，研究知识的表示、存储、推理以及获得新的知识。随着计算机视觉和人工智能学科的发展，相关研究内容不断拓展、相互覆盖，图像理解既是对计算机视觉研究的延伸和拓展，又是人类智能研究的新领域，渗透着人工智能的研究进程，近年来已在工业视觉、人机交互、视觉导航、虚拟现实、特定图像分析解释以及生物视觉研究等领域得到了广泛应用。图像理解的内容相当丰富，涉及面也宽，是一门新兴的综合性学科。

正因为如此，“图像理解”课程应运而生，成为一门交叉学科领域课程，将对计算机视觉和图像处理的基本知识、场景重建、目标分析与识别以及场景解释方面的理论、方法和应用进行系统性的介绍。其目标是使学生学习了本课程之后，对图像理解的基本理论，尤其是图像理解的概念、基本原理以及解决问题的基本思想方法有一个较为全面的掌握和领会，具备解决计算机视觉处理、智能化检测识别等应用领域问题的基础能力，为以后从事模式识别、计算机视觉、机器人导航、无人驾驶、虚拟现实、多媒体通信技术等领域的学术研究与实践开发工作打下坚实的基础。

“图像理解”课程不仅是计算机科学与技术、软件工程学术型培养方案的学位专业课，同时也是计算机技术、软件工程专业型培养方案的学位专业课。之所以如此，是因为人类五官对于外界信息的感知与获取中，视觉信息占据超过75%的份额，是人类最为重要的感知方式和手段。视觉信息获取后，与之而来的“理解”就成为必须解决的问题了，面对广泛的视觉应用领域，对于图像理解的需求显得尤为迫切，因此，该课程在专业人才培养中的地位和作用十分重要。

“图像理解”学科具有交叉性、复杂性、难度高、应用广等特点，课程内容具有一定的难度，对教学设计提出了极大的挑战。如何在有限的学时内传授图像理解的核心知识，如何在学科交叉情景下做到不同学科知识点的平衡与兼顾，如何将高难度的复杂理论知识转化为适宜教学的课程内容，如何从宽泛的应用领域中引入代表性的案例以起到“四两拨千斤”的作用，达到举一反三的效果，成为教学过程中的重点与难点。

课程思政建设是实现课程高阶性的重要保障。“图像理解”课程思政建设应遵循专业知识体系与思政元素高度契合原则，通过递进式思政信仰框架的构建，形成饱含正能量的信仰力量，加强顶层设计，探索具有整体性、内涵性、发展型的课程思政教学模式，并在实践中不断完善，以发挥课程思政建设的“乘数效应”。

二、课程结构设置

“图像理解”是一门交叉学科课程，作为图像理解底层数据的是视觉信息，理论出发点是计算机视觉；作为图像理解高层数据的是知识信息，理论依据的出发点是人工智能。从研究的广泛性来看，图像理解的处理信息分为视觉数据信息和人类知识信息两部分，前者侧重原始获取的数据信息以何种结构存储在计算机中，后者侧重知识的表述如何指导计算机的理解过程，两部分表示相辅相成。图像理解中对视觉信息和知识信息的研究过程就是进行信息表示、处理和分析的过程，具体表现为“表示与存储”“认知与学习”“推理与理解”的图像理解分析过程。

通过“图像理解”的完整教学过程，要求学生不仅能够掌握图像理解的基本原理、方法和技术，具备一定的理论方法研究、算法分析设计、实验测试验证能力，而且要求学生具备学以致用、独立解决图像理解相关领域复杂工程问题和技术问题的动手实践能力。

综合考虑整个课程对学生知识和能力的培养要求，课程的知识构成与能力构成的比例约为40%和60%。“图像理解”是多学科交叉领域课程，涉及面广，内容量大，课内32学时有限，破解知识体量大、教学时间紧这一矛盾的主要手段就是采用课上课下延伸、课内课外相结合的双轨教学机制，根据课程学习涉及的内容量和知识点覆盖范围，结合多年来的教学实践经验，讲述内容占比30%，自修内容占比70%较为适宜。

三、面向关键问题求解的“四位一体”课程教学模式

机器人导航、无人驾驶、虚拟现实等诸多视觉应用领域都面临着图像理解问题，以实现类似人眼的知觉能力为目标。考虑到相关领域实际的基本科学问题研究和实际应用需求，该课程在内容设置上就是要解决三个问题。

1.专业知识的无缝迁移。如何使学生彻底弄明白“图像中有什么”“人和物在干什么”，从而给后续动作行为和决策提供语义依据。

2.课程思政的潜移默化。在教学过程中，如何将热爱祖国、工匠精神、吃苦耐劳、团队合作等思政元素内化于心，达到“润物细无声”的效果。

3.工程问题的独立解决。通过翻转课堂、研讨式教学等手段使学生在掌握相关核心理论、方法和技术的基础上，增强学生独立解决图像理解复杂工程实际问题的能力，真正做到产学研用融会贯通。

为了解决这三个关键问题，课程专业内容讲授围绕3D立体图像理解展开，构建由“知识—理论—应用—案例”为线索的讲授体系，包含图像采集与表达、景物重建过程和方法、场景解释技术和手段，以及综合应用案例。同时，按照课程思政设计原则，在每一个知识模块中发挥思政育人功能，实现知识、能力、情感、素养“四位一体”的课程思政教学目标。

（一）专业知识讲授

主要课程内容与教学计划如下。

1.采集表达。主要讲述马尔视觉计算理论框架与视觉过程，摄像机成像模型和标定，光度学与亮度成像，高维图像成像方式，双目成像模式，深度图像直接采集，曲线和曲面的局部特征，3-D表面表达，等值面的构造和表达，从并行轮廓插值3-D表面，3-D实体表达等内容。

2.景物重建。主要讲述立体视觉模块，基于区域的双目立体匹配，基于特征的双目立体匹配，视差图误差检测与校正，水平多目立体匹配，正交三目立体匹配，多目立体匹配，亚像素级视差计算，单目景物恢复，光度立体学，从运动求取结构，从影调恢复形状、纹理与表面朝向，根据三点透视估计位姿等内容。

3.场景解释。主要讲述场景知识，过程知识，知识表达，逻辑系统，语义网，产生式系统，目标匹配，动态模式匹配，关系匹配，图同构，线条图标记，模糊推理，遗传算法图像解释，场景目标标记，场景分类等内容。

4.教学计划与教学方式。具体的教学计划与教学方式见表1。

表1 教学计划与教学方式

（二）课程思政育人

“图像理解”课程具有鲜明的理论性、实践性和应用性，课程内容不仅与国家数字化、人工智能发展规划等宏观政策密切相关，同时承载着职业道德与规范，具有很强的技术伦理与社会责任。在教学过程中既要充分反映图像理解领域的核心方法和关键技术，又要将理论知识与工程实践紧密结合，同时具备丰富的教育内容。

课程在教学过程中注重培养学生的家国情怀和职业精神，围绕着课程特点、教学内容，构建符合专业知识学习的课程思政教育目标，从广度与深度、线上与线下、知识教育与价值引领多方面，协同发力，实现知行合一，以达到包含情感目标和素养目标在内的课程思政育人目标。

情感目标：课程通过展示图像理解技术在农业、林业、矿业、军事、环境、生态等方面的突出优势和贡献，展现我国科技创新以人民为本的初心，产业布局、技术革新政策的制定，始终以“人民利益”至上为原则，以社会发展为根本，激发师生的爱国情怀，将国家命运与个人命运紧密相连，增强学生对新时代中国特色社会主义思想的认识，坚定“四个自信”，形成信仰的力量，坚定职业信念。

素养目标：课程思政核心素养以求真、触情、传递社会主义核心价值为目标，不仅帮助学生“专业成才”，更要促进“精神成人”，即培养学生成为视觉图像领域人才的同时，更要塑造良好的人格品性，坚守职业道德，维护社会公平正义。

（三）项目牵引持续能力培养

“图像理解”是一门实践性很强的学科交叉课程，没有项目牵引，很难做到对理论的深刻理解，对方法技术的灵活应用，对工程实际问题的迎刃而解。同时，课程项目的选择要求具有代表性，合理可行，既能够覆盖课程核心知识点，又必须难易适中，确保多数人能够完成。基于上述考虑，并通过不断总结实践经验，选取“高分遥感图像解译”这一项目作为课程论文实施对象，其特点如下。

1.完备性。课程是对计算机视觉和图像处理的基本知识、场景重建、目标分析与识别以及场景解释方面的理论、方法和应用进行系统介绍，使学生学习后对图像理解的基本理论，尤其是对图像理解的概念、基本原理以及解决问题的基本思想方法有一个较为全面的了解和领悟，使其具备解决复杂工程应用问题的基本能力。这些学习内容和要求在“高分遥感图像解译”项目实践过程中都会予以体现。

2.研讨性。课程从图像采集与表达入手，继而讲述景物重建过程和方法，接着剖析场景解释技术和手段，最后给出综合应用案例。教学方法上，首先讲解课程关键知识点，引领学生进入图像理解知识领域；其次穿插设置项目研讨课，以学生分组研究讨论为主，教师引导为辅，培养学生分析问题、查找资料、解决问题的动手能力和自主科研能力，达到学以致用、举一反三的目的。

3.开放性。为了提高学生的创新性与探索性，项目提供了InterIMAGE开源平台供学生使用。该平台是一个基于知识的自动图像解译框架，可将自定义知识嵌入到系统中自动解释遥感图像，也可以通过创建语义网络来建模知识。系统自带了一些基本功能，如目标检测，光谱、几何、拓扑和纹理特征计算等，既保障学生按照课程要求完成实践任务，又能够满足学生开拓创新的尝试愿望。

结语

图像理解是计算机科学与技术、人工智能领域的一个重要研究方向，也是新技术、新方法不断涌现的一个科学领域，在研究生“图像理解”课程建设过程中，除了关注课程目标、结构和关键问题的解决外，教学团队还在课程思政、教学策略、教学手段、产教融合和学生创新能力培养方面持续发力，力求通过一门课程的教学活动，实现学生科学研究素养和科研报国情怀的不间断塑造，为最终实现高等院校高素质人才培养目标贡献力量。