图像处理与分析课程工程硕士教学案例库设计

滕升华 白培瑞 孙农亮

摘 要：图像处理与分析课程具有很强的理论性与实践性，非常适合采用案例教学。基于该课程特点及工程硕士培养要求，融合图像处理经典方法与人工智能最新技术，以图像信息处理的典型应用开发为基础设计教学案例库。阐述案例库设计意义、要求与成果形式，聚焦成像质量增强、日常生活与工业应用、医学图像分析等方面设计若干案例。

关键词：图像处理与分析;工程硕士培养;教学案例库

DOI：10. 11907/rjdk. 201170                                                                                                        开放科学（资源服务）标识码（OSID）：

中图分类号：G436    文献标识码：A                               文章编号：1672-7800（2020）011-0259-03

The Design of Teaching Case Library for Master of Engineering in

Image Processing and Analysis

TENG Sheng-hua， BAI Pei-rui， SUN Nong-liang

（College of Electronic and Information Engineering， Shandong University of Science and Technology，Qingdao 266590，China）

Abstract：The course of Image Processing and Analysis is highly theoretical and practical， and is very suitable for case teaching. Based on the course characteristics and the training requirements for master of engineering， the classic methods of image processing and the latest development of artificial intelligence are fused to design a teaching case library starting from the typical application of image information processing. The meaning， requirements and results of the case library design are clarified， and several cases are designed focusing on the three aspects of enhanced imaging quality， daily life and industrial applications， and medical image analysis.

Key Words：image processing and analysis; master of engineering; teaching case library

0 引言

圖像处理研究与应用在航天、军事、工业、医疗、安防等诸多领域一直是热点 [1]。近几年，以深度学习为代表的人工智能技术直接催生与图像处理相关的众多应用。

高校电子信息、计算机、遥感、自动化、生物医学等专业均开设图像处理相关课程。鉴于学校层次、专业及学生基础差别，图像处理课程在内容上各有侧重。图像处理、图像分析和图像理解代表图像信息处理由低到高的不同层次。以改善图像质量和存储效率进行目标检测、测量与描述，实现对图像内容的辨别、理解和场景解释，用来指导和规划行动。图像处理与分析研究生课程核心内容是利用各种处理手段改善图像质量，提取图像信息用于目标识别、场景分析及控制决策等，包含以图像为输入、解决复杂工程问题的基础性关键技术。

工程硕士专业学位与工程领域任职资格相联系的学位处于同一层次，但类型不同，工程硕士专业学位侧重于工程应用[2]。从工程硕士教学角度，图像处理与分析课程既有坚实的理论基础，又与实际应用紧密结合，通过课程的有效学习，启迪科学思维、提高专业实践能力。基于课程特点及工程硕士培养要求，融合图像处理经典方法与人工智能最新发展，针对图像信息处理的典型应用开发建设教学案例库并在教学中应用，引导学生进行相应的研究与开发，能够更好地提高课程教学实效性，强化工程硕士的实践应用能力，培养创新创业能力，带动教学内容与教学方法改革，提高工程硕士教育教学质量[3]。

1 图像处理案例库发展现状

目前国家级和部分省级精品课程、精品资源共享课、精品在线开放课程中的图像处理课程[4-5]，主要来自上海交通大学、武汉大学、北京交通大学、西安电子科技大学、天津理工大学等;国外高校有美国斯坦福大学（EE368/CS232）[6]、内华达大学（CS474/674）[7]等图像处理教学网站。在图像处理教学方面，相关院校普遍采用理论与实践相结合方式。理论部分一般是课堂教学，教学内容主要是图像概念及成像基本原理，图像变换、增强、复原、分割、描述及基本的分類识别原理与算法。实践教学部分包括图像处理算法原理的巩固、融合与应用，教学形式包括实验、上机作业和期末课程项目等。

尽管在高校图像处理教学网站上能够找到教学大纲、课件、实验指导书、项目报告以及部分图像处理的源代码，但包括出版物在内目前还没找到系统完整的图像处理教学案例库。梳理现有教学资源，与教学案例库最为接近的是各种实验与课程项目。从面向专业学位研究生教学角度看，图像处理实验在综合性和实践性方面还有差距;课程项目一般是学生自由选题，项目质量与难易程度不一。文献中有关图像处理案例教学讨论主要集中于案例教学优势特点、组织方式、实施范例等[8-15]，部分文献设计了少量基础性案例，但从层次上看难以满足研究生教学要求[16-17]。

近年来人工智能在图像处理方面成功应用，围绕智能交通、智慧医疗、机器人、工业自动化、智能安防、购物、娱乐等方面的案例和产品层出不穷，谷歌、亚马逊、腾讯、百度等高科技公司也开放了若干与图像处理开发相关的资源，以GitHub为代表的开源网站提供了丰富的学习与应用资源。本文面向工程硕士研究生教育需求，对图像处理与分析课程教学内容进行总体筹划，体现图像处理最新发展成果，形成覆盖面广、可用性强、基础性与高层次并重的教学案例库。

2 案例库设计要求与形式

2.1 设计要求

建设面向工程硕士的图像处理与分析课程教学案例库，要注重“科学研究与教学案例相结合，理论与实践相结合”，突出课程教学重点，基于图像处理实际应用场景，开发符合案例教学要求、与国际接轨的高质量教学案例库。

案例库设计要体现以下特点：

（1）服务对象明确，适应专业学位教学要求。教学团队专门针对工程硕士开发教学案例，通过解决实际问题培养学生知识运用与实践创新能力。

（2）紧密联系课程内容，强化知识融合与拓展。开发的教学案例覆盖图像处理与图像分析重点内容，不是过往知识的简单再现，而是包含多个新知识点，集运用、扩展与提高于一体。

（3）可操作性强。每个案例都以编程实现，在常规计算机或微处理器硬件平台上运行，实现过程清晰明了，方便学生进行程序调试、修改处理、对比处理结果等。

（4）覆盖面广、处理方法先进。教学案例开发融合了图像处理与人工智能的最新发展成果，涉及复杂场景成像、医学、工业及日常应用等多个场景，通过经典方法与最新成果对比启迪创新思维。

2.2 案例库成果形式

每个案例设计成一个独立的教学内容，依托具体图像处理问题或实际应用，融合图像处理理论、方法和技术，巩固课程学习内容，强化应用能力培养，包括以下内容：

（1）案例开发报告与使用说明。编写文档，阐明案例设计基本原理、实现方法和运行结果，提供教学案例使用指导书。

（2）源代码。通过高级语言编程实现图像处理与分析案例，依据案例不同的实现要求选择Matlab、Python或C/C++编程语言。

3 案例库内容设计

图像处理与分析课程教学案例库设计要尽可能多地覆盖课程核心内容，突出图像处理典型应用，结合研究热点确定案例库应包含以下方面。

3.1 成像质量增强

（1）恶劣气象条件下的清晰成像（雾、沙尘、雨、雪等）。室外图像采集质量会受到气象条件影响。针对雾和沙尘场景，利用暗通道先验建立雾和沙尘天气的大气散射模型，进而利用图像复原法去除雾和沙尘影响;对雨、雪图像的处理包括雨雪检测和去除两个步骤，需要综合利用各种滤波方法。

（2）水下图像增强。水下成像主要问题是颜色失真及清晰度下降。颜色失真采用白平衡、直方图均衡化与Retinex方法校正;水下图像模糊原因是水下光线散射或相机镜头未达到理想对焦造成散焦模糊、水下湍流造成高斯模糊、水体或鱼群运动造成运动模糊，针对不同情形建立图像退化模型，利用维纳滤波恢复。

（3）交通实景下运动目标恢复。运动图像恢复的前提是已知运动参数，但并不适用于真实场景。对交通监控探头拍下的车辆行驶图像进行处理，根据局部模糊性质分割出运动区域，利用Radon变换估计运动参数，通过维纳滤波实现运动区域复原。

（4）个人定制“美颜”成像。模拟手机拍摄美颜效果。主要步骤包括：①用具有保边效果的滤波算法对图像进行模糊处理;②用肤色检测算法保护非皮肤区域;③将模糊后的图像及原图进行图像融合;④对融合后的图像进行锐化处理。综合利用空域滤波、区域分割与图像融合算法。

（5）高动态范围图像（High-Dynamic Range，HDR）合成。相比普通图像，HDR可提供更多的动态范围与图像细节。实现原理：根据多幅不同曝光时间得到的低动态范围图像（Low-Dynamic Range，LDR），利用每个曝光时间相对应的最佳LDR图像合成最终HDR图像。主要步骤包括：①图像配准，在有运动的情况下精确配准输入图像;②恢复不同曝光图像的辐射度;③计算各图像权重值，实现图像合成。

（6）全景拼接。将多幅图像拼接成一幅宽幅图像，处理步骤如下：①利用尺度不变特征变换（Scale-invariant feature transform，SIFT）算子检测并提取图像特征点;②使用随机一致性采样（RANdom SAmple Consensus，RANSAC）算法进行图像匹配，找出图像间重叠部分;③通过透视变换，将图像投影到一个新的视平面，将图像间的重叠部分进行拼接。

3.2 生活与工业应用

（1）活体指纹识别。指纹识别系统需要具有活体指纹检测能力以排除指模欺骗。获取的原始指纹图像往往具有噪声且包含大量空白前景，要设计指纹图像分割算子裁剪指纹，利用导向滤波去噪;为利用噪声分量等尖锐信息，在得到去噪图像的同时还要综合使用原始裁剪后的图像，采用相邻局部二值模式（Local binary patterns，LBP）方图提取图像特征，结合支持向量机（Support Vector Machine，SVM）分类器实现活体指纹识别。

（2）人脸表情识别。基于卷积神经网络（Convolutional Neural Networks，CNN）进行局部特征融合的人脸表情识别。处理步骤包括：①构建CNN模型学习眼睛、眉毛、嘴巴3个局部区域特征;②将局部特征输入SVM多分类器获取各类特征的后验概率;③通过粒子群寻优算法优化各特征的最优融合权值，实现正确率最优的决策级融合，完成表情分类。利用JAFFE人脸数据库[18]，对生气、厌烦、恐惧、开心、平常、伤心、惊讶等7种表情进行分类。

（3）停车场车牌识别。停车场车牌识别技术已经比较成熟并得到广泛应用。作为教学案例，处理步骤包括：①采集图像并进行预处理，进行图像亮度归一化以去除光照变化的影响;②根据车牌颜色特征进行图像分割、利用投影法实现车牌定位;③在车牌区域进行字符分割，训练卷积神经网络CNN分类器实现字符识别。

（4）基于图像处理的煤矸石筛选。利用图像处理方法对监控视频中的原煤图像进行分类。处理步骤包含：①采用背景差分法将原煤从视频中分离出来，在帧图像中截选窗口图像用于识别;②选取HSV（色调Hue，饱和度Saturation，明度Value）颜色空间、灰度值的低阶矩作为颜色特征，灰度共生矩阵的能量、对比度、相关性、熵以及Tamura纹理的粗糙度、对比度、方向度作为纹理特征;③提取描述图像颜色和纹理信息的28个特征参数，利用Relief算法计算权重，表征特征在分类中的贡献度，进行特征选择;④利用K近邻与支持向量机SVM进行煤矸石筛选，比较这两种分类器性能。

（5）输煤皮带接头断裂检测。布设相机采集皮带的运行视频、监测皮带接头状态，步骤如下：①通过几何变换将图像中皮带方向校正为水平，增强对比度以提高图像质量;②利用基于模板重构剪影的接头检测方法筛选出接头图像，利用灰度投影确定接头位置;③采用多图谱标记法评判接头状态。

3.3 医学图像分析

（1）多模态医学图像配准与融合。前述案例包含图像配准融合内容，但方法不适用于多模态（成像方式不同）图像间的配准。以人体头部磁共振成像MRI和计算机层析成像CT配准为例，将互信息作为相似性度量进行配准;采用空间结构融合算法实现图像融合，最后通过主观验视及计算交叉熵评判图像融合效果。

（2）血液细胞识别与分类。以血液细胞图像中红细胞白细胞识别统计为例，对血液图像进行预处理。利用中值滤波去噪与数学形态学改善图像质量;分析血液細胞的生物特征与几何特征，利用阈值分割与支持向量机实现红白细胞分割与识别;通过连通算法及分水岭算法统计细胞数量，对比统计结果、分析不同算法性能与影响。

（3）肺结节筛查。利用深度信念网络DBN进行肺结节检测。肺结节在空间上是一个三维类球体，将肺结节进行三维重建并将重建后不同大小的肺结节归一到不同尺度的立方体中;将不同视角的2.5维切片作为深度信念网络的输入数据，最后通过不同的融合策略进行肺结节识别。在LIDC-IDRI肺癌数据集[19]上进行实验，统计肺结节检测的敏感度及假阳性率。

4 结语

依据课程特点，在工程硕士培养中强化案例教学具有积极意义。本文着眼于工程硕士的教学需求，设计了图像处理与分析课程教学案例库。在分析总结相关课程案例库基础上制定案例库设计要求与形式，结合课程内容与典型应用设计了若干教学案例。后续工作将聚焦建设高质量的案例库，并使之在教学中发挥应有作用。

参考文献：

[1] 冈萨雷斯. 数字图像处理 [M]. 第3版. 阮秋琦，阮宇智，译. 北京：电子工业出版社，2013.

[2] 中国学位与研究生教育信息网. 工程硕士专业学位设置方案[EB/OL]. http：//www.cdgdc.edu.cn /xwyyjsjyxx/gjjl/szfa/gcss /263536.shtml.

[3] 傅伟锋，唐贤清. 美国研究生案例教学及启示[J]. 湖南师范大学学报（教育科学），2016，15（5）：124-128.

[4] 爱课程. 资源共享课程[EB/OL]. http：//www.icourses.cn/mooc/.

[5] 爱课程. 中国大学慕课[EB/OL]. https：//www.icourse163.org/.

[6] STANFORD UNIVERSITY.EE368/CS232 digital image processing[EB/OL]. https：//web.stanford.edu/class/ee368/.

[7] UNIVERSITY OF NEVADA，RENO. CS474/674 Image processing and interpretation[EB/OL]. https：//www.cse.unr.edu/～bebis/CS474/.

[8] 肖红，戴庆. 案例教学法在数字图像处理课程中的应用[J]. 长江大学学报（自然科学版），2010，7（2）：384-385.

[9] 赵洁，张艳，武斌. 实验案例教学法在数字图像处理课程教学中的应用[J]. 天津城市建设学院学报，2013，19（3）：231-234.

[10] 李大湘，王小雨. 基于OpenCV的视频图像处理与分析课程案例教学设计与应用[J].  现代计算机（专业版），2018，17（31）：41-44.

[11] WANG Z H， GUO J. Teaching and practice mode reform in digital image processing curriculum[J]. International Journal of Information and Education Technology，2017， 7（7）：557-560.

[12] 郭琳琴，杨艳. 数字图像处理数学方法课程案例教学探讨[J]. 吕梁学院学报，2018，8（6）：79-82.

[13] 胡学龙，陈舒涵，孙磊. 图像处理类课程的混合式教学实践[J]. 工业和信息化教育，2018（11）：37-41.

[14] 李林宜. 图像处理与分析课程案例教学研究[J]. 北京测绘，2016，15（1）：148-151.

[15] 王俊祥，赵怡，傅莉，等. 基于工程教育背景的数字图像处理课程特色教学案例设计[J]. 中国多媒体与网络教学学报，2018，17（9）：147-148.

[16] 陆玲，何月顺，李祥，等. 基于案例的数字图像处理教学方法改革[J]. 教育教学论坛，2020，19（6）：113-114.

[17] 刘海英， 郭俊美， 赵红梅.  案例教学在数字图像处理与应用课程中的探索研究[J]. 科技视界，2018，254（32）：139-141.

[18] JAFFE.The Japanese female facial expression database[EB/OL].  http：//www.kasrl.org/jaffe.html.

[19] NATIONAL CANCER INSTITUTE. The lung image database consortium [EB/OL].  https：//wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI.

（責任编辑：杜能钢）