数字图像处理课程综合性实验的设计与实践

魏晗 郭志刚 唐永旺

摘 要：数字图像处理课程是一门综合性课程，培养学生在掌握数字图像处理典型算法的基础上具备一定的编程实践能力。为此，本研究设计了一个需要灵活运用图像增强去噪等预处理、图像特征提取、图像分割和识别等理论知识的综合性实验——新闻视频中文字区域的提取。学生自主设计算法、编程实现并完成实验报告。该实验能够激发学生的学习热情，培养学生的创新能力，提高学生分析问题和解决问题的能力。

关键词：数字图像处理;综合性实验;视频文字分割

数字图像处理是现代信息处理技术的重要研究领域，其应用已经渗透到军事、航空航天、工业、农业、生物、医学、社会安全、生活娱乐等领域。随着数字图像处理重要性的提高，国内外许多高校的计算机应用、电子信息工程、遥感、生物医学等多个专业陆续开设数字图像处理课程作为专业基础课。这是一门涉及多领域的交叉学科，具有很强的理论性和实践性。基于此，本研究设计了数字图像处理综合性实验——新闻视频中文字区域的提取。该实验综合性强，包括了图像增强去噪等预处理、图像特征提取、图像分割和识别等。通过对该实验的编程实现，教师可以加强学生对数字图像处理原理的理解和掌握，培养学生的综合实践能力。

一、数字图像处理课程综合性实验的设计

数字图像处理课程的一个重要部分就是实验教学。为了培养学生的综合实践能力，笔者设计了新闻视频中文字区域的提取这一综合性实验，通过开放性的实验设计，培养学生解决问题的能力和创新思维能力。该内容包括：对图像进行预处理、进行新闻视频中文字特征的提取、对新闻视频中的字幕区域进行分割、对每个字符进行分割、对分割出来的字符进行识别。

（一）综合性实验选题背景的介绍

新闻视频中的文字能够提供很好的高层语义信息，有助于提高受众对视频内容的整体理解程度。因此，新闻视频文字的提取和识别成为新闻视频检索技术中的重要内容。

新闻视频文字一般包括两类：场景文字和叠加文字。场景文字是指在图像或视频拍摄过程中原始画面的一部分，如道路指示牌等;叠加文字是指在图像或视频后期制作过程中人工添加的文字，如字幕等。叠加文字主要有四个显著特点：文字一般位于前景，文字和背景间具有较高的对比度;文字通常按固定的方向排列，一般呈水平排列，字符间距保持不变;文字存在一个最小尺度，一般没有上限;同一行文字的字体和字号通常保持一致，且具有相同的颜色。正是这些特点的存在使得对叠加文字的提取和识别成为可能。

（二）综合性实验选题方法的介绍

在整个视频文字的提取过程中，主要困难在于特征的提取和选择，具体表现在以下几个方面。文字的分辨率较低，一般文字只占画面中很小的一部分，如在352×480的新闻视频中，标题条文字的高度一般只有12个像素。文字叠加于背景上，而背景千变万化，其颜色、纹理都十分丰富，难以描述其与文字的本质区别。文字的字体、颜色、风格和空间排列等属性的多样性变化，使得通用性的模板设计困难。

目前，文字检测方法主要有三类：基于边缘的文字检测方法、基于纹理的文字检测方法和基于区域的文字检测方法。

在设计算法时，可以利用某一种特征，也可以综合利用某两种或全部特征来提高文字区域检测的准确率。

二、数字图像处理课程综合性实验的实践

下面从实验准备、实验讨论、算法实现和实验总结四个方面来介绍笔者在实验教学中所进行的探索、尝试和成果。

（一）实验准备

在实验教学开始前，学生已经具备了数字图像处理的基础知识，如图像增强、图像分割、图像特征提取、图像形态学等，也已经具备简单的图像处理和分析能力，能够对简单图像算法进行编码实现。为进一步提高学生发现问题、提出问题、分析问题和解决问题的能力，笔者设计了新闻视频中文字区域的提取这一综合性实验。

（二）实验讨论

教师给出原始图像（如图1所示），然后引导学生去思考文字区域和背景区域的不同，分组讨论视频文字的特征并引导学生设计尽可能多的算法，进行头脑风暴，形成思维导图。教师在课堂讨论过程中要鼓励学生提出不同看法和意见，并对讨论中未涉及的知识点进行及时补充。

（三）算法实现

開放性的实验能够激发学生的兴趣，因此，学生对该实验实现的热情很高。在教师的指导和启发下，不同的学生就设计或选取了不同的算法来进行新闻视频中文字区域的提取。

吴杰等学生实现了一种基于Sobel算子、最大梯度图像及投影检测的文字区域检测算法，提出的设计步骤为：（1）取出RGB三个分量，对三个分量分别进行Sobel算子运算，并去除小面积对象;（2）取出最大梯度图像，即取出经过Sobel算子处理过的RGB三个分量的最大值（如图2所示）;（3）对最大梯度图像进行水平方差投影（如图3所示），图中竖线为自动阈值，设置自动设置阈值（Tv=max（Vv）*0.3+min（Vv）*0.7），从而得到水平方向上的字幕区域（如图4所示）;（4）对图4得到的图像区域进行垂直方差投影（如图5所示），设置自动设置阈值，从而得到水平方向上的字幕区域，综合水平与垂直方差投影得到的区域即为最终得到的字幕区域（如图6所示）;（5）对字幕区域求均值，大于均值置为1，小于均值置为0，可进行字符分割（如图7所示）。

查雄等学生实现了一种利用边缘检测与角点检测颜色信息综合处理对新闻视频中的文字区域进行提取，提出的设计步骤为：（1）对图像进行预处理;（2）进行新闻视频中文字特征的提取;（3）对新闻视频中的字幕区域进行分割，提取出字幕区域后利用Harris角点进行二值化提取。查雄是所有学生中第一个提出尝试利用角点进行文字的分割的学生。另外，在实验总结时，教师应引导学生分析：（1）当定位的时候，结合一笔画和纹理的优势，混合检测效果是否更好;（2）最后进行形态学处理，运用“腐蚀膨胀”效果是否更好。

（四）实验总结

每个学生在实验中实现了自己的设计算法，并进行总结。实验完成后，学生普遍反映完成这样的综合性实验收获很多。丰一伟等学生总结道：很简单的一个想法，编程实现过程中却需要考虑很多东西，而且循环中逻辑性的错误更是难以发现，需要设定断点一步一步地看数据变化来寻找逻辑问题，直到最终的结果呈现，该实验使自己的编程能力有了一个较大的提升，培养了自己的编程思维。

三、结语

数字图像处理课程是一门实践性很强的专业课程，笔者在实验教学中设计了新闻视频中文字区域的提取这样一个源于实际需求且难易适中的综合性实验。该实验内容包括了图像处理的大部分理论知识点，如对图像进行增强去噪等预处理、对图像进行新闻视频中文字特征的提取、对图像中新闻视频中的字幕区域进行分割等。在实验过程中，学生尝试利用角点、纹理、形态学、滤波等图像专业知识提高文字分割准确度。学生对实验非常感兴趣，做实验的热情很高，实验中遇到问题能够在教师的引导下自己想办法解决。该实验充分发挥了学生的主观能动性，激发了学生的创新能力。实践表明，综合性实验的设计能够激发学生的学习兴趣，全面提高学生发现问题、提出问题、分析问题和解决问题的能力。

参考文献：

[1]朱娟花，吴昂.MATLAB在数字图像处理课程教学中的应用[J].实验室科学，2011（1）.

[2]滕升华，王芳，赵增顺，等.IntelIPP在数字图像处理综合实验中的应用[J].实验室科学，2016（5）.

[3]田破荒，彭天强，李弼程.基于文字穿越线和笔画连通性的视频文字提取方法[J].电子学报，2009（1）.

[4]陈刚，郭志刚，魏晗.公开源情报分析中的案例式教学方法设计[J].教育教学论坛，2018（34）.

责编：初 心