视频图像关键帧去噪及信息提取研究

谢婷婷 杨祖恒 陈美松 王朋豪 张鹏程 杨滟涛

课题：西南石油大学第十九期（2019-2020年度）大学生课外开放实验校级重点项目，编号：KSZ19906 指导教师：丁显峰

摘要：随着科技的进步，如何快速从图像或视频中提取出信息成为研究的热点。因为种种外界因素，图像或视频不一定清晰，本文通过比较选取了中值滤波去噪算法对视频中所提取的关键帧进行去噪处理，处理后的图像利用数学模型进行图像坐标系和现实坐标系的转换，从而得到有用的视觉情报信息，实验证明本文方法有效可行。

关键词：图像视频;中值滤波去噪;关键帧;信息

1 引言

图像中需要被检测出来的运动目标称为前景，前景是视觉任务中感兴趣的区域，图像中除去前景部分称为背景，是视觉任务中要忽略的区域，进行运动目标检测的目的就是提取出视频帧中的前景区域，方便下一步进行运动目标识别或运动目标跟踪。在一个复杂场景的图像中难以准确地定义出什么是前景，尤其是在光线渐变、突变、动态背景伪装效应、阴影，鬼影等具有挑战性的场景中，准确地定义出前景并且提取出前景是一件非常困难的任务[1]。本文通过研究对视频帧序列图像中容易出现的干扰噪声、颜色相似等因素的影响，对图像进行去噪和形态学处理，使得图像中目标特征信息更加明显，有利于目标图像的检测提取。

2 视频关键帧提取

视频的本质是一种由图像快速播放而得的，视频的组成是由一组时间和内容相关的图像组成的。视频技术包含对静态图片的捕捉、操作和存储。视频播放利用了人眼的局限性。由于人眼存在视觉暂留现象，当每秒钟刷新显示的图像帧数大于24 张时，人类会误认为这些单独且为静态的图像是运动的，从而得到连续的观看体验，能够提供这类观看体验的连续图像被称作视频[2]。因此，视频的本质就是图片，频率一般为25张图片/秒，即25帧/秒（这便是帧率的概念）。因为Matlab编译简单，语言容易学习，实际操作简单，同时在图像处理方面应用广泛，因此运用Matlab按照一定的时间间隔截取视频关键帧并保存为图片从图片中筛选出我们所需要的关键帧，然后进行中值滤波去噪处理。

3 图像去噪算法选择

3.1图像去噪一般算法比较

图像在各种传达或输送过程中，多种不同的噪音或其他干扰都会对图像造成影响，因此，输送的图像的品质以及质量将会受到不同程度的受损，对于人类的视觉系统进行图像分析以及传感器对图像的系统分析和理解会造成一定程度上的阻碍，对于人们进一步的图像处理的需求也有很大的阻碍，因此需要进行图像去噪。图像去噪的经典算法主要有均值滤波、中值滤波、高斯滤波。滤波就是对原来图像的每个像素周围一定范围内的像素进行运算，但运算通常分为两种，当运算只是对各像素灰度值进行一个简单的处理（如乘一个权值）最后求和，称之为线性滤波;但如果对像素灰度值进行比较复杂的运算，而不是简单的处理求和运算，就称之为非线性滤波。所以高斯滤波、均值滤波是线性滤波，中值滤波和双边滤波是非线性滤波[3]。

同时不同的滤波器在处理不同类型的噪声是效果不同，对于线性平滑滤波，在处理像素邻域内的噪声点时，噪声或多或少都会影响该点的像素计算（以高斯平滑为例，距离近则影响大，距离远则影响小，与距离的平方呈反比）;但是中值滤波一般可以将噪声点直接忽略掉。同时，中值滤波在降噪的同时引起的模糊效应较低。所以本文采用中值滤波來消除椒盐噪声。

3.2中值滤波去噪算法

无论平均平滑还是高斯平滑，在处理图像噪声时，都或多或少会对图片产生一 定的模糊，损失部分信息。较为理想的情况，是可以选择性地进行滤波，只在噪声区域进行平滑，而在无噪声区域不进行平滑，将模糊的影响降到最低[4]，这就是自适应性滤波的思想。通常噪声的存在，可能会使得附近邻域内，极值的上下差距较大，或者是方差较大，我们可以设置一定的阈值来判断该点是否需要进行平滑。这时就可以采用中值滤波，中值滤波本质上是一个统计排序滤波器，是以该点为中心的的邻域内的所有像素的统计排序中值作为该点的响应。

4 实验分析及结果

4.1关键帧提取

对于一段视频，也可以称之为图像序列，首先运用Matlab按照一定的时间间隔将视频截取为图片储存于文件中，然后选取所需要研究的图片进行去噪处理，如此便将连续的视频图像转化为单幅的静态图片，更有利于情报信息的提取。以下便是将一段视频按照一定的时间间隔截取。

4.2图像去噪

从视频中提取出关键帧后利用MATLAB进行图像去噪处理，首先对原图像进行色彩处理得到黑白图像，由图1变为图2。

之后利用MATLAB采用中值滤波消除椒盐噪声得到如下清晰图像。

4.3坐标转换

处理完成的图片建立针孔成像模型，将像素坐标二次转化为图像坐标，图像坐标经过透视投影变为相机坐标，相机坐标利用刚体变换得到了现实坐标，从而从图像中提取出有效的视觉情报信息。

处理完成的图片建立针孔成像模型，将像素坐标二次转化为图像坐标，图像坐标经过透视投影变为相机坐标，相机坐标利用刚体变换得到了现实坐标[5]，从而从图像中提取出有效的视觉情报信息，即可计算得到两点间的距离为4.893米。

5 结论

本文提出了利用中值滤波对图像进行去噪处理，运用Matlab语言进行视频关键帧提取，对图像处理完毕后，采用数学模型进行图像坐标系和现实坐标系的转换，有效提取视频图像中的情报信息。

参考文献：

[1]许辰铭. 视频图像中的运动目标检测与跟踪[D].南京邮电大学，2012.

[2]强子谦.基于运动矢量的视频关键帧提取及虚拟现实显示方法研究[D].天津大学，2018.

[3]于虹，甄彤.图像去噪经典算法研究[J].信息与电脑（理论版），2020，32（14）：66-67.

[4]]张铮， 王艳平， 薛桂香. 数字图像处理与机器视觉[M].人民邮电出版社， 2010.

[5] 刘美连. 基于多视图三维重构目标电磁散射计算方法研究[D].西安电子科技大学，2018.

作者简介：谢婷婷（2000.05.10—），女，汉族，陕西省宝鸡市人，本科在读，研究方向：数学与应用数学。

西南石油大学理学院 四川 成都新都区 610500