视频序列中ROI的提取方法研究

伍彩红

摘 要 由于受光照、天气、噪声等因素影响，使得对视频序列中运动目标的检测成为一项比较困难的工作。本文首先对视频做分帧、灰度化等预处理，采用一种基于改进了的背景差分法对图像序列进行检测，提取人体二值图像，并利用数学形态学对二值图像中存在的孔洞和噪声点进行相应的处理，以人体最小外接矩形的高为边长，提取感兴趣的运动区域（ROI）。

关键词 运动区域提取 数学形态学 最小外接矩形

中图分类号：TP391.41 文献标识码：A

ROI Extraction Method in a Video Sequence

WU Caihong

（Wuhan Yangtze Business University， Wuhan， Hubei 430065）

Abstract Due to the effect of factors such as light， weather， noise， so about the detection of moving object in video sequences is a relatively difficult work. At first， this article making corresponding pretreatment for the videos such as separating frame and making gray， extracting human binary image based on an improved background difference method and using mathematical morphology processing the holes and noise point existed in binary images. With the high of minimum circumscribed rectangular as side length， extracting the Region of Interest （ROI）.

Key words moving region extraction； mathematical morphology； the minimum circumscribed rectangle

0 引言

运动目标检测涉及视频图像处理、人工智能以及模式识别等领域，是运动图像分析、人机交互、视频监控等领域的重要处理环节，具有较强的研究价值和意义。运动检测在很多领域有着非常重要的作用，例如在商场、停车场、银行等公共场所应用运动目标检测技术，能够帮助监控人员及时发现公共场所的异常行为，防止偷盗、破坏等行为的发生，保证社会的安定。人体运动目标检测的主要任务是从图像序列中检测感兴趣的运动目标，将其与背景分开，并且获取物体及运动的相关参数用于后续的处理。通常情况下一个理想的目标检测方法能够应用到各种环境中，能够对外界因素的干扰具有鲁棒性。但是在实际情况中由于受光照、天气、噪声等因素的影响，使得运动目标检测成为比较困难的工作。目前还没有统一的目标检测算法专门对人体行为进行检测，大都是针对具体的运动环境进行分析解决的，因此根据不同的背景环境可采取不同的人体行为检测方法。本文提出了一种有效的运动目标检测方法，利用该方法能够正确地提取感兴趣的运动区域（ROI）。

1 预处理

1.1 分帧处理

本文数据集选取的是Weizmann数据库①中的人体行为运动的视频，每段视频表示一种行为，共5种行为，分别为：“走”（walk）、“跑”（run）、“侧向跑”（side）、“双脚跳”（jump）、“单脚跳”（skip），由9个不同的人完成。视频是在时域上图像序列的扩展，帧是组成视频的最小单位，代表单幅的图像。首先，将每段视频分帧，转化为人体行为图像序列。分帧后的图像序列是呈离散、静态规律的。假设一个包含有帧，大小为€椎耐枷裥蛄校硎镜谥⊥枷瘢渲？= 1，2，…，，将按列堆叠成一个维的向量，其中 = €祝蛘霭⊥枷竦男蛄锌梢员硎疚卣蟮男问剑？= 。将每段视频转化为图像序列后，对图像序列加矩形窗，每10帧为一个窗（作为一个样本），窗与窗之间重叠的帧数为5，则每个图像序列可分为（）个样本，为每段视频的帧数。

1.2 图像序列的灰度化处理

将原始视频进行分帧处理后，接下来的工作就是对图像序列进行简单的预处理。由于摄像头采集的AVI格式的视频是彩色的，将其进行分帧后得到的是24位彩色的JPG格式的图像序列，每帧图像大小为180€？44€？，这样图像的数据量较大，对后面识别速度的影响非常大。为减小计算复杂度，需要对彩色图像进行灰度化处理，将其转变成大小为180€？44的256级灰度图像。灰度图像是一个数据矩阵，只包含图像的亮度信息，不包含图像的色彩信息。灰度矩阵可以是unit8类型也可以是double类型，其取值范围分别为[0，255]和[0，1]。矩阵中的每一个元素代表一个像素点，也就是代表不同的亮度或者灰度级。其中亮度为0表示黑色，亮度为255（或者double类型的1）表示白色。

2 运动目标提取

由于本文研究的是在静态背景下提取感兴趣的运动目标（ROI）的方法，在摄像机不动的情况下，视频序列相邻两幅图像之间的差别主要由运动目标的位置变化以及噪声、光照和天气等外界因素的影响。②本文采用一种基于改进了的背景差分方法检测运动目标。

图像序列在摄取和传输的过程中易受到噪声的干扰，并且本文所用数据集是在户外拍摄的，也会受天气、光照等因素的影响，所以在进行目标检测时要对背景进行实时更新，选用中值滤波的方法建立背景模型，③提取与图像序列对应的图像背景并保存。endprint

本文进行目标检测的原理流程如图1所示，（，）表示视频中当前第帧图像，（，）表示对应的背景图像，（，）表示当前第帧图像与对应的背景帧图像相减的结果图像，（，）表示对结果图像（，）进行二值化的图像，后处理主要是对二值图像（，）进行数学形态学处理和连通性分析，若某一连通区域面积大于给定的阈值，则认为检测到运动目标，并认为该区域为运动目标所处范围，从而也可以确定运动目标的最小外接矩形。其中：

（，） = ∣（，）（，）∣ （1）

（2）

公式（2）中的T为门限阈值。

图1 人体运动目标检测原理流程

3 数学形态学后处理

经过目标检测后所提取的人体行为样本是二值图像，由于所选视频中部分运动人体的衣服颜色与背景图像颜色接近以及噪声的干扰，检测后得到的人体运动区域不一定是完整清晰的，一般会包含孤立的噪声点和孔洞，需要对这些样本图像进行一定的后处理，主要目的是去除小区域的孤立噪声点和填充小孔洞。为进一步得到完整清晰的二值轮廓图像，本文采用数学形态学处理的方法解决以上问题。

数学形态学（Mathematical Morphology）是建立在集合理论基础上的学科。④在数学形态学运算中腐蚀和膨胀是最基本的运算，腐蚀能够消除运动区域周围的边界点，但图像最终的腐蚀效果与图像自身和所选择的结构元素的形状大小有关，采用不同形状和大小结构元素对原图像腐蚀效果也不同。与腐蚀运算的作用正好相反，膨胀运算能够扩大图像的边界。但是它与腐蚀一样，最终的膨胀效果也受图像自身和所选择的结构元素的形状大小的影响。效果如图2所示。

图2 数学形态学处理

4 感兴趣区域（ROI）提取和图像归一化

前面的工作已经对运动目标进行了检测，并做了相应的后处理，得到了人体二值图像序列。为了去除人体二值图像中的冗余信息，本文以最小外接矩形的高为边长，提取正方形的区域，即提取感兴趣的运动区域（ROI），外接矩形框的提取如图3所示。由于每个运动人体的体重和身高不同，并且每个人在运动过程中最小外接矩形的高与宽也是时刻变化的，因此在提取ROI后还要将其归一化为相同大小的图像，本文统一将ROI归一化为60€？0大小的图像，如图4所示。

图3 人体最小外接矩形框的提取

图4 将大小为180€？44的ROI归一化为60€？0大小的图像

5 结论

本文采用一种基于改进的背景差分法对人体行为进行检测，提取人体运动的二值图像。利用数学形态学中腐蚀与膨胀基本算子对样本图像进行后处理，消除样本图像中的噪声点和孔洞。并以最小外接矩形的高为边长，从二值图像中提取正方形区域，即感兴趣的运动区域（ROI），去除图像的冗余信息。通过实验证明该方法能够有效提取感兴趣的运动区域（ROI）。

注释

① http：//www.wisdom.weizmann.ac.il/～vision/SpaceTimeActions.html#Classification%20Database.

② Y.H. Yang， M.D. Levine. The background primal sketch： an approach for tracking moving objects. Machine Vision and applications.5（1992）：17-34.

③ LO B P L， VELASTIN S A. Automatic congestion detection system for underground platforms[C]. Proceedings of 2001 International Symposium on Intelligent Multimedia Video and Speech Processing. New York： IEEE.2001：158-161.

④ 孙即祥.图像分析[M].北京：科学出版社，2005.endprint

本文进行目标检测的原理流程如图1所示，（，）表示视频中当前第帧图像，（，）表示对应的背景图像，（，）表示当前第帧图像与对应的背景帧图像相减的结果图像，（，）表示对结果图像（，）进行二值化的图像，后处理主要是对二值图像（，）进行数学形态学处理和连通性分析，若某一连通区域面积大于给定的阈值，则认为检测到运动目标，并认为该区域为运动目标所处范围，从而也可以确定运动目标的最小外接矩形。其中：

（，） = ∣（，）（，）∣ （1）

（2）

公式（2）中的T为门限阈值。

图1 人体运动目标检测原理流程

3 数学形态学后处理

经过目标检测后所提取的人体行为样本是二值图像，由于所选视频中部分运动人体的衣服颜色与背景图像颜色接近以及噪声的干扰，检测后得到的人体运动区域不一定是完整清晰的，一般会包含孤立的噪声点和孔洞，需要对这些样本图像进行一定的后处理，主要目的是去除小区域的孤立噪声点和填充小孔洞。为进一步得到完整清晰的二值轮廓图像，本文采用数学形态学处理的方法解决以上问题。

数学形态学（Mathematical Morphology）是建立在集合理论基础上的学科。④在数学形态学运算中腐蚀和膨胀是最基本的运算，腐蚀能够消除运动区域周围的边界点，但图像最终的腐蚀效果与图像自身和所选择的结构元素的形状大小有关，采用不同形状和大小结构元素对原图像腐蚀效果也不同。与腐蚀运算的作用正好相反，膨胀运算能够扩大图像的边界。但是它与腐蚀一样，最终的膨胀效果也受图像自身和所选择的结构元素的形状大小的影响。效果如图2所示。

图2 数学形态学处理

4 感兴趣区域（ROI）提取和图像归一化

前面的工作已经对运动目标进行了检测，并做了相应的后处理，得到了人体二值图像序列。为了去除人体二值图像中的冗余信息，本文以最小外接矩形的高为边长，提取正方形的区域，即提取感兴趣的运动区域（ROI），外接矩形框的提取如图3所示。由于每个运动人体的体重和身高不同，并且每个人在运动过程中最小外接矩形的高与宽也是时刻变化的，因此在提取ROI后还要将其归一化为相同大小的图像，本文统一将ROI归一化为60€？0大小的图像，如图4所示。

图3 人体最小外接矩形框的提取

图4 将大小为180€？44的ROI归一化为60€？0大小的图像

5 结论

本文采用一种基于改进的背景差分法对人体行为进行检测，提取人体运动的二值图像。利用数学形态学中腐蚀与膨胀基本算子对样本图像进行后处理，消除样本图像中的噪声点和孔洞。并以最小外接矩形的高为边长，从二值图像中提取正方形区域，即感兴趣的运动区域（ROI），去除图像的冗余信息。通过实验证明该方法能够有效提取感兴趣的运动区域（ROI）。

注释

① http：//www.wisdom.weizmann.ac.il/～vision/SpaceTimeActions.html#Classification%20Database.

② Y.H. Yang， M.D. Levine. The background primal sketch： an approach for tracking moving objects. Machine Vision and applications.5（1992）：17-34.

③ LO B P L， VELASTIN S A. Automatic congestion detection system for underground platforms[C]. Proceedings of 2001 International Symposium on Intelligent Multimedia Video and Speech Processing. New York： IEEE.2001：158-161.

④ 孙即祥.图像分析[M].北京：科学出版社，2005.endprint

本文进行目标检测的原理流程如图1所示，（，）表示视频中当前第帧图像，（，）表示对应的背景图像，（，）表示当前第帧图像与对应的背景帧图像相减的结果图像，（，）表示对结果图像（，）进行二值化的图像，后处理主要是对二值图像（，）进行数学形态学处理和连通性分析，若某一连通区域面积大于给定的阈值，则认为检测到运动目标，并认为该区域为运动目标所处范围，从而也可以确定运动目标的最小外接矩形。其中：

（，） = ∣（，）（，）∣ （1）

（2）

公式（2）中的T为门限阈值。

图1 人体运动目标检测原理流程

3 数学形态学后处理

经过目标检测后所提取的人体行为样本是二值图像，由于所选视频中部分运动人体的衣服颜色与背景图像颜色接近以及噪声的干扰，检测后得到的人体运动区域不一定是完整清晰的，一般会包含孤立的噪声点和孔洞，需要对这些样本图像进行一定的后处理，主要目的是去除小区域的孤立噪声点和填充小孔洞。为进一步得到完整清晰的二值轮廓图像，本文采用数学形态学处理的方法解决以上问题。

数学形态学（Mathematical Morphology）是建立在集合理论基础上的学科。④在数学形态学运算中腐蚀和膨胀是最基本的运算，腐蚀能够消除运动区域周围的边界点，但图像最终的腐蚀效果与图像自身和所选择的结构元素的形状大小有关，采用不同形状和大小结构元素对原图像腐蚀效果也不同。与腐蚀运算的作用正好相反，膨胀运算能够扩大图像的边界。但是它与腐蚀一样，最终的膨胀效果也受图像自身和所选择的结构元素的形状大小的影响。效果如图2所示。

图2 数学形态学处理

4 感兴趣区域（ROI）提取和图像归一化

前面的工作已经对运动目标进行了检测，并做了相应的后处理，得到了人体二值图像序列。为了去除人体二值图像中的冗余信息，本文以最小外接矩形的高为边长，提取正方形的区域，即提取感兴趣的运动区域（ROI），外接矩形框的提取如图3所示。由于每个运动人体的体重和身高不同，并且每个人在运动过程中最小外接矩形的高与宽也是时刻变化的，因此在提取ROI后还要将其归一化为相同大小的图像，本文统一将ROI归一化为60€？0大小的图像，如图4所示。

图3 人体最小外接矩形框的提取

图4 将大小为180€？44的ROI归一化为60€？0大小的图像

5 结论

本文采用一种基于改进的背景差分法对人体行为进行检测，提取人体运动的二值图像。利用数学形态学中腐蚀与膨胀基本算子对样本图像进行后处理，消除样本图像中的噪声点和孔洞。并以最小外接矩形的高为边长，从二值图像中提取正方形区域，即感兴趣的运动区域（ROI），去除图像的冗余信息。通过实验证明该方法能够有效提取感兴趣的运动区域（ROI）。

注释

① http：//www.wisdom.weizmann.ac.il/～vision/SpaceTimeActions.html#Classification%20Database.

② Y.H. Yang， M.D. Levine. The background primal sketch： an approach for tracking moving objects. Machine Vision and applications.5（1992）：17-34.

③ LO B P L， VELASTIN S A. Automatic congestion detection system for underground platforms[C]. Proceedings of 2001 International Symposium on Intelligent Multimedia Video and Speech Processing. New York： IEEE.2001：158-161.

④ 孙即祥.图像分析[M].北京：科学出版社，2005.endprint