基于机器视觉的运动目标检测算法综述

张冬梅 武杰 李丕丁

摘要：近年来，机器视觉技术的发展越来越迅速，对视觉图像信息的智能处理也成为了研究重点，基于人工智能算法和资源构架的运动目标检测算法作为机器视觉领域的核心技术，在很多领域中发挥着关键性作用，具有重要的研究意义，本文首先对运动的目标检测过程中所用到的相关图像处理方法进行了描述，包括图像的预处理、分割、特征提取等方法。其次描述了这几年来常用的运动目标检测算法，即光流法、帧间差分法、背景差分法。简单分析了方法原理、对比了3个方法的优缺点，并介绍了这几个算法的适用场景。

关键词： 机器视觉技术; 图像预处理; 图像分割; 特征提取; 运动目标检测

【Abstract】 In recent years， The development of machine vision technology is more and more rapid， and the intelligent processing of visual image information has also become a research focus. The motion target detection algorithm based on artificial intelligence algorithm and resource architecture is the core technology in the field of machine vision， which plays an important role in many fields and has great research significance. This paper first describes the related image processing methods used in the detection of moving target， including image preprocessing， segmentation and feature extraction. Secondly， the paper describes the moving target detection algorithms commonly used in recent years ， including optical flow method， interframe difference method and background difference method. Finally， the paper briefly analyzes the corresponding theories， compares the advantages and disadvantages of the three methods and introduces the applicable scenarios of these algorithms.

【Key words】  machine vision; image preprocessing; image segmentation; feature extraction;  moving target detection

0 引 言

机器视觉是一个可以自动获取有关目标图像，并对所得图像的各种特征进行分析、处理及对结果做出解释，从而得到有关目标的某种认识来做出决策的系统。运动目标检测技术是机器视觉系统的功能之一，是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来的过程，该项研究旨在通过检测出视频图像序列中与摄像头发生相对移动的运动物体，为后续目标的提取和跟踪提供具有说服力的数据源。运动目标检测算法通常面向于特定的应用场景，目前还没有一个通用的算法能适用于所有场合，也就是说每个算法都有其一定的应用范围。即使这些检测算法在同一环境下工作，也是各有优缺点。运动目标检测算法从应用对象的角度来看，主要分为2种：光流法和图像相邻帧间的差分算法。其中，基于图像相邻帧间的差分算法还可以分为帧差法和背景相减法。

1 机器视觉图像预处理

通常情况下，因为有很多噪声的干扰和条件上的限制，运动目标检测系统获取的图像不能直接在视觉系统中使用，而是先要进行图像预处理来提高所获取的图片的质量。图像预处理的目的是消除图像中无用的噪声来改善有用信息的可检测性，通常包含着灰度化、几何变换、图像增强这几个流程[1]，主要方法有平均值法、最大值法、加权平均值法和分量法[1]。其中，图像几何变换通过图像平移、图像镜像、图像转置、图像旋转、图像缩放等几何变换对采集的图像进行处理[1]，用于修正图片采集仪器位置的随机误差和采集系统中的系统误差。图像增强可分为空域法和频域法[1]。目前使用较多的是空域法，空域法大致可分为3种类型，分别为：灰度变换、用于消除噪声的各类平滑方法以及用于增强边缘的各类锐化方法。其中，灰度变换是在图像的单个像素上操作的，通过点运算来改变图像像素的灰度值;而平滑和锐化都是通过图像滤波来进行操作的。图像滤波可分为线性滤波和非线性滤波[2-3]。因为非线性滤波既可以保护图像细节又可以去除噪声，所以成为了当前图像滤波方法中的研究热点。非线性滤波最常用的方法有Kalman滤波和粒子滤波。Kalman滤波简单易实现，具有良好的鲁棒性[4]，被普遍应用在机器视觉跟踪领域 。虽然粒子滤波算法[5]可以作为解决SLAM问题的有效手段，但是仍然存在需要用大量的样本数量、样本贫化、样本数量的自适应采样策略等问题，是当前该算法的研究重点。图像的预处理在机器视觉图像目标识别的过程中起到了重要的作用。

2 机器视觉图像分割

图像分割是指利用颜色、灰度、纹理和空间几何等特征把图像分成若干个特定的区域，使这些特征在同一块区域里显示出相似性或者相同性，但是在不同的區域又显示出明显的差异性。图像分割是机器视觉中对图像目标自动识别的关键步骤，其分割后的图像质量对后面图像分析处理有着重要的影响。如何快速、精确地把目标从复杂的图像中分割出来是国内外学者一直以来的研究重点[2]。图像分割的常用方法有区域分割法、阈值分割法、边缘检测法[6]。近年来还提出了深度学习分割法[7]，其基本思想是通过建立神经网络，对样本进行训练来达到分割的目的。但是该方法也有一定不足，就是需要对大量的数据进行训练、没有一个通用的网络结构。

3 机器视觉特征提取

在机器视觉图像目标识别研究中，特征提取对目标识别的精确度和速度有着重要的影响。目前，图像特征提取的方法主要可分为颜色特征、形状特征、空间关系特征和纹理特征[8]。其中，颜色特征提取[9]是一种全局特征，用来描述图像或者图像的区域相对应的景物的表面性质。该方法适用于描述难以进行自动分割的图像。其缺点是对图像的区域的方向、尺寸等变化不敏感，对于图像中目标的局部特征不能很好地检索到[9]。形状特征提取能够利用图像中某个有用的目标来检索[10]，但是却缺乏完好的数学模型，目标发生形变时检索得到的结果不可靠[11-12]，对目标进行全面描述时对计算时间和存储量的要求比较高。空间关系特征的提取能够加强对图像的内容的描述及区别能力，其缺点是对图像目标的尺度变化、反转、旋转较敏感。此外在实际应用中，为了更好地检索到目标，除空间关系特征外，还需与其他特征相结合。图像纹理特征提取可以有效地描述区域性的特征，与此同时，纹理特征还具有旋转不变性，抗噪抗干扰能力也较强[13-14]。但其缺点是可能受到光照和反射的影响，纹理偏差可能随图像分辨率发生变化而变大。图像特征提取方法的提取效率较高，因此近年来图像特征提取方法吸引了国内外众多学者的高度关注，并得到了广泛应用。但是还存在一些问题，比如系统的计算较复杂、没有统一的评价标准。

4 基于机器视觉的运动目标检测方法

4.1 帧间差分法

帧间差分法对时间上连续的2帧或若干个帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值T时，即判断为现运动目标，从而实现运动目标的检测功能。

帧间差分法的优点是受缓慢变化的背景和光线的影响较小，能根据帧序列的移动来较快的适应。该算法简单易实现，程序设计也不复杂，整体来说运动目标检测的灵敏度比较高。但经过分析可知，其缺点主要是检测位置并不准确，目标运动速度过快、相邻帧间的目标运动位移比较大时会影响运动目标区域的定位以及运动目标特征参数的准确提取[15]。另外，阈值的选择对检测结果有直接影响，一般情况下会决定目标检测的范围。特别地，若阈值是预先定义而非自适应得到的，则会增加差分图像中的噪声点和运动目标点的误判率。虽然帧间差分法可能无法提取完整的目标图像，但该方法计算量小、简单快速、易于优化[16]。因此被广泛应用。

4.2 背景差分法

背景差分法是指通过当前的帧图像减去背景图像来获取运动区域的方法。和帧间差分法相似，其基本思想是用不同图像的差分运算来提取运动目标区域。但是与帧间差分法不同的是，背景减法是将当前帧图像与一个连续更新的背景模型相减，在差分图像中提取运动目标，而不是将当前帧图像与相邻帧图像相减。背景差分法流程如图2所示。

背景差分法进行目标检测主要包括4个步骤：背景建模、背景更新、目标检测和后期处理。其中，背景建模和背景更新是核心与关键。背景模型的建立将直接影响到目标检测的效果。背景建模是指通过数学方法，构建一种可以表示“背景”的模型。获取背景的最好方法是在没有运动目标的情况下获取一帧静态的图像作为背景，但在现实生活中，由于光照变化、天气变化、目标运动阴影等诸多因素的影响，这种情况却很难实现。

背景差分法计算上较为简单，容易实现[17]。 在实际运用时，依据实际情况来确定阈值，从结果中可以直接看出运动目标的大小、位置等信息，能够获得较准确的运动目标信息。该算法可以用于固定背景或目标运动速度缓慢变化的情况，其核心是场景静态背景图像的准确获取。缺点是容易受到外部因素的干扰，例如背景的变化、光照的变化[18]都会影响最终的检测结果。

4.3 光流法

光流法是指图像中图案的移动速度，属于二维瞬时速度场的范围。运动目标的光流法检测的原理为：首先，对图像中每个像素的一个速度矢量进行初始化，形成图像运动场;其次，在运动中的一个特定的时刻里，根据投影关系对图像区域的点图进行映射;最后，根据图像中每个像素的速度矢量的特点，对其进行动态分析。在此过程中，若图像中无运动目标，则整个图像区域的光流矢量会呈现出不断变化的趋势;若有运动目标，图像中背景和运动目标存在相对运动，从而导致相邻背景的速度矢量与运动目标所形成的速度矢量存在差异，如此以来即可检测到运动物体及其位置。在实际运用中，光流法的计算量非常大，对噪声免疫力差，不能用于实时处理[19]。

分析表1可知，帧间差分法的优点是对光线强度变化不敏感;缺点是对快速运动的目标提取的目标区域很大;可能提取不到缓慢移动的目标边界，简而言之就是对运动目标的检测是不精确，易出现“空洞”;并主要适用于动态环境[18]。背景差分法易受光线变化、运动阴影[15]和外部条件引起的场景变化的影响，但是在提取目标时更为准确。光流法检测运动目标无需预先知道任何与场景有关的信息[21]，可以直接应用在摄像机移动下的目标检测和跟踪。但是，该方法的不足就是计算非常复杂，对噪声免疫力差，使其无法应用于实时处理。

针对上述3种传统方法的不足，国内外学者已提出了诸多改进算法，例如背景相减法结合帧差法、混合高斯模型、单个高斯模型、基于统计的方法等[16]。虽然如此，但到现在为止却仍未推出一种可适用于任何场景、任何情况的通用算法。

5 结束语

目前，运动目标检测技术已广泛应用在日常生活、工业、军事、医疗、农业等方面，因而现已成为学界的研究热点。但是到目前为止还未给出一个统一的目标检测算法。随着時代的发展，运动目标检测算法的应用越来越多，其复杂性也不断提升，需要解决的问题也在增多。所以应该把基于机器视觉的目标检测算法的研究与算法理论、新技术相结合，这样运动目标检测技术将会发展得更快速、更精确。

参考文献

[1] Joaming. 图像处理之预处理方法[EB/OL]. [2018-08-28]. https：//blog.csdn.net/joaming/article/details/82146604.

[2]张中良. 基于机器视觉的图像目标识别方法综述[J]. 科技与创新，2016（14）：32.

[3]王靖，李少华，谢守勇. 基于机器视觉的目标识别方法研究[J]. 西南师范大学学报（自然科学版），2015，40（6）： 130.

[4]HOUTEKAMER P L，MITCHELL H L. A sequential ensemble Kalman filters for atmospheric data assimilation[J]. Monthly Weather Review，2001，129（1）：123.

[5]王法胜，鲁明羽，赵清杰，等. 粒子滤波算法[J]. 计算机学报，2014，37（8）：1679.

[6]侯红英，高甜，李桃. 图像分割方法综述[J]. 电脑知识与技术，2019，15（5）：176.

[7]王秋萍，张志祥，朱旭芳. 图像分割方法综述[J]. 信息记录材料，2019，20（7）：12.

[8]王志瑞，闫彩良. 图像特征提取方法的综述[J]. 吉首大学学报（自然科学版），2011，32（5）：43.

[9]LI P. An adaptive binning color model for mean shift tracking[J]. IEEE Transactions on Circuits and Systems for Video Technology，2008，18（9）：1293.

[10]CLAUSI D A. Comparison and fusion of co-occurrence，Gabor and MRF texture for clasification of SAR sea ice imagery [J]. Atmosphere Oceans，2001，39（4）：183.

[11]RANGAYYAN R M，EI-FARAMAWY N M，LEO DE-SAUTELS J E，et al.Measures of acutance and shape for classification of breast tumors [J]. IEEE Transactions on Medical Imaging，1997，16（6）：799.

[12]LIANG Shen，RANGAYYAN R M，LEO DESAULTELS J E.Detection and classification of mammographic calcification [J]. International Journal of Pattern Recognition and Artificial Intelligence，1993，7（6）：1403.

[13]OHANIAN P P，DUBES R C.Performance evaluation for four classes of textural features [J]. Pattern Recognition，1992，25（8）：819.

[14]CLAUSI D A，YUE B. Comparing co-occurrence probabilities and Markov random fields for texture analysis of SAR sea ice imagery [J]. IEEE Transactions on Geoscience and Remote Sensing，2004，42（1）：215.

[15]王慧. 運动目标检测和跟踪算法综述[J]. 电脑知识与技术，2018，14（24）：194.

[16]常向魁. 视频运动目标跟踪算法研究[D]. 开封：河南大学，2007.

[17]程爱灵，黄昶，李小雨. 运动目标检测算法研究综述[J]. 信息通信，2017（1）：12.

[18]彭艳芳. 视频运动目标检测与跟踪算法研究[D]. 武汉：武汉理工大学，2010.

[19]MISHRA S K， BHAGAT K S. Human motion detection and video surveillance using MATLAB[J]. International Journal of Scientific Engineering and Research （IJSER） ，2014，3（7）： 154.

[20]CHO H， RYBSKI P E， BAR-HILLEL A， et al. Real-time pedestrian detection with deformable part models[C]//2012 IEEE  Intelligent Vehicles Symposium （IV）. Alcala de Henares， Spain：IEEE， 2012：1035.

[21]朱宏. 基于视频序列的运动目标检测与跟踪技术研究[D]. 成都：西南交通大学，2008.

[22]KANKANHALLI M S，MEHTRE B M，WUR K.Cluster-based color matching for image retrieval[J]. Pattern Recognition，1996，29（4）：701.

[23]LIANG Shen，RANGAYYAN R M，LEO DESAUTELS J E. Application of shape analysis to mammo-graphic calcification [J]. IEEE Transactions on Medical Imaging，1994，13（2）：263.