基于机器视觉的运动煤颗粒检测和遮挡追踪

朱振天，兰 媛，2，胡天恩，唐 建，乔 葳，牛蔺楷，2，王杰栋

(1.太原理工大学 机械与运载工程学院，山西 太原 030024；2.新型传感器与智能控制教育部(山西省)重点实验室，山西 太原 030024)

在煤炭筛选分级作业中，常常出现漏筛、错筛的问题，从而导致筛分效率不高。其中，煤颗粒在筛面上的运动情况对优化筛分设备参数进而提高筛分设备的筛分效率具有重要意义[1，2]。当前，研究者对于筛分设备上物料运动情况的研究主要是以理论分析和数值模拟为主[3-5]。但实测的实验数据更为可靠和直观，且能对相关理论分析和数值模拟研究起到验证性的作用[6]。

目前在工程领域对于颗粒物料运动的实测实验主要是基于光学原理与数字图像处理。基于光学原理的物料颗粒测速追踪技术(如：PIV，PTV)[7，8]较多地应用于流场颗粒物的运动分析，虽有成熟的商业产品，但其价格较为昂贵、系统复杂，不具有工程实用性。随着机器视觉算法的不断进步，应用基于数字图像处理的方法对颗粒运动特性研究已经成为趋势。李耀民通过高速摄像机采集了农用清选筛面上的大豆颗粒运动图像，并基于颜色特征向量的Mean Shift算法对大豆颗粒进行了追踪[9]。王立军利用高速摄像机采集了三种不同运动形式振动筛上的玉米颗粒运动图像，通过人眼对特定玉米颗粒进行追踪，对筛上玉米粒进行了运动分析[10]。但是，目前大部分对于筛面上物料的运动实测主要是针对农业工程领域。由于煤颗粒的形貌复杂，且在筛面上的运动速度较快，鲜有对煤用筛分设备上煤颗粒的运动情况的实测实验的研究。而在对筛面上煤颗粒运动分析进行实测实验时，煤颗粒常会出现被遮挡的情况，这样的情况将会影响对煤颗粒运动的实测分析。

针对以上问题，本文作者搭建模拟激振实验台，采用高速摄像机对煤颗粒运动过程中被遮挡的情况进行图像采集，并应用MATLAB软件使用优化参数的混合高斯背景模型与卡尔曼滤波相结合的方法对运动煤颗粒进行检测和遮挡追踪。实验结果表明，本文使用的方法能够较好地检测和追踪目标煤颗粒，对煤颗粒被遮挡的情况具有追踪鲁棒性，得到了运动煤颗粒的形心位置信息，为煤颗粒运动的理论分析和数值模拟的相关研究提供实验验证的基础。搭建的模拟激振实验台的原理如图1所示。

1 目标煤颗粒检测

1.1 基于引导滤波的图像预处理

煤颗粒运动序列图像由于受到采集环境等因素的影响，图像会受到一定程度的噪声干扰。所以，在对序列图像中的运动目标进行检测前，需要对原始序列图像进行去除噪声的预处理，为了减少图像边缘信息的丢失，采用具有保持边缘特性的去除噪声方法，从而在一定程度上减小噪声干扰，提高目标检测效率。

引导滤波(Guided Filter，GF)[11]将需要处理的图像自身作为引导图像，通过引导图像提供的信息来分辨边缘和非边缘，对煤颗粒的边缘区域保持，非边缘区域去噪。在本文中，为了提高运动煤颗粒前景检测的准确性，使用了具有保持图像边缘且在滤波细节上效果更好的引导滤波对原始序列图像进行去除噪声预处理。

1.2 基于混合高斯模型的目标煤颗粒检测

当前，对于运动图像中目标检测常采用的方法有背景减除法[12]、帧间差分法[13]和光流法[14]等。其中，混合高斯模型(Gaussian Mixture Model，GMM)是背景减除法中应用较为广泛的方法，并能一定程度地减少背景扰动。在本文采集的煤颗粒运动序列图像中，由于激振实验台在激振情况下会相对于固定位置的高速摄像机出现一定范围的浮动，从而背景出现一定程度的扰动，且实验中使用了多点光源，煤颗粒的运动过程中存在阴影。针对以上情况，本文采用了对背景扰动和噪声干扰具有一定鲁棒性的混合高斯模型法，通过优化参数来对运动煤颗粒进行检测。

混合高斯模型法是一种基于像素统计信息的背景建模方法，为每个像素点建立K个高斯分布，通过概率分布来确定该像素是否为背景点，实现对前景区域的检测。序列图像t时刻(i，j)位置处的像素值It，(i，j)满足的概率分布为：

η(It，(i，j)；μt，(i，j)，n，Σt，(i，j)，n)

(1)

ωt，(i，j)，n=(1-α)ωt-1，(i，j)，n+α

(2)

μt，(i，j)，n=(1-β)μt-1，(i，j)，n+βIt，(i，j)

(3)

β(It，(i，j)-μt，(i，j)，n)T(It，(i，j)-μt，(i，j)，n)

(4)

ωt，(i，j)，n=(1-α)ωt-1，(i，j)，n

(5)

如果当前像素与所有K个高斯分布都不匹配，就选取小的权重值和大的方差值，并以该像素值作为均值来建立新的高斯分布，并以此新的高斯分布替换现有K个高斯分布中权重最小的分布。对K个高斯分布根据ω/σ值由小到大排序，并按下式选取前m个高斯分布为背景模型：

式中，T为背景分割阈值参数。

为了提取出目标煤颗粒的前景掩码，需要对混合高斯模型中的参数进行优化。本文中，建立的高斯模型个数K=3，将训练背景模型的初始视频帧数TF取为运动图像序列初始的前15帧。在训练过程中，自适应地调整模型学习率α，调整方式为：α=1/TF，在第15帧之后，选取模型学习率α=0.005。选取背景分割阈值参数T=0.8，混合高斯模型的初始方差σ=2502。为了使各个高斯分布在更新过程中保持稳定性，使用了K-means算法对参数进行实时更新。利用得到的背景模型进行背景减除，提取出运动煤颗粒的初始前景掩码，并对前景掩码进行形态学填充空洞处理，得到较为完整的前景掩码。根据检测出的当前t时刻的目标前景掩码，得到其最小外接矩形及当前时刻的形心位置信息，并将其作为后续煤颗粒跟踪算法中的观测值。具体地，基于混合高斯模型的运动煤颗粒检测流程如图2所示。

图2 基于混合高斯模型的运动煤颗粒检测流程图

2 基于卡尔曼滤波器的运动煤颗粒追踪

2.1 卡尔曼滤波器

运动目标追踪常用的方法有卡尔曼滤波器、粒子滤波等。基于卡尔曼滤波器的追踪方法通过建立合理的运动模型，可以获取目标丰富的运动信息，根据运动目标的当前状态对下一时刻的状态进行预估计，保证追踪有效性，且对目标发生遮挡的情况有较好的鲁棒性[15]。通过高速摄像机采集到的煤颗粒运动图像，由于帧率较高、帧间间隔较短，可以认为煤颗粒在间隔时间内作匀速直线运动。所以本文选用对于遮挡情况下运动煤颗粒追踪更为高效的卡尔曼滤波器。

卡尔曼滤波器(Kalman Filter，KF)[16]能利用目标检测器得到的测量值对预测出的状态值修正，提供可靠的状态估计。设系统状态方程和观测方程如下：

Xt=At|t-1Xt-1+wt-1；Zt=HtXt+Vt

(7)

式中，Xt、Zt分别为t时刻的状态向量、观测向量，At|t-1为t-1时刻到t时刻的状态转移矩阵，Ht是t时刻的观测矩阵，wt-1、Vt分别表示相互独立的t-1时刻的过程噪声和t时刻的观测噪声，Qt、Rt分别为t时刻的过程噪声协方差矩阵和观测噪声协方差矩阵。卡尔曼滤波器每次递推过程中都可分为预测部分和更新部分。卡尔曼滤波的算法递推过程如下：

1)预测部分：状态预测：

预测误差协方差：

2)更新部分：更新卡尔曼滤波增益：

更新状态：

更新预测误差协方差：

2.2 遮挡煤颗粒的追踪

结合优化参数的混合高斯模型和卡尔曼滤波器的联合算法对于运动煤颗粒的追踪主要分为无遮挡追踪和遮挡追踪。

具体地，结合优化参数的混合高斯模型法和卡尔曼滤波器的煤颗粒追踪流程如图3所示。

图3 煤颗粒的追踪流程图

3 实验方案及结果分析

3.1 实验方案设计

本文搭建了模拟激振实验台来采集煤颗粒被遮挡的运动序列图像。实验所用煤颗粒样本产自山西大同，粒径为12mm。实验使用的操作系统为Windows10的便携式电脑，千眼狼5KF20系列高速摄像机采集图像。分析所用视频图像序列的帧数为150帧，每帧图像的分辨率为596×832，基于MATLAB R2014a软件进行相关的图像处理。搭建的模拟激振实验台如图4所示。

图4 模拟激振实验台

3.2 实验结果分析

分别使用三帧差分法和优化参数的混合高斯模型法检测出的运动煤颗粒的前景掩码如图5所示。

图5 检测出的前景掩码

通过图5分别对比视频序列的第55帧、第125帧的原图像(a)、(d)及分别使用三帧差法和优化参数的混合高斯模型法提取出的前景掩码图(b)、(c)、(e)、(f)，可以发现，由于实验台的背景出现一定程度的扰动，三帧差分法在某些帧的图像(如第55帧)中会将扰动的背景像素点错误检测为前景像素点，且提取出的目标煤颗粒的前景区域不完整，边界残缺、断续，易出现区域空洞现象。本文使用的混合高斯模型通过优化参数，可以较好地提取出运动目标煤颗粒，对容易产生干扰的阴影和背景扰动，以及每帧图像中间位置的柱型遮挡物体具有较好的滤除作用。优化参数的混合高斯模型法提取出的目标煤颗粒前景掩码比较完整，为后续目标煤颗粒的追踪提供很好的检测数据。

采用卡尔曼滤波和粒子滤波追踪煤颗粒在第69帧发生遮挡时的情况如图6所示，可以看出，卡尔曼滤波器可以持续对煤颗粒进行追踪，而粒子滤波器则追踪失败。结合优化参数的混合高斯模型法卡尔曼滤波器的追踪算法，对采集的运动序列图像中煤颗粒的追踪情况如图7所示。煤颗粒在未发生遮挡的第55帧，利用卡尔曼滤波器对由混合高斯模型法检测到的目标煤颗粒的形心位置进行纠正，能较好地追踪目标煤颗粒。煤颗粒在第63帧和第84帧之间产生了遮挡的情况，卡尔曼滤波器通过对煤颗粒的形心位置进行预测，在煤颗粒发生严重遮挡甚至完全遮挡的情况下仍能对其进行持续追踪，具有较好的追踪鲁棒性。煤颗粒在第84帧时，再次恢复无遮挡情况，此时结合优化参数的混合高斯模型法和卡尔曼滤波器的追踪算法仍能对煤颗粒进行准确追踪。以采集图像的左上角为坐标原点建立绝对坐标系，将通过本文使用的方法得到的运动煤颗粒的形心位置信息显示如图8所示。

图6 卡尔曼滤波器(KF)和粒子滤波器(PF)对煤颗粒遮挡时的追踪结果对比

图7 卡尔曼滤波器(KF)对煤颗粒的追踪

图8 煤颗粒在第20～150帧的运动形心位置信息

从图8可以看出，本文使用的结合优化参数的混合高斯模型法和卡尔曼滤波的跟踪算法对煤颗粒被遮挡的情况的追踪具有较好的鲁棒性，从而得到运动煤颗粒的形心位置信息。

4 结 语

本文搭建了模拟激振实验台，采用了高速摄像机对激振过程中煤颗粒被遮挡情况下的图像序列进行采集，并基于MATLAB软件对采集到的煤颗粒运动图像进行分析。首先使用了具有保持边缘特性的引导滤波对图像进行去除噪声预处理，再通过对混合高斯模型法的参数优化，有效提取了运动煤颗粒的前景掩码图像，并使用卡尔曼滤波器对目标煤颗粒追踪，且对煤颗粒被遮挡的情况有较好的追踪鲁棒性。最后得到了运动煤颗粒较为可靠的形心位置信息，而煤颗粒的运动情况分析主要是通过其形心位置信息体现出来的。因此本文通过机器视觉的方法对运动煤颗粒的检测和遮挡追踪，为研究煤颗粒运动情况提供实测实验的基础。