基于帧差法和Mean Shift融合的浮选中颗粒跟踪方法

梁秀满+付董帅+牛福生

摘 要：为了准确地跟踪浮选视频序列中的絮体颗粒，提出一种结合帧差法与Mean Shift的多运动目标跟踪方法。首先使用帧间差分法对视频文件中的初始两帧图像进行差分处理，进而检测得到运动目标，并确定跟踪窗口和跟踪目标的中心位置；然后结合数学形态学处理优化差分图像，滤除噪声干扰；最后利用求得的核直方图模型在下一帧图像内进行搜索，通过Mean Shift算法找到最佳匹配区域，达到对颗粒位置跟踪的目的。结果表明，该算法可以迅速并高效地跟踪浮选过程中的多个絮体颗粒，具有优越的鲁棒性和实时性。

关键词：多目标跟踪；颗粒；帧差法；Mean Shift算法

中图分类号：TP311.11 文献标识码：A

Abstract：In order to track floc particles in a flotation video sequence accurately，the paper proposes a multiple moving object tracking method based on frame difference method and Mean Shift algorithm.First of all，the frame difference method is used to process the two adjacent frames in the video sequence，so as to detect the moving object.Then，differential images are optimized combined with the mathematical morphology processing method，which is convenient to eliminate noise interference.Finally，the obtained kernel histogram model is applied to search in the next frame of the video，and the Mean Shift algorithm is adopted to find the best matching area，which achieves the particle's position tracking.The result indicates that this algorithm can track multiple floc particles quickly and efficiently，with excellent robustness and real-time performance.

Keywords：multi-target tracking；particle；frame difference method；mean shift algorithm

1 引言（Introduction）

浮選是矿业工程领域中筛选有用矿物的重要工艺方法，随着全球矿产资源日渐贫乏，如何提高浮选效率成为当今一大研究热点。在浮选过程中向矿浆内通入气泡，使其与矿物颗粒发生碰撞、附着，在浮力的作用下分离有用矿物，碰撞的发生效率因此成为决定浮选效率的关键之一[1]。研究表明[2-4]，通过判断滴落的颗粒运动轨迹的改变程度可以检测颗粒与气泡是否发生碰撞，对于颗粒沉降轨迹的描述就需要对矿物颗粒进行实时跟踪。因此，设计出一种快速、准确的应用于视频序列中的颗粒跟踪方法对于研究颗粒运动轨迹有重大意义。

近年来，多目标跟踪算法应用到越来越多的领域中，在研究浮选碰撞问题时对多颗粒位置的跟踪得到广泛关注。钟德华等[5]结合代价函数和改进的MHT算法对絮体颗粒进行跟踪，虽然改善了目标物遮挡问题，但由于算法本身复杂程度，计算量较大。梁秀满等[6]利用静态图像处理的方法检测颗粒与气泡是否发生碰撞，主要通过提取多幅图像中颗粒坐标信息进行拟合，从而实现对颗粒位置的跟踪，由于图像的截取需要人工操作，因此该方法只适合于少量颗粒的研究。李耀明[7]等提出利用卡尔曼滤波算法预测出Mean Shift跟踪方法的初始目标区域，该算法主要是为了在多颗粒中筛选单一目标颗粒并进行跟踪，但是当跟踪多目标时会出现预测不准确，多颗粒信息互相干扰的情况，影响最终结果。

本文针对已经搭建的颗粒与气泡碰撞概率测试系统[8]进行研究，提出利用基于Matlab多目标跟踪方法仿真出跟踪的运动颗粒图像，跟踪效果准确，为研究浮选颗粒碰撞理论奠定坚实基础。

2 多目标检测（Multi-object detection）

运用帧间差分法对视频序列中的多个运动目标进行检测，通过第k+1帧图像与第k帧图像做差分运算得到运动目标位置[9]，在本研究的视频中背景图像是静止不变的，所以可以直接通过阈值化处理消除背景。

假设相邻两帧图像为和，表示像素点坐标，检测出的运动目标为

（1）

通过帧差法获得二值差分图像如下

（2）

式中，为运动目标，为背景，T为应用最大类间阈值分割法获得的临界值，此处T取值为100。

对表达式（2）中提取的二值差分图像进行数学形态学优化，先利用中值滤波消除噪声干扰

（3）

式中，为经中值滤波处理的图像，为待处理图像。为了进一步优化二值图像，可通过合并目标邻域及提取目标边界的方法获得对象轮廓，消除运动目标的孔洞现象。

3 多目标跟踪（Multiple target tracking ）

基于Mean Shift的多目标跟踪算法首先根据帧差法获取的初始帧图像的跟踪窗口建立核直方图，用于描述目标的起始位置信息；然后利用Bhattacharyya系数计算给定模型和候选模型对应的核直方图概率密度的相似程度，从而将跟踪转化为区域搜索、匹配问题；最后通过迭代一直沿密度梯度方向移动，直到收敛在概率密度的最大值处，该位置即为最佳匹配区域。endprint

3.1 建立目标模型

由于跟踪窗口T依据帧差法提取而来，因此Mean Shift跟踪算法通过目标像素颜色描述图像信息应改变为通过灰度特征计算核直方图。设表示以给定模型中心位置为初始点的像素信息，跟踪窗口核直方图表示为，映射函数b：将像素的灰度值分化为m个数量，给定模型的核直方图为

（4）

式中，C为无量纲化的固定不变值，为目标图像的核函数，在本文选取的是Epanechnikov核，r为的带宽，为引用的Kronecker delta函数，为预测下一帧目标的特征值。由于所有特征值对应的概率总和始终为1，因此根据约束条件可以推导出C的表达式为

（5）

确定目标模型的核直方图后，用相同的方法计算候选图像的核直方图，设y为候选图像运动目标的中心位置，候选图像跟踪窗口核直方图表示为，其他参量和给定模型相同，则候选模型的核直方图为

（6）

3.2 检验相似程度

为了检验运动目标起始帧图像和当前帧图像的相似程度，利用Bhattacharyya系数计算给定模型和候选模型的概率分布的相似度。根据上述搭建的目标模型和候选模型，可得相似性系数定义公式如下

（7）

该系数主要是用于求取两向量间的夹角余弦值，定义范围为[0，1]，越大，相似性越高，当时，两模型完全相同。因此Mean Shift跟踪算法通过计算目标图像与各候选模型的相似系数来确定当前帧运动目标。

3.3 目标定位

（1）确定目标模型中的核函数窗宽r和当前帧图像的中心位置，计算概率和，通过Bhattacharyya系数找到最佳匹配区域。

（2）计算所有处的权重值

（8）

（3）通过泰勒极限推导出Mean Shift算法的迭代形式，估算候选图像中运动区域的中心值

（9）

（4）计算新的和。若，则。若，则停止计算，否则重回（1）开始计算。

4 实例分析（Sample analysis）

本研究建立了图1所示的浮选碰撞测试实验系统，实验大致流程为向盛有蒸馏水的容器内缓慢滴入矿浆（主要含赤铁矿），通过改变滴落位置，判断矿浆内颗粒与通入气泡间的碰撞发生情况，用工业CCD相机采集矿浆滴落过程中与静止气泡相对运动的视频，其中矿浆中的颗粒浓度控制在1wt%—3wt%。

根据本研究用到的帧差法对CCD相机采集得到的絮体颗粒运动目标进行检测，如图2所示的视频截取的当前帧图像为例，通过对起始的两帧图像差分运算，可以快速得到背景图像，利用当前帧图像与背景图像的差值能够准确检测出运动目标。

利用Matlab对图（2）中的运动目标进行提取得到图3所示图像，其中图3（a）是利用帧差法检测得到的运动颗粒的仿真图，图3（b）是在此基础上加入数学形态学处理。由于矿浆较为混浊，因此在滴入蒸馏水中时，颗粒会有滑落的痕迹，此外，观察图2中的气泡和图3（a）不难发现，受光的影响，气泡可能会被误认为运动目标，所以需要中值滤波、合并目标区域、边界提取等形态学操作，才能得到如图3（b）所示的理想图像。

通过帧差法可以为Mean Shift目标跟踪方法提供起始跟蹤窗口，避免了人工选取的烦琐程度。跟踪算法运行时，首先会播放原始采集的视频，播放结束后会重新播放如图4所示只有运动目标下落的视频，其中该算法通过图4中红框（框取颗粒位置信息）的四角坐标得到中心坐标，从而计算Bhattacharyya系数和权值，方便找到下一帧的最佳位置。

由于颗粒接近气泡时会受到来自气泡周围绕流的影响，因此颗粒并不是垂直下落。通过跟踪颗粒下落的位置，可以拟合出如图5所示颗粒运动的轨迹，通过判断轨迹是否通过气泡，可以检测出颗粒与气泡是否发生碰撞，为矿业工程学院进一步研究浮选碰撞问题提供便利。

5 结论（Conclusion）

本文针对视频图像中多目标跟踪问题，提出利用帧差法与Mean Shift算法共同实现对滴落颗粒的运动轨迹跟踪，并利用Matlab对颗粒与气泡碰撞概率测试系统采集的视频图像进行仿真操作。试验结果表明，通过帧差法能够快速提取图像中的目标模型并提供初始跟踪窗口，结合Mean Shift算法能够准确跟踪颗粒下落过程，节省了大量工作时间，提高了颗粒二值图像的清晰度，为后续探究浮选碰撞问题提供可靠保证。

参考文献（References）

[1] ZHANG Y J，et al.Physical properties and filter cake structure of fine clean coal from flotation[J].International Journal of Mining Science and Technology，2014，24（2）：281-284.

[2] ANSARI A，et al.Floatability of chalcopyrite and molybdenite in the presence of lignosulfonates，Part Ⅱ：Hallimond tube flotation[J].Minerals Engineering，2007，20（6）：609-616.

[3] A Nguyen-van.The collision between fine particles and single air bubbles in flotation[J].Journal of Colloid and Interface Science，1994，162（1）：123-128.

[4] 王芝伟，梁殿印.磁铁矿颗粒在复合力场中的运动轨迹研究[J].有色金属（选矿部分），2011（2）：43-47.

[5] 钟德华，等.多目标跟踪算法的研究与应用[J].计算机测量与控制，2008，16（6）：846-848.

[6] 梁秀满，等.基于Otsu图像分割的颗粒与气泡碰撞检测方法[J].矿业工程，2017，26（06）：127-130.

[7] 李耀明，等.基于Mean Shift的筛面物料颗粒目标运动轨迹跟踪[J].农业工程学报，2009，25（5）：119-122.

[8] 张世杰.煤泥浮选过程中颗粒与气泡碰撞、吸附规律研究[D].北京：中国矿业大学，2015.

[9] FIGUEROA P J，KEITE N J，BARROS R M L.Tracking soccer players aiming their kinematical motion analysis[J].Computer Vision and Image Understanding，2006，101（2）：122-135.

作者简介：

梁秀满（1973-），女，硕士，副教授.研究领域：检测技术及智能装置.

付董帅（1992-），男，硕士生.研究领域：检测技术及智能装置.本文通讯作者.

牛福生（1974-），男，博士，教授.研究领域：赤铁矿颗粒絮凝浮.endprint