基于RGB-D视频的地铁异物风险检测方法研究

刘伟铭,李静宁,杜逍睿

(华南理工大学土木与交通学院,广州 510640)

1 概述

近年来，我国城市轨道交通发展迅速，地铁快速发展的同时，也出现了一些安全问题影响乘客安全出行。早晚高峰期，地铁夹人夹物事件频发，导致大批乘客延误逗留甚至人员伤亡，由此引发了地铁安全的热议。由于地铁列车门与屏蔽门间存在一定的隐患，一般采取人员巡逻和车头司机瞭望来确保列车安全运行[1]。人工的方式有诸多局限，无法满足自动驾驶的发展需求，因此采用先进技术对地铁列车门及屏蔽门间风险区域进行异物风险检测，对地铁运行可能出现的风险及时提醒，将更好的保证地铁安全运行，减低乘客乘车风险。

2 异物风险检测

目前针对地铁异物风险检测方法主要有基于激光传感器检测、基于红外光幕检测以及基于彩色视频图像检测三种方式。苏建华等[2]提出基于彩色视频图像的车门夹人检测方法，采用颜色直方图算子分别对车门及车门夹人时图像进行检测，通过对比判断异物。谭飞刚等[3]提出基于地铁曲线站台的空隙异物自动检测预警系统，通过对彩色视频帧背景建模方法检测异物目标。施伟等[4]提出改进的霍夫变换算法来检测地铁车尾光带来判断异物，该方法只适合直线站台。基于图像的检测方法对乘客和列车均无影响，便于安装，适合于直线和曲线站台。然而地铁环境复杂，RGB摄像头易受到光线、灰尘、异物与背景相似等干扰，鲁棒性不高。

随着深度传感器技术的提升，深度摄像头在目标检测领域的应用日益广泛。与传统的摄像头相比，深度摄像头不依赖于光源，利用深度信息可以明显改善目标识别和跟踪的效果。深度信息可以通过不同的方法实时获得，如视差估计法的立体摄像头[5]、基于飞行时间(ToF)的摄像头[6]或微软Kinect外设[7]等。本文选择基于飞行时间的Pico Zense的RGB-D摄像头来采集RGB-D图像，该摄像头在地铁环境下能够采集高分辨率稳定的彩色图像及深度图像。在此基础上，设计了一个地铁风险区域异物风险检测方法，首先采取RGB-D+ViBe的方法进行异物目标检测，再通过检测异物尺寸对异物风险进行判断，从而充分利用多源信息提高检测准确度。

3 基于RGB-D异物风险检测方法

3.1 ViBe目标检测算法

在复杂环境下检测出有效的异物目标，对后续监测系统异物风险判断起着关键作用。ViBe(Visual Background Extractor)[8-10]是O.Barnich提出的一种像素级的前景检测算法，有计算效率高，检测实时性好的特点。ViBe算法不需要提前对视频帧进行训练，能够快速、有效地检测出前景，减少鬼影对前景的干扰。在前景检测算法中，ViBe算法的前景检测准确率优于高斯混合模型(GMM)[11]、码本模型[12]、贝叶斯模型[13]等。ViBe目标检测算法包括3个阶段：(1)建立像素模型；(2)像素点分类；(3)模型更新。

(1)建立像素模型:对图像中某一点像素P(x，y)，由于领域像素点空间分布特性相似，随机选取领域像素点的值作为模型样本值，利用一帧图像初始化背景模型。

(1)

(2)像素点分类：将新像素点fi(x，y)和初始背景模型进行比较，如果该点与模型样本空间距离小于某一值R，则近似样本数目增加，否则近似样本数目不变。当近似样本点数小于阈值λ，则记该点为运动前景。

(2)

(3)

其中，Bi(x，y)表示像素点分类结果；Bi(x，y)=0表示该点为背景点；Bi(x，y)=1表示该点为运动目标点；Ni表示近似样本点；dis(fi(x，y)，vj)表示新像素点与初始背景模型欧式距离；R是距离半径阈值；λ表示近似样本阈值。

(3)模型更新原则

时间衰减原则：样本保留在模型的概率随时间衰减，而判断为运动目标的点则不会用来更新模型。

(4)

可变换为

(5)

随机子采样原则：当被分类至背景点时，随机确定该点是否用来更新模型以拓展模型覆盖的时间窗口。因此引入随机子采样因子φ，即背景有1/φ的概率用来更新模型。

空间一致性原则：某像素点触发模型更新时，随机选择邻域模型用以更新原模型，从而在空间上传播像素样本，确保空间一致性。然而，基于RGB图像的ViBe算法仍存在一些不足：(1)首帧构建的模型里存在运动的目标时，后续检测会出现鬼影现象；(2)在光照变化较大的黑暗场景中或灯光颜色变化较大的场景，可能会导致大面积的背景被误认为是前景点；(3)在模型更新阶段，仅使用灰度图像来计算帧像素之间的差异时，容易混淆背景和前景。

3.2 RGB-D+ViBe的异物目标检测方法

由于ViBe算法的不足，杨丹等[14]提出的基于彩色图像的ViBeImp算法，检测过程中运用多种算法相结合计算自适应半径阈值，可以快速适应环境变化，但是面对光照变化大等问题仍无法解决。而Del-Blanco C等[15]提出的自适应双码本DECB算法融合了彩色和深度信息，虽然对光照具有鲁棒性，但是不具备实时性。基于RGB-D+ViBe的改进目标检测方法，融合深度和彩色信息，将颜色、纹理和距离特征充分利用，消除光照影响，保证前景良好的检测效果。

(1)建立深度模型

一般情况下，目标检测选取视频的初始帧作为背景，但是当目标出现在第一帧时，大多数检测方法仅通过RGB图像难以快速地将前景与背景分离。然而，利用深度信息可以有效快速将前景与背景从初始帧中分离出。对于深度图像，靠近相机的点深度值大，而远离相机的点深度值小。当前景移动时，与其初始位置相对应的像素变小，如果这些像素也被识别为前景，那么就会形成伪前景即鬼影，建立深度模型可以利用深度信息有效抑制鬼影现象。

将第一帧深度值D(x，y)保存为深度模型MD(x，y)

(6)

深度模型有ViBe算法类似的更新策略，当触发模型更新时，原模型中深度值被替换为当前像素对应的深度值。

(2)彩色和深度图像融合像素背景模型

本文采用直观的融合方法，在原有彩色的ViBe算法之外添加深度信息，组合通道f=(fI，d)由RGB空间中的3个颜色通道均值I通道和深度值d构成。彩色图像符合人类的视觉习惯，并提供颜色和纹理等信息，合理利用彩色图像关键信息，从而提高检测准确率。由于色彩、光照变化对检测效果影响较大，为了消除色彩变化影响，首先对彩色图像R、G、B三通道进行平均得到I通道图像。深度图像量化了目标到平面的距离，深度值越高，检测越可靠。因此，利用深度信息作为检测置信因子，例如深度图像中有空洞的地方，深度检测明显不可靠，融合的结果将取决于彩色图像。

本文取深度值倒数进行归一化处理作为深度不确定度，将其与深度值和RGB通道均值进行融合，得到融合的归一化图像

(7)

(8)

(3)判断像素点是否为前景

建立深度像素模型MD(x，y)来增加判断前景时的匹配条件，从而消除鬼影影响，改善算法效果。

首先，将融合后的点ffusion(x，y)和融合模型比较，如果该点与模型空间距离小于某一阈值R，则近似样本数目增加，否则近似样本数目不变。

然后，当近似样本数大于阈值λ，则记该点为背景点，以原更新策略更新融合模型和深度模型；当近似样本数小于阈值λ，且深度值与深度模型欧式距离超过阈值τ时，则记该点为鬼影点，仍归类为背景点；若近似样本数小于阈值λ，且深度值与深度模型欧式距离小于τ时，则认为该点为运动目标点。

(9)

(10)

其中，Bi(x，y)为像素点分类结果，Bi(x，y)=0为该点为背景点，Bi(x，y)=1为该点为运动目标点；Ni为近似样本点；dis(fi(x，y)，vj)为新像素点与初始背景模型欧式距离；R是样本距离阈值；λ为近似样本阈值；τ为深度距离阈值。

3.3 异物风险判断

检测出异物目标后，需要对异物进行风险判断，文献[16]提出，将站台异物划分为5个风险等级，如表1所示。

表1 文献[16]中异物风险分类

参考表1的分类依据，将异物风险分为三类：高≥100 mm，长≥100 mm，宽≥100 mm为高风险异物；50 mm≤高<100 mm，50 mm≤长<100 mm，50 mm≤宽<100 mm为低风险异物；高<50 mm，长<50 mm，宽<50 mm为无风险异物，如表2所示。

表2 本文异物风险分类

异物的尺寸通过彩色图像并不能完全检测出来，因此借助深度信息，可以更精确判断异物风险。由于异物形状不确定，因此对目标做近似处理，通过近似的异物尺寸来判断异物风险。

(1)计算最小外接矩形

根据目标像素点集合的最值确定外接矩形，得到其面积

S=(maxX-minX)×(maxY-minY)

(11)

旋转目标图像，求出新目标像素点集合坐标最值确定外接矩形和面积，直到外接矩形面积最小，则为最小外接矩形

x′=xcosb-ysinb

(12)

y′=xcosb+ysinb

(13)

(2)图像尺寸转换为实际尺寸

引入转换系数，将像素长度转换为实际距离，得到近似异物目标的实际长和宽

L=k×l

(14)

W=k×w

(15)

其中，l，w分别为彩色图中异物目标最小外接矩形长、宽；L，W分别为实际长、宽；k为像素长度与实际距离的转换系数。

利用深度信息计算异物高度，取最小外接矩形对应深度最小值和最大值的差，可以得到异物的高

H=dmax-dmin

(16)

(3)根据异物尺寸判断异物风险

Flag=

(17)

其中，Flag代表风险等级。

3.4 实验结果与分析

基于Qt5.6.1及opencvSDK2.4.3的环境，实验采集的视频帧率为30帧，颜色和深度图像的大小为640×480。为了验证所提出的异物检测方法鲁棒性，实验采集了正常光照时地铁环境下异物视频和当光照变化较大时地铁环境异物视频。

首先，将本文方法目标检测的结果与先进的基于RGB-D融合的MOG4D[17-18]算法以及基于彩色图像的ViBe算法[19]和基于深度的ViBe算法[20]进行比较，为了验证异物检测方法的有效性，采用准确率指标进行评价，准确率在计算机视觉中被广泛用于评估二进制分类器的性能[21]。

(18)

其中，TP代表正确分类为运动目标的真实运动点；TN代表正确分类为背景的真实背景点；FP代表错误分类为背景的真实运动目标点；FN代表错误分类为运动目标的真实背景点。

本文提出目标检测方法涉及5个参数的设置，即样本数目N、样本距离阈值R、近似样本阈值λ、更新因子φ和深度距离阈值τ。为了获得最优的检测效果，实验设置N=20，R=20，λ=2，φ=16以及τ=2。图1代表正常光照时目标检测结果，图2为光照变化大时目标检测结果，表3为不同光照条件下目标检测准确率。

图1 正常光照时目标检测结果(左下为彩色ViBe算法检测结果，右下为本文方法检测结果)

图2 光照变化大时目标检测结果(左下为彩色ViBe算法检测结果，右下为本文方法检测结果)

表3 不同光照条件下准确率对比 %

根据实验结果，本文提出的RGB-D+ViBe算法，结合一个额外的深度模型，可以有效地消除鬼影和黑影。在正常光照下检测准确率较其他方法有所提升，而当光照变化大特别是灯光闪烁的情况下，其他方法由于鬼影大大降低检测准确率，而本文方法检测准确率在光照变化大的情况下也达到90%以上，具有鲁棒性。为了验证异物风险判断的准确率，针对不同尺寸的异物进行实验，其中像素距离转换系数k取4.5。图3代表异物风险判断结果，表4为实际异物尺寸风险判断和实验对比。

图3 异物风险判断结果(左为彩色原图，右为检测结果)

表4 实际异物和实验结果比较

由表4可以看出，与实际异物尺寸相比，本文方法计算出的异物尺寸误差在1 mm内，能够有效准确判断异物风险。

综上所述，本文提出的RGB-D+ViBe目标检测方法可以充分利用彩色和深度多源信息，结合深度模型实现鬼影的抑制和对光照具有鲁棒性，能够准确检测异物，同时提出了异物风险判断方法，有效警示异物风险。

4 结语

地铁异物检测易受到光照、背景等影响，随着深度传感器的发展，深度信息为异物检测提供了新的思路。基于采集的屏蔽门和列车门之间的RGB-D视频，提出一种融合深度和颜色信息的异物风险检测算法。实验结果证明，基于RGB-D+ViBe的方法在不同光照条件下准确率都达到90%以上，基于RGB-D的异物尺寸计算误差在1 mm以内，方法具有鲁棒性和准确性，对地铁站台安全监测有很高的使用和推广价值。