基于红外遥感信息的煤矿车辆异常行为检测研究

李玉吉，曹旭辉

(陕西国防工业职业技术学院，陕西 西安 710300)

在煤矿开采中，运输成本和能耗占工程的大部分，其中对煤矿车辆的监控和调度是保障煤矿正常开采的重要条件[1]。若煤矿车辆出现交通事故，会影响煤矿开采的正常进行。已有相关报道显示，在车辆发生交通事故前，大部分车辆出现异常驾驶行为[2]。并且，由于天气、道路、调度等不确定因素，也会导致煤矿车辆出现异常行为[3]。因此，检测煤矿车辆的异常行为，及时采取有效措施，可以大幅度降低煤矿车辆的事故发生[4]，降低煤矿开采的成本，维护煤矿的交通安全。

通常对于煤矿车辆异常行为的检测主要是通过人工查看监控视频和现场巡逻等方式完成[5]。这不仅浪费了大量的人力，而且人工易出现疏漏，导致监测的效果并不理想[6]。目前有相关研究提出，利用视频图像处理技术，识别煤矿车辆的异常行为，对煤矿车辆的逆行、超速等违规驾驶发出警告，提前排查易造成事故的潜在因素[7]。还有学者提出利用双向长短记忆网络[8]和GPS信息[9]对煤矿车辆的驾驶行为进行检测。但在应用中发现，其易受外界环境干扰，对检测结果的输出不稳定，难以满足现实应用需求。

红外遥感影像中包含众多地物细节，具有较高的分辨率。利用车辆在红外遥感影像中的信息提取车辆行为特征，实现煤矿车辆异常行为的精准检测。红外遥感影像中，受光照影响导致相同类别的地物可能存在差异的光谱特征，利用光谱特征所存在的差异，可获取煤矿车辆异常行为检测所需信息。红外遥感影像受阴影干扰影响较大，提取红外遥感影像中有用信息时，需及时处理红外遥感影像中阴影，可利用图像增强方法处理图像，使图像可满足煤矿车辆异常行为检测需求。为此，提出基于红外遥感信息的煤矿车辆异常行为检测方法，并对其应用效果进行了分析。

1 煤矿车辆异常行为检测方法

1.1 基于像元的图像增强

选取基于像元的图像增强方法增强红外遥感图像中存在目标车辆区域的对比度。将红外遥感图像中阴影区域的邻近像元灰度值差异拉伸[10]，提升红外遥感图像的对比度，令阴影区域细节信息更加全面展示，提升煤矿车辆异常行为检测性能。p与q分别表示灰度值为Ip与Iq的一对像元，kqp表示以上2个像元间的拉伸系数，可得拉伸系数为：

(1)

红外遥感图像中一对像元的灰度值是否需拉伸利用拉伸系数体现。分析以上公式可知，一对像元所处区域阴影越强，像元与像元间的灰度值接近程度越高[11]，具有较小的空间距离，此时拉伸系数较大，即该对像元所需拉伸灰度差值的程度越高，利用灰度差值拉伸提升阴影区域的局部对比度。将像元的清晰度权重引入红外遥感图像增强中，避免拉伸系数受到图像噪声影响。πp为红外遥感图像中像元p的清晰度权重：

(2)

与像元p存在同个灰度值的像元集合{r:|Ir=Ip}，即式(2)的计算范围。

利用清晰度权重衡量像元p中是否包含噪声。像元p的邻近点与其灰度值相同时，其灰度值波动极小[12]，即清晰度权重πp数值越高时，像元p越不可能为噪声点。将所获取的清晰度权重引入式(1)中，获取考虑清晰度权重情况下拉伸系数为:

(3)

输入红外遥感图像的灰度级Ip，利用变换函数T转化为T(Ip)，|T(Ip)-T(Iq)|为红外遥感图像像元的灰度值差，灰度值差与输入图像中的相应拉伸系数利用变换函数转换成固定比例[13]，变换函数T属于超定方程组，需获取其近似解。设存在累计灰度拉伸系数Gp(x)为:

(4)

像元集合{q:|Iq=Ip+x}内全部像元与像元的相关系数Gpq包含于Gp(x)中。Gp(x)的大小可体现像元与该像元p存在大小为x的灰度差值需要拉伸的程度。式(4)引入了对数函数，有效避免红外遥感图像增强处理过程中所存在的放大饱和噪声等过度增强情况[14]。设存在x>0，令变换函数T处于单调状态，需满足：

(5)

式中，α为归一化常数。

红外遥感图像中邻近像素点灰度级间的差异为B(Ip)，其表达式为：

B(Ip)=T(Ip)-T(Ip-1)

(6)

联立式(5)与式(6)可得:

B(Ip+x)=αGp(x)

(7)

分析式(7)可知，针对红外遥感图像中的随机像元，均需满足以下方程：

B=αGp

(8)

设存在包含权重的代价函数J(B)为:

(9)

式中，Wp为对角矩阵，对角元为2/[1+exp(|i-Ip|)]。

将矩阵B的极值点利用J(B)求偏导获取，获取最优解B*为：

(10)

变换函数最优解:

(11)

式(11)所获取结果即为红外遥感图像增强的近似解。以上获取该近似解过程中，充分考虑了红外遥感图像中差异区域像元所存在的灰度差异[15]，具有较高的自适应性。将该方法应用于煤矿车辆异常行为检测中，利用T可实现目标车辆部位的局部增强。

1.2 煤矿车辆跟踪

完成红外遥感图像目标煤矿车辆部位的局部增强后，需进行煤矿车辆跟踪操作。煤矿车辆跟踪即目前帧与上一帧红外遥感图像中的运动煤矿车辆匹配[16]，选取非参数的概率密度估计方法均值漂移算法实现红外遥感信息中煤矿车辆的跟踪。均值漂移方法利用所获取概率分布极值实现红外遥感图像中目标煤矿车辆的定位，完成煤矿车辆的跟踪。采用均值漂移方法跟踪红外遥感图像中煤矿车辆过程如下。

(1)初始化红外遥感图像中窗口位置以及窗口大小。

(2)计算红外遥感图像中搜索窗口中的零阶矩公式：

(12)

计算红外遥感图像中搜索窗口中的一阶矩为：

(13)

计算红外遥感图像中搜索窗口中的质心为：

(14)

式中，I(x，y)为像素值。

(3)调整搜索窗口大小。

(4)移动搜索窗口中心至依据式(14)所获取的质心位置。移动前设定移动阈值以及迭代次数，当移动的距离高于阈值时，返回至步骤(3)，直至满足所设定迭代次数或小于所设置阈值为止。

利用以上过程计算红外遥感图像中的全部帧，迭代过程中始终将前帧计算所获取的窗口中心以及大小设置为初始值，完成红外遥感图像中煤矿车辆目标跟踪。采用均值漂移法跟踪煤矿车辆目标的跟踪结果为外接矩形。

1.3 煤矿车辆异常行为检测

利用煤矿车辆跟踪结果明确煤矿车辆运动信息，利用煤矿车辆运动信息获取煤矿车辆运动方向、运动速度等异常行为检测参数。将利用均值漂移法所跟踪煤矿车辆目标的矩形中心点作为煤矿车辆位置信息。煤矿车辆位置存在明显改变时，表示煤矿车辆存在大幅度移动，是煤矿车辆运行过程中的明显异常行为。利用像素体现煤矿车辆位置改变情况，可得红外遥感图像中煤矿车辆位置移动改变量公式：

(15)

式中，(xn，yn)与(xn-1，yn-1)分别为当前帧以及前帧图像的目标煤矿车辆坐标。

煤矿车辆的加速度信息可体现目标煤矿车辆速度变化情况，红外遥感图像中目标煤矿车辆加速度计算公式：

(16)

式中，vf与vi分别为时间为tf与ti时目标煤矿车辆的速度值。

煤矿车辆位置与运动方向存在较大关联，目标煤矿车辆运动过程中方向变化表达式：

(17)

确定以上变量后，获取煤矿车辆位置移动改变量的状态函数g(p)为：

(18)

煤矿车辆运动速度改变量状态函数h(a)为：

(19)

煤矿车辆运动方向改变量状态函数为j(θ)：

(20)

检测煤矿车辆异常行为时，需提前设定好阈值Rp、Ra与Rθ，所获取的车辆不同参数改变量高于已设定阈值后，将车辆的不同状态函数设置为1，否则设置为0。

通过以上过程可知，煤矿车辆异常行为检测首先需获取车辆位置、车辆移动速度以及车辆运动方向的改变量，采用加权融合方法处理煤矿车辆异常行为的状态函数，设置三者权重值之和为1。对比加权融合结果以及所设定判别阈值，当融合结果高于所设定阈值R时，表示车辆存在异常行为，否则表示车辆为正常行驶状态。煤矿车辆异常行为检测流程如图1所示。

图1 煤矿车辆异常行为检测流程Fig.1 Flow chart of abnormal behavior detection of vehicles in coal mine

2 实例分析

为验证所研究煤矿车辆异常行为检测方法检测煤矿车辆异常行为有效性，选取某煤矿车辆作为检测对象，在煤矿道路上设置红外遥感摄像头，采集该车辆在道路中2020年9月5日9:16—9:25时的红外遥感影像共2 854帧，根据所采集红外遥感影像，利用本文方法分析研究该煤矿车辆行驶是否存在异常行为。本文方法采用像元方法实现了红外遥感图像增强，为了客观评价本文方法的红外遥感图像增强性能，选取信息熵以及对比度增强值作为评价红外遥感图像增强性能的重要指标。

统计采用本文方法增强红外遥感图像随机帧数的信息熵结果以及对比度增强值结果，为了直观验证本文方法的运行性能，对本文方法进行测试，结果见表1。由表1可以看出，采用本文方法增强红外遥感图像，所获取的对比度增强值较大，说明本文方法可有效提升红外遥感图像的局部对比度。本文方法可重点增强红外遥感图像中目标车辆位置的局部对比度，展现更多有用信息，有效提升图像的局部对比度，展示更多的有用信息。

表1 信息熵和对比度增强值测试结果Tab.1 Test results of information entropy and contrast enhancement values

图像中包含细节信息越丰富，图像信息熵越大。由表1可知，本文方法在不同帧图像中均具有较大的信息熵，说明本文方法处理红外遥感图像具有较高的图像增强性能。采用本文方法对红外遥感图像实施增强处理，其信息熵结果均高于7，增强效果优越，具有较高的保留图像信息的优势，可为提升煤矿车辆异常行为检测性能提供依据。

完成图像处理后，采用本文方法检测车辆是否存在异常行为。设置煤矿车辆位置变化阈值为12、煤矿车辆速度变化阈值为23、煤矿车辆运动方向阈值为0.5。统计采用本文方法检测第120—134帧红外遥感图像煤矿车辆位置变化、煤矿车辆速度变化以及运动方向变化结果，统计结果如图2—图4所示。由图2—图4实验结果可以看出，研究煤矿车辆在133帧时，煤矿车辆位置变化、速度变化以及运动方向变化均高于已设置阈值，说明此时煤矿车辆可能存在异常行为。

图2 煤矿车辆位置变化Fig.2 Location change diagram of vehicles in coal mine

图3 煤矿车辆速度变化Fig.3 Speed change diagram of coal mine vehicles

图4 煤矿车辆运动方向变化Fig.4 Variation diagram of vehicle movement direction in coal mine

设置煤矿车辆位置变化、煤矿车辆速度变化以及煤矿车辆运动方向变化的权值分别为0.3、0.3、0.4，煤矿车辆异常行为检测阈值为0.5。采用本文方法获取该煤矿车辆异常行为检测结果如图5所示。由图5实验结果可以看出，红外遥感图像为133帧时，煤矿车辆的判别参数加权融合值高于所设定阈值，确定此时煤矿车辆存在异常行为，红外遥感图像为133帧时所对应时间为9:21:25，检测结果为煤矿车辆此时存在异常行为。

图5 煤矿车辆异常行为检测结果Fig.5 Detection results of abnormal behavior of vehicles in coal mines

采用本文方法检测到的实验道路场景视频中煤矿车辆异常行为结果，如图6所示。分析图6可以看到，该检测道路场景视频在第95帧检测出煤矿车辆出现超速异常，并且视频图像中用红色框圈出车辆。说明本文方法准确检测出了道路场景视频中的煤矿车辆异常行为。

图6 煤矿车辆异常行为检测Fig.6 Detection of abnormal behavior of coal mine vehicles

3 结语

红外遥感图像对比度较低，导致阴影部分无法分辨细节，图像增强过程中容易增强噪声。利用像元方法增强红外遥感图像中的细节信息，可提升红外遥感图像中煤矿车辆部位的局部对比度，抑制红外遥感图像噪声，展示更多的目标煤矿车辆区域细节，提升煤矿车辆异常行为检测精度。利用完成增强的红外图像可实现煤矿车辆异常行为检测。所研究煤矿车辆异常行为检测方法可依据跟踪结果检测煤矿车辆异常行为，可作为交通管理的理论依据。