煤矿视频中复杂行为识别的持续学习模型探究

2020-11-14袁艳斌王德永

金属矿山 2020年10期

罗响袁艳斌王德永，2 钟珊张波李倩

（1.武汉理工大学资源与环境工程学院，湖北武汉430070；2.平顶山学院信息工程学院，河南平顶山467000）

基于煤矿视频的矿工行为识别技术是智能视频监控系统的一种特殊应用，核心技术涉及计算机视觉、模式识别、人工智能等多个学科，矿井内部环境的复杂性和特殊性导致监控视频画面图像噪音多、行为识别困难。中国矿业大学等研究机构针对矿井环境复杂性，主要探究了煤矿井下图像降噪、去雾、拼接、运动目标检测、跟踪等图像处理中低层面的技术和方法［1-4］，但对于井下人员的行为分析、识别和理解方面的研究相对较少，尚未形成完整有效的处理框架。目前为提高矿工复杂行为识别准确率，需要从视频数据细节增强、外观特征提取训练、高维数据降维、深度学习识别等几个方面设计改进算法，进而准确识别复杂人体行为［5-7］。

当前识别方法是通过在语义层引入概率模型实现对煤矿井下矿工复杂行为识别，其准确度优于确定性算法系统，该类方法假定训练数据集均由人工选择且被人工标记，所提取特征为兴趣点的时空特征。兴趣点由检测子获取，提取兴趣点周围信息形成局部特征向量，构建局部特征描述子，然后利用这些特征实现动作行为识别。常采用的检测子算法有Harris3D 检测子［8］、SIFT 检测子［9］和 Hessian 检测子［10］；常用局部特征描述子包括 Cuboid 描述子［11］、HOG3D 描述子［12］以及基于深度传感器的描述子［13］和行为模型［14］。此识别方法是基于某种先验知识的学习模型，对动态环境下的连续学习不具备自适应性，存在标签样例数量不足以及概念漂移等问题。

为了解决上述问题，本文耦合了深度网络和主动学习的思想来构建持续学习模型，本模型将待识别视频作为新的训练样例，通过深度网络和主动学习对新训练样例进行标记，能够自动对行为模型进行持续学习，提高视频数据中煤矿工人复杂行为识别精度。

1 持续学习模型的框架与实现方法

1.1 持续学习模型的框架

持续学习模型处理框架如图1所示，包括初始学习阶段和增量学习阶段两大处理步骤，能以无监督方式为每一个行为类别自动学习最优的特征集，减少新增无标签样例的人工标记成本，且无需存储历史数据，仅保留已学习的信息，通过对新增样例的增量学习实现行为模型和稀疏自动编码器参数的更新和持续学习。

1.2 持续学习模型实现方法

1.2.1 初始学习阶段方法

（1）初始行为的表示。对于无监督层次特征的学习模型，典型的行为片断通常具有大量像素，使得所提取的时空兴趣点STIP（Space-Time Interest Point）特征无法直接作为神经网络的输入进行特征学习。为了解决该问题，利用时空金字塔和平均池化技术，将行为片断的STIP特征进行有效压缩。具体地，Gt,l c表示T=t和L=l时属于立方体G={g1,…,gn} 的STIP特征集，T和L分别表示时间层和空间层的数量，利用平均池化技术获得特征fct,l=Avg(Gct,l)，通过串联从较低层到较高层的池特征构建复杂行为的初始特征表示x。

设X={x1,…,xm}是特征向量集，∑为特征协方差（式（2））。采用ZCA白化处理（式（3）、式（4））对X进行预处理，以降低特征间的相关性并保持特征各维度的方差相似性，处理后的数据可用于稀疏自动编码器的输入数据，进而实现复杂行为的特征编码。

（2）稀疏自动编码器。为了能够由无监督数据中自动学习特征，本文设计一个单层稀疏自动编码器DW，输入特征向量维数为n，隐藏层神经元数量为k。对于训练集样例X，通过最小化重构误差优化（式（5））求解参数W1,W2和偏移向量b1,b2的最优值。

（3）行为识别模型。行为识别模型softmax分类器通过神经网络中的多项式逻辑回归方法来构建行为识别模型ℜθ。在多项式逻辑回归模型中，xi属于类j的概率定义如式（8）所示。

式中，j={1 ,…,c}是类标记的集合，θjT是对应于类j的权重向量。分类识别模型的优化函数定义如式（9）所示。

对于给定的已标记训练集合X={(x1,y1),…,(xm,ym)}，分类识别模型的优化函数重写如式（10）所示。

1.2.2 增量学习阶段方法

1.2.2.1 主动学习

持续学习模型包含了稀疏自动编码器和softmax分类器两大网络，在深度网络参数微调期间它们被视为彼此独立的网络，结构如图3所示，以初始学习阶段训练的权重参数作为增量学习阶段的初始化权重。

主动学习能够降低最优参数学习对人工标记样例数量的依赖性。依据可利用的教师类型，主动学习系统可分为强教师和弱教师两大类，持续学习行为模型耦合以上两类教师模型。对于给定的未标记样例池U={x1,…,xp}，以及其相关的行为模型ℜθ和代价函数Js(θ)，教师模型的选择方式如下：①对于给定的无标记行为池U，在U上应用当前行为模型ℜθ，以概率p（式（11））生成一个初步决定集Y=(y1,…,yp)；②当p(yi=j|x;θ)大于阈值δ时，意味着初步决定yi有较高的概率，则调用弱教师模型，使用当前行为模型的标签yi标记无标签行为；③计算行为池中剩余的每个无标签行为的预期梯度长度（式（13））；④调用强教师模型对最高期望梯度长度样例进行标记。

由于采用梯度下降法训练行为识别模型，如果某一无标记样例在目标函数（式（12））的梯度中产生了最大的变化，需要将其增加到训练集中。

然而，计算梯度改变需要标签知识，由于给定样例中缺乏标识知识，为了能够获得梯度长度，本文采用预期梯度长度（式13）来替代真实的梯度长度xi。

进而对于给定的无标签行为池U，通过求解优化函数（式（14））将无标签行为池U的一部分作为训练行为集U*。

1.2.2.2 增量学习

基于所构建的行为模型原型，本文采用最小批处理增量训练权重参数，并依据内存的可利用性选择多样化样例用于增量学习，利用参数增量更新DW和ℜθ参数，实现持续学习模型的自动更新，最终得到融合稀疏自动编码器和主动学习的深度网络持续学习行为模型算法SAAL（Sparse Autoencoder and Active Learning），处理步骤如图4所示，其时间复杂度依赖于训练样本的大小和学习方法的种类，如果权重参数W和θ趋向稳定，则算法收敛。

2 实验数据及实验环境

2.1 煤矿不安全行为实验数据集

为了验证模型框架的有效性，分别在2种不同的数据集上进行实验，一是公共数据集KTH，二是真实采集的煤矿监控数据集RCV，表1所示给出了2个数据集的描述。实验中假定行为片断已知，假定无标签样例的行为片断顺序输入持续学习模型。

2.2 实验环境

基于算法SAAL是否采用主动学习和缓冲区大小是否固定，设定如表2所示的4种不同实验环境。4种实验环境下执行的实验应满足以下设定：①准确率均值化，由于算法的准确率依赖于数据的输入顺序，同一数据集上的多次持续学习所得识别准确率将存在不同，因此，采用多次实验结果的平均值作为最终统计结果；②采用交叉验证，数据集被分为2个训练集，1个测试集和1个验证集。

3 实验结果及分析

3.1 复杂行为识别性能分析

图5为4种实验环境下的识别准确率统计曲线，在4种实验环境下，当新样例输入到持续学习行为模型框架时，在2种数据集上的性能均呈上升趋势。由图5（a）可知，NAI优于其他3种实验环境下的性能，AF实验环境下的性能接近于NAI，NAF具有最差的识别准确率，原因在于缓冲区大小固定，且缺乏主动学习模型，存在富含有效信息样例的遗失。尽管AI实验环境下拥有无限缓冲区，但AI的性能与AF类似，原因在于相比于主动学习，多样化样例的选择对性能的影响相对较小。由图5（b）可知，RCV数据集实验结果曲线与KTH数据集结果曲线类似。当所有样例均可见时，持续学习模型在NAI和AF实验环境下的准确率分别为63.75%和60.56%，比传统基于时空特征的方法具有更高的识别准确率。

3.2 增量学习对识别性能的影响

表3和表4分别列出了在KTH、RCV数据集增量学习后模型性能改进情况。由表3可知，由于新增样例的加入，持续学习模型改进了每种复杂行为识别的性能，当所有样例可见时，持续学习模型在AF、AI、NAF和NAI 4种环境下的平均准确率分别为94.3%、96.2%、96.2%和96.7%，相较于初始准确率，平均改进幅度分别为24.4%、33.1%、32.7%和31.6%。可见通过增量学习，KTH数据集的复杂行为识别准确率有一定提升。由表4可知，在RCV数据集上，3种复杂行为在4种实验环境下的识别准确率均得到改善，当所有样例可见时，持续学习模型在AF、AI、NAF和NAI 4种环境下的平均准确率分别为55.0%、52.7%、51.7%和54.7%，相较于初始准确率，平均改进幅度分别为57.1%、42.4%、31.6%和45.1%。

对比KTH数据集结果，RCV数据集识别准确率普遍偏低，原因在于RCV数据集为真实煤矿监控视频数据，数据量大、环境特殊且识别的行为相较于KTH数据集更为复杂，但通过增量学习后，真实煤矿场景中复杂行为识别性能提升明显。

注：“—”表示性能未发生改变。

3.3 深度学习对性能的影响

注：“—”表示性能未发生改变。

图6为RCV数据集使用深度学习模型前后的复杂行为识别准确率变化曲线图。由图可知，随着新增训练样例输入持续学习行为模型，基于深度学习方法的识别准确率快速得到改善，当训练样例引入60%左右时，其识别准确率超过未使用深度学习的识别模型；当所有样例可见时，其识别准确率相较于未使用深度学习的识别模型提升1.7%，此结果表明持续学习行为模型能有效解决复杂行为识别过程中的概念漂移问题，在训练样例增加的情况下，不断提高识别准确率。