软间隔最大化在露天矿爆破区域人员疏散自动巡查中的应用研究

2020-05-14梁永春朱洪根田立勤

华北科技学院学报 2020年1期

梁永春，陈楠，朱洪根，田立勤

(华北科技学院计算机学院，北京东燕郊 065201)

0 引言

在露天煤矿开采过程中，抛掷爆破[1]是常用的将岩石或矿石抛离原地的方法。由于此项操作会在极短时间内释放大量高温高压气体，具有较高的危险性。因此，安全生产流程要求实施爆破区域人员必须撤离到安全区域。一般采用的手段是运用常用喊话的方式通知撤离，可是由于矿区噪音大，干扰因素较多等原因，有可能影响到员工及时收到撤离通知。为了保证生产安全，在抛掷爆破前对危险区域进行人员撤出后的巡检是防范安全生产事故必要的过程。可是，传统人工巡查的方式效率低，而且巡查人员自身安全也存在危险，因此由机器巡检代替人工巡检是未来发展方向。随着航拍和图像判读[2]技术的发展，目前利用无人机(Unmanned Aerial Vehicle，UAV)航拍图像并运用计算机视觉技术[3]分析图像，进行危险区域巡查，已经成为学术研究的热点。相比人工巡查，基于航拍图像巡查，具有高效和安全的特点。

目前，很多目标检测算法的识别速度在每秒15帧以上[4]，中目标和大目标正确识别率在80%左右，但对小目标的正确识别率在30%左右[5]。由于无人机离地面较高，拍摄角度是从上向下，人的成像较小，直接通过单一的目标检测算法识别率较低。将小目标转换成中目标，是提高目标识别率的可行方案。航拍图像中的小目标转换成中目标，通常有3种方法：调整焦距、降低高度和对成像进行超分辨率处理。调整焦距和降低高度是通过减小观测区域，实现目标体的成像变大。超分辨率是根据当前图片提取到的特征，加入部分像素点，实现目标体的成像变大。通过调整焦距实现目标体成像变大，图像的质量容易受到震动干扰，因为无人机巡检过程中由于电机工作的需要和风的影响，震动很难避免。降低飞行高度，碰到障碍物的可能性大幅增加，无人机的操作难度增加，同时频繁的躲避障碍物对航拍图像也有较大影响。目前，广泛采用的方法是基于对抗生成网络的图像超分辨率方法[6]。但此方法，计算量较大，引入到图像的预处理会带来较大延迟。通过预判断，减小需要超分辨率区域，可以有效减小延迟。本文提出通过目标检测、轮廓判别和图像超分辨率三种技术进行组合，在损失一定实时性的前提下，实现航拍巡检图像目标正确识别率的提升。

1 目标识别流程

巡检任务的关键技术是特定目标识别。基于计算机视觉的目标检测常由两个步骤决定识别对象和准确率——目标图库建立与标注、选择特征提取模型进行模型训练。训练图库的创建是识别的基础，为识别模型提供特定目标的特征。通常为了增强图库的覆盖，还会通过旋转、镜像转换、曝光强度变化等方式进行图库数据扩充。目前常见通过神经网络和深度学习实现目标检测的算法包括faster[7]、YOLO[8]、SSD[9]等。这些算法在神经网络结构、图像特征提取、损失函数的设计等方面的差异，表现出不同的目标识别速度和准确度。通常除了识别算法对目标识别准确度有较大影响外，需要识别的物体成像大小也与目标识别准确率直接相关，通常小图(小于23×23像素)正确识别率远低于大图。因此，需要综合考虑识别速度和识别正确率及小目标对正确率的影响，选择合适的目标检测算法。为了进一步提高算法识别的正确率，需要对模型训练和识别过程中学习率和迭代次数等参数进行配置和优化。航拍图像中，由于拍摄距离较远，目标成像较小。高密度残差神经网络结构，可以实现对图像细节更好的获取和有效防止梯度消失，更适合小目标检测[10]。对于识别率与识别效率矛盾问题，坚持安全生产比生产效率更重要的原则。矿区的具体情况中，目标检测正确率的干扰因素是必须要考虑并进行针对性防范的因素。由于需要识别的目标是人，具有主观意识，他的穿着和姿势对正确识别也会产生影响。

2 改进目标识别方案

矿区大量的工作是由人操作工程车辆进行工作的。因此可以在此类情况下，通过对车进行整体识别，提高识别率。此类识别方案是关联识别法，需要对区域内各类工程车辆进行航拍图像收集、标注制作成训练集，并选择适当的目标检测模型进行训练和识别，图1中的目标检测1实现此类情形下的目标检测。进一步提高此类目标检测对特定目标的检出率，需要前期对数据进行收集和分析。前期的准备工作要实现两个目标——关联性目标确定和目标特征收集。露天煤矿各区域、各阶段进行的工程操作具有很高的重复性，可以较容易实现根据由航拍图像中特定目标或特定目标的组合检测实现对此区域是否有人在操控工程机械的判断。目标特征收集是指在选定特征目标后，对选定目标在不同影响因素下不同工作内容的航拍数据进行收集。这里的不同影响因素，是指对航拍图像的影响，例如：太阳光照、天气因素和工作区域灰尘等因素。

通过对特定目标的识别和此目标与人的相互关系，进行相关推理识别方案并不能满足所有情况，因此直接对目标进行识别也是需要考虑的情况。小目标识别率较低，但通过图像的超分辨率可以实现目标成像的面积扩大从而提升目标检测的识别率。图像超分辨率计算量比较大，消耗的时间也较长，在图像中只有少量识别目标时，全图进行超分辨率处理性价比较低。当无人机高度一定时，人像的大小在确定的范围内，因此，可以通过这个范围排除大部分轮廓的周长和面积不在此范围的目标。在数字图像中，目标由像素点构成，目标的部分特点可以通过轮廓特征表现出来。根据数字图像的特点，轮廓是与周围像素的值差别较大的像素点集合[11]。根据这些集合数据，可以获得此物体成像的周长、面积等信息。通过对这些信息的分析，本文通过支持向量机和软间隔最大化实现大部分目标与非目标的区分，具体算法讨论见下节。对于剩下的小目标进行集中后通过生成对抗网络进行超分辨率[12]。超分辨率实现小目标向中目标的转换，目标检测识别率可以到达80%，见图1中目标检测2。为了提高检出率，此目标检测模型需要进行单独训练。训练样本不仅要包括需要识别的目标，而且对经过轮廓筛选，具有干扰性的目标也进行单独分类训练。假设图1中目标检测2的检出率是80%，检出目标包括识别目标和干扰目标。如果在一次检出中，所有经过轮廓筛选出的目标都进行识别，则此情况下优化组合后的识别可信率能够达到90%以上，满足大部分实际场景巡检准确性的需要。

图1 人员自动识别算法流程图

3 轮廓数据分析

轮廓是物体的客观特征之一，数字图像中轮廓特指目标与背景区分边缘像素点集合。轮廓分析就是通过这些像素点的集合，判断这些像素点集合是否属于某类目标的最大可能性。在本论文中，轮廓筛选可以抽象成为二分类问题，并通过软间隔最大化的方法进行分类区分。

通过轮廓历史数据获取训练样本，在本场景中训练数据被分为两类：人成像的目标轮廓与其它物体成像的非目标轮廓.设图像中所有轮廓数据组成的集合为R，其中xi为R集合中的一个轮廓数据，y为轮廓的归类，并且每个xi都有唯一对映的yi即，xi∈Rn，yi={+1，-1}为分类标记。待求解分类面方程(判别函数)为g(x)=(ω,x)+b,使得两类样本满足约束条件yi[(ω,xi)+b] ≥ 1.支持向量机特点是2/‖ω‖代表的两类点对应的距离越大，对位于未知点的判断越准确，同时这也是泛化能力的体现。为了满足梯度下降的条件[13]，在计算中通常将求最大转换成‖w‖2/2趋近于0实现。

(1)

本文中基于目标轮廓数据进行检测目标的预判断，是一种选取少量数据的预判断，存在部分数据不能通过线性方程进行准确分类。因此需要对式(1)进行修改，求解软间隔最大化，即对尽可能多的数据进行正确分类，同时也允许存在少量分类错误的数据。

(2)

式中，ξi为松弛变量，通过它实现对约束条件的软化；c为大于0的惩罚系数，其值代表对错误分类的惩罚程度，通过它实现对分类失效数据占比的接受程度调节。式(2)可以通过拉格朗日(Lagrange)有约束条件求最值法进行求解。为了简化计算，可以将式(2)转换成对偶形式[14]。

0≤αi≤c，i=1,...,l

(3)

式中，αi为拉格朗日乘子，求解过程中分量αi大于零对应的样本即为支持向量xi，利用软间隔支持向量机的KKT条件：

(4)

通常的软间隔最大化会得到多个结果，即允许少量的非人的成像归类到人的成像；同时，也允许少量人的成像按非人成像进行过滤。显然，后一种情况是我们不希望发生的。根据集合的概念，图像数据中所有轮廓中特定像素点间的关系可以组成集合，记为R。为了便于计算机对此集合数据的处理，先进行离散化，U表示对离散化后数据的一次划分。A=(U，R)表示离散后的集合是原集合的近似空间，且被分割成互不相交的子集。如果两个轮廓的两个特殊点对应的相互关系数字化描述在相同的等价类，则这两个轮廓归为一类(允许此次分类与真实情况不符合，将通过目标检测方法进一步判断)。对于一种特定的轮廓像素点的选择和此像素点间关系X⊆U，此集合不具有精确区分轮廓对应物体的能力，可表示为：

aprX=R(X)=U{[x]R|[x]R∩X≠φ}={x|x∈U,[x]RX≠φ}

(5)

式(5)中，R(X)为需要得到的特定选点规则和类别区分方法下，目标物体与非目标物体的离散后范围界定。在一个划分区域U，如果包含有目标物体x，则此划分区域U必须在目标物体范围内，并且由这样的划分区域U组成的区域边界为目标物体和非目标物体的区分边界。

假设人的轮廓样本在超平面上，间隔区样本(包含人的轮廓和其它物体轮廓)在超平面上方，其它样本在超平面下方。求解方法：

① 求解式(3)得到ω；

② 计算人轮廓样本(y=1)使得+b1≥0成立，且在+b1=0的条件下求b1；

③ 计算非目标轮廓样本(y=-1)使得+b2≤0成立，且在+b2=0的条件下求b2；

④ 软间隔SVM分类

不满足+b2≤0的x代表的轮廓都有可能是人的轮廓。满足+b1≥0的x代表的轮廓都是人的轮廓。

4 实验流程和结果

计算机视觉对计算机硬件要求比较高，本实验使用的计算机硬件配置为CPU:i7 显卡：T4 8G显存。实验的软件系统是在Ubuntu 16.04 的软件系统中配置darknet 框架yolo V3 目标检测算法，和OpenCV 图像处理工具包。在内蒙古某露天煤矿进行现场勘察和视频数据的采集。数据采集的方式是在不同时段和不同高度，对矿区抛掷爆破区域进行无人机航拍。航拍过程得到矿区工作人员的帮助，并提供很多重要信息包括抛掷爆破区域和根据矿区爆破安全生产技术规范，爆破前需要进行人员疏散的区域。参考目标成像大小与识别率的相互关系，综合考虑无人机飞行安全，巡检效率和识别准确度。经过实验，无人机在离地面9米时人的站姿从前方45度角拍摄，成像大小约为23×23像素，综合考虑此高度适合无人机巡检。过高目标的成像太小，影响识别；过低影响巡检效率的同时，巡检时遇到的障碍物更多，影响飞行安全。

实验总体过程由两部分组成，训练和检测。训练过程包括航拍图像数据的收集和对其中目标的标注。矿区工作人员都配备统一的工作服，模型的训练的重点是在各种环境下对工作服有效识别。存在的干扰因素来自目标自身和传播路径两方面。目标自身包括，员工从事不同工作的不同时间段身姿特征差异明显，同时工作服在工作中被污染等情况都会影响识别效果。传播路径方面的影响主要来自环境方面的影响——由天气情况、光照情况和工作区粉尘影响下工作区能见度。

对于目标自身的各种姿态和外观的变化，可以通过增加样本集的数量实现识别率的提升。工作区域能见度对识别效果的影响，通过训练数据扩充和基于大气散射模型去雾的方式消除模糊。数据扩充，是对训练数据中引入由于工作区域能见度低时拍摄的目标图像放入训练集中，此时，需要识别的目标成像时变模糊。根据大气散射模型观测到的图像是目标实际在全球大气光与介质透射共同影响下的结果。其中，介质透射的数值与大气散射系数和物体到相机的距离有关。应用大气散射模型去除雾形成的图像模糊和对比度低，已经有相关研究成果能够用于解决本文提到的问题，例如通过透射率去雾、暗通道来去雾和生成对抗网去雾[15-18]。

物体的轮廓是物体的特征属性，本实验中识别目标是人，因此目标的轮廓的周长和面积会在确定的区间内。图2(a)是通过航拍器获得的原始图像，图2(b)中标示区域是满足周长和面积都大于0的区域，图2(c)是根据在一定高度目标成像的周长和面积统计得到的区间值进行过滤，得到目标可能存在的区域。为了进一步缩小目标可能存在的区域范围，在轮廓中选取左上点(轮廓中x、y坐标值最小点)和右下点(轮廓中x、y坐标值最大点)对可能是人的成像轮廓进行再次过滤。具体方法是定义x1,y1左上像素点坐标，x2,y2右下像素点坐标，w代表图像的宽 h代表图像的高，为了消除不同相机成像的误差，对X，Y 进行无纲处理，见式(6)。

X= (x2-x1)/wY= (y2-y1)/h

(6)

为了最大可能区分人的成像的轮廓和其它轮廓，对前期统计的数据中轮廓左上和右下点的坐标数据转换成X、Y的值应用软间隔支持向量机进行分类。根据得到的结果对图C中的结果轮廓数据进行再次过滤，结果见图2(d)，图中只有两个区域可能有人。对此区域应用SRGAN[19]生成对抗网络进行超分辨率处理，再通过YOLO V3目标检测算法进行识别，见图2(f)。由于实验中经过轮廓过滤后的两个候选轮廓距离较近，可以在同一区域进行超分辨率，如果过滤后候选区域比较分散可以进行集中化处理——根据轮廓位置，复制区域像素数据到某区域内。

为了提高巡检结果的准确性和可信度，对经过目标过滤后保留的非目标物体单独分类进行训练。对航拍图像可以进行正向针对人的成像和反向经过轮廓过滤与人的成像存在共同点的非人图像都进行识别，提高航拍巡检的可信度。同时，对于有争议的物体，同时识别成两类目标的物体，和未识别物体，没有识别为人的成像也没有识别为非人的成像的轮廓区域，可以通过下降航拍器高度进行人工确认的方式进行处理。得到确认后应该将这里目标单独收集放入对应的数据集中进行模型训练集的扩充。

通过实验测试，当无人机拍摄的图像经过轮廓筛选，没有和人的轮廓特点相符的目标物体时，检测效率每秒10帧。如果图像中有轮廓特征近似区域，对此帧图片进行保存，同时对可疑区域进行超分辨率处理，再通过YOLO算法进行目标识别。如果识别结果显示是人的成像，对图像进行标注。这种情况的检测效率每秒2帧。