基于SE Detection Net的安全帽检测方法

刘 霞

(中国石油大学(华东)计算机与通信工程学院，山东 青岛 266580)

0 引 言

在日常的生产过程中，如建筑工地、电厂等，由于场景环境较为复杂，存在着威胁人身安全的各种因素，由于头部是人体中最易受到伤害的部位，在上述场合中工作的人员均要求佩戴安全帽[1]。智能化检测工人是否佩戴安全帽，能有效提高监管人员对安全帽佩戴情况的监管效率，大幅度减少了人工参与，一定程度上解放了劳动力；对工人本身而言，提供了安全保障。

现有的安全帽识别技术主要有冯国臣[2]、胡恬[3]、刘晓慧[4]等基于传统方法对安全帽进行检测。以上方法都是基于人为主观设计的特征，需要研究者具备丰富的实践经验和牢固的专业知识。人为设计特征，不但费时费力，而且泛化能力不好，不具备鲁棒性。

随着近年来深度学习方面相关技术的蓬勃发展，越来越多的研究者将深度学习技术应用到图像分类[5]、目标识别[6]、图像分割[7]等复杂任务上，并且都取得了相当可观的效果。但是对于这些算法而言，目标的尺度变化仍然是一个挑战。现有的用以解决多尺度目标检测的方法，如：SSD[8]、DSSD[9]、FPN[10]、ION[5]、HyperNet[11]、SNIP[12]、SNIPER[13]和TridentNet[14]等存在着网络结构复杂，计算量大的问题。虽然精度提升了，但检测效率低下，增加了检测时间。

针对上述问题，文中在VGG16神经网络的基础上，选用Conv4_3、Conv6_2和Conv7_2卷积层；利用分辨率增强模块，使后两个卷积层的特征图的大小和第一个卷积层中的特征图的大小保持一致；然后对转换后的特征图进行融合，这样融合后的特征图既包含高层语义信息，又包含低层细节信息；最后再根据融合后的特征图生成特征金字塔对安全帽进行检测，实现对小尺度安全帽的高召回，对大尺度安全帽的精确定位。

图1 SE Detection Net网络结构

1 SE Detection Net网络结构

SE Detection Net网络结构如图1所示。它以VGG16为特征提取网络，利用其中的Conv4_3、添加的Conv6_2、Conv7_2特征图进行特征融合，利用融合后的特征图生成特征金字塔，用于不同尺度的安全帽的检测，最后利用NMS(non—maximum suppression)算法，筛除重复的候选框，得到最后的检测结果。分辨率增强模块包括分辨率增强层和上采样层，分辨率增强层在不增加计算量的前提下，扩大了Conv6_2卷积层中特征图的大小，并减少了通道数，上采样层通过插值的方法对Conv7_2层实现了从低分辨率到高分辨率的转化。

1.1 VGG16网络

文中采用的特征提取网络是VGG16[15]。根据组成网络的层数，16层的VGG命名为VGG16。VGG16网络结构比较规整，是由多个卷积层加上一个池化层叠加组成的结构。VGG16使用3×3小卷积核和2×2小池化核。它总共包含5组卷积，每组卷积由2个或者3个卷积层组成，后面的最大池化层用于减少参数。另外，在每组卷积中，卷积核的数量是固定的。从前往后，每组的卷积核的数量依次是64、128、256、512、512。为了提高网络提取特征的能力，删除了VGG16网络中的最后一个池化层和三个全连接层，增加了两个卷积块，每个卷积块都有两个卷积层组成，最终网络生成的特征图的大小为10×10×512。

1.2 分辨率增强模块

特征图的分辨率问题是目标检测中的核心问题。结合不同分辨率的特征图，有利于多尺度目标的识别。在进行特征融合前，特征图的尺寸需保持一致。分辨率增强模块包含两个部分：一部分是分辨率增强层，另一个是上采样层。对于上采样层，先利用1×1的卷积核把通道数从1 024减少到256，有利于训练参数的减少，降低模型复杂度，然后利用插值方法，把特征图从10×10扩大到38×38。

为了得到高分辨率的特征图，还不增加额外的计算量，设计了分辨率增强层，该层对于不同分辨率的图像的转换非常高效，可以直接插入到VGG16模型中。假设输入的特征图的维度为：h×w×c×g2,其中g是上采样因子。如图2所示，分辨率增强层通过减少特征图通道数对特征图的宽度和高度进行扩大。用数学形式表示如下：

图2 分辨率增强模块

(1)

每个具体的转换函数如下：

(2)

(3)

(4)

在分辨率增强层中，Conv7_2的特征图的大小为19×19×1 024，取上采样因子g=2,因此特征图的大小从19×19×1 024转换成38×38×256,然后再通过大小为1×1的卷积核，对变化后的特征图进行特征的整合，生成38×38×256的特征图。经过转化后的三处特征图在通道数维度上进行融合，随后通过BatchNorm[16]层正则化融合后的特征图，最终生成的特征图大小为：38×38×768。

1.3 特征金字塔

对融合后大小为38×38×768的特征图进行卷积操作后，生成特征金字塔。然后SE Detection Net使用两个卷积核大小为3×3的卷积层对特征金字塔中每一层进行卷积。其中一个卷积层输出每个区域候选框的种类作为类别的预测结果，另一个则输出每个区域候选框的位置偏移量，再根据每个区域候选框的置信度排序，利用NMS算法去除多余的框，留下最有可能存在目标的框，根据预测出的偏移量调整候选框的形状和位置，最后生成最终的检测结果。

2 实 验

这个数据集总共有3个种类：蓝色安全帽、红色安全帽和黄色安全帽。训练集总共有20 500张，测试集有1 000张。其中蓝色安全帽数据集共6 500张，红色6 500张，黄色6 500张。

选用在ImageNet[17]数据集训练得到的VGG16为初始模型，然后开始训练此网络。模型输入的图像尺寸为：300×300，由于GPU显存的限制，训练时的batch_size:28，总共的训练次数为100个epoch，在前30个epoch的学习率为10-3，在以后的迭代中，学习率依照余弦函数进行衰减[18]，在第100次epoch时，学习率下降为0。

2.1 检测效果分析

在收集的安全帽数据集上评价此网络，采用mAP分数[19]作为评价检测性能的指标。在整个测试集中，红色安全帽大部分是大尺度，蓝色安全帽各个尺度都有，黄色安全帽小尺度居多。

表1展示了在安全帽测试集上的检测结果。在这些算法中，SSD没有融合高低层的特征，仅利用不同层次的单一层进行检测。从表中可以看出，SE Detection Net相较于SSD对这三种类别的安全帽都有提升，表明SE Detection Net采用融合后的特征图生成特征金字塔，促使了低层的特征图含有了语义信息，高层的特征图包含了细节信息。其中，黄色安全帽提升最大，提高了7.6%，说明SE Detection Net对小目标的检测效果提升明显。另外，Faster RCNN虽然使用RPN网络(region proposal network)进行候选框的选择，但只使用顶端的一个特征图进行检测，而SE Detection Net使用多个特征图进行检测，提高了各个尺度的安全帽的检测效果，从表中可以看出，SE Detection Net相比于Faster RCNN在类别上的提升分别为：1.5%、0.7%、3.9%。从表中可以得出，在这三种方法中SE Detection Net的检测效果最好，提高了安全帽检测的精度。

表1 各个模型的检测结果

为了更加直观地观察SE Detection Net的检测效果，文中在黄色安全帽和红色安全帽测试集上做了SSD和SE Detection Net的对比实验，检测效果如图3所示。SSD由于只使用单一特征图做预测，低层特征图缺乏语义信息，高层特征图缺少细节信息，对于小尺度的黄色安全帽没有检测出来，存在漏检现象；对于大尺度的红色安全帽虽然检测出来，但是定位没有SE Detection Net精确。SE Detection Net由于有效的特征融合，使低层的特征图含有语义信息，高层的特征图包含细节信息，提高了小尺度的安全帽的召回率和大尺度安全帽的置信度，并且定位更加精准。

图3 检测效果对比

2.2 检测速度分析

为了测试SE Detection Net的速度，测试了整个测试集的检测时间，然后计算了每秒的帧数(fps)。把batch_size设置为1，并在GPU为1080Ti的机器上测试速度。

表2显示了基于安全帽测试集SE Detection Net和其他算法关于速度和精度的比较。从表中可以看出，SE Detection Net实现了精度和速度的均衡。它融合了三个特征图的信息，增加了时间的开销，虽然没有SSD的检测速度快，但精度提高了4.1%。Faster RCNN是二阶段检测器的代表，它先由RPN网络生成区域候选框，再进行分类和回归，因此它的检测时间较长。SE Detection Net利用卷积操作直接进行分类和回归，实现了比Faster RCNN更理想的检测效果，且识别速度增加了一倍。

表2 基于测试集速度与精度的比较

3 结束语

为了解决安全帽检测问题，提出了分辨率增强检测网络(SE Detection Net)用于多尺度安全帽的识别。SE Detection Net先由VGG16提取安全帽的特征，然后利用分辨率增强模块把需要融合的低分辨率特征图转化到高分辨特征图，再通过融合后的特征图生成特征金字塔，最后利用金字塔中的特征图实现安全帽的检测。实验结果表明SE Detection Net的效果优于SSD和Faster RCNN，对各个尺度的安全帽的检测效果都有提升，其中，小尺度安全帽的提升效果较为明显。检测效率也能达到实时性的要求，实现了检测精度和速度的平衡。