深度学习在目标检测的研究综述

2021-12-31赵立新邢润哲白银光张宏昌何春燕

科学技术与工程 2021年30期

赵立新，邢润哲，白银光，张宏昌，何春燕

(河北工程大学机械与装备工程学院，邯郸 056000)

随着计算机技术的高速发展，为了给目标检测领域提供新的方法与途径，计算机视觉成为了人们研究的重点。目标检测是计算机视觉系统的一个重要内容，是依靠计算机对图像进行分析处理的技术。其功能是将不需要的背景信息去除掉，只保留所需要的目标。在这个过程中，能够采取一系列算法对其进行处理，然后把所需要的目标从图像中提取出来，最后对其进行检验。

当前的目标检测主要分为传统方法和基于深度学习的检测方法。传统方法通常是对图像设定大小比例不同的滑动窗口，将图像中的某些部分列为候选区，然后根据人工设定的特征算子如SIFT[1]、Harr[2]和HOG[3]等，提取候选区特征，最后进行特征分类。传统的目标检测方法虽然取得了一些成就，但同时也发现了一些弊端。首先滑动窗口会产生时间复杂度，其次外观与背景的多样、光照的变化会对人工设计的特征方法产生鲁棒性较差的问题[4]，复杂的步骤会产生检测速度慢、精度低的问题[5]。因此，传统的目标检测方法已经不能满足现代社会的需求。对于这种情况，多种深度学习模型就被提出，而深度学习的目的通过建立一个多层网络，应用此网络使计算机能够自主学习并获得数据当中蕴含的内部关系，从而提取出更多的数据，使计算机学习更有表现力。

1 深度学习发展

Hinton等[6]在2006年提出一种多隐藏层的网络结构，能够详细描述一个物体更深层抽象的特征。当时计算机性能较差，不能满足深度学习的运行环境，因此深度学习遇到瓶颈[7]。如今，随着计算机硬件水平不断增强，极大地提高了计算机运行能力和运算速度，深度学习有了很好的发展环境，针对其各种模型也不断被人们提出，并广泛应用于各行各业。

深度学习是基于流向图的方式，来描述从输入到输出的全部计算过程。而深度是这个流向图的特别属性，指从一个输入到另一个输出最长的长度[8]。深度学习是一种通过构建多层神经网络来实现对人脑数据信息的自主学习方法，可以通过同时用来对大量的数据信息进行训练，来实现人脑的模拟与分析。深度学习通过训练学习数据信息并提取特征来满足不同领域的服务要求[9]。深度学习模型具有高度的分层结构和较强的自主学习能力，能够很好地执行识别、检测和分类等操作，可以适用于处理各种复杂数据分析问题。一般情况下，非监督学习包含受限玻尔兹曼机(restricted boltzmann machine,RBM)、深层玻尔兹曼机、深度信念网络(deep belief networks,DBN)等。而监督学习有卷积神经网络(convolutional neural networks,CNN)、循环神经网络(recurrent neural networks,RNN)、深层堆叠网络等。其中，基于卷积神经网络的图像分类水平已经远超人们识别的水平，基于计算机翻译能力也已经达到人们正常水平。

2 基于深度学习的目标检测方法

2.1 深层信念网络

深层信念网络(DBN)是一种非监督学习方法，主要是基于RBM所组成的一种具有随机性的概率生成神经网络模型，具有表达目标特征的能力。

DBN具体训练过程如下：首先对目标进行观察得到初始样本，以初始样本数据进行处理后作为输入，训练好第一层RBM后，以输出为样本训练第二层，将第二层堆叠到第一层，重复以上操作直到所有的网络模型都得到充分训练。最后将所得到的输出量输入到Back Propagation(BP)网络中，对分类器进行训练，从上往下将RBM网络进行调整。DBN适用于样本数量较小的非线性的时间序列预测。

Tao等[10]最先将DBN网络尝试用于滚动轴承检测，提出一种基于DBN的振动信号检测方法，利用DBN构建编码器，将振动信号的输入与输出最小化，检测信号传递间的能量来进行分类。其充分显示了DBN网络的提取特征的能力，但是由于参数多且计算量大，计算效率较低，还需有待提高。Tao等[11]、Chen等[12]、胡永涛[13]分别提出关于传感信息及特征融合的DBN方法，通过融合来获取信息，提高准确率，但是特征提取较为复杂且特征融合具有局限性，还需进一步研究。Gan等[14]提出一种分层诊断的DBN网络方法，通过将小波包能量作为输入特征量，利用DBN网络对故障信息进行分级识别，实现了对轴承的精准分级识别，对故障信息能够精准诊断，但在网络中调整参数较为繁杂，训练过程耗时较长，不利于故障诊断。周世超等[15]通过将2层RBM与3层BP网络相结合，研究出一种针对语音文本的改进DBN网络，实现了对语音文本的分类识别。该方法虽然取得较好的成绩，准确率也较高，但在语音预处理阶段对分类识别准确率有很大影响。黄寿喜等[16]通过对RBM进行改进，得到新型DBN网络，通过训练学习并提取表情特征，利用堆叠自动编码器对特征进行分类识别。该方法鲁棒性好，检测精确度高，但是由于有些表情之间存在模糊，导致识别率较低。Zhong等[17]提出一种新型DBN网络，通过采用递归贪婪学习算法和多样化权值参数训练出多样化的隐藏层，使用监督训练方法调整参数，将分类错误定义在已标记的样本上传播到整个网络，这样可以用语义信息调整参数。该方法在图像分类精度、时间和各种性能上都有较好的效果，但是由于DBN的限制，对深层次特征提取能力较弱，参数较多，在一定程度上会出现过拟合现象。甘磊[18]提出了一种基于主成分的DBN网络模型，将高维特征作为主成分，降低输入的维数，实现DBN聚类模型的构建，但对于K-means方法中的K值需要进行控制，无法做到自动计算K值。熊景鸣等[19]通过将信号进行特征的二次提取，结合支持向量机，提高识别准确率，但在实际工程当中，由于数据不足，需要进一步实验验证。

2.2 卷积神经网络

卷积神经网络(CNN)采用卷积、池化以及函数映射等操作[20-22]，将数据信息逐步提取出来。最后，卷积神经网络将目标化成函数，通过计算得出误差值，由BP算法将误差值反馈给前面每一层，实时更新参数，再逐层反馈给前面每一层，以达到训练的目的。CNN适用于样本数量大且对精度要求较高的非线性的时间序列预测。自CNN出现以来,研究人员在优化卷积神经网络结构和改善模型复杂度方面做了大量的工作,意在用包含较少参数的简单模型完成较为复杂的任务[23]。现如今，常见的网络模型主要有LeNet、AlexNet、ZF-Net、VGG-Nets、GoogLeNet、ResNet和DenseNet等[24]。

LeNet模型[25]主要用来解决手写数字识别的问题。而现在被人们广泛使用的所有关于深度学习的模型，都是由LeNet模型进行改进得到的，LeNet-5模型与最初的LeNet模型在设计上有着微妙的差别。LeNet-5采用Relu激活函数，采用Softamax回归。其特点是结构简单，模型深度较浅，特征提取能力一般，易出现过拟合现象。赵彩敏等[26]通过采用浅层卷积核、z-score标准化以及用最大池化层来替代全连接层，提高模型识别率。该方法适用于样本数据较少的情况，且对于部分数据库中的个别目标无法进行有效识别，需要进一步提高识别效果。

AlexNet模型[27]是第一次使用Relu、dropout以及图形处理器(graphics processing unit,GPU)加速等技术。该模型分是对CNN更深刻理解并应用的网络模型。其特点是可以避免模型过拟合；提高训练速度，稳定模型收敛速度；梯度消失的问题可以通过Relu得到解决；该模型具有更深的网络机构和更多的参数，但增加了计算量。至此，深度学习和CNN就被人们所记住，后续的相关研究也就频繁出现。林坤等[28]提出一种改进的AlexNet模型，通过引入SE-Block模块加快网络训练速度，将AlexNet网络中的全连接层改为一个，减少了网络参数。该方法对断掌的识别以及生物特征的融合识别还有明显不足，需要进一步研究。

ZFNet模型与AlexNet模型相比，虽然在神经网络结构方面并没有什么特别大的改进，只是在某些参数进行了改变，但在性能方面比AlexNet模型要提高了许多。其使用的激活函数与技术与AlexNet基本没有改变，只是使用了较小的filter。其特点是保留了更多原始的像素信息，改变了参数，性能较AlexNet更好。许来祥等[29]提出一种改进的ZFNet网络模型，通过引入空间变换网络STN和Dropout层，调整模型的层数，提高了识别率。由于红外图像数据较少，需进一步完善ZFNet结构，同时考虑利用生成对抗网络(generative adversarial networks,GAN)网络对图像进行仿真来训练网络。

VGG-Nets模型[30]主要是由牛津大学与Google DeepMind公司共同联合研究开发的一种神经网络结构。通过对卷积层和池化层进行堆叠，构建了一种十几层深的Deep卷积神经网络，并且通过对深度神经网络(deep neural networks,DNN)多次进行实验，从中可以得到了CNN的深度与性能的一些结论。VGG-Nets模型比起AlexNet、ZFNet模型，其优点在于极大地降低了错误率。VGG-Nets模型采用1×1和3×3的小卷积核，网络结构简单，分类器为Softamax逻辑回归。由于采用小型卷积核，使得网络表达能力得到提高，网络的结构也不断加深，但同时也增加了计算量。李校林等[31]通过融合局部二值模式(local binary pattern,LBP)特征与卷积层提取到的特征，结合改进的VGG模型的连接层，提高了表情识别准确率，有较强的鲁棒性。该方法只使用了最初的Softmax函数，并没有考虑损失函数对准确率的影响，具有局限性。

上述中的AlexNet模型与VGG-Nets模型提高网络性能的方法都是采用加深网络的结构，而GoogLeNet模型[32]不同，其提高性能的方法是既加深网络结构又对网络结构进行改进。通过引入Inception模块来取代传统单一的卷积和激活等操作，中间层采用损失函数(loss function)作为辅助，并且将最后的全连接层换成1×1的小卷积核，降低了计算量，训练速度得到提高。丁英姿等[33]通过引入全局最大池化层(global max pooling layer,GMP)、Sigmoid交叉熵函数以及连通区域算法，提出一种改进的GoogLeNet模型。该方法能够同时检测多种特征，准确率也较高，适用于小样本情况，但是小样本数据较少，分布不均，具有局限性，需要增加数据库和算法自优化能力。

ResNet模型[34]是CNN的创新之作，通过引入残差模块，建立了一个层数很深的网络结构，减少了参数量和计算量，解决了网络退化的问题。神经网络只需学习输入与输出之间的差值，就可以将问题简单化，一定程度上解决了信息丢失、梯度消失、神经网络无法正常运行等问题，使网络结构能够更好地进行训练。Tao等[35]通过采用ResNet-50网络作为基础，将两个卷积层替代全连接层，然后使用Soft-NMS算法来增强鲁棒性，提高检测精度。该方法与之前的算法相比，无论速度还是精度都有很大提高。

DenseNet模型[36]是一种连接紧密的卷积神经网络模型，通过吸取ResNet模型核心的部分，并在此基础上进行改进，使得网络性能得到提高。在DenseNet模型中，任意两层都有直接关系，每一层的输入都是前面所有层输出的和，并且在该层所学习到的特征也传递给后面层作为输入，使特征能够更好地传播，降低了参数量，解决梯度消失或爆炸的问题。

李益兵等[37]通过设计一种混合蛙跳算法来对CNN模型进行优化改进，利用混合蛙跳算法对两个卷积层进行优化，将参数定义为混合蛙跳算法中的特征向量，CNN的误差作为函数值。通过训练得到最优值，将其作为向量从而确定CNN的结构。该方法可以选取最优参数，减少训练过程的次数，提高模型准确率，但是耗时较长，后续研究应在保证准确率同时减少时间。

正是因为这些CNN模型在结构上与其他神经网络不同，才使CNN具有很强的优势，使得CNN在这方面取得重大成功[38]。

2.3 循环神经网络

循环神经网络(RNN)又称为时间递归神经网络，适用于在特定自然语言处理任务中进行实验验证，能够对特定问题进行解释，但是解释能力较差，不具有通用性。常见模型有：长短时记忆网络(long short term memory network,LSTM)[39]、门控循环单元(gate recurrent unit,GRU)[40]、双向长短时记忆网络(bi-directional long short term memory network,BLSTM)[41]等。

Ma等[42]将双向LSTM、CNN和条件随机场相结合，让模型能够从字符或词中学习，无须特征或数据信息预处理，适用于序列标记的任务。Mou等[43]提出了一种基于RNN的改进模型，通过将高光谱像素以最初数据信息的形式输入到网络模型中进行分析处理。在以往的RNN中加入一种用于校正参数的激活函数，不仅在模型训练过程中具有较强的学习能力，而且不会出现分歧的问题。另外，作者还研究出一种改进的GRU神经网络，通过采用改进门控递归单元，可以减少参数量，有效提高处理数据的能力，具有更为简单的结构和更少的参数。Zhang等[44]提出一种基于中文命名实体识别的方格LSTM模型，该模型可以将单词自身加入词向量中，来消除分词错误产生的影响，但是由于中文汉字具有一词多义，所以此方法仍具有一定局限性。牛哲文等[45]通过将GRU与CNN相结合，得到一种新型C-GRU模型。通过Dropout技术将部分单元随机舍去，防止模型出现过拟合现象。与传统模型相比，检测准确率和运算速度方面都有明显提高。Johnston等[46]通过改进递归网络的结构，提高了模型框架的压缩性能；另外还使用了基于结构相似性(structural similarity,SSIM)的加权像素损失训练[47-48]，该方法能够更清楚地感知图像。

正是因为循环神经网络的不断改进，使得它在图像分类识别方面取得较大成功，为后续的研究提供了新的解决方法。虽然改进的循环神经网络还有缺点，但并不影响研究人员对RNN的研究，在未来肯定会提出更加优异的网络模型。

2.4 生成对抗网络

生成对抗网络(GAN)主要由生成和判别两种神经网络模型组成。生成模型主要任务是从随机均匀分布中收集数据，然后合成输出数据；判别模型以正式数据或者合成数据作为输入，然后将样本为真的概率输出。在训练过程中，利用对抗网络来生成样本并且训练网络，这是常见的生成模型方法。GAN适用于图像生成任务，能够将图像中的信息生成，更好的理解，但不能对网络结构中各层之间的关系进行解释，也不能判断网络的优劣。

黄鐄等[49]将两个不同结构CNN模型分别作为GAN模型的生成模型与判别模型，其中生成模型是具有编码和解码功能的CNN模型，判别模型是二分类CNN模型。在训练过程中，生成模型利用跳跃连接将编码与解码功能得到的特征相结合，使其特征提取能力得到提高，减少过程中的损失。判别模型对图像进行特征提取，再将提取的特征汇总输出，根据输出值对图像进行判别。该方法在颜色还原和细节方面与以往方法相比有优势，在处理一些低照度图像的效果要明显。

GAN模型在图像生成领域有着较为不错的成果，由此研究人员开始在GAN模型基础上对其进行改进，研究出许多种新型网络模型。唐贤伦等[50]利用CNN的特征提取再加上条件辅助，提出一种条件深度卷积生成对抗网络模型。该方法不仅提高了运算速度，同时也提高了图像识别率，但是在对抗训练过程中速度比较慢，对于生成和判别网络没有设定一个最优标准，还需进一步研究。商显震等[51]将GAN与朴素贝叶斯结合，提出一种多分类诊断方法，这种方法对于数据集当中的类不平衡和多分类问题有明显改善，识别准确率也有提升。

GAN模型有许多改进模型，Mehdi[52]通过在生成对抗网络中添加额外的信息，解决了网络本身不可控的问题。但是该方法只是单独使用了每个标签，并没有将多个标签联合使用，在搜索空间上是有限的。Denton等[53]通过在卷积层使用高斯和拉普拉斯金字塔，生成出更高像素的图像；Arjovsky等[54]想要解决网络训练不稳定的问题，于是提出了一种Wasserstein GAN模型，通过将判别模型的最后一层去除，改变生成模型与判别模型中的一些参数，而且截取一定范围的权重，但是最终并没有解决网络训练不稳定的问题，只解决了模式崩溃的问题。Gulrajani等[55]通过将连续性限制的条件进行改进，采用新型lipschitz连续性限制手法，梯度消失的现象得到改善，模型收敛速度得到加快。

3 深度学习应用

深度学习有着很强的特征提取能力，图像识别精度高，实时性快等优点，因此被人们普遍应用与目标检测的各个领域。尤其是在人脸、医学图像、遥感图像、行人检测[56]等方面取得较大成就。在以前，目标检测由于传统方法的缺点，并没有达到要求。但是在近几年中，深度学习技术得到完善，许多研究人员将深度学习技术与目标检测相结合，检测效果比传统方法有较大进步。

3.1 人脸检测

如今，人脸检测已经应用于人们的日常生活当中，是人们常用的一种技术手段。通常情况下，人脸检测应用于电子商务、视频监控、支付手段、门禁等日常生活的多个方面。人脸检测是对人脸特征信息进行采集和定位，完成身份信息验证和查找等。

随着深度学习技术的迅速崛起，人脸检测已经逐渐成为深度学习技术的重要研究发展方向之一，在深度学习不断发展的过程中有许多新的算法被提出，其中一些算法目前仍然还有部分技术缺陷，有些算法已经相对成功。其中Taigman等[57]提出的DeepFace模型在人脸检测方面效果相对较好。该方法应该使用更为简短的特征，网络的运算时间最好减少，这在其他视觉领域也有潜力。章之星等[58]将多任务卷积神经网络(MTCNN)与深度可分离卷积网络(DSC)相结合，提出DSC-MTCNN网络。通过在MTCNN中P-Net层、R-Net层以及O-Net层分别加入DSC和BN层，减少参数量，提高检测速度，防止梯度消失。该方法降低了计算量、内存占用空间和计算复杂程度，检测精度并未受到太大影响。李楠等[59]通过将多个Inception模块串联，对卷积核进行分解简化，然后结合Softmax和TripletLoss，加深并加宽了网络。该方法可以在参数较少的情况下仍然保持较高的识别率，并且降低了网络计算的复杂程度。

虽然这些年人脸检测技术发展不错，但依然有十分明显的不足。例如，如何区分双胞胎、如何判断不同年龄阶段的人脸变化、外部环境的干扰如何消除、如何加快人脸检测的训练速度等。因此，要想解决上述问题，人脸检测技术还需要进一步提高。

3.2 医学图像检测

医学方面的图像种类非常繁多，而且图像受设备和环境的影响十分巨大，这些问题在一定程度上影响医生对病人的诊断。因此，医学图像识别技术是目前最前沿的医学诊断方法之一。医学图像检测主要是从大量医学图像中快速、准确地找出患者的病理信息，为医学研究和治疗做出贡献。

CNN是医学图像检测的主要算法，通过CNN模型对图像中的信息进行提取，并合成高阶特征信息，从而实现医学图像检测。何雪英等[60]研究出一种改进的深层CNN模型，主要利用数据加强和迁移学习的算法，从而完成对乳腺癌医学图像的分类识别。该方法能够有效避免过拟合现象，识别准确率更高，更符合临床医学的需求。Zhao等[61]将全卷积神经网络(FCN)与条件随机场(CRFs)相结合，提出一种集成模型来实现对脑肿瘤图像的分割。通过将原始图像输入FCN中得到分割概率图，再将原始图像与分割概率图共同传输给CRFs，对分割结果进行优化，保证结果与原始图像位置信息的一致性。该方法提高了计算速度，但在图像分割时，由于像素不同会导致网络性能变差。李维等[62]通过改进CNN，提出一种多层次二阶特征融合的网络模型，利用CNN对肺结节多层切面图像提取特征，通过子模块和融合模块得到特征向量，对特征向量进行分类，最终得到肺结节的评估结果。通过实验可知，该方法能够有效提高分类准确率。张国标等[63]通过对经典VGG-16模型第一个卷积层更换更大的卷积核并引入Dropout模块，提出一种基于VGG-16的混合图像监测模型。该模型能够提取更多的特征信息，提高鲁棒性，但是对于单一图像和混合图像会产生错误，将其错分为其他图像，需要进一步研究。

目前因为缺少大量相关病理的数据集，所以现在仍然有许多病症无法应用此技术进行有效诊断。因此，建立关于医学图像的大型数据集和网络模型的改进都是目前医学图像检测的研究重点。

3.3 遥感图像检测

由于计算机水平的提高，遥感图像数据也大幅增加，传统的图像识别方法不能有效提取有价值的信息。而深度学习技术有着很强的学习能力，能够把低阶特征合成高阶特征，而且能使用深层结构模型对遥感图像进行识别与分类。王鑫等[64]研究出一种基于改进的CNN模型的遥感图像分类识别算法，分析图像中的成分并进行降维，将得到的特征合成高阶特征，最后对图像进行分类识别。该方法明显降低错误率，但是算法的效率还需提高。史文旭等[65]通过在SSD(single shot multibox detector)网络模型中增加特征融合模块与特征增强模块，能够增强特征的提取能力，提高检测性能。另外，通过引入聚焦分类损失函数，防止样本失衡的现象。该方法能够增强网络的适应能力，提高检测精度，但对于小尺度目标还需进一步实验。Zhang等[66]提出一种无监督遥感图像超分辨的GAN模型，该模型利用平均池化的方法对遥感图像进行退化处理，虽然提高了模型的泛化能力，但是影响图像退化因素太多，池化不能一概而论。Zhang等[67]用迁移学习的方法对不同情况的遥感HR和LR建模，利用通道注意力机制对不同深度的特征进行融合。该方法对已经建模的场景有明显的优势，但模型参数较多，实际应用效果较差，适合复杂结构的遥感图像。Dong等[68]设计了一种稠密采样机制，加宽了特征的通道，将不同深度的特征传递给上采样器进行重建。该方法能够有效使用不同深度的特征，加强了特征利用率，但对遥感图像中的微小目标有着较差的重建能力，适合尺寸较大的目标重建。

目前遥感图像检测主要根据人工识别，其主要数据来自卫星影像，但卫星图像中数据庞大，分辨率低，对目标的检测非常艰难。因此，遥感图像检测的重点就是准确提取有价值的信息，深度学习就能够实现以上操作，虽然现在的技术还有不足，在实际应用中依然有不少缺陷。对此，创建合适的模型以及算法优化是其重要研究方向。

3.4 行人检测

行人检测主要应用于视频监控、车辆导航和自动驾驶。相对于目标检测而言，行人检测要更为复杂，不同行人在同一时间有静态和动态之分，也容易受到位置姿态、光照、背景以及图像模糊程度的影响，增加了行人检测的难度。Zhang等[69]发现Faster RCNN在行人检测中的效果并不理想，通过对其进行分析之后得出一种RPN处理小目标和负样本，之后利用随机森林对其进行分类的方法。顾伟等[70]提出基于多特征融合的多通道特征模型，该模型能够减少计算负担，提高效率；对于行人检测有着较高的识别精度，适用于遮挡的行人。该方法由于使用二段式检测方法，导致检测速度下降，无法解决目标高度重叠的问题。谢永明等[71]提出改进Faster R-CNN算法，能够有效去除图像中背景信息的干扰，增加图像信息。该方法检测精度有明显提高，但是检测速度略有下降，需要优化网络，提高检测效率。