结合Alexnet和极限学习机的网络模型的研究

◆李晓旭

结合Alexnet和极限学习机的网络模型的研究

◆李晓旭

（瓦房店市融媒体中心 辽宁 116300）

本文提出一种Alexnet与极限学习机相结合的网络模型。Alexnet是一种很好的特征提取器，但是大量的网络参数集中在后三层用作分类的全连接层中，同时要在调整和训练参数上花费大量时间，而极限学习机具有训练参数少，学习速度快的优点，所以本文运用Alexnet进行特征提取，再用极限学习机对图片进行分类，结合了Alexnet和ELM的优点。本文方法能在CIFAR10数据集上有效分类，同时节省训练时间。

Alexnet；极限学习机；特征提取

自2006年以来，深度学习持续升温，其本质就是深层次的神经网络，其兴起经历了起起落落，2012年，Alexnet网络模型的问世使计算机视觉领域出现了翻天覆地的变化，在语义分割[1]、文本识别[2]、图像分类[3]、人脸识别[4]、目标检测[5]等领域都有所突破。主要是因为神经网络完成了自动提取特征和分类器的工作，卷积神经网络的最后一层可以看作一个线性分类器，存在一定局限性。赵靓等运用卷积神经网络来提取船舶图像特征，运用支持向量机对军舰、客船、渔船和帆船进行分类[6]。随着分类器的发展，极限学习机也应用到许多领域，黄等[7]运用极限学习机进行滚动轴承故障识别，吴莉等[8]用极限学习机对配电线路台风灭损进行预测，都取得了很好的效果。本文将Alexnet和极限学习机结合，最大程度发挥其各自优点，在分类准确率小幅度提高的前提下，大大减少训练时间。

1 基本原理

1.1 Alexnet网络模型

随着深度学习逐步走向成熟，卷积神经网络在机器视觉和图像处理领域应用越来越广泛，最早的卷积神经网络（CNN）诞生于20世纪60年代，它是一类具有深度结构并包含卷积计算的前馈神经网络，它的基本结构包括输入、卷积、池化、全连接和输出。2012年，Alexnet问世，AlexNet是由Krizhevsky[9]等人创造，此模型的出现掀起了深度学习的研究热潮。Alexnet模型是拥有五个卷积层和三个全连接层共八层的一个网络结构模型，第一和第二层使用了卷积、Relu、最大池化、局部响应归一化操作，第三、四层使用了卷积和Relu操作，第五层使用了卷积、Relu和最大池化操作，六、七、八层是全连接层。

卷积层先对图片进行局部感知，主要是通过卷积核来实现的，再对局部进行综合操作，进而得到全局信息。图片方阵先经过卷积核滤波，再加上偏置常量，然后利用激活函数激活，生成特征图，卷积的计算公式如式1所示。

式（1）的卷积表达式中：Y为输出特征图，W为卷积核权值，X为输入特征图，b是偏置常量，*表示卷积操作，（·）表示激活函数，本文使用的激活函数是Relu。

池化层也叫降采样层或子采样，通常是在卷积层后面，是用来降低对卷积层获得的特征图的维度，在有效减少网络参数的同时能够减小过拟合的产生，池化层将特征图通过式2的计算得到相应的特征图。

Z为输出特征图，Y为输入特征图，为池化方法。主要的池化方法有重叠池化、平均池化、金字塔池化和最大池化，Alexnet模型中的池化方法是最大池化操作。

在经过五个卷积层和三个池化层后，Alexnet连接三个全连接层进行汇合，但是在Alexnet中引入了dropout机制，即以0.5的概率把每个隐藏的神经元的输出设置为零，减少了神经元的复杂的共同适应，提高模型的泛化能力。对于分类问题，最后一层输出层多数使用softmax进行逻辑回归分类，返回输入对象所属某一类别的概率。

图1 Alexnet网络结构图

1.2 极限学习机（Extreme Learning Machine，ELM）

其中为神经网络隐层节点的输出，是期望输出[12]。

（4）

式4、5中为输入层与隐藏层之间的权矩阵；为隐单元的阈值，（）是激活函数。

概括极限学习机的学习方法主要分为三步：

极限学习机的网络结构如图2所示。

图2 极限学习机结构图

2 Alexnet与极限学习机的结合

卷积神经网络的全连接层起到“分类器”的作用，采用梯度下降的方法调整权值[13]，全连接层参数量占整个Alexnet网络模型的参数量的90%左右，存在参数冗余的现象，通过前五层的卷积池化操作可以很好地提取图片特征，但是它并不是一个好的分类器。极限学习机采用随机的输入层权值和偏差，输出层的权重由广义逆矩阵直接计算得到，不用像神将网络的梯度算法迭代反复调整更新，它具有训练参数少、速度快的优点。所以本文保留Alexnet的前六层结构，将第六层（全连接层的第一层）得到的特征向量作为极限学习机的输入，两者的结合充分运用了Alexnet提取特征的能力和极限学习机训练速度快的优点。

图3显示了Alexnet和极限学习机的结合方式，主要分为两部分：

第一部分，特征提取，运用Alexnet的八层网络结构，通过训练样本得到网络的各层参数，保持前六层的参数不变，第六层（全连接层）将前五层的特征展平成一维向量，并将提取的特征加以提取整合。相当于把Alexnet的前六层看做一个特征提取器。

第二部分，极限学习机的分类，将上一步提取到的特征向量作为极限学习机的输入，搭建ELM模型，并依据其训练公式（6）计算其参数，最终完成整个网络的训练过程。

图3 Alexnet-ELM模型

3 实验结果和分析

本文用的是经典的深度学习CIFAR-10数据集，由10类32×32的彩色图片组成，包括猫、鹿、狗、马、鸟类、蛙类、飞机、汽车、船、卡车10类，此数据集有60000张图片，每类6000张，其中50000张用作训练，构成5个batch，10000张用作测试，单独一个batch。

实验在Tensorflow环境下的Keras框架完成，网络每层具体参数为：输入层的图像为32×32×3，卷积核大小为11×11，滑动步长为4，输出96个特征图，第一、二层都是用大小为5×5的卷积核，输出256个特征图，第三、四层使用3×3的卷积核，输出384个特征子图，第五层采用3×3大小的卷积核，产生256个特征图，第六层全连接层将特征图拉直成一维特征向量。然后随机产生极限学习机的参数W和b，隐层神经元个数为1024，使用Adam优化算法，此时，所有参数设置完毕，进行网络训练和测试。分别用Alexnet和本文的模型进行对实验，实验结果如表1所示。

表1 模型分类结果

模型分类精度训练时间/min测试时间/min Alexnet88.32%234.5 Alexnet-ELM88.75%112

实验结果表明：本文的网络模型使分类准确率提高了0.43%，训练时间和测试时间大大减少，主要是由于不用学习大量参数，此方法更加省时省力。

4 结语

本文提出并实现了一种Alexnet和极限学习机相结合的快速自动分类方法，Alexnet本身需要进行大量的迭代训练，达到最佳的稳定识别状态，此过程耗时并且对硬件要求比较高。本文结合Alexnet强大的提取特征的能力和极限学习机快速分类的优点，使训练时间缩短一倍。在后续试验中，可以使用优化算法（蝙蝠优化算法）来优化极限学习机的初始化，可能将分类的准确度进一步提高。

[1]J. Long，E. Shelhamer，T. Darrell. Fully convolutional networks for semantic segmentation[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015: 3431­3440.

[2]M. Liao，B. Shi，X. Bai，et al. Textboxes：A fast text detector with a single deep neural net­work[C]. Thirty­First AAAI Conference on Artificial Intelligence，2017:4161­4167.

[3]S.Wang，C.Manning. Fast dropout training[C]. International Conference on Machine Learning，2013:118­126.

[4]O. M. Parkhi，A. Vedaldi，A. Zisserman，et al. Deep face recognition[C]. British Machine VisionConference，2015:6.

[5]J. Ding，B. Chen，H. Liu，et al. Convolutional neural network with data augmentation for SARtarget recognition[J]. IEEE Geoscience and Remote Sensing Letters，2016，13（3）： 364­368.

[6]赵亮，王晓峰，袁逸涛．基于深度卷积神经网络的船舶识别方法研究[J]. 舰船科学技术，2016，38（15）：119－123．

[7]黄重谦. 基于多隐层小波卷积极限学习神经网络的滚动轴承故障识别[J/OL].工矿自动化：1-7[2021-05-25]. https://doi.org/10.13272/j.issn.1671-251x.2020110036.

[8]吴莉，林珍，江灏，等. 融合模糊评价与极限学习机的配电线路台风灾损预测[J/OL]. 福州大学学报（自然科学版）：1-7[2021-05-25]. http://kns.cnki.net/kcms/detail/35.1337.N.20210517.0911.020.html.

[9]KRIZHEVSKY，STUSKEVERI，HINTONGE．Image Net classification with deep convolutional neuralnetworks[C]．Proceedings of the Advances in Neural Information Processing Systems． South Lake Tahoe，US：2012：1097-1105．

[10]曹瑞鹏．基于ELM 自编码器改进的高光谱图像特征学习算法研究[D]．武汉：华中科技大学，2019．

[11]HUANG G B，ZHU Q Y，SIEW C K． Extreme learning ma-chine：theory and applications[J]．Neurocomputing，2006，70（1/3）：489-501.

[12]余丹，吴小俊. 一种卷积神经网络和极限学习机相结合的人脸识别方法[J].Journal of Data Acquisition andProcessing，2016，31（5）：996-1003．

[13]李耀龙，张永科，罗镇宝．应用深度卷积神经网络的机场及机场内飞机目标识别技[J]. 重庆理工大学学报（自然科学），2018（3）：210-216．