APP下载

结合Alexnet和极限学习机的网络模型的研究

2022-03-19李晓旭

网络安全技术与应用 2022年1期
关键词:学习机池化卷积

◆李晓旭

结合Alexnet和极限学习机的网络模型的研究

◆李晓旭

(瓦房店市融媒体中心 辽宁 116300)

本文提出一种Alexnet与极限学习机相结合的网络模型。Alexnet是一种很好的特征提取器,但是大量的网络参数集中在后三层用作分类的全连接层中,同时要在调整和训练参数上花费大量时间,而极限学习机具有训练参数少,学习速度快的优点,所以本文运用Alexnet进行特征提取,再用极限学习机对图片进行分类,结合了Alexnet和ELM的优点。本文方法能在CIFAR10数据集上有效分类,同时节省训练时间。

Alexnet;极限学习机;特征提取

自2006年以来,深度学习持续升温,其本质就是深层次的神经网络,其兴起经历了起起落落,2012年,Alexnet网络模型的问世使计算机视觉领域出现了翻天覆地的变化,在语义分割[1]、文本识别[2]、图像分类[3]、人脸识别[4]、目标检测[5]等领域都有所突破。主要是因为神经网络完成了自动提取特征和分类器的工作,卷积神经网络的最后一层可以看作一个线性分类器,存在一定局限性。赵靓等运用卷积神经网络来提取船舶图像特征,运用支持向量机对军舰、客船、渔船和帆船进行分类[6]。随着分类器的发展,极限学习机也应用到许多领域,黄等[7]运用极限学习机进行滚动轴承故障识别,吴莉等[8]用极限学习机对配电线路台风灭损进行预测,都取得了很好的效果。本文将Alexnet和极限学习机结合,最大程度发挥其各自优点,在分类准确率小幅度提高的前提下,大大减少训练时间。

1 基本原理

1.1 Alexnet网络模型

随着深度学习逐步走向成熟,卷积神经网络在机器视觉和图像处理领域应用越来越广泛,最早的卷积神经网络(CNN)诞生于20世纪60年代,它是一类具有深度结构并包含卷积计算的前馈神经网络,它的基本结构包括输入、卷积、池化、全连接和输出。2012年,Alexnet问世,AlexNet是由Krizhevsky[9]等人创造,此模型的出现掀起了深度学习的研究热潮。Alexnet模型是拥有五个卷积层和三个全连接层共八层的一个网络结构模型,第一和第二层使用了卷积、Relu、最大池化、局部响应归一化操作,第三、四层使用了卷积和Relu操作,第五层使用了卷积、Relu和最大池化操作,六、七、八层是全连接层。

卷积层先对图片进行局部感知,主要是通过卷积核来实现的,再对局部进行综合操作,进而得到全局信息。图片方阵先经过卷积核滤波,再加上偏置常量,然后利用激活函数激活,生成特征图,卷积的计算公式如式1所示。

式(1)的卷积表达式中:Y为输出特征图,W为卷积核权值,X为输入特征图,b是偏置常量,*表示卷积操作,(·)表示激活函数,本文使用的激活函数是Relu。

池化层也叫降采样层或子采样,通常是在卷积层后面,是用来降低对卷积层获得的特征图的维度,在有效减少网络参数的同时能够减小过拟合的产生,池化层将特征图通过式2的计算得到相应的特征图。

Z为输出特征图,Y为输入特征图,为池化方法。主要的池化方法有重叠池化、平均池化、金字塔池化和最大池化,Alexnet模型中的池化方法是最大池化操作。

在经过五个卷积层和三个池化层后,Alexnet连接三个全连接层进行汇合,但是在Alexnet中引入了dropout机制,即以0.5的概率把每个隐藏的神经元的输出设置为零,减少了神经元的复杂的共同适应,提高模型的泛化能力。对于分类问题,最后一层输出层多数使用softmax进行逻辑回归分类,返回输入对象所属某一类别的概率。

图1 Alexnet网络结构图

1.2 极限学习机(Extreme Learning Machine,ELM)

其中为神经网络隐层节点的输出,是期望输出[12]。

(4)

式4、5中为输入层与隐藏层之间的权矩阵;为隐单元的阈值,()是激活函数。

概括极限学习机的学习方法主要分为三步:

极限学习机的网络结构如图2所示。

图2 极限学习机结构图

2 Alexnet与极限学习机的结合

卷积神经网络的全连接层起到“分类器”的作用,采用梯度下降的方法调整权值[13],全连接层参数量占整个Alexnet网络模型的参数量的90%左右,存在参数冗余的现象,通过前五层的卷积池化操作可以很好地提取图片特征,但是它并不是一个好的分类器。极限学习机采用随机的输入层权值和偏差,输出层的权重由广义逆矩阵直接计算得到,不用像神将网络的梯度算法迭代反复调整更新,它具有训练参数少、速度快的优点。所以本文保留Alexnet的前六层结构,将第六层(全连接层的第一层)得到的特征向量作为极限学习机的输入,两者的结合充分运用了Alexnet提取特征的能力和极限学习机训练速度快的优点。

图3显示了Alexnet和极限学习机的结合方式,主要分为两部分:

第一部分,特征提取,运用Alexnet的八层网络结构,通过训练样本得到网络的各层参数,保持前六层的参数不变,第六层(全连接层)将前五层的特征展平成一维向量,并将提取的特征加以提取整合。相当于把Alexnet的前六层看做一个特征提取器。

第二部分,极限学习机的分类,将上一步提取到的特征向量作为极限学习机的输入,搭建ELM模型,并依据其训练公式(6)计算其参数,最终完成整个网络的训练过程。

图3 Alexnet-ELM模型

3 实验结果和分析

本文用的是经典的深度学习CIFAR-10数据集,由10类32×32的彩色图片组成,包括猫、鹿、狗、马、鸟类、蛙类、飞机、汽车、船、卡车10类,此数据集有60000张图片,每类6000张,其中50000张用作训练,构成5个batch,10000张用作测试,单独一个batch。

实验在Tensorflow环境下的Keras框架完成,网络每层具体参数为:输入层的图像为32×32×3,卷积核大小为11×11,滑动步长为4,输出96个特征图,第一、二层都是用大小为5×5的卷积核,输出256个特征图,第三、四层使用3×3的卷积核,输出384个特征子图,第五层采用3×3大小的卷积核,产生256个特征图,第六层全连接层将特征图拉直成一维特征向量。然后随机产生极限学习机的参数W和b,隐层神经元个数为1024,使用Adam优化算法,此时,所有参数设置完毕,进行网络训练和测试。分别用Alexnet和本文的模型进行对实验,实验结果如表1所示。

表1 模型分类结果

模型分类精度训练时间/min测试时间/min Alexnet88.32%234.5 Alexnet-ELM88.75%112

实验结果表明:本文的网络模型使分类准确率提高了0.43%,训练时间和测试时间大大减少,主要是由于不用学习大量参数,此方法更加省时省力。

4 结语

本文提出并实现了一种Alexnet和极限学习机相结合的快速自动分类方法,Alexnet本身需要进行大量的迭代训练,达到最佳的稳定识别状态,此过程耗时并且对硬件要求比较高。本文结合Alexnet强大的提取特征的能力和极限学习机快速分类的优点,使训练时间缩短一倍。在后续试验中,可以使用优化算法(蝙蝠优化算法)来优化极限学习机的初始化,可能将分类的准确度进一步提高。

[1]J. Long,E. Shelhamer,T. Darrell. Fully convolutional networks for semantic segmentation[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2015: 3431­3440.

[2]M. Liao,B. Shi,X. Bai,et al. Textboxes:A fast text detector with a single deep neural net­work[C]. Thirty­First AAAI Conference on Artificial Intelligence,2017:4161­4167.

[3]S.Wang,C.Manning. Fast dropout training[C]. International Conference on Machine Learning,2013:118­126.

[4]O. M. Parkhi,A. Vedaldi,A. Zisserman,et al. Deep face recognition[C]. British Machine VisionConference,2015:6.

[5]J. Ding,B. Chen,H. Liu,et al. Convolutional neural network with data augmentation for SARtarget recognition[J]. IEEE Geoscience and Remote Sensing Letters,2016,13(3): 364­368.

[6]赵亮,王晓峰,袁逸涛.基于深度卷积神经网络的船舶识别方法研究[J]. 舰船科学技术,2016,38(15):119-123.

[7]黄重谦. 基于多隐层小波卷积极限学习神经网络的滚动轴承故障识别[J/OL].工矿自动化:1-7[2021-05-25]. https://doi.org/10.13272/j.issn.1671-251x.2020110036.

[8]吴莉,林珍,江灏,等. 融合模糊评价与极限学习机的配电线路台风灾损预测[J/OL]. 福州大学学报(自然科学版):1-7[2021-05-25]. http://kns.cnki.net/kcms/detail/35.1337.N.20210517.0911.020.html.

[9]KRIZHEVSKY,STUSKEVERI,HINTONGE.Image Net classification with deep convolutional neuralnetworks[C].Proceedings of the Advances in Neural Information Processing Systems. South Lake Tahoe,US:2012:1097-1105.

[10]曹瑞鹏.基于ELM 自编码器改进的高光谱图像特征学习算法研究[D].武汉:华中科技大学,2019.

[11]HUANG G B,ZHU Q Y,SIEW C K. Extreme learning ma-chine:theory and applications[J].Neurocomputing,2006,70(1/3):489-501.

[12]余丹,吴小俊. 一种卷积神经网络和极限学习机相结合的人脸识别方法[J].Journal of Data Acquisition andProcessing,2016,31(5):996-1003.

[13]李耀龙,张永科,罗镇宝.应用深度卷积神经网络的机场及机场内飞机目标识别技[J]. 重庆理工大学学报(自然科学),2018(3):210-216.

猜你喜欢

学习机池化卷积
基于高斯函数的池化算法
卷积神经网络中的自适应加权池化
基于3D-Winograd的快速卷积算法设计及FPGA实现
“机”关
基于随机权重粒子群优化极限学习机的土壤湿度预测
卷积神经网络的分析与设计
从滤波器理解卷积
基于卷积神经网络和池化算法的表情识别研究
用于手写汉字识别的文本分割方法
基于傅里叶域卷积表示的目标跟踪算法