基于卷积神经网络的图像识别过拟合问题分析与研究

谢璐阳 夏兆君 朱少华 张代庆 赵奉奎

摘  要：近年来深度学习在很多领域发挥着重要作用，但是在训练过程中存在模型过拟合的问题。针对该问题，本文对Kaggle竞赛中典型的猫狗识别任务建立了卷积神经网络，并分析研究了多种抑制过拟合的方法，包括添加L2正则项、dropout处理、数据增强及多种方法综合使用的综合法，分别分析不同方法在训练集和验证集上的训练精度和损失，发现数据增强法优于其他两种方法，且综合法能够消除过拟合。研究结果对卷积神经网络的配置具有重要的参考价值。

关键词：卷积神经网络;过拟合;图像识别;深度学习

中图分类号：TP311     文献标识码：A

Abstract：Deep learning is playing important roles in various fields.However，it suffers overfitting in the training process.Dog and cat recognition is a classical task in Kaggle competition.Based on this problem，a convolutional neural network is created to analyze the effects of different methods for correcting overfitting problems.Those methods include L2 regularization，dropout，data augmentation and comprehensive method.Accuracy and loss of the model from training and validation sets are used to analyze the performance of those measures.Results show that the method of data augmentation performs better than L2 regularization and dropout，and the best method is the comprehensive method which eliminates overfitting in this case.The result is of great significance for configuring Convolutional Neural Networks.

Keywords：Convolutional Neural Networks;overfitting;image recognition;deep learning

1   引言（Introduction）

近年來深度学习在自然语言处理、医学诊断和自动驾驶等各方面发挥着重要的作用。然而，深度学习还面临着数据过拟合的问题[1]。解决过拟合问题的最优方法是增加训练样本数，然而很多情况下所得的训练数据非常有限。在无法获取更多训练数据的情况下，防止神经网络过拟合的常用方法有添加网络容量、添加权重正则化[2]、dropout处理[3]、数据增强[4]等。这些算法也不能完全解决过拟合问题，一方面，不同的方法抑制过拟合的效果不同，另一方面，同样的方法设置不同的参数时，对过拟合的抑制效果也不相同，因此，需要对这些方法进行深入的研究。

本论文构建卷积神经网络对图像进行识别分类，用不同的方法抑制模型的过拟合，并对此进行分析研究。

2   卷积神经网络（Convolutional Neural Networks）

2.1   卷积神经网络结构

卷积神经网络是一种多层神经网络，卷积神经网络在很多领域，尤其是图像处理领域发挥着重要的作用[5]。卷积神经网络主要由三部分构成[6]，第一部分为输入层;第二部分是若干卷积层和下采样层，通过卷积层和下采样层的交替，构成深层的网络结构;第三部分为全连接层，将图像划分到指定的类别中。

2.2   卷积层

2.3   池化层

卷积层后面通常为池化层，用一个特征来表达一个局部特征，对输入进行下采用，减小输入的尺寸。常用最大池化，利用局部特征的最大值表达这个区域的特征。

2.4   全连接层

在卷积神经网络中，卷积层和池化层交替出现，得到特征的高层抽象，再将这些高层抽象输入到全连接层进行映射，最终实现分类，即全连接层实现了基于下层神经网络提取的特征进行分类的功能。

3   过拟合问题分析（Overfitting analysis）

猫狗图像识别是Kaggle竞赛中的一项典型任务，本文以Kaggle数据集中的猫狗图像为例，构建了四层卷积层两层全连接层的卷积神经网络，分析不同正则化方法抑制模型过拟合的效果。所设定的训练集每个类别均包括1000个样本，验证集每个类别均包括500个样本，测试集每个类别均包括500个样本。

训练集和测试集的训练精度和损失如图1所示，由图可知，训练集的识别精度高于验证集，损失值小于验证集，训练一开始就已经过拟合了。

3.1   L2 正则化

相比于复杂模型，简单模型不容易过拟合，参数范数惩罚正则化可使模型权重取较小的值，限制模型复杂度。具体方法是给目标函数J添加一个参数范数惩罚项，常添加L2正则项。正则化后的目标函数如式（2）所示。

3.2   Dropout

Dropout处理是在每一步迭代过程中，随机的选择一些输入层或隐藏层的神经元，将其输入和输出连接全部设为0。由于每次迭代时网络结构均不相同，从而可以产生不同的输出。Dropout处理后训练集和测试集的训练精度和损失如图3所示，由图可知，在经过第4次迭代后，训练过程开始过拟合，相比于图1的模型有了明显改善，但是不如添加L2正则项的效果。

3.3   数据增强

数据增强是对现有训练数据进行一系列变换，生成更多的训练数据。常用的变换方法包括对图像随机旋转一定的角度，在水平或垂直方向上做一定的平移，或者是随机缩放图像等。

本文利用Keras中ImageDataGenerator做如下数据增强：

ImageDataGenerator（rescale=1./255，rotation_range=40，width_shift_range=0.2，height_shift_range=0.2，shear_range=0.2，zoom_range=0.2，horizontal_flip=True）

训练集和测试集的训练精度和损失如图4所示，由图可知，使用数据增强后，当训练迭代60次时才出现了过拟合，训练结果相比于图1，图2、图3的模型都有了明显改善。

3.4   综合法抑制过拟合

前述几种方法均能有效抑制过拟合，但还是有过拟合的现象存在。因此，考虑将多种方法综合应用的综合法抑制过拟合。该模型添加L2正则项，在全连接层后进行dropout处理，并使用数据增强，训练集和测试集的训练精度和损失如图5所示。由图可知，在100次迭代过程中，无论是训练精度还是损失，训练数据和验证数据都保持一致，综合法消除了模型的过拟合。

4   结论（Conclusion）

本文以Kaggle竞赛中典型的猫狗识别为例，建立卷积神经网络，通过比较多种抑制过拟合方法，发现添加L2正则项、dropout处理、数据增强均能抑制过拟合，其中以数据增强效果最好，但单一的方法不能完全消除过拟合，需要采用综合法才能抑制过拟合。本文结果对卷积神经网络参数的配置具有重要的借鉴意义。

参考文献（References）

[1] Yu Shiqi，Jia Sen，Xu Chunyan.Convolutional neural networks for hyperspectral image classification[J].Neurocomputing，2017，219：88-98.

[2] Goldberg Yoav.Neural network methods for natural language processing[J].Synthesis Lectures on Human Language Technologies，2017，10（1）：1-309.

[3] Zhang Yu-Dong，Pan Chichun，Sun Junding，et al.Multiple sclerosis identification by convolutional neural network with dropout and parametric ReLU[J].Journal of computational science，2018，28：1-10.

[4] Huang Gao，Liu Zhuang，Van Der Maaten Laurens，et al.Densely connected convolutional networks[J].Proceedings of the IEEE conference on computer vision and pattern recognition，2017：4700-4708.

[5] 常亮，鄧小明，周明全，等.图像理解中的卷积神经网络[J].自动化学报，2016，42（9）：1300-1312.

[6] 刑珍珍.卷积神经网络在图像处理中的应用研究[J].软件工程，2019，22（6）：5-7.

[7] Ketkar Nikhil.Deep Learning with Python[M].New York：Springer，2017：119-117.

作者简介：

谢璐阳（1998-），女，本科生.研究领域：汽车电子.

夏兆君（1998-），男，本科生.研究领域：汽车电子.

朱少华（1998-），男，本科生.研究领域：汽车电子.

张代庆（1997-），男，本科生.研究领域：汽车电子.

赵奉奎（1986-），男，博士，讲师.研究领域：智能汽车环境感知.本文通讯作者.