CNN算法改进及在舆情分析中的应用

左芳玲 郭迎筱

摘  要：作为深度学习图像识别的开创性复杂算法，卷积神经网络（CNN）在图像处理中有着其他机器学习算法所不具备的高精度的优点，同时小波神经网络（WNN）在训练中有着跳出局部极小值的特点，因此可达到的最小误差精度是大部分网络难以达到的。结合CNN与WNN各自的优点，本文提出了CNN与WNN相结合的两种网络：小波卷积小波神经网络（wCwNN）和小波卷积神经网络（wCNN）。基于wCwNN网络以及wCNN网络对文本分析问题进行探索，尝试用两种网络处理经由词向量模型（word2vec）处理后的文本信息，发现相比于传统的卷积神经网络，针对经word2vec处理后的文本，改进后的网络仍然具有一定的优勢。本文最后针对经典的神经网络对处理文本类数据问题提出研究方向，并对神经网络未来发展提出想法。

关键词：wCwNN;WNN;CNN;word2vec;文本分析

中图分类号：TP391.3     文献标识码：A 文章编号：2096-4706（2019）13-0023-02

Improvement of CNN Algorithm and Its Application in Public Opinion Analysis

ZUO Fangling，GUO Yingxiao

（School of Information，Capital University of Economics and Business，Beijing  100070，China）

Abstract：As deep learning seminal complex algorithm of image recognition，convolution neural network （CNN） with other machine learning algorithms in image processing does not have the advantages of high precision，at the same time，the wavelet neural network （WNN） in training has the characteristics of the local minimum value，therefore can achieve the minimum error of accuracy is hard to achieve most of the network. Combining the advantages of CNN and WNN，this paper proposes two kinds of networks：wavelet convolution wavelet neural network （wCwNN） and wavelet convolution neural network （wCNN）. Based on wCwNN network and wCNN network，this paper explores the problem of text analysis. Two kinds of networks are used to process text information processed by word vector model （word2vec）. It is found that compared with traditional convolutional neural network，the improved network still has certain advantages for text processed by word2vec. In the end，this paper puts forward the research direction of classical neural network in dealing with text data，and puts forward some ideas for the future development of neural network.

Keywords：wCwNN;WNN;CNN;word2vec;text analysis

0  引  言

随着互联网的发展，解读社交网络信息成为了舆情处理的重要方向，但是面对各种复杂的数据形式，传统的数据分析算法已经无法从数据中提炼较为准确的信息。

我国对舆情监控较为重视，但是定量分析还未成熟。因此，本文希望更好地对网络舆情进行即时处理、即时反馈，利用传统神经网络独特的特征提取优势，再加以改进，进一步提升舆情处理的即时性。

1  研究主要内容

本文针对现阶段的微博情感分析，更改CNN结构：模仿CNN的结构分析WNN，利用BP反向传播的基本机制推导WNN公式，利用WNN替换CNN的全连接层与卷积池化层，改进CNN极易陷入局部最优的特性。提出小波卷积小波神经网络（下文简称wCwNN）和小波卷积神经网络（下文简称wCNN）。

2  研究方法实践

2.1  各神经网络算法对比分析

2.1.1  卷积神经网络

标准的卷积神经网络训练过程由前馈计算（Forward-Feedback）和反向传播（Back-Propagation）组成，调整参数则采用了经典的梯度下降法（Gradient Descent）进行计算。以LeNet-5为模板，标准的网络拓扑结构有以下几个部分：输入层（Input layer）、卷积层（Convolution layer）、池化层（Pooling layer）、全连接层（Fully-connected layer），输出层（Output layer）。

2.1.2  小波卷积神经网络

小波神经网络（WNN）是由多组小波变换充当隐含层神经元并与传统的输入层神经元与输出层神经元所构成，通过遗传算法确定隐含层的神经元个数。

2.1.3  小波卷积小波神经网络

小波卷积小波神经网络（wCwNN网络）分为前段网络和后段网络，前段网络为卷积池化网络，其中卷积层的激活函数为小波尺度变换函数，后段网络为小波神经网络。

2.1.4  实验设计

实验对象为CNN、wCwNN、wCNN，实验分为两部分：一部分為对于每一种网络，不设置训练次数上限，不设置训练误差下限，观察每一种网络能达到的最小误差;另一部分为对于每一种网络，不设置训练次数上限，设置所有网络都能达到的训练误差下限，观察各网络能达到误差下限时所用的时间。用同一组数据作为输入计算各神经网络的运行时间的平均值、最小值和最大值，最小均方误差的平均值、最小值和最大值。可得如下结论：

（1）改进后的wCwNN与wCNN网络较原始CNN网络性能有所提高。

（2）wCwNN网络具有较快的收敛速度与达到极小误差精度的能力。

（3）wCNN网络具有极快的收敛速度与达到较小误差精度的能力。

（4）相比于wCNN网络，wCwNN网络训练过程中误差波动较大，也就是说该网络具备跳出局部极小值的能力，因此在一定实验次数下，wCwNN网络能达到的最小误差比wCNN网络要小。该种类型的网络适用于对最小精度有要求的实际场景中。

（5）相比于wCwNN网络，wCNN网络在每一次仿真中都保持较为稳定的误差下降过程，因此15次仿真的最小误差值与最大误差值相差不大（实验一可达性实验）。同时，当控制各网络目标误差相等时（实验二训练时间对比实验），wCNN网络具备误差快速收敛的能力。该种类型的网络适用于对训练时间有要求的实际场景中。

2.2  基于wCwNN与wCNN的文本分析

2.2.1  数据获取

将数据源分为两类：一类为公开数据集中现有的微博评论数据，作为训练和验证数据;一类是从网页版微博中实时爬取的微博数据，作为测试数据。其中现有的微博评论数据量为120000，实时爬取的微博数据量为124，两份数据均以CSV格式存放在Excel表中。

2.2.2  数据预处理

数据预处理阶段分为数据清洗与文本词向量化：数据清洗指对原始数据进行基本的处理以满足数据分析的要求，本例中的数据清洗包括删除重复数据、去除评论信息为空的数据、去除爬虫留下的html代码、去除评论信息中出现的表情符号和颜文字等等，对评论信息进行分词和去停用词处理;文本词向量化是指把每一个样本的文本评论数据都转换成指定维数的向量，即一个向量就是一个样本的文本评论信息。

2.2.3  文本数据分类

使用wCwNN网络、wCNN网络和CNN网络对爬取的数据进行分类，对wCwNN与wCNN网络在文本分析领域做实证研究。主要有以下几个方面：

（1）使用三种网络对训练数据进行学习。经实验，采用64维词向量模型训练数据输入各神经网络时，各网络的准确率较高。

（2）三种网络对测试集进行测试，计算相应准确率。切换不同种类的网络计算各网络的分类结果：wCwNN网络准确率为64%，wCNN网络准确率为60%，CNN网络的准确率为56%。

3  结  论

本文通过对CNN网络与WNN网络的研究，创新了两种新型的网络：小波卷积小波神经网络（wCwNN）与小波卷积神经网络（wCNN）。输入相同的仿真数据，分析对比了wCwNN、wCNN、CNN三种网络能达到的最小误差精度以及各自的训练时间。分析发现wCwNN网络能达到最小误差精度，wCNN网络收敛较快，相对于传统CNN网络来说，两种网络都有了较大幅度的提升。

在文本分类中，相较于其他的机器学习算法，三种网络的表现欠佳，经过后期查询各种资料与文献，发现可能是词向量化后的数据与现有的网络结构不匹配。相较于其他算法，CNN的卷积过程实际是对图像各部分的特征提取过程，但相同的特征提取方法在word2vec模型上可能不能有效地提取特征，有学者指出把卷积核大小设置成为词向量维度大小，并证明该种改进有效地提升了算法的效率。因此在后期的研究中，可以考虑继续研究word2vec模型与神经网络模型的适配性，可参考LSTM网络进行进一步的研究。

神经网络以能拟合任意对应关系而闻名，虽然目前各种网络还不成熟，但是对网络结构、性能的研究仍在不断进行中，相信在未来深度学习的发展能为社会解决更多复杂的问题。

参考文献：

[1] 高雪鹏，丛爽.BP网络改进算法的性能对比研究 [J].控制与决策，2001（2）：167-171.

[2] 郭媛媛.地方政府网络舆情危机研究国外文献综述 [J].统计与管理，2017（2）：176-177.

[3] 胡悦，王亚民.基于模糊神经网络的微博舆情趋势预测方法 [J].情报科学，2017，35（12）：28-33.

作者简介：左芳玲（1997-），女，汉族，江西吉安人，本科在读，研究方向：大数据应用与深度学习神经网络。