基于改进BP神经网络的湘西方块苗文图像识别

伍文源，曾水玲

（ 1.吉首大学 物理与机电工程学院，湖南 吉首 416000；

2.吉首大学 信息科学与工程学院，湖南 吉首 416000 ）

【计算机科学与通信工程】

基于改进BP神经网络的湘西方块苗文图像识别

伍文源1，曾水玲2

（ 1.吉首大学 物理与机电工程学院，湖南 吉首 416000；

2.吉首大学 信息科学与工程学院，湖南 吉首 416000 ）

湘西方块苗文是湖南省湘西少数民族地区使用的一种文字，在采用传统的BP神经网络对字符图像进行识别时，易出现收敛速度慢、陷入局部极小值的问题。对此，为采用BP神经网络对湘西方块苗文图像进行更好地识别，提出了一种基于附加动量法和自适应学习速率相结合的改进型BP神经网络，并将其应用于湘西方块苗文的识别。仿真结果表明，该算法不但收敛速度快，而且可以避免陷入局部极小值。

BP神经网络； 湘西方块苗文； 图像识别； 附加动量法；

BP神经网络凭借其自身良好的容错性、自组织性和自学习等功能广泛应用于各个领域，取得了较多的研究成果。文献[1]提出了基于确定学习的机器人任务空间自适应神经网络控制，利用径向基函数(Radial basis function, RBF) 神经网络为机器人任务空间跟踪控制设计了一种新的自适应神经网络控制算法，不仅实现了闭环系统所有信号的最终一致有界，而且在稳定的控制过程中沿着回归跟踪轨迹实现了部分神经网络权值收敛到最优值，同时实现了未知闭环系统动态的局部准确逼近。文献[2]利用BP神经网络的优化算法-LM算法，对非结构化自由文本信息中的领域概念实体属性关系进行抽取，对语料进行预处理，再利用CRFs模型对领域概念的实例、属性和属性值进行实体识别，然后根据领域中各类关系的特点分别进行特征提取，构造BP神经网络模型，利用LM算法抽取相应关系。文献[3]提出了云环境下基于神经网络和群搜索优化的资源分配机制，该机制不仅可以合理确定竞标价，而且使价格可以动态适应市场变化。文献[4]介绍了脉冲神经网络监督学习算法的基本框架及其性能评价原则，包括脉冲序列学习能力、离线与在线处理性能、学习规则的局部特性和对神经网络结构的适用性。虽然BP神经网络有以上有优点，但BP神经网络在对湘西方块苗文图像进行识别时，因权值修正以及学习速率的选取等问题使识别时收敛速度比较缓慢，并且整个网络容易陷入局部极小值。针对BP神经网络的这些缺陷，本文提出了在传统BP神经网络的基础上将附加动量法和自适应学习速率调整相结合[5]来对湘西方块苗文图像进行识别，克服了以上缺点，取得了良好的效果。

1.传统的BP神经网络及算法流程

BP神经网络[6-7]是一种包括输入层、隐含层和输出层的输出误差反向传播算法的多层前馈网络。其中隐含层可以是一层或者多层，可以根据网络的实际需要而定，网络的不同层之间相互连接，而同层

之间互不连接，整个网络分为正向传播和逆向传播[8]。在进行正向传播时，样本信息首先通过输入层，然后经过隐含层传向输出层，如果实际输出值和期望输出值之间存在误差时，误差信号会一层一层的逆向传输，在传输的过程当中改变各网络层之间的连接权值和阈值，直到再一次作为输入层的输入信号开始正向传输，如此反复的进行，使得网络的输出误差不断地减少，直到达到合理的要求。因为本文所要识别的字符简单，数据量少，将采用具有输入层、一个隐含层和输出层的三层BP神经网络。

传统的BP神经网络一般采用Sigmoid函数作为传输函数实现输入到输出的非线性映射，使得该BP网络以任意精度逼近任何连续函数，但传统的BP神经网络还是存在收敛速度慢和容易陷入局部极小点的问题。为了解决收敛速度慢和局部极小的问题，分别提出了附加动量法和自适应学习速率法。BP神经网络算法[9]实现具体步骤如下：

（1）分别对输入层与隐层之间、隐层与输出层之间的连接权值Wji和Wkj进行初始化，学习速率η设为区间（0，1）之间的数，迭代次数l=1，累计误差E置0。

（2）输入样本向量X=(X1,X2,...,Xn)T，期望输出d=(d1,d2,...,dc)；

（8）检查系统是否对所有训练样本完成一轮训P＞N，若P＜N，计数器(P+1)，重返步聚（2）；

（9）检查网络总误差是否达到精度要求，若满足E＜Emax，训练结束，否则否则E置0，P置1，返回步聚（2）。

2.改进的BP算法

2.1.附加动量项的算法

传统的BP神经网络在对权值进行修正时，只考虑了t时刻误差函数在梯度方向上的作用，而没有考虑t时刻以前误差函数在梯度方向的作用[7]，使得收敛速度变慢，对误差曲面局部细节变化敏感，容易产生震荡。针对这一情况，在权值修正时附加一动量项，这样所获得的权值是一个变化的权值，这样可以达到加快收敛速度，增强网络的稳定性，降低因误差曲面的局部细节的敏感性带来的影响，能够避免整个网络陷入局部极小，式（1）为附加了动量项的权值修正公式：

式中α为动量常数，（0＜α＜1),Δωkj(t)为本次应得权值修正量，Δωij(t -1)为上次权值修正量，η为学习率，kδ是误差项。

2.2.自适应调整学习速率

进行网络权值修正的目的是为了调整误差函数，这就需要有相应的学习速率来观测误差函数的变化，使得整个BP神经网络的收敛速度不会受到影响。而传统的BP神经网络的学习速率是一个常数，无法对误差函数的变化进行观测，势必对整个网络的收敛速度造成影响，因此我们希望通过选择一个合适的学习速率来观测误差函数的变化。但学习速率选取的太小，会使整个BP神经网络的收敛速度很慢，学习速率选取的太大，会使整个BP网络产生震荡，不利于网络的稳定。因此，有必要对传统BP神经网络的学习速率进行调整，以适应网络的随机变化，目前比较常用的方法是采用能够随时观测误差函数变化的学习速率，也就是我们通常所说自适应学习速率方法，该学习速率的变化和误差函数的变化成反比的关系，自适应学习速率调整公式（2）：

式（2）中，β1，β2为学习速率调整比例因子，且β1>1，0＜β2＜1，E( t)为误差项，ε为容许的反弹误差系数，一般情况下ε>1。

2.3.改进后的BP算法

通过对上面两种改进的方法可知，在传统的BP网络中添加附加动量项，可以避免整个网络陷入局部极小，但对学习速率的选择是一个定常数，造成对网络的输出误差变化比较敏感，不利于网络的稳定。若在传统BP神经网络中只进行自适应学习率的调整，虽然可以加快网络的收敛速度，但很难避免网络陷入局部极小，若将这两种方法结合起来形成一个新的BP神经网络算法，这样既可以克服收敛速度慢的缺陷，又可以避免网络陷入局部极小，因此本文提出了将附加动量法和自适应学习速率相结合的改进型的BP神经网络算法[10]对湘西方块苗文进行识别。

3.基于改进BP神经网络的湘西方块苗文识别

3.1.初始权值的确定

网络权值初始化的好坏，将直接影响到网络的收敛速度、是否会达局部极小值及训练时间的长短，一般来说使隐含层神经元节点的初始化权值尽量小，使输出层神经元节点初始化权值为+1和-1的数目相等，这样就可以大大的缩短网络的训练时间，加快收敛速度以及避免陷入局部极小。

3.2.输入层神经元个数的确定

因为本文所要识别的湘西方块苗文图像少，并且采用神经网络进行识别，只需要将所要识别的样本进行大小归一化来获取特征向量，在这里我们将所要识别的湘西方块苗文图像归一化50×50大小，再将图像按列转换成一个2500×1的行向量，从而得到2500个特征向量，因为有多少个输入特征向量就需要有多少个输入神经元，因此输入层需要2500个神经元。

3.3.隐含层神经元个数的确定

隐含层的设计，是整个网络设计的关键，特别是隐含层节点数的多少，将直接影响到整个网络的性能。节点数越多，识别精度越高，但同时也会加大训练的时间。节点数过少，会使迭代次数增加，不利于网络的稳定性。隐含层节点数的确定将至关重要，目前没有一个确定的公式来确定隐层的节点数使网络达到最优，因为本文所采用的网络是一个三层的改进BP神经网络。根据经验公式可以算出隐含层的神经元个数，其中m为输出神经元的个数，n为输入神经元的个数，a为[1,10]之间的整数，因此本次设计的隐层神经元的个数为

3.4.输出层神经元个数的确定

一般情况下，有多少个需要识别的字符数目，就需要有多少个输出神经元的个数，因为本文需要识别的是两个湘西方块苗文图像，因此本文输出神经元的个数为2个。

4.仿真实验

4.1.动量项对BP神经网络收敛速度的影响

实验中的采用相同的学习速率，相同的隐含层神经元的数。动量项取值不同，迭代次数差异很大。其中学习速率为0.5，隐含层神经元的数目为60，通过取不同动量值比较发现，在其他条件相同的情况下，动量项越大，迭代的次数越少，网络的收敛速度越快，但当动量项大于0.5后，收敛速度变化不是很明显，并且加入动量项后可以避免整个网络陷入局部极小值。本文将利用0.95做为本文的动量项。

表1 动量项对BP神经网络收敛速度的影响

4.2.改进前后BP神经网络的识别效果

改进前BP神经网络的最小均方误差设为0.001，最大的训练次数设为10000，训练间隔为10，隐含层神经元的数目为60，动量值为0，学习速率为定常数0.5的算法。改进后BP神经网络的最小均方误差、最大的训练次数、训练间隔和隐含层神经元的数目与改进前相同，动量值为0.95。采用动量项与自适应学习速率相结合的算法，我们分别利用这两个网络对同一湘西方块苗文图像进行识别，其实验结果分别如图1～图10所示。

图1 原始图像1

图2 改进前神经网络识别结果

图3 改进后神经网络识别结果

图4 改进前训练结果

图5 改进后训练结果

图6 原始图像2

图7 改进前BP神经网络识别结果

图8 改进后BP神经网络识别结果

图9 改进前训练结果

图10 改进后训练结果

通过改进前后两个BP神经网络分别对图1进行识别后生成的训练图4与图5可知，图4需要迭代3990次才能达到我们所设定的最小均方误差0.001，也就是我们上面图2的识别效果，而图5只需迭代143次就能达到我们所设定的最小均方误差0.001，也就是上面图3的识别效果，并且最后图3的识别效果也要好于图2的识别效果。同理，分别利用改进前后的BP神经网络对图6进行识别也会得到相同效果。

上述实验表明，改进后的BP神经网络不但收敛速度快于改进前的BP神经网络，而且可以避免整个网络陷入局部极小值。

5.结语

本文针对传统BP神经网络对湘西方块苗文图像进行识别时，因网络权值修正以及学习速率的选取不当容易造成收敛速度慢，容易陷入局部极小值等问题，提出了将附加动量法和自适应学习效率调整相结合的BP神经网络算法对湘西方块苗文图像进行识别，通过MATLAB对改进后的算法进行仿真实验，表明改进后的算法不但改变了收敛速度慢的缺点，而且使整个网络变得更加的稳定，避免了网络陷入局部极小值，取得了较好的效果。

[1] 吴玉香，王聪.基于确定学习的机器人任务空间自适应神经网络控制[J].自动化学报，2013，39（6）：806-815.

[2] 刘丽佳，郭剑毅，等.基于LM算法的领域概念实体属性关系抽取[J].中文信息学报，2014，28（6）：216-222.

[3] 孙佳佳，王兴伟，等.云环境下基于神经网络和群搜索优化的资源分配机制[J].软件学报，2014，25（8）：1858- 1873.

[4] 蔺想红，王向文，等.脉冲神经网络的监督学习算法研究综述[J].电子学报，2015，43（3）：577-586.

[5] 张永宏，吴鑫.神经网络在图像字符识别中的改进和应用[J].南京信息工程大学学报，2011，44（5）：106-109.

[6] 吴志军，王璐，等.基于改进 BP 神经网络的ATM系统信息安全评估方法[J].通信学报，2012，4（6）：150-158.

[7] 张旭兰.基于BP人工神经网络的车牌字符识别优化算法[J].计算机工程与应用，2012，48（35）：182-185.

[8] 呙润华，苏婷婷，等.BP神经网络联合模板匹配的车牌识别系统[J].清华大学学报 （自然科学版），2013，53（9）：1221-1226.

[9] 韩力群.人工神经网络教程[M].北京：北京邮电大学出版社，2006.

[10] 米江，纪国宜.改进的BP神经网络在风机故障诊断中的应用[J].噪声与振控制，2011，（2）：94-98.

Images of Xiangxi Square Hmong Language Characters Recognition Based on Improved BP Neural Network

WU Wenyuan1, Zeng Shuiling2
( 1.College of Physics, Mechanical and Electrical Engineering, Jishou University, Jishou, Hunan 416000, China; 2. College of Information Science and Engineering, Jishou University, Jishou, Hunan 416000, China )

Square Hmong Language Characters of Xiangxi is used in Hmong area of Xiangxi. The images of characters recognition based on traditional BP neural network can easily fall into local minimum and slow convergence. As to overcome this drawbacks, improved BP neural network based on integrating the additional momentum method and adaptive learning rate methods was presented by this article. This algorithm could be used to recognize the images of Xiangxi Square Hmong Language Characters. The simulation shows that not only could the algorithm improve the convergence speed, but also get rid of local minimum.

BP neural network, images of Xiangxi Square Hmong Language, characters recognition, additional momentum method

TP311

A

1673-9639 (2016) 04-0054-05

（责任编辑 田 波）（责任校对 毛 志）

2015-09-09

国家自然科学基金项目(61363033和61363073）和校级课题基金项目（14JDY041)。

伍文源（1988-），男，湖南新化人，副教授，硕士研究生，研究方向：人工神经网络。曾水玲（1975-），女，副教授，博士，研究方向：神经网络、模式识别及其应用。