BP神经网络算法改进及应用研究*

李如平, 朱　炼,吴房胜,徐珍玉



BP神经网络算法改进及应用研究*

李如平1, 朱炼1,吴房胜1,徐珍玉2

(1.安徽工商职业学院电子信息系，安徽 合肥 231131；2.农业部农业物联网技术集成与应用重点实验室，安徽 合肥 230088)

人工神经网络算法具有较强的非线性映射功能，BP神经网络算法是人工神经网络算法的代表，在分析BP神经网络算法结构的基础上，提出了BP神经网络算法误差与权值调整并对算法进行了改进，然后建立了基于BP神经网络算法的应用，BP神经网络算法具有较好的适应性.

人工神经网络；BP神经网络；预测

人工神经网络( Artificial Neural Network，ANN)算法近年来发展迅速，在其算法中最具代表性的BP( Back -Propagation) 神经网络算法，其结构简单,可操作性强,输入输出能模拟任意的非线性关系[1].目前，BP神经网络算法已成为人工神经网络算法中应用比较广泛的一种.

1　BP神经网络算法结构

BP神经网络是由输入层、隐含层(即中间层)和输出层三层结构组成，其结构如图1所示.xi表示输入层，hi表示隐含层，yi表示输出层[2].

图1　三层BP神经网络结构

在三层BP神经网络结构中，输入层和输出层的神经单元个数是根据具体问题来确定，而隐含层的神经单元数通常由经验来确定.

设输入向量为X=(x1,x2,…,xi,…,xm)T；

隐含层输出向量为H=(h1,h2,…,hj,…hl)T；

输出层输出向量为Y=(y1,y2,…,yk,…,yn)T；

期望输出向量为D=(d1,d2,…dk,…,dn)T.

输入层到隐含层之间的权值矩阵用V表示，

V=(V1,V2,…,Vj,…Vl)，其中列向量Vj为隐含层第j个神经元对应的权向量；

隐含层各单元的输出阈值用θj表示，其中j=1,2,…,l

隐含层到输出层之间的权值矩阵用W=(W1,W2,…,Wk,…,Wl)，其中列向量Wk为输出层第k个神经元对应的权向量.

输出层各单元的输出阈值用γk表示，其中k=1,2,…,n

则BP神经网络的前馈计算描述如下：

对于输出层，有

yk=f(netk)k=1,2,…,n

(1)

(2)

对于隐含层，有

hj=f(netj)j=1,2,…,l

(3)

(4)

式(3)、式(4)中，传递函数f(x)可以为单极性Sigmoid函数

(5)

2　BP神经网络误差与权值调整

确定了BP神经网络结构之后，对BP神经网络通过输入输出样本集进行训练，即通过调整网络的权值和阈值，进行学习，网络经过训练后，输入输出的映射关系从而得到实现.该方法首先计算网络实际输出与期望输出的误差，接着反传误差，由此逐层调整网络的权值、阈值.其学习流程如图2所示.

图2　BP神经网络学习流程图

BP权值和阈值调整计算公式为：

对于输出层：

(6)

(7)

对于隐含层：

(8)

(9)

0<η′<1.

3　BP神经网络算法的改进

标准BP神经网络具有结构清楚，思路明晰，操作性强等优点.但是由于算法采用梯度下降法，BP神经网络容易因此陷入局部最小值，收敛速度慢.因此，人们在对传统BP算法进行多种方法的改进，从而提高训练速度，实现避免陷入局部极小值和改善其它功能.另外，基于非线性优化的训练算法的提出和应用，提高了BP神经网络的收敛速度.算法的改进对实际应用意义十分重要，常用的改进算法有：

3.1自适应学习率法

(10)

式中，mse为均方误差.

3.2Levenberg-Marquardt法[4]

Levenberg-Marquardt法是结合了梯度下降法和牛顿法的一种方法.Levenberg-Marquardt法可以描述如下：

(11)

式中，向量X(k)是由所有权值和阈值两者组成；η(k)为在S(X(k))方向上使f(X(k+1))达到极小的步长；S(X(k))为由X各分量组成的向量空间的搜索方向，定义为S(X(k))=-(H(k)+λ(k)I)-1▽f(X(k))，I表示单位矩阵，H为海森矩阵.

这样，网络权值可通过下面两步进行寻优：1)首先对当前迭代的最佳搜索方向进行确定； 2)寻求最优迭代步长.

Levenberg-Marquardt法的权值数目较少时具有收敛快速的优点，但是该算法对存储量需求较大.

4　BP神经网络算法的应用

城市交通拥堵目前已成为各大城市急需解决的交通问题，将以BP神经网络算法作为数学模型应用于交通流量预测，为智能交通系统提供准确的数据，从而为城市道路行车提供引导，具有较好的实用性.

城市道路交通状况一般具有间断性，车流量通常受到一些交通地点及设施的控制(如交叉路口、交通标志、信号灯等)，因此采用单点时间序列预测法，即模型只考虑单一路段行车速度在时间上的变化规律，不考虑各路段行车速度之间的相关关系.假设某条路段，以固定的采样周期检测行车速度数据.依据BP神经网络的工作原理，构建行车速度实时预测模型，如图3所示.

图3　行车速度实时预测模型

模型中各符号意义如下：

t：采样时间点;

Δt：间隔时间;

i：预测路段号;

NN：BP神经网络，用于预测t+(n+1)Δt,t+(n+2)Δt时刻的路段的行车速度;

vi(t)：编号为i的路段t时刻行车速度实测值;

在模型中，t时刻学习步骤为：把预测路段从t-nΔt时刻到t-Δt时刻的行车速度构成1×n矩阵作为样本输入.把该预测路段t时刻的行车速度构成1×1矩阵作为样本输出，用来训练网络.

在t+nΔt时刻的预测过程为：把预测路段从t+Δt时刻到t+nΔt时刻的行车速度作为样本输入，用训练好的网络进行预测，得到t+(n+1)Δt时刻该路段的行车速度的预测值.

随着时间的推进，当前时刻从t变为t+Δt,…,t+nΔt，一直这样进行下去，模型就滚动地加入新数据，旧数据不断去除，新的预测结果得出，从而进行实时预测行车速度.

在实时预测的基础上进行短时预测模型建立.一个三层BP网络就可以完成任意精度的n维到m维的映射，所以用一个隐含层的BP网络就能满足许多应用要求，因此选用三层BP网络进行自适应预测.

隐含层神经元数目的选择是一个十分复杂的问题，与待解决问题的要求、输入输出单元的数目都有关系，但不能像输入输出单元那样可直接指定，而需要根据设计者的经验和多次试验来确定.因为神经元数目太多会导致学习时间过长、泛化能力弱.下面2个公式是隐含层单元数选择时的参考公式：

(12)

(13)

式中，L为隐含层的神经元个数，n,m分别为输入和输出层神经元数目，N为样本容量.当样本数多时，根据(12)式得出的神经元数目过多.(13)式得出的神经元数目往往偏少.综合(12)、(13)式确定神经元数目取值范围为[3,8]区间内的整数，参考均方误差MSE和均等系数EC来综合评价网络的预测效果，各种网络结构使用的训练算法均为Levenberg-Marquardt算法.

(14)

(15)

式中Ypred(t)表示t时刻该路段的行车速度预测值,Yreal(t)表示t时刻该路段行车速度的实测值,MSE对误差求平方，在指标中强化了误差的作用，进而指标的灵敏性得到了提高.EC值的大小是对预测结果好坏的充分反映， EC值大于0.85为较好的预测， EC值大于0.9的预测为满意的预测，EC值越高，预测效果越好.

4　结语

由于实际交通状况具有高度复杂性和不确定性，预测技术也需要满足客观环境变化和应用的需要进行不断的改进.而以BP神经网络算法的智能计算方法由于具有自适应性.自组织性和自学习等优点，成为智能交通系统信息处理、预测和控制中常用方法.

[1]张文鸽，吴泽宁，逯洪波．BP 神经网络的改进及其应用[J].河南科学,2003, 21(2)：202-206.

[2]丛爽．神经网络、模糊系统及其在运动控制中的应用[M]．合肥：中国科学技术出版社．2001,13-19.

[3]朱武亭，刘以建． BP神经网络应用中的问题及其解决[J]．上海海事大学学报,2005,26(2)：64-66.

[4]Martin Hagan T，Howard DemuthB，Mark Beale H，戴葵,等． Neural Network design[M]．北京：机械工业出版社,2002．

[5]黄丽．BP神经网络算法改进及应用研究[D]．重庆：重庆师范大学, 2008．

[6]陈敏．基于BP神经网络的混沌时间序列预测模型研究[D]．长沙：中南大学, 2007．

[7]罗胜琪.BP算法的改进与性能分析[J]．中国科技博览.2011, 33：408-409.

BP Neural Network Algorithm Improvement and Application Research

LI Ru-ping1, ZHU Lian1, WU Fang-shen1, XU Zhen-yu2

(1．Department of Electronic Information，Anhui Business Vocational College，Hefei Anhui 231131，China; 2. Key Laboratory of Agricultural IOT Technology Integration and Application，Ministry of Agriculture，Hefei Anhui 230088，China)

Artificial neural network algorithm has strong nonlinear mapping function, the representative of which is BP neural network algorithm. Based on BP neural network algorithm structure analysis, the paper proposes neural network algorithm error and weight adjustment and improvement, establishes the application based on BP neural network algorithm, which has the better adaptability.

artificial neural network; BP neural network; prediction

1673-2103(2016)02-0013-05

2016-01-12

安徽高校自然科学研究重点项目(KJ2015A389，KJ2015A450，KJ2016A081)； 安徽高校自然科学研究一般项目(KJ2016B004，KJ2016B006)； 安徽省高校学科(专业)拔尖人才学术资助重点项目(gxbjZD2016094)；全国学校共青团研究课题(2015LX163)

李如平(1973-)，男，安徽肥东人，副教授 ，硕士，研究方向：计算机应用、物联网技术、网络信息安全及管理.

TP183

A