LMBP和RBF在ECS特性曲线拟合中对比研究

丁 硕, 常晓恒, 巫庆辉

(渤海大学 工学院, 辽宁 锦州 121013)

0 引 言

数字式涡流传感器ECS(Eddy Current Sensors)工作在正常条件下, 且在保持某些参数值恒定不变的前提下, 线圈等效电感L就是位移d的单值函数。因此, 传感器输出信号的频率f与微小位移信号d之间呈现正比例关系。若被测试件位移产生变化时, 数字式涡流传感器频率f的变化将直接反映被测试件位移d的情况。但在实际中利用涡流传感器进行位移测量时, 输入和输出特性曲线存在较为严重的非线性关系, 影响到传感器的测量精度。为准确反映数字式涡流传感器d-f间的非线性关系, 实现精确测量, 需要拟合一条曲线, 使其尽可能逼近数字式涡流传感器实际的输入、 输出特性。实际中经常通过计算机利用最小二乘法、 查表法和线性插值等方法解决非线性问题。由于人工神经网络具有大规模并行处理、 自适应性和容错性等优点[1], 其发展为涡流传感器的特性曲线拟合提供了有效的方法, 只要恰当选择网络, 就能逼近任何非线性函数。其中两种前馈反向传播BP(Back Propagation)神经网络和径向基函数RBF(Radial Basis Function)神经网络较为流行, 并且取得了一定的效果。但神经网络的类型种类繁多, 不同类型网络对数字式涡流传感器的非线性特性的拟合效果不同, 而且各自所适合的场合以及计算量、 仿真过程都有很大不同。因为标准的BP网络存在学习收敛速度较慢、 稳定性差、 易陷入局部极小等缺点[2,3]。笔者以标准BP算法为基础, 利用收敛速度相对较快、 拟合精度较高且性能稳定的LM(Levenberg-Marquart)算法构建LMBP神经网络, 同时构建了RBF神经网络, 分别对涡流传感器的特性曲线进行拟合, 并对结果进行比较分析, 得出二者各自所适应的仿真计算过程。

1 LMBP网络的结构与学习算法

由于传统BP神经网络算法反向传播算法迭代速度慢, 且易陷入局部最小点, 计算机的内存足够大时, 对中小型结构的网络一般使用非线性阻尼最小二乘法(Levenberg-Marquardt Algorithm)的改进方法。LM算法是一种非常有效的优化设计方法, 从收敛速度和收敛性来看, 它结合了神经网络的梯度下降法和高斯-牛顿法的优点, 是在牛顿法和最速下降法之间进行平滑调和的结合算法。LM算法尤其适用于目标函数为误差平方和最小化的情况, 因其具有二阶收敛速度、 所需的迭代次数很少的优点[4,5], 所以可大幅度提高其收敛速度, 并可提高其算法的稳定性以及避免陷入局部最小点。

在多层前向神经网络中, 前一层的输出为下一层的输入, 输入与输出之间函数表达式为

am+1=fm+1(wm+1am+1+bm+1),m=0,1,2,…,M-1

(1)

其中a为某层的输出,b为阈值,f为激活函数,m为网络层数, 相应的权值矩阵为

(2)

其中wij表示前一层第j个神经元输入到后一层第i个神经元的权值。

设神经网络的误差指标函数为

(3)

其中Q为目标向量元素数目,ejq为第q个输入输出样本对的误差,ei(w)为误差向量,N为输出层的神经元数目。令J(w)为E(w)的Jacobian矩阵, 表示为

(4)

误差矩阵

2ei(w)

(5)

E(w)的梯度

E(w)=2JT(w)e(w)

(6)

E(w)的Hessian矩阵

2E(w)=2JT(w)J(w)+S(w)

(7)

当接近误差指标函数的最小值时, 则误差矩阵S(w)中的元素很小, 于是可取Hessian矩阵近似值

2E(w)=2JT(w)J(w)

(8)

由于矩阵JT(w)J(w)可能奇异, 故Hessian矩阵可表示为

2E(w)=2JT(w)J(w)+μI

(9)

其中μ为比例系数, 当μ≈0时, LM算法接近高斯-牛顿法； 当μ≫0, LM算法近似于最速下降法。由此得出LM算法

Δw=-[JT(w)J(w)+μI]-1JT(w)e(w)

(10)

其中I为单位矩阵。

根据上述的推理可看出, 由于LM算法采用二阶近似偏导数, 所以收敛速度相对梯度下降法而言快很多且JT(w)J(w)+μI是正定阵, 所以其解总是存在的[6,7]。

2 RBF网络的结构与学习算法

RBF神经网络是一种典型的局部逼近神经网络。RBFNN(Radial Basis Function Artificial Neural Networks)由3层组成: 输入层节点的作用是传递信号到隐层； 隐层节点由径向基函数构成； 输出层节点通常是简单的线性函数。在RBFNN中, 从输入层到隐层的变换是非线性的, 隐层的作用是对输入向量进行非线性变换, 而从隐层到输出层的变换是线性的, 即网络的输出是隐节点输出的线性加权和[8-10]。通过分析RBFNN结构的特点可发现, 主要有两个因素决定RBFNN结构: 网络隐层神经元个数及其中心、 隐层与输出层连接权值。所以, 一般的算法都是利用RBFNN的3层结构特点设计学习算法。第1步确定网络隐层神经元个数与其中心； 第2步确定网络的权值。由于在第2步可以直接利用线性优化算法, 从而可以加快学习速度和避免局部最优[11]。

径向基网络传递函数的原型函数为

radbas(n)=exp(-n2)

(11)

当输入自变量为0时, 传递函数取得最大值为1。随着权值和输入向量之间距离的减少, 网络输出是递增的。当输入向量和加权向量一致时, 神经元输出为1。径向基函数网络隐含层采用径向基函数作为激励函数, 该径向基函数一般为高斯函数。隐层每个神经元与输入层相连的权值向量w1i和输入矢量Xq之间的距离乘以阈值b1i作为本身的输入。由此可得隐含层的第i个神经元的输入为[12]

(12)

输出为

(13)

径向基函数的阈值b1可以调节函数的灵敏度, 但在实际工作中更常用另一参数C。两者的关系有多种确定方式。在Matlab神经网络工具箱中,b1和C的关系为:b1i=0.832 6/C, 此时隐含层神经元的输出变为

(14)

C值的大小实际反映了输出对输入的响应宽度,C值越大, 隐含层神经元对输入矢量的响应范围越大, 且神经元间的平滑度也越好。输出层的输入为各隐含层神经元输出的加权求和。由于激励函数为纯线性函数, 因此输出为

(15)

在RBF网络训练中, 隐含层神经元数量的确定是关键问题, 传统的做法是使其与输入向量的元素相等。显然, 在输入矢量很多时, 过多的隐含层单元数难以让人接受。因此, 笔者提出了改进方法, 基本原理是从0个神经元开始训练, 通过检查输出误差使网络自动增加神经元。每次循环使用, 使网络产生的最大误差所对应的输入向量作为权值向量w1i产生一个新的隐含层神经元, 然后检查新网络的误差, 重复过程直到达到误差要求或最大隐含层神经元数为止[13-15]。由此可见, 径向基函数网络具有结构自适应确定、 输出与初始权值无关等特点。

3 仿真实验

该实验采用型号为MLW-Y330008的数字式涡流传感器, 完成系统硬件连接, 并对系统进行调试, 采用机械放大杆并配合使用杠杆千分尺的形式获得微小位移信号。为了真正反映传感器的输入输出特性曲线, 在标准室温条件下, 且在MLW-Y330008传感器测试量程允许范围内, 采用正反行程(正向行程、 反向行程各10次)多次测量, 最后取平均值的方法获得传感器的输出频率与被测位移量之间的输入-输出数据(见表1)。由实验数据可知:d-f变化趋势在被测试件位移量较小时基本上成线性关系； 但在被测试件位移量较大时, 线性度较差, 呈现非线性关系。影响传感器特性的因素有很多： 被测试件表面平整度、 表面磁效应、 表面镀层、 表面尺寸以及传感器的安装和工作温度等诸多因素都会对涡流传感器的特性产生影响。在Matlab7.0环境下, 将实验测得数据进行归一化处理, 将所收集的数据映射到指定的区间[0,1]中, 根据上述过程利用Matlab语言编程建立BP神经网络、 对网络初始化并分别对LMBP网络和RBF网络进行训练, 将表1中实际测量所得的数据分别作为经过训练后的两种网络的测试数据(数字式涡流传感器输入位移量d变化范围： 0～1.208 34 mm; 数字式涡流传感器输出频率f变化范围： 382.016～393.958 Hz)。LMBP网络选择3层结构, 隐层单元数13个。RBF网络选用高斯函数作为隐层单元的径向基函数。隐层单元数与输入的训练样本数一致, RBF的中心在输入样本中随机选取, 参数C由相邻样本数据的最大距离确定, 笔者实验时C取0.06。当网络平方和误差取为0.000 1时, 采用上述学习算法, 其性能对比如表1所示。

表1 LMBP网络与RBF网络拟合结果

图1和图2分别是LMBP网络和RBF网络的训练误差变化曲线。从图1和图2可看出, 若目标精度为0.000 1, LMBP网络经过66个周期才达到所需精度, 而RBF神经网络只需要28个周期, 可见RBF网络的收敛速度远高于LMBP网络。

图1 LMBP网络训练误差变化曲线 图2 RBF网络训练误差变化曲线

图3是两种网络在各测量点的相对误差变化曲线。由图3可看出RBF网络比LMBP网络收敛快, 拟合误差比LMBP网络小。由于LMBP网络隐层激活函数是全局的, 如果要进一步提高拟合精度, 可以通过增加隐层单元数或选择多个隐层结构网络的方法, 但这样很容易导致拟合的局部振荡, 会影响网络的泛化能力。相比之下, RBF网络对测试数据几乎达到了完全逼近, 只有最后的几个测试数据有较小误差, 但误差不超过0.524 1%； LMBP网络有较大误差, 且误差波动较大, 其最大残差不超过0.701 5%。

LMBP网络与RBF网络对于某涡流传感器的输入、 输出测量数据的拟合效果如图4所示。经分析可发现两种都实现了对某涡流传感器测量数据的拟合。RBF网络基本上和测量点数据完全吻合, 而LMBP网络则在多个函数段上有不吻合现象, 且RBF网络拟合曲线更平滑。因此RBF网络在整体拟合效果上也要优于LMBP网络。LMBP网络与RBF网络性能对比结果由表2所示, 在对某涡流传感器的测量数据进行拟合时, RBF网络的综合性能较LMBP网络更为优越。

图3 测量点相对误差变化曲线 图4 LMBP网络与RBF网络对于某 涡流传感器的拟合效果

表2 LMBP网络与RBF网络性能对比结果

4 结 语

利用神经网络的非线性映射关系可实现任意数据的函数逼近且无需知道数据的数学模型。LMBP网络和RBF网络对训练样本均有很高的拟合精度, 但RBF网络的精度稍高于LMBP网络, 几乎达到了完全逼近, 而且设计更方便, 网络可以自动增加神经元直到满足精度要求为止。当训练样本过多时, RBF网络的结构过于庞大, 从而运算量也有所增加, 复杂程度会随之增大, 而LMBP网络则不会出现此问题, 这时选用网络能更好地满足工程需要。LMBP网络在训练过程中需要对网络的所有权值和阈值进行修正, 是全局逼近网络, 训练速度较慢, 所以在对实时性较高的场合不宜用LMBP网络拟合涡流传感器特性曲线。RBF网络是利用高斯函数对非线性输入输出映射进行局部逼近, 对每个训练样本只需要对少量的权值和阈值进行修正, 训练速度很快。所以, RBF网络适宜应用于实时仿真计算、 实时控制等对时间要求比较高的场合。在测试数据较容易获取的情况下, 要尽可能地将测试点范围划分更细些, 这样局部拟合计算精度将更进一步提高。

参考文献：

[1]蒋良孝, 李超群. 基于BP神经网络的函数逼近方法及其MATLAB实现 [J]. 微型机与应用, 2004, 23(1)： 52-53.

JIANG Liang-xiao, LI Chao-qun. Function Approach Method Based on BP Neural and Its Implement with MATLAB [J]. Microcomputer & Its Applications, 2004, 23(1)： 52-53.

[2]余妹兰, 匡芳君. BP神经网络学习算法的改进及应用 [J]. 沈阳农业大学学报, 2011, 42(3)： 382-384.

YU Mei-lan, KUANG Fang-jun. Improved Learning Algorithms for BP Neural Network and Application [J]. Journal of Shenyang Agricultural University, 2011, 42(3)： 382-384.

[3]贺清碧. BP神经网络及应用研究 [D]. 重庆： 重庆交通大学信息科学与工程学院, 2004.

HE Qing-bi. Back Propagation Neural Network and Applications [D]. Chongqing: College of Information Science and Engineering, Chongqing Jiaotong University, 2004.

[4]史步海, 朱学峰. LMBP神经网络改进算法的研究 [J]. 控制工程, 2008, 15(2)： 164-167.

SHI Bu-hai, ZHU Xue-feng. On Improved Algorithm of LMBP Neural Networks [J]. Control Engineering of China, 2008, 15(2)： 164-167.

[5]WANG Wei-peng. An Inventory Optimization Model Based on BP Neutral Network [C]∥2011 2nd IEEE International Conference on Software Engineering and Service Science. Beijing, China: IEEE, 2011: 415-418.

[6]李业丽, 冯超, 陆利坤. 一种基于共轭梯度的LMBP改进学习算法 [J]. 计算机工程与应用, 2008, 44(21): 106-108.

LI Ye-li, FENG Chao, LU Li-kun. Improved Learning Algorithm for LMBP Based on Conjugate Gradient Methods [J]. Computer Engineering and Applications, 2008, 44(21)： 106-108.

[7]王彦, 刘宏立, 杨珂. LMBP神经网络PID控制器在暖通空调系统中的应用研究 [J]. 湖南大学学报: 自然科学版, 2010, 37(3): 49-52.

WANG Yan, LIU Hong-li, YANG Ke. Study on Application of LMBP Neural Network PID Controller in HVAC System [J]. Journal of Hunan University： Natural Sciences, 2010, 37(3): 49-52.

[8]郭新辰, 吴希, 陈书坤, 等. 基于RBFNN和PSO求解第二类Volterra积分方程的混合方法 [J]. 吉林大学学报： 理学版, 2010, 48(5)： 488-491.

GUO Xin-chen, WU Xi, CHEN Shu-kun, et al. Hybird Method Based on RBFNN and PSO for Solving Linear Volterra Integral Equations of the Second Kind[J]. Journal of Jilin University： Science Edition, 2010, 48(4)： 658-661.

[9]张一农, 刘伯龙, 王文婷. 基于神经网络的客服中心话务量预测模型 [J]. 吉林大学学报： 信息科学版, 2011, 29(2)： 98-101.

ZHANG Yi-nong, LIU Bo-long, WANG Wen-ting. Neural Network Based Traffic Prediction Model of Customer Service Center [J]. Journal of Jilin University： Information Science Edition, 2011, 29(2)： 98-101.

[10]孙丹, 万里明, 孙延风, 等. 一种改进的RBF神经网络混合学习算法 [J]. 吉林大学学报： 理学版, 2010, 48(5)： 817-822.

SUN Dan, WAN Li-ming, SUN Yan-feng, et al. An Improved Hybrid Learning Algorithm for RBF Neural Network [J]. Journal of Jilin University: Science Edition, 2010, 48(5)： 817-822.

[11]李彬. 径向基函数神经网络的学习算法研究 [D]. 威海： 山东大学威海分校信息工程学院, 2005.

LI Bin. Research on Learning Algorithms of Radial Basis Function Neural Networks [D]. Weihai: School of Information Engineering, Shandong University at Weihai, Shandong University, 2005.

[12]刘延喜, 李忠范. RBF神经网络非对称损失改进及应用 [J]. 吉林大学学报: 信息科学版, 2010, 28(5)： 488-491.

LIU Yan-xi, LI Zhong-fan. Improving RBF Neural Network under Asymmetric Loss and Its Application [J]. Journal of Jilin University: Information Science Edition, 2010, 28(5)： 488-491.

[13]刘瑞年. 汽车销售预测模型应用研究 [D]. 武汉： 武汉理工大学管理学院, 2009.

LIU Rui-nian. A Research on the Implement of Automobile Sales Forecast Models [D]. Wuhan: School of Management, Wuhan University of Technology, 2009.

[14]李涛, 伯晓晨. MATLAB工具箱应用指南 [M]. 北京： 电子工业出版社, 2000.

LI Tao, BO Xiao-chen. MATLAB Toolbox Application Guide [M]. Beijing: Publishing House of Electronics Industry, 2000.

[15]王晓茹. 影响径向基神经网络分类性能的因素 [J]. 吉林大学学报: 信息科学版, 2009, 27(2): 191-194.

WANG Xiao-ru. Influencing Element of RBFN’s Classification Performance [J]. Journal of Jilin University: Information Science Edition, 2009, 27(2): 191-194.