一类神经网络算子的构造与逼近

常利苹,曹飞龙

(中国计量大学 理学院,浙江 杭州 310018)

本文以R表示实数集,N表示正整数集,且以小写字母表示一维标量,黑体小写字母表示向量。以C([0,1])表示定义在[0,1]上的连续函数空间,并赋予一致范数。

‖f‖∞:=maxx∈[0,1]|f(x)|。

数学上,单隐层前向神经网络可表示为

(1)

其中x∈Rs,它是Rs→R的算子。这里cj∈R是网络的输出权,σ是激活函数,aj是输入与神经元的连接权向量,bj∈R是神经元的阈值,[x·y]表示向量x,y的内积。一般地,网络的激活函数σ取为Sigmoid函数,即σ:R→R,且

周知,前向神经网络是万有逼近器,即对定义在Rs中紧集上的连续或Lebesgue可积函数,当激活函数满足一定条件时,存在形如式(1)的前向神经网络可以以任意精度逼近该函数[1-3]。这一定理被称之为网络逼近的稠密性定理,它研究当前向神经网络的激活函数满足什么条件时,多种目标函数类可以被前向神经网络以任意精度逼近。至今,关于稠密性定理已有较多的研究[1-10]。神经网络逼近的另一种重要问题是复杂性问题,其研究如何基于数据构建前向神经网络算子作为逼近工具,并估计其对目标函数的逼近误差,并以此揭示网络拓扑结构与网络逼近能力之间的关系(参见文献[11-21])。

文献[11]利用构造性的方法证明了CYBENK的稠密性定理[1];在此基础上,CHEN[12]利用函数连续模给出了逼近的Jackson型量化估计,而文献[13]针对单调的Sigmoid函数做了进一步的研究;BARRON[14]在被逼近目标函数的Fourier变换满足一定条件,并且激活函数是无穷次可微的Sigmoid函数的假设下,指出了单隐层网络逼近在一定条件下可达到的几乎最佳逼近阶;文献[15-16]分别研究了对周期连续函数的构造性逼近问题;针对高维目标函数情况,文献[17]用构造性方法研究了多输入的网络构造和逼近的量化估计问题;值得指出的是,文献[18-19]研究了网络构造性逼近的上、下界问题;在文献[20]中,CHEN和CAO利用经典的logistics函数的解析性质,并对其做Fourier变化与组合、平移变形,用构造性方法给出一类单隐层网络并估计了逼近速度。ANASTASSIOU[22-23]、COSTARELLI等[24-25]进一步将文献[20]的结果和思想推广到多输入的情形。

受文献[20]启发,文献[26]考虑到双曲正切函数

(2)

其中x∈R,是一类典型的Sigmoid函数,并对双曲函数(2)进行平移与平均得到如下的钟型函数:

(3)

并得到了如下的逼近阶估计:

(4)

其中n∈N,2n1-α-3>0;参数0<α<1的引入起到了平衡误差估计式(4)右边两项“阶”的作用;ω(f,δ)是函数f的连续模[27]:

本文继续文献[26]的工作。我们先引进正参数d,并定义如下函数

其中

由此,对于f∈C([-1,1]),构造网络算子

我们得到如下逼近误差估计:

(5)

显然,根据定理1立即得到算子(Fn,df)的收敛性:limn,d-1→+∞Fn,df(x)=f(x);定理1中的参数d可以与n相关,特别地,可取为d-1=n;估计式(5)中的参数0<α<1起到了平衡其右边两项“阶”的作用。

此外,如果f∈LipC(β)(0<β≤1),即ω(f,δ)≤Cδβ,其中C为Lipschitz常数,则由式(5)得到逼近阶估计:

1 准备工作

由φ(x)的定义,我们有

以及

引理1(见[26])。

1)如果k≤k′≤0,则φd(k)≤φd(k′);2)如果0≤k≤k′,则φd(k)≥φd(k′)。

引理2设0<α<1,成立

证明通过计算,可以得到

引理3设nα>2,成立

证明不难看出,

引理4。

证明(1)如果t满足k-1≤t≤k≤nx，则有

由此,可得到

如果t满足k≤t≤k+1≤nx，则有

由引理1,同样可得

因此,

综上,有

这表明

1)证明完毕。类似地,我们可证得2)。

引理5以下各式成立。

证明因为

所以

因此,

所以,

也有

其中nα>2。最终可得

证明了1)。同理可证得引理5中的2)。

2 定理的证明

不难有

用|nx-k|≤nα和|nx-k|>nα来表示k的范围,所以

由-1≤x≤1和|nx-k|≤nα,得

故有

综上所述,可得

定理1证毕。

3 总 结

在本文中,我们用构造性方法给出一类单隐层网络并估计了逼近速度,即估计该类算子对于任意的f∈C([-1,1])的逼近误差,并建立Jackson型定理。