对脉冲耦合神经网络中被动神经元的脉冲周期分析

高 媛程 橙秦品乐王丽芳

(1.中北大学 大数据学院，太原 030051； 2.山西省生物医学成像与影像大数据重点实验室(中北大学),太原 030051；3.北京航天测控技术有限公司,北京 100040)

0 引言

对猫[1-2]和豚鼠[3]等小型哺乳动物视觉皮质的研究结果表明，皮质神经元在类似刺激下可以同步脉冲。埃克霍恩等人提出了一种链接域模型来模拟这种机制，并将其应用于图像处理[4]。由于连续时间具有相当大的非线性，约翰逊修等人[5-6]改了埃克霍恩的神经元模型，提出了一种用于图像处理的脉冲耦合神经网络(PCNN)。与多层神经网络(如循环神经网络[7])不同，PCNN是一种单层网络，类似于Hopfield神经网络[8]和Cohen-Grossberg神经网络[9-10]。此外，PCNN中的一个神经元与邻近的神经元(如细胞神经网络[11])局部相连。据认PCNN可以在迭代过程中将图像中的每个像素编码成一系列脉冲，并基于强度相似性和空间接近性，利用归一化方法对像素进行分组。因此，PCNN对猫和豚鼠等小型哺乳动物视觉皮质的研究结果表明，皮质神经元在类似刺激下可以同步脉冲。埃克霍恩等。提出了一种链接域模型来模拟这种机制，并将其应用于图像处理。由于连续时间具有相当大的非线性，约翰逊修改了埃克霍恩的 神经元模型，提出了一种用于图像处理的脉冲耦合神经网络(PCNN)。与多层神经网络(如循环神经网络)不同，PCNN是一种单层网络，类似于Hopfield神经网络和Cohen-Grossberg神经网络。此外，PCNN中的一个神经元与邻近的神经元(如细胞神经网络)局部相连。认为PCNN可以在迭代过程中将图像中的每个像素编码成一系列脉冲，并基于强度相似性和空间接近性，利用归一化方法对像素进行分组。因此，PCNN适用于图像分割[12-16]、图像融合[17-20]特征提取[21-42]等图像处理。

特别是，它是一个非线性系统[25]，不仅适用于神经网络，而且适用于每个神经元。然而，作为输出反馈[26]，图像处理中神经元之间的脉冲耦合是通过使用几乎固定的局部突触来实现的，并且不考虑随机系统[7-11,27-30]中存在的随机时滞。选择合适的PCNN神经元参数是获得更好的图像处理性能的关键，它直接依赖于对PCNN神经元正确的理解和对其工作方式的有效分析。文献[31]在假定神经内部状态是固定的前提下对脉冲周期进行了分析，得到了一个稳定的周期。通过严格的数学分析，文献[32-33]证明了PCNN神经元与真实生物细胞的一致性。Bressloff和Coombes[34]对强耦合神经元的动态行为进行了研究，发现随着耦合强度的增加，神经元的稳定阶段将不稳定。Burkitt等人[35]研究了神经元群同步行为和平均刺激之间的联系，注意到在这些工作中对PCNN的分析是持续进行的并且基于一些假设。此外，在离散时间内，Yu等人[36]研究神经元如何改变固定脉冲周期条件的阈值，推导了被动神经元脉冲的时间相位和周期[37]，得到了不完全的解析公式。分析了简化后的神经网络的神经脉冲周期和捕获特性[38]。假设反馈衰减系数和动态阈值相同，则推导出脉冲周期[39]。然而，这些分析并没有考虑PCNN内部状态和阈值之间的逻辑比较所产生的整数转换的量化效应。因此，这些分析结果总是不准确的。

本文对无源PCNN神经元在离散时间内的脉冲周期进行了分析，得到了无源脉冲周期的解析估计。其主要贡献是：1)通过定义比较比率而不是PCNN中的逻辑比较，给出了一个近似准确的被动PCNN神经元的估计被动周期；2)分析并证明了估计被动周期和实际被动周期之间的误差；3)推导了神经元开始脉冲的初始阶段，并给出了一个稳定的初始阶段。脉冲周期；4)给出了一些实验实例来验证对PCNN的分析。

本文的其余部分组织如下。在第二节中，我们回顾了PCNN以及如何改变被动PCNN神经元的内部状态。然后在第三节中对被动脉冲周期进行了详细的分析。在第4节中执行了一些验证我们的分析的示例。最后，结论显示在第5节。

2 脉冲耦合神经网络

PCNN中的神经元由两个通道组成。与此不同的是，F通道不仅接收来自邻近区域的耦合脉冲Y，还接收外部刺激S，而L通道只接收耦合脉冲。此外，在微分方程[30,40]的描述中，两个通道的输出在每次迭代时都呈指数衰减。

F(n)=VFY(n-1)⊗W+F(n-1)e-αF+S

(1)

L(n)=VLY(n-1)⊗M+L(n-1)e-αL

(2)

其中:n是神经元的当前迭代；VF和αF分别是F通道的大小和衰减系数，类似VL和αL于L；W和M分别表示F和L相邻的局部突触。然后使用两个通道输出进行调制以产生内部状态，然后:

U(n)=F(n)[1+βL(n)]

(3)

其中:β表示连接强度。

当满足内部状态和动态阈值的逻辑比较时，PCNN中的脉冲发生器将输出一个脉冲。

(4)

其中:θ(n)是动态阈值，如下所示:

θ(n)=e-αθ(n-1)+VθY(n-1)

(5)

具有系数αθ的动态阈值在迭代中也呈指数衰减。然而，一旦神经元脉冲，因为有一个大幅度的Vθ，阈值将急剧增加。

PCNN中的神经元在相邻脉冲和外界刺激的耦合作用下，将持续地脉冲，但由于外界刺激的存在，只接受外界刺激的神经元也能持续地脉冲。为了区分这两种情况，我们分别将前、后两种情况下的神经元称为主动神经元和被动神经元，分别描述相邻两种情况下耦合脉冲的存在和缺失。值得注意的是，上述PCNN不考虑随机时滞或随机噪声等随机因素，如以下某些随机系统[7-11,25-30,40]。

假设1:PCNN神经元中L的初始状态为零，即L(0)=0。

U(n)=F(n)

(6)

其L通道输出为:

F(n)=F(n-1)e-αF+S

(7)

从式(7)开始，我们可以将式(6)改写为:

U(n)=U(n-1)e-αF+S

(8)

结论1：被动神经元只呈现一个接受外源性刺激的通道，可以用式(4)、(5)和(8)来描述。

假设2：被动神经元内部状态的初始状态为零，即U(0)=0。

论点1：假设2下，被动神经元的内部状态满足：

证明：从假设2和式(8)，我们得到：

U(1)=S

U(2)=F(1)e-αF+S=S(1+e-αF)

类似的，n=3,4,5,...

这就完成了证明。

3 被动脉冲周期分析

被动脉冲周期是反映PCNN中被动神经元的脉冲频率如何随外界刺激的不同和神经参数的不同而变化的，也可以揭示神经元如何工作。为了方便、准确地分析下一节中被动神经元的脉冲周期，在定义1给出了被动脉冲周期。

定义1. 将nm和nm+1表示为时间阶段，此时被动神经元分别在迭代期间m和m+1时间点进行脉冲 。 所以在nm+1处的被动脉冲周期可表示为：

T(nm+1)=nm+1-nm

(9)

3.1 实际被动脉冲周期

假设一个PCNN神经元分别在nm和nm+1处脉冲。从(5)开始，我们有：

θ(nm+1)=θ(nm+1)e-(nm+1-nm-1)αθ=[θ(nm)e-αθ+Vθ]e-(nm+1-nm-1)αθ

从式(4)考虑到U(nm+1)≈θ(nm+1)，我们得到：

T(nm+1)=nm+1-nm=

(10)

另一方面，利用式(4)中U(n)和θ(n)之间的逻辑比较来确定神经元是否脉冲，导致难以进一步分析式(9)。因此，我们现在定义：

θ(nm)=δU(nm)

(11)

其中，δ∈(0,1)称为动态比较比，用来描述迭代中U(n)和θ(n)之间的线性差异。然后式(6)可以改写为使用式(9)：

(12)

3.2 估计被动脉冲周期

虽然式(11)中的动态比较比δ在0～1之间，但我们可以在假设1和论点2下得到更精确的动态范围。

论点2：比较比δ满足：

证明：从式(4)和式(5)中可以得出，神经元的内部状态与动态阈值之间的关系满足以下约束条件:

U(nm)>θ(nm)

(13a)

U(nm-1)<θ(nm-1)

(13b)

从式(13a)和式(11)我们很容易得出：

δ<1

(14)

因为：

U(nm)=U(nm-1)e-αF+S

根据式(8)，和从(5)改写的：

θ(nm)=θ(nm-1)e-αθ，我们把(13-b)重写为U(nm)-S<θ(nm)eαθ-αF

鉴于式(11)，我们有：

(15)

使用论点1简化式(15)，然后得到：

(16)

因此，式(14)和(16)完成证明。

推论1. 在论点2和一些w.r.t.nm约束下，我们可以进一步接近更精确的δ动态范围：

1)0<δ<1，为nm≥1;

3)e-αθ<δ<1，为nm→+∞

结论2：从推论1可以看出，随着nm的增加，δ的下限从0增加到e-αθ。

如果存在ns≪+∞时，被动神经元开始周期性地脉冲，由于相同的脉冲周期和结论2，在ns和随后的脉冲迭代时的动态比较比δ′将接近于在+∞时的动态比较比。因此，我们可以反过来选择δ=e-αθ在nm→+∞处的下限作为其他脉冲周期稳定的脉冲迭代的 估计动态比较比。此外，由于ns更接近nt，nt

(17)

然后利用定理1进一步计算估计的无源脉冲周期。

定理1：被动神经元的估计被动脉冲周期满足：

其中：

证明：从论点1，我们有：

(18)

(19)

通过使用式(18)和(19)简化式(17)，我们很容易得到：

其中：

推论2：在定理1的假设下，估计的被动脉冲周期将接近一个稳定周期：

nm→∞时

从推论2可以看出，随着nm的增加，被动神经元的被动脉冲周期估计值趋于稳定。在实践中，估计的被动脉冲周期将稳定在nm≪+∞，这将在第3.4中得到证明。

3.3 估计脉冲周期和实际脉冲周期之间的误差

定理2：估计脉冲周期和实际脉冲周期之间的误差满足:

TE(nm+1)-T(nm+1)=ε∈{s|s=-1,0}

(20)

δ≥e-αθ时

证明：定义一个以δ作为自变量的函数：

(21)

由于f(δ)是单调递增的，证明w.r.t.(20)可转换为证明以下不等式:

ε1=f(1)-f(e-αθ)<1

(22)

因此得到：

f(1)-[f(e-αθ)]={s|s=0,1}

(23)

基于式(12)和定理1,在满足δ≥e-αθ时我们有:

ε=TE(nm+1)-T(nm+1)=[f(e-αθ)]-[f(δ)]⟺

[f(e-∂θ)]-[f(1)]≤ε≤0

从式(23),我们得到:

ε∈{s|s=-1,0},δ≥e-αθ

3.4 具有稳定脉冲周期的初始相位

定理3. 假设2，PCNN中的神经元在以下式子或之后会以稳定周期TE脉冲:

Ns∈{n|n=N1,N1+1,...,N1+TE-1}

对于N1∈R+N2∉R+

(24a)

Ns∈{n|n=N2+1,N2+2,...,N2+TE}

对于N1∉R+N2∈R+

(24b)

其中:

μ=S(e(TE-1)αθ-e-2αθ)-Vθ(1-e-αF)

η=Se-2αθ(eTEαθ-1)-Vθ(1-e-αF)

证明：根据定理2和推论1，一个具有稳定被动周期TE的神经元脉冲，其必要和充分条件是:

TE(nm+1)-TE=0

(25a)

(25b)

对于(25a)，我们有:

⟺Se(TE-1)αθ≥γSe-2αθ+λVθ

(26)

其中:

考虑到nm=nm+1-TE，式(26)的右边可以表示为:

然后(26) 可以写为:

Vθ(1-e-αF)≤Se(TE-1)αθ(1-e-nm+1αF)-Se-2αθ(1-e-(nm+1-TE)αF)⟺

Vθ(1-e-αF)≤Se(TE-1)αθ-Se-2αθ-Se(TE-1)αθe-nm+1αF+

Se-2αθe-(nm+1-TE)αF⟺e-nm+1αFS(e(TE-1)αθ-eTEαF-2αθ)≤

S(e(TE-1)αθ-e-2αθ)-Vθ(1-e-αF)

其中:

μ=S(e(TE-1)αθ-e-2αθ)-V(1-e-αF)

假设nm+1是一个正整数，那么:

nm + 1≥N1

(27)

其中:

(28)

这意味着在式(23)中，被动神经元在N1或之后会以稳定周期TE脉冲。

同样地，对于(25a), 我们有:

Se(TE-2)αθ<γSe-2αθ+λVθ⟺Vθ(1-e-αF)>

Se(TE-2)αθ(1-e-nm+1αF)-Se-2αθ(1-e-(nm+1-TE)αF)

⟺Vθ(1-e-αF)>Se(TE-2)αθ-Se-2αθ-

Se(TE-2)αθe-nm+1αF+Se-2αθe-(nm+1-TE)αF

⟺e-nm+1αFS(e(TE-2)αθ-eTEαF-2αθ)>

S(e(TE-2)αθ-e-2αθ)-Vθ(1-e-αF)

其中:

η=Se-2αθ(eTEαθ-1)-Vθ(1-e-αF)

然后得到:

nm+1≤N2

(29)

其中:

(30)

注意到式(28)可能导致负整数或复数，即N1∉R+，而N2是正整数，即N2∈R+。这意味着被动神经元不能从N1开始以稳定时间TE脉冲；换句话说，在N2之后，神经元将以TE周期性脉冲。因此，具有TE的初始相位满足:

Ns∈{n|n=N2+1,N2+2,...,N2+TE}

在N1∉R+N2∈R+

同样，当N1为正整数时，式(30)中的N2也可以是负整数或复数。即，N1∈R+。也就是说，被动神经元可以从:

Ns∈{n|n=N1,N1+1,...,N1+TE-1}

在N1∈R+N2∉R+

结论3:根据定理3，有一个理想的初始相位Ns≪+∞，从中被动神经元可以开始周期性地脉冲。

结论4:根据推论2，利用期望的初始相位Ns，被动PCNN神经元的迭代可以依次分为两个时间阶段：非周期和周期阶段。

根据定理1和推论2，如果αF→+∞，估计的被动脉冲周期及其稳定周期将是:

(31)

此外，当αF→+∞时，定理3中N1和N2将是负整数或复数，这样由于迭代中只存在周期性相位，被动神经元将从一开始就周期性地脉冲。实际上，在这种情况下，被动神经元的F通道输出将固定为外部刺激S。因此，在一些修正版本中[19,21-22,24]，通过将F通道简化为外部激励，将PCNN简化，显然，修正版本的PCNN在迭代中只保持周期性阶段。

4 实验分析

本节通过数值模拟验证了理论结果的有效性，用式(4)～(5)和(7)描述了PCNN中的被动神经元。因此，在下面的示例中设置5个参数，即αF,αθ,Vθ,S和θ(0)。

图1 例1中αθ=0.05的动态比较比

图2 例1中的实际和估计被动脉冲周期αθ=0.05

例1. 神经参数αF=0.03，αθ=0.05，Vθ=8，S=0.4，θ(0)=0.2。在图1中，除了第二个脉冲迭代外，所有脉冲迭代的动态比较比大于δ=e-αθ=0.95123，作为动态比较比的最大下限。根据定理2，实际被动脉冲周期T(n)和估计被动脉冲周期TE(n)之间的误差ε在-1～0之间。事实上，这一事实如图2所示。此外，根据定理2和3的计算，稳定被动脉冲周期TE为16，N1=103，N2是一个复数。从图2可以看出，被动神经元可以在Ns=109时开始与TE一起脉冲，这也满足定理3中的(24a)。

在期望的时间相位Ns之后，图2中的实际被动周期呈现绝对误差，在前后周期之间为1。因此，在这种情况下，虽然估计被动脉冲周期在Ns后是稳定的，但实际被动脉冲周期仅在Ns后接近稳定。然而，如果我们选择αθ=0.06，如图3所示，神经元将在随后的期望初始阶段以TE=14完全周期性地脉冲。

例2. 假设神经参数为αF=0.03，αθ=0.029，Vθ=8，S=0.4，θ(0)=0.4，根据定理3可以产生正N1=23和负N2=-13，稳定脉冲周期TE为推论2的16。注意，根据定理3，除了第一个周期，即使第二个和第三个动态比较比低于图5中动态比较比的最大下限，也可以在图4中达成一致。此外，根据图4和定理3正确地给出了初始相位。

例3. 将参数设置为αF=0.05，αθ=0.03，Vθ=8，S=0.4，θ(0)=0.4，这样根据定理3得到N1是复数，N2=66。图6所示的结果服从定理2和3。TE(n)和T(n)之间的误差为-1或0，但由于图7中e-αθ=0.97045的值较低，因此第一个周期的误差为2。

例4. 参数为αF=0.03，αθ=0.02858，Vθ=8，S=0.4，θ(0)=0.2，由此得出推论2和定理3的TE=17，N1=-61，N2=164。显然，根据论点2和推论1得到的图9所示的动态比较比，不仅是推论2的估计稳定周期TE，定理2的估计被动周期和实际被动周期之间的误差，而且定理3的初始相位Ns∈[165,181]与图8所示的结果吻合得很好。

图3 例1中的实际和估计被动脉冲周期αθ=0.06

图4 例2中的实际和估计被动脉冲周期

图6 例3中的实际和估计被动脉冲周期

图7 例3中的动态比较比

图8 例4中的实际和估计被动脉冲周期

图9 例4中的动态比较比

例5. 与其他随机系统[29]一样，PCNN中的随机噪声也会对外部刺激产生干扰，为了研究随机噪声对被动神经元被动脉冲周期的稳定性，我们设置了与例3相同的参数，而外部刺激则是由不同信噪比的高斯白噪声(SNR)产生的。由图10所示的结果可知，当被动神经元的外部刺激不受干扰或受较小噪声(如SNR=20或30)的干扰时，在经过一些迭代后，被动神经元可以产生一个几乎稳定的真实被动脉冲周期，且这些周期之间的绝对差最多为1(见图10)。然而，当外部刺激受到较大噪声(如SNR=10)的干扰时，实际被动脉冲周期在任何迭代中都不稳定。因此，对于较小噪声，被动PCNN神经元将周期性地在周期性相位中脉冲，而对于较大噪声，神经元将在所有相位中非周期性地脉冲。

图10 例5中具有不同随机噪声的实际被动脉冲周期

5 结论

本文研究了离散PCNN中被动神经元的被动脉冲周期。通过定义的动态比较比，而不是神经内状态与动态阈值之间的逻辑比较，给出了一个近似准确的被动脉冲周期公式，使得估计和实际被动脉冲周期之间的误差为-1或0。此外，由于被动神经元没有稳定周期，因此估计了一个初始阶段，从中被动神经元可以在这个稳定周期内开始周期性脉冲。文中给出了一些例子，并与被动神经元的相关分析结果相一致。