基于生物机制脉冲神经网络的特征提取

张振敏 �k林秀芳 范群贞

摘要：脉冲神经元可以被用于处理生物刺激并且可以解释大脑复杂的智能行为。脉冲神经网络以非常逼近生物的神经元模型作为处理单元，可以直接用来仿真脑科学中发现的神经网络计算模型，输出的脉冲信号还可与生物神经系统对接。而小波变换是一个非常有利的时频分析工具，它可以有效的压缩图像并且提取图像的特征。本文中将提出一种与人类视觉系统的开/关神经元阵列相结合的脉冲神经网络，来实现针对视觉图像的快速小波变换。仿真结果显示，这个脉冲神经网络可以很好地保留视觉图像的关键特征。

关键词：快速小波变换；脉冲神经元网络；图像压缩；特征提取

中图分类号：TP183文献标识码：A

1引言

众所周知，拥有超级智能的大脑通过一个非常庞大且复杂的神经网络来处理信息。随着脑神经科学研究进展，发现了许多大脑处理感知信息的神经网络计算模型。Hodgkin-Huxley脉冲神经元模型于1952年由Hodgkin和Huxley提出。以此神经元模型为基础，之后的科研工作者提出了一套更加靠近生物神经网络的脉冲神经网络理论，这被称为第三代人工神经网络。脉冲神经网络以非常逼近生物的神经元模型作为处理单元，可以直接用来仿真脑科学中发现的神经网络计算模型，输出的脉冲信号还可与生物神经系统对接。因此，可将脑神经科学与人工智能科学有机地结合起来，这对于人工智能系统和计算机视觉的研究有重要意义。近年来基于这种模型的神经网络的研究层出不穷[1-3]。但是这种模型一旦被应用于大型网络仍将会面临非常复杂的计算量[4]。因此，针对脉冲神经元网络（spikingneuronnetwork，SNN）中的各个单个神经元，我们将使用简化后的基于电导率的累积放电模型进行计算[5]。在人类视觉系统中，从初级视觉皮层中的细胞到视网膜和外侧膝状体核中的简单细胞都有着不同的感受野[6-8]。视觉图像在这些神经元中以脉冲训练的形式通过ON或OFF通道进行传输[9-10]。假设每一个神经元都接收来自开神经元的激励型突触和关神经元的抑制型突触的脉冲训练。不同的开/关通路以一种生物方式被用于构建特定的网络[11]。在神经网络的研究方面，国内学者也有着出色的进展。如蔺想红等人在脉冲神经网络的理论研究方面进行了细致的研究[12-13]，而在其应用方面也有着可喜的进展，具体可参考文献[14-15]。另一方面，基于小波变换能够有效的提取图像的关键特征[16-18]，在本文中，一个特定的基于小波变换算法的脉冲神经元网络将被提出并用于模拟人类视觉系统中的脉冲神经元的行为，同时此网络可以提取出视觉图像的主要特征信息。

2快速小波变换算法

Mallat于1987年提出了快速小波变换（fastwavelettransform，FWT）[19-20]。快速小波变换是一种实现离散小波变换的高效计算方法。二维快速小波变换的计算流程图如图1所示。

如图1所示，f（m，n）为数字输入信号，h0（m，n）是低通滤波器的冲激响应，h1（m，n）是高通滤波器的冲激响应，h0（m，n）和h1（m，n）共同组成了分析滤波器组。2表示间隔性下采样。当输入信号连续通过各个滤波器并分别作下采样操作后，最终得到的四个信号即为小波变换的近似系数wA，水平分量wH，垂直分量wV和对角分量wD。

3构建基于快速小波变换算法的脉冲神经

元网络

基于Mallat算法和视觉系统开/关通道机制[11，21，22]，本文建立了一个累积放电的脉冲神经元模型，记为SNNFWT模型，如图2所示。

计算技术与自动化2016年3月

第35卷第1期张振敏等：基于生物机制脉冲神经网络的特征提取

其中，输入神经元阵列的维度是M×N。图像的每一个像素相当于一个信号接收器。假设Gm，n（t）表示一幅图像像素的灰度级，每一个光接收器都将像素亮度转化为突触电流Im，n（t）[23-25]。那么电流Im，n（t）和神经元的膜电压vm，n）（t）将满足以下公式：

dlm，n（t）dt=-1τIm，n（t）+αGx，y（t） （1）

cdvm，n（t）dt=gl（El-vm，n（t））+Im，n（t）+I0（2）

其中m=1，…，M；n=1，…，N；a，τ是常数，gl是膜电导，El是反转电势，c表示膜电容，I0是背景噪声。如果膜电压超过了门限值vth，那么神经元就发出一个脉冲。令Sm，n（t）表示这个神经元所产生的脉冲训练：

Sm，n（t）=1ifneuron（m，n）firesattimet.

0ifneuron（m，n）doesnotfireattimet.（3）

中间神经元阵列第一层由三个维度是M×（N+1）的神经元阵列构成，如图2所示。前两个是开神经元阵列，记为1ON1（p，q）和1ON2（p，q），第三个是关神经元阵列，记为1OFF（p，q），其中p=1，…，M；q=1，…，N+1。快速小波变换的卷积运算就相当于不同神经元阵列的累加。假设脉冲训练通过激励型突触W1ON1（p，q），W1ON2（p，q）和抑制型突触W1OFF（p，q）被传送至开/关神经元阵列。突触强度分布设置为：

W1ON1（p，k）=αONf（p，q），W1OFFi（p，q）=αOFFf（p，q）（4）

其中i={1，2}，1≤p≤M，1≤q≤N。如果i=1，k=q，那么k=q+1。aON=1/√2，aOFF=-1/2。突触电流I1ON1（p，q）（t）和I1OFF（p，q）（t）由电流约束方程计算得到：

dI1σ（p，q）（t）dt=-1τI1σ（p，q）（t）+

∑Mp=1∑N+1q=1W1σ（p，q）β1Sσ（p，q）（t）（5）

其中σ∈{ON，OFF}，Sσ（p，q）（t）表示脉冲训练。开/关阵列的神经元电压则由电压约束方程得到。

中间神经元阵列第二层由两个维度是M×（N+1）的神经元阵列2ON（p，q）和2OFF（p，q）构成。每一个神经元都接收来自激励型突触W2ON（p，q）和抑制型突触W2OFF（p，q）的脉冲训练，设置方式如下：

W2ON（p，q）=

W1ON2（p，2）-W1OFF（p，q），ifW1ON2（p，q）-W1OFF（p，q）>0

0ifW1ON2（p，q）-W1OFF（p，q）≤0（6）

W2ON（p，q）=

-（W1ON2（p，2）-W1OFF（p，q）ifW1ON2（p，q）-W1OFF（p，q）<0

0ifW1ON2（p，q）-W1OFF（p，q）≥0（7）

其中1≤p≤M，1≤q≤N+1。开/关阵列中的突触电流和神经元电压仍旧由电流和电压约束方程计算得到。

中间神经元阵列第三层同样由两个维度为M×（N+1）的神经元组成。在这些阵列中神经元被记为3CN1*（p，q）和3CN2*（p，q）。其中的突触强度分布可以通过下述方程计算得到：

W3CN1*（p，q）=W1ON1（p，q）+W1ON2（p，q）（8）

W3CN2*（p，q）=W2ON（p，q）+W2OFF（p，q）（9）

突触电流的计算方程为：

dl3CN1*（p，q）（t）dt=-1τI3CN1*（p，q）（t）+

∑Mp=1∑N+1q=1W1ON1（p，q）β2Sp，q（t）-

∑Mp=1∑N+1q=1W1ON2（p，q）β2Sp，q（t）-（10）

dI3CN2*（p，q）（t）dt=-1τI3CN2*（p，q）（t）+

∑Mp=1∑N+1q=1W2ON1（p，q）β2Sp，q（t）-

∑Mp=1∑N+1q=1W2OFF（p，q）β2Sp，q（t）-（11）

其中，β1，β2是常量。

在信号累加完成之后，对3CN1*和3CN2*层的神经元进行设置，即令只有偶数列的神经元会被激发从而发出脉冲信号，而奇数列的神经元则不会被激发。之后将两个新得到的神经元阵列记为3CN1和3CN2。突触强度将由下式计算得到：

W3CNi（p，q）=W3CNi*（p，2k）（12）

其中i={1，2}，i=1，2，…，N/2；1≤p≤M，1≤q≤N/2。此后网络中的剩余的突触强度分布的计算都由类似的迭代方式和下采样方法计算得到。最终我们可以获得四个输出神经元阵列OUT1，OUT2，OUT3和OUT4，这些神经元层的激发率的计算公式如下：

rOUT{j}（m，n）（t）=1T∑t+TtSOUT{j}（m，n）（t）（13）

其中j={1，2，3，4}，SOUT{j}（m，n）（t）表示输出阵列的脉冲训练。

4基于SNNFWT网络提取图像特征

本文中将利用Matlab软件对所构建的脉冲神经元网络SNNFWT进行仿真测试。在实验中根据Euler方法，步长设置为0.1ms。根据生物神经元特性将参数设置如下：vth=-60mv，El=-70mv，gl=1.0ms/mm2，c=8nF/mm2，τ=16ms，T=400ms，α=0.02，β1=4.3，β2=5.1，I0=7μA。这些参数可以被调整以获得高质量的输出图像。

实验中所使用的测试图像如图3所示。图3（a）为高斯灰度分布图像，像素为16×16。图3（b）为Lena图像，该图像是在图像处理领域广泛使用的基准图像，大小为512×512。

（a）高斯分布图（b）Lena图像

图中横纵坐标均表示像素位置，黑白色条表示图像灰度范围在0～255

高斯图像的测试结果如图4所示。其中，图4（a）-（d）是高斯图像经过Mallat小波变换得到的四个变换系数。图4（e）-（h）则是通过SNNFWT脉冲神经元网络所得到的四个近似结果。图4中所有图像维度为8×8，分辨率为原始图像的四分之一。

Lena图像的实验结果如图5所示。实验中，由于该图像维度超过了Matlab默认的矩阵维度，因此该图像被切割为32×32个子块，每个子块的像素数是16×16。图5（a）-（d）是通过数学方法所得到的结果，图5（e）-（h）的结果则来自于脉冲神经元网络。以上实验结果说明所构建的脉冲神经元网络可以实现与小波变换类似的特征提取工作，同时又忽略了微弱的噪声信息。众所周知，图像的主要能量，即图像的主要信息被保存在其低频分量中，而高频分量则只含有较少的能量信息。与数学方法实现小波变换相比，尽管视觉图像信号通过了复杂庞大的神经元网络并且丢失了一些细节，但是最终保留了所有的低频分量，只有一些最高频分量损失。

图6显示了原始图像和经过SNNFWT网络的一阶和二阶的近似系数图像。从二阶图像效果上看，尽管信号经过了两组复杂神经元网络，整体能量有所降低，但是图像的关键信息，比如人物和背景轮廓，草帽以及面部细节信息都仍然被很好的保留下来。

5讨论

在文章中，我们提出了一个结合了生物神经元开/关通道和突触电流机制的累积放电脉冲神经元网络来提取视觉图像的特征信息。在模型构建的过程中，不同神经元阵列的累加被用于实现FWT的卷积运算，而神经元的选择性激发替代了下采样算法。仿真结果显示了这种SNN算法可以实现FWT。并且在通过了复杂的脉冲神经元网络之后，图像的关键信息得以很好保存。

参考文献

[1]MEROLLAPA，ARTHURJV，ALVAREZR.ARTIFICIALBRAINSAmillionspikingneuronintegratedcircuitwithascalablecommunicationnetworkandinterface[J].Science，2014，345（6197）：668-673.

[2]RICHMONDP，COPEA，GURMEYK.FromModelSpecificationtoSimulationofBiologicallyConstrainedNetworksofSpikingNeurons[J].Neuroinformatics，2014，12（2）：307-323.

[3]HUT，GENKINA，CHKIOVSKIIDB.ANetworkofSpikingNeuronsforComputingSparseRepresentationsinanEnergyEfficientWay[J].Neuralcomputation，2012，24（11）：2852-2872.

[4]HODGKINAL，HUXLEYAF.Aquantitativedescriptionofmembranecurrentanditsapplicationtoconductionandexcitationinnerve[J].TheJournalofphysiology，1952，117（4）：500-544.

[5]MULLERE.SimulationofHighConductanceStatesinCorticalNeuralNetworks[M].Mastersthesis.UniversityofHeidelberg，2003.

[6]MASLANDRH.Thefundamentalplanoftheretina[J].Natureneuroscience，2001，4（9）：877-886.

[7]TAYLORWR，VANEYDI.Newdirectionsinretinalresearch[J].Trendsinneurosciences，2003，26（7）：379-385.

[8]KANDELER，SHWARTZJH.PrinciplesofNeuralScience[M].EdwardAmold（Publishers）Ltd，1981.

[9]DEMBJB.Cellularmechanismsfordirectionselectivityintheretina[J].Neuron，2007，55（2）：179-186.

[10]NELSONR，KOLBH.OnandOffPathwaysintheVertebrateRetinaandVisualSystem[M].MITPress，Cambridge，Lonton，2003.

[11]WUQX，MCGINNITYTM，MAGUIREL，eta1.SpikingNeuralNetworkPerformsDiscreteCosineTransformforVisualImages[C].EmergingIntelligentComputingTechnologyandApplications：WithAspectsofArtificialIntelligence，2009，5755：21-29.

[12]蔺想红，王向文，张宁，等.脉冲神经网络的监督学习算法研究综述[J].电子学报，2015，43（3）：577-586.

[13]张玉平，蔺想红.基于卷积计算的多层脉冲神经网络的监督学习[J].计算机工程与科学，2015，37（2）：348-353.

[14]刘海华，庄如云.脉冲神经网络自适应侧连接的运动检测[J].中南民族大学学报，2014，33（2）：65-71.

[15]李奕，吴小俊.粒子群进化学习自适应双通道脉冲耦合神经网络图像融合方法研究[J].电子学报，2014，42（2）：217-222.

[16]DAUBECHIESI.TenLecturesOnWavelets[M].SocietyforIndustrialandAppliedMathematics，61，1992.

[17]CHUICK.AnIntroductiontoWavelets[M].AcademicPress，NewYork，1992.

[18]CLIN，L.ATutorialoftheWaveletTransform[D].GraduateInstituteofCommunicationEngineeringofNTU，2010.

[19]MALLATSG.Atheoryformultiresolutionsignaldecomposition：thewaveletrepresentation[J].IEEETransactionsonpatternanalysisandmachineintelligence，1989，11（7）：674-693.

[20]MALLATS.AWaveletTourofSignalProcessing[M].AcademicPress，2008.

[21]WUQX，MCGINNITYTM，MAGUIREL，etal.2Dcoordinatetransformationbasedonaspiketimingdependentplasticitylearningmechanism[J].NeuralNetworks，2008，21（9）：1318-1327.

[22]WUQX，MCGINNITYM，MAGUIREL，etal.LearningMechanismsinNetworksofSpikingNeurons，StudiesinComputationalIntelligence[J].StudiesinComputationalIntelligence，2006，35：171-197.

[23]WUQX，MCGINNITYM，MAGUIREL，etal.EdgeDetectionBasedonSpikingNeuralNetworkModel[M].SpringerBerlinHeidelberg，2007.

[24]WUQX，MCGINNITYTM，MAGUIRELP，etal.Learningunderweightconstraintsinnetworksoftemporalencodingspikingneurons[J].Neurocomputing，2006，69（16-18）：1912-1922.

[25]WUQX，CAIR，MCGINNITYTM，etal.RememberingKeyFeaturesofVisualImagesbasedonSpikeTimingDependentPlasticityofSpikingNeurons[C].Proc.oftheInternationalCongressonImageandSignalProcessing，IEEE，2009，2168-2173.