基于TTFS编码的脉冲神经网络图像分割方法

蔺想红，张 宁，崔文博，冯丽霞

(西北师范大学计算机科学与工程学院，兰州730070)

1 概述

神经系统对于机体内外环境的各种形式的变化，均以神经元发放脉冲序列的形式做出响应。实际上，神经放电序列随着刺激的变化展现出丰富多彩的样式，这些样式的频率可能相同，但时间模式却千差万别，意识到基于统计特性的频率编码并不能全面地反映神经系统的刺激-响应模式，而且越来越多的神经科学研究成果表明，基于脉冲精确定时表示和处理神经信息的重要性［1-2］。基于生物可解释性的脉冲神经网络作为第3代神经网络，可以通过脉冲序列表现和整合不同维度的信息，且能以自组织和自适应的方式处理大规模数据，是进行复杂时空信息处理的有效工具［3］。

近年来，对于脉冲神经网络的研究，特别是用于解决视觉图像处理等复杂问题的脉冲神经网络的建模与计算技术越来越受到人们的关注［4-5］。文献［6］采用了脉冲响应模型的神经网络进行边缘检测和图像分割。这种方法的特点是神经信息编码采用群体编码策略，脉冲神经网络的连接权值必须通过学习方法调整。文献［7-8］应用脉冲频率编码，提出了对彩色图像进行边缘检测与图像分割的整合发放神经元网络模型。这种方法的重点是受视觉神经系统的启发，将图像的像素值通过特定结构的脉冲神经网络转换为脉冲序列，但其实质仍然是基于频率编码的传统神经网络对图像进行分割。同样，文献［9］分析了脉冲神经网络的不同模型，并提出新方法应用于图像处理中得到了优化的结果。文献［10］结合目前在机器人视觉导航技术中的已有的图像分割方法，提出了基于脉冲神经网络的图像分割方法，并应用于盲人在室内走廊的导航和避障。此外，脉冲耦合神经网络(Pulse Coupled Neural Network，PCNN)是一种特殊的脉冲神经网络模型［11］，该模型具有对图像二维空间相近、灰度相似的像素进行分组的特点，在图像分割领域显示出了独特的优越性，并取得诸多研究成果［12］。但是，不同图像的内在特征直接决定了PCNN的参数选择和分割结果，因此，要对复杂图像进行有效分割，对于PCNN模型众多参数的选择比较困难。

本文提出一种基于首脉冲触发时间(Time-tofirst-spike，TTFS)编码的脉冲神经网络图像分割方法。应用TTFS编码策略对灰度图像的像素值进行编码，将像素值转换为单个脉冲的发放时间。脉冲神经网络采用了整合发放神经元模型，并通过输入层感受野中的神经元发放的脉冲序列对中间层神经元的膜电位进行计算。

2 脉冲神经元模型及编码策略

2．1 神经元整合发放模型

采用整合发放神经元模型构建脉冲神经网络，整合发放神经元模型可用下面的一阶微分方程描述如下［13］:

其中，v(t)表示神经元的膜电位;τm表示膜时间常量;Vrest表示静息电位。当从突触输入一个脉冲时，神经元的膜电位瞬时更新v(t)→v(t)+w，其中，w表示该突触的权值。如果神经元的膜电位累积到阈值电位Vthresh时，神经元立即发放一个输出脉冲，记脉冲发放时间为tf:

在神经元发放脉冲之后，进入复极化过程，膜电位迅速减少到神经元的复位电位Vreset:

随后，通过各种生物过程，神经元膜电位将保持在低于Vreset的值，进入超极化过程。在超极化期间神经元膜电位很难达到阈值，不再发放脉冲。在超极化过程之后，神经元膜电位恢复到复位电位Vreset，根据式(1)进行膜电位的更新，累积到阈值电位Vthresh时，再次发放脉冲，并且重复上述过程［14］。

但是由于本文采用的脉冲编码方法是TTFS，从而只需记录神经元首次发放脉冲的时间，且当神经元首次发放脉冲以后，不需要记录以后的脉冲对神经元的影响，所以也无需考虑复位电位，从而简化了整合发放神经元模型的参数设置。

为了对整合发放神经元模型进行精确的事件驱动模拟［15］，下面给出了描述神经元膜电位v(t)变化的解析表达式:

其中，tl表示神经元膜电位的上次更新时间，在没有新脉冲到来之前，膜电位将按膜时间常量τm衰减直到静息电位Vrest。

2．2 首脉冲触发时间编码策略

在脉冲神经网络中，模拟量不能直接被计算，需要将其编码为脉冲序列之后再输入到脉冲神经网络中。文献［16］通过大量生物实验发现大脑在进行每个处理步骤时，神经元在接收刺激后产生第一个脉冲的时间包含了刺激的所有信息。因此，根据生物神经元处理信息的这些现象，对图像信息采用TTFS编码策略，即神经元只发放一个脉冲，且脉冲发放时间与输入模拟量的值相对应。因此，TTFS编码具有很好的生物可解释性，并且使用非常简单，目前在生物神经元的信息处理和脉冲神经网络的数据编码方面具有广泛应用［17-18］。

本文将TTFS编码策略应用到脉冲神经网络的图像分割问题中，并将输入模拟量线性地转换为脉冲发放时间。将像素灰度值为255时对应的脉冲发放时间定义为Tmaxms，将像素灰度值为0时对应的脉冲发放时间赋值为0 ms，具体可根据下面的公式实现模拟量到脉冲时间的转换:

其中，tf表示由像素灰度值编码的脉冲发放时间;Tmax表示像素灰度值编码脉冲的最大发放时间;p表示图像的像素灰度值。

3 脉冲神经网络的图像分割方法

神经科学家们根据人类的视觉系统能有效实现图像的分割和识别，发现了各种各样的神经细胞的感受野，且它们广泛分布在一些简单细胞到外膝状体细胞以及视觉皮层中的神经细胞中。感受野用来感受图像的刺激产生脉冲序列。脉冲神经网络的输入层用于将图像的像素灰度值转换为脉冲序列，转换方法则依据式(5)所示的TTFS编码策略。给定一幅大小为W×H的图像，则相对应的输入层中就有W×H个神经元，其中，W和H分别表示图像的宽度和高度。在输入层中，以每一个神经元为中心构成一个大小为N×N的矩形感受野，N的取值一般为3，5和7等奇数。如果神经元位于输入层的边缘位置，则构成不了一个完整的N×N的感受野，那么该矩阵中空余的位置将不发放脉冲。中间层中的每一个神经元将接收输入层中与该神经元对应的神经元为中心的感受野的输入，该感受野矩阵中的每一个神经元与中间层的神经元之间的连接权值wij的计算公式如下:

其中，Wmax表示神经元之间的交互强度或权值尺度;Ii(i=1，2，…，W×H)为输入层中的任意一个神经元;Rj(j=1，2，…，N×N)为感受野矩阵中的任意一个神经元;F(Ii)和F(Rj)分别表示神经元对应的像素灰度值表示像素的灰度差值;X(Ii)和X(Rj)分别表示神经元对应的像素坐标值;‖X(Ii)－X(Rj)‖表示像素坐标之间的欧氏距离;d=3为常数。中间层神经元的膜电位v(t)可根据脉冲的发放时间和神经元之间的连接权值来确定。中间层的每一个神经元的输入来自于感受野中的脉冲序列，并且按照脉冲发放时间的先后顺序依次输入，根据式(1)计算膜电位v(t)，当膜电位v(t)超过阈值电位Vthresh时发放脉冲，记录下脉冲的发放时间tf，并忽略后面的脉冲输入。当所有脉冲都输入到中间层神经元之后，若膜电位v(t)没有超过阈值电位Vthresh，则不发放脉冲，记脉冲发放时间为∞。输出层的每一个神经元都对应中间层的每一个神经元。在输出层设置分割阈值Tthresh，如果中间层神经元的脉冲发放时间超过分割阈值，则不发放脉冲，并将输出层神经元所对应的像素灰度值设为255。否则发放脉冲，并将输出层神经元所对应的像素灰度值设为0［19］。下面给出基于脉冲神经网络模型的图像分割方法:

4 模拟实验

对于图像分割结果的评价，学者们已经进行了大量研究，并提出了许多评价准则，如最大类间差准则、最大Shannon熵准则、最大边缘数准则、最大交叉熵准则等。本文采用了常用的最大Shannon熵的方法来评价分割结果。根据Shannon熵的概念，对于灰度范围为{0，255}的二值图像，其直方图的熵定义为:

其中，P0表示分割后的二值图像中像素值为0的概率;P1表示分割后的二值图像中像素值为255的概率。利用最大Shannon熵的方法来评价分割结果，H(P)取值越大，其对应的分割结果越好［19］。

4．1 参数变化对分割结果的影响

本文采用256×256像素大小的Lena图像为基准图像进行实验，实验中所用的参数如表1所示。根据本文方法，图像分割的结果主要由感受野大小N×N、阈值电位Vthresh与分割阈值Tthresh这3个参数决定。因此，在下面的实验中，3个参数以表1中的值为基准值，固定其中的2个参数，变化另一个参数，根据Shannon熵分析该参数对图像分割结果的影响。

表1 Lena图像分割的参数设置

设置阈值电位Vthresh和分割阈值Tthresh的值为－55 mV和7．4 ms，对不同的感受野大小进行模拟实验，分别取3×3像素、5×5像素和7×7像素大小的3种感受野。从表2和图1的实验结果可以看出，对选取的3种感受野大小，随着感受野的增大，Lena图像分割结果所取得的Shannon熵随之变大，如果感受野继续增大，所取得的Shannon熵变化变小。当感受野的大小为7×7像素时，Lena图像分割结果的Shannon熵为0．999 984。但是，随着感受野的增大，感受野中输入中间层神经元的脉冲数增加，图像分割方法的计算时间复杂度上升。因此，从方法的复杂度和不同感受野大小所取得的Shannon熵结果两方面考虑，本文选取感受野大小5×5像素为脉冲神经网络图像分割模型的基准值。

表2 不同感受野大小对应的Shannon熵结果

图1 不同感受野大小对应的图像分割结果

为了检验阈值电位Vthresh对Lena图像分割结果的影响，将其他2个参数固定，其中，感受野大小为5×5像素，分割阈值为7．4 ms，然后变换不同的阈值电位 Vthresh，并求得最后的 Shannon熵如表3所示。从表3的分割结果可以看出，当阈值电位从－65 mV～－50 mV由小到大进行取值时，开始阶段Shannon熵随着阈值电位的增大而增大，当阈值电位增大到－55 mV时，所对应的Shannon熵取得最大值0．999 953，此后随着阈值电位的增大，Shannon熵随之而减小。图2给出了不同阈值电位对应的图像分割结果。

表3 不同阈值电位对应的Shannon熵结果

图2 不同阈值电位对应的图像分割结果

通过以上2个实验，分析了感受野大小和阈值电位对图像分割的影响。根据所取得的Shannon熵分析分割阈值Tthresh对图像分割结果的影响。从表4的结果可以看出，阈值电位变化相同的规律:开始阶段分割图像的Shannon熵随着分割阈值的增大而增大，当分割阈值为7．4 ms时，达到最大值0．999 953，随后随着分割阈值的增大而Shannon熵减小。

表4 不同分割阈值对应的Shannon熵结果

从图3的结果看，选择合适的分割阈值，分割图像的Shannon熵越大，其分割图像的细节越丰富，且总体分割效果越好。通过以上对Lena图像的分割实验来看，可以得到以下结论:(1)本文方法在感受野大小为5×5像素，阈值电位为－55 mV，分割阈值为7．4 ms时求得分割图像的 Shannon熵为0．999 953，该方法具有良好的分割性能。(2)通过对感受野大小、阈值电位和分割阈值3个参数的分析，每个参数的变化都会对最后的分割结果造成较大的影响。因此，通过对以上3个参数的选择，可以得到不同要求的图像分割结果，以满足相应的应用目的。此外，本文实验中的3个参数是对256×256像素大小的Lena图像进行分割时设置的，而对于不同的图像，它的平均灰度也会不同，所以，在对其他图像进行分割时，需要选择合适的参数设置以达到最佳的分割结果。

图3 不同分割阈值对应的图像分割结果

4．2 噪声图像的分割结果

为了检验本文的方法对于一些具有噪声的复杂图像的分割效果，选取目前文献中采用最广泛的具有代表性的最大类间方差法(Otsu)［20］和基于最大熵的脉冲耦合神经网络(Pulse Coupled Neural Network，PCNN)方法［21］进行实验。图4 和图5给出了运用本文方法与Otsu方法、PCNN方法对复杂图像进行分割的实验结果。在实验中，图4中图像的分割阈值 Tthresh为6．3 ms;图5中图像的分割阈值Tthresh为2．6 ms;其他参数取表2中的值。

图4 Rice图像添加噪声后的分割结果

图5 具有背景噪声工程图纸的分割结果

图4给出了对于添加了5%高斯噪声和5%白噪声的Rice图像(图4(a))，应用3种方法得到的图像分割结果。对于有噪声图像，Otsu方法和PCNN方法由于受到较强烈的干扰，不能清楚得对图像进行有效的分割(图4(b)、图4(c))。本文方法则受影响程度较少，仍能得到较为正确的分割结果(图4(d))，说明该方法对于噪声有很强的鲁棒性。

图5给出具有背景噪声的工程图纸(图5(a))的图像分割结果，可以看出，本文方法通过对分割参数的合理设置，较好地体现了图像灰度之间的对比关系，并且具有较好的聚类特征，可以增大分割目标与背景噪声的距离，从而取得了较好的分割结果(图5(d))。在图像没有背景噪声的条件下，Otsu方法和PCNN方法也具有很好的亮度与对比度适应性。但是，在实际应用中，通过摄像头采集的图像通常存在较强的背景噪声，并且伴随较大的亮度与对比度变化，导致Otsu方法和PCNN方法分割效果变差。因为当亮度与对比度改变使分割目标的灰度与背景噪声的灰度接近时，图像的直方图形状会发生明显改变，这样Otsu方法会将背景噪声分类在分割目标中，从而导致背景噪声淹没分割目标(图5(b))。此外，PCNN方法要好于Otsu方法，但是分割结果仍然包含较大的背景噪声，不能有效地对图像进行分割(图5(c))。

5 结束语

本文提出一种基于TTFS编码的脉冲神经网络图像分割方法，采用脉冲神经网络模型，以及TTFS策略编码图像的像素值，应用分割阈值划分所有脉冲发放时间，从而在输出层得到分割的二值图像。实验结果表明，脉冲神经网络模型的感受野大小、阈值电位和分割阈值等参数会影响图像的分割结果，且对具有噪声的复杂图像取得了比Otsu方法和PCNN方法更好的分割结果。今后将考虑在中间层加入侧向抑制突触，或者将脉冲神经网络的学习方法引入脉冲神经网络的图像分割模型，以获得更好的图像分割结果。

［1］ Bohte S M．The Evidence for Neural Information Processing with Precise Spike-times:A Survey［J］．Natural Computing，2004，3(2):195-206．

［2］ Quiroga R Q，Panzeri S．Principles of Neural Coding［M］．Boca Raton，USA:CRC Press，2013．

［3］ Ghosh-Dastidar S，Adeli H． Spiking Neural Networks［J］．International Journal of Neural Systems，2009，19(4):295-308．

［4］ Jose J T，Amudha J，Sanjay G．A Survey on Spiking Neural Networks in Image Processing［M］//El-Alfy E M，Thampi S M，Takagi H，et al．Advances in Intelligent Informatics．Berlin，Germany:Springer，2015:107-115．

［5］ Ella H A，Al-Qaheri H，El-Dahshan E S A．Prostate Boundary Detection in Ultrasound Images Using Biologically-inspired Spiking Neural Network［J］．Applied Soft Computing，2011，11(2):2035-2041．

［6］ Meftah B，Lezoray O，Benyettou A．Segmentation and Edge Detection Based on Spiking NeuralNetwork Model［J］．Neural Processing Letters，2010，32(2):131-146．

［7］ Wu Qingxiang，McGinnity T M，Maguire L，et al．Colour Image Segmentation Based on a Spiking Neural Network Model Inspired by the Visual System［C］//Proceedings of the 6th International Conference on Intelligent Computing．Berlin，Germany:Springer-Verlag，2010:49-57．

［8］ Kerr D，Coleman S，McGinnity M，et al．Biologically Inspired Edge Detection［C］//Proceedings of the 11th International Conference on Intelligent Systems Design and Applications．Washington D．C．，USA:IEEE Press，2011:802-807．

［9］ Chaturvedi S，Khurshid A A，Dorle S S．Reconfiguration of Spiking Neural Network for Optimization with Applications to Image Processing［C］//Proceedings ofthe 6th International Conference on Emerging Trends in Engineering and Technology．Washington D．C．，USA:IEEE Press，2013:191-192．

［10］ Wang Xiaowei，Wu Qingxiang，Zhang Zhenming，et al．Segmentation Based on Spiking Neural Network Using Color Edge Gradient for Extraction of Corridor Floor［C］//Proceedings of the 3rd International Conference on Multimedia Technology．Berlin，Germany:Springer-Verlag，2014:275-285．

［11］ Wang Zhaobin，Ma Yide，Cheng Feiyan，et al．Review of Pulse-coupled Neural Networks［J］．Image and Vision Computing，2010，28(1):5-13．

［12］ Monica S M，Sahoo S K．Pulse Coupled Neural Networks and Its Applications［J］．Expert Systems with Applications，2014，41(8):3965-3974．

［13］ Izhikevich E M．Dynamical Systems in Neuroscience:The Geometry of Excitability and Bursting［M］．Cambridge，USA:MIT Press，2007．

［14］ 蔡荣太，吴庆祥．基于脉冲神经网络的红外目标提取［J］．计算机应用，2010，30(12):3327-3330．

［15］ 蔺想红，张田文．指数突触电导IF神经元模型及事件驱动模拟策略［J］．电子学报，2008，36(8):1495-1501．

［16］ Thorpe S，Fize D，Marlot C．Speed of Processing in the Human Visual System［J］．Nature，1996，381(6582):520-522．

［17］ Kammara A C，Koenig A．Contributions to Integrated Adaptive Spike Coded Sensor Signal Conditioning and DigitalConversion in NeuralArchitecture［C］//Proceedings of the 17th ITG/GMA Symposium Sensors and Measuring Systems．Nuremberg，Germany:VDE Press，2014:1-6．

［18］ Len～ero-Bardallo J A，Serrano-Gotarredona T，Linares-Barranco B．A Five-decade Dynamic-range Ambient-lightindependent Calibrated Signed-spatial-contrast AER Retina with 0．1-ms Latency and Optional Time-to-firstspike Mode［J］．IEEE Transactions on Circuits and Systems，2010，57(10):2632-2643．

［19］ 崔文博，蔺想红，徐满意．脉冲神经网络图像分割的编码方法［J］．计算机工程，2012，38(24):196-199．

［20］ Vala M H J，BaxiA．A Review on Otsu Image Segmentation Algorithm［J］．International Journal of Advanced Research in Computer Engineering ＆Technology，2013，2(2):387-389．

［21］ Zhan Yunjun，Yuan Yanbin，Huang Jiejun，et al．RS Image PCNN AutomaticalSegmentation Based on Information Entropy［C］//Proceedings of the 2nd InternationalConference on Multimedia and Information Technology．Washington D．C．，USA:IEEE Press，2010:200-203．