基于互信息的生物神经网络功能性连接辨识*

刘剑钊，董朝轶，冯丽斐（1.内蒙古工业大学电力学院，内蒙古呼和浩特010080；2.内蒙古机电控制重点实验室，内蒙古呼和浩特010080）

基于互信息的生物神经网络功能性连接辨识*

刘剑钊1，2，董朝轶1，2，冯丽斐1，2
（1.内蒙古工业大学电力学院，内蒙古呼和浩特010080；2.内蒙古机电控制重点实验室，内蒙古呼和浩特010080）

生物神经网络（BNN）功能性连接的辨识方法被广泛地应用于使用BNN的多通道时间序列数据构建网络连接结构，帮助加深对BNN结构和功能间关系的认识和理解。首先，建立基于积分点火（IF）机制的BNN模型，获得多通道神经元脉冲序列；然后，运用互信息（MI）方法计算出各神经元间的MI值，超过一定阈值的MI表明两个神经元间存在相互连接关系。仿真结果表明：基于MI的网络辨识方法计算开销较小，对BNN功能性连接结构具有较高的辨识度。

生物神经网络；积分点火模型；脉冲序列；互信息

0　引言

神经元间通过突触相互连接，传递信息，形成网络功能［1］。通常认为：生物神经网络（BNN）连接结构对其网络行为（即，网络所产生的多通道脉冲序列所构成的典型模式）具有支配作用。目前，已发展了多种可用于生物网络功能性连接结构辨识的方法：如概率布尔网络［2］、动态贝叶斯网络［3，4］、隐马尔可夫模型［5］、微分方程［6］和信息理论方法。这些动态模型被广泛地应用于基因调控网络、蛋白网络、代谢物网络结构的辨识。

互信息（mutual information，MI）作为一种相关性研究，在其他领域已有很广泛地应用［7～9］，但在BNN功能性连接结构辨识方面的应用还未见广泛报道。本文基于信息理论方法提出了一种BNN功能性连接的辨识方法，并采用人工构造的BNN产生的多通道脉冲序列数据对算法的有效性进行了验证。

1　MI网络模型

1.1MI相关理论

MI［9］是被用来检验两个变量（神经元所产生的电脉冲时间序列）X和Y之间的相关程度。

对于一个离散变量（神经元）X，测量变量X的平均不确定性的变量信息熵H（x）可以定义为

式中p（x）为离散变量X为x值时的概率。变量X和Y的联合熵H（X，Y）可以定义为

对于离散变量X和Y，MI则可以定义为

联立式（1）～式（3）可以得

当变量X和Y之间的MI值为0，这就意味着它们两者之间没有互作用；相反地，当它们相互依赖程度非常高时，MI值也就非常大。

1.2算法实现

设有N个神经元网络，H（i，j）=［Hij］代表i，j之间的MI值。其中，Hij=0，表示i，j之间无连接；Hij=1，表示i，j之间有连接。

1）输入脉冲序列数据D，设置一个决定相关性的阈值θ。

2）计算出两两神经元i，j间的互信息值，并存入关联矩阵H（i，j）中。

3）将H（i，j）中的值与θ进行比较，如果大于θ，则H（i，j）=1；否则H（i，j）=0。

4）构建N个神经元关联矩阵H（i，j）。

5）生成关联矩阵图。

2　Integrate-and-Fire模型

脉冲神经网络（pulse neural network，PNN）是将BNN中神经元受到刺激时的放电特性用数学模型描述，构造形成的第三代人工神经网络。常见的PNN模型有HH模型［10］、积分点火（integrate-and-fire，IF）模型［11］、SRM 模型［11］、Izhikevich模型等等，这些模型在不同建模精度上对神经元的生理机制进行描述。IF模型作为最简单神经电生理模型之一，通常被广泛地应用于大型网络仿真［12，13］。

IF模型可以看作为一个开关网络，神经元激活过程存在阈值特性。具体表现为：当膜电位在阈值以下时，神经元不产生动作电位，此时膜电位会随着指数衰减到静息值；而当膜电位高于阈值时，神经元产生兴奋，发放脉冲，出现动作电位的传导。当神经元未动作时，IF模型神经元的一阶微分方程如式（5）表示

可简化为

式中τm=RmCm，Cm为膜电容，Rm为膜电阻，Em为静息电位，I（t）为各个前突触神经元发放的行为势所产的突触电流之和。I（t）与单个突触的连接权重有关，记wij表示为第j个前突触神经元对后突触神经元i的权重，则总的输入电流如式（7）表示

当发放一个行为势之后，膜电位V立刻恢复到固定值Vr，有Vr＜θ

复位之后神经元进入一个时间约为2 ms绝对不应期，在此期间，即使有任何刺激，神经元不再积累膜电势。绝对不应期过后，神经元可以重新按式（5）进行积累膜电势，进入下一轮的电压积累、放电过程。

3　仿真与分析

为了更直观地分析算法的性能，采用一些常用的指标对预测结果进行评估：

TPR=TP/（TP+FN）；

FPR=FP/（FP+TN）；

PPV=TP/（TP+FP）；

ACC=（TP+TN）/（TP+FP+TN+FN）

其中，TP，FP，TN和FN分别为真阳性、假阳性、真阴性和假阴性。TPR，FPR，PPV和ACC分别为真阳性率、假阳性率、阳性预测率和精确度。

3.110个节点的神经元网络构建

下面以10个神经元节点为例，来分析MI算法的辨识度，假设每个神经元的输入信号为高斯白噪声，并且神经元之间的随机连接比p=0.2，这种对于神经网络连接比的假设符合生物神经网络连接的实际情况［14］。

通过IF模型网络仿真得到10个神经元节点产生的脉冲序列如图1所示。

图1　10个节点的神经元网络脉冲序列Fig 1　Neural network pulse series of 10 nodes

初始化参数为：Rm=10 kΩ，Cm=1 μF，τm=10 ms，τg= 10 ms，Em=-65 mV，W=0.5。图1表示10个神经元在400 ms内脉冲发放情况，蓝点表示神经元发放脉冲。

通过对脉冲序列数据的处理，计算出神经元间的MI值，选取MI阈值0.07来确定神经元之间的相关性连接。图2（a）、（b）分别展示了基于IF模型、MI算法构造的神经元网络连接结构。通过对比发现，除了图2（b）中N3和N7之间没能准确辨识连接，其他存在的边都能准确辨识。

图2　神经元网络连接结构Fig 2　Neural network connecting structure

表1给出了MI算法得到的各项评价指标，其中精确度（ACC）为0.978，假阳率（FPR）为0。这表明MI算法可以近似逼近IF模型构造的网络连接结构。

表1　MI方法构建10个节点神经元网络评价结果Tab 1　Neural network evaluation results of 10 nodes constructed by MI method

3.2网络延展性

上述仅针对神经元个数N=10，连接权重W=0.5的网络进行了效果评估。下面通过调整神经元个数以及权重综合分析MI算法的辨识度。分别选取神经元节点个数为5，10，20，50，100的不同规模的网络，权重为0.3，0.5，0.8等三种情况。在每种测试条件下，统计100次随机仿真的平均辨识度作为最后结果。

当W=0.3时的精确度如表2所示。

表2　权重为0.3条件下的评价结果Tab 2　Evaluation results under the condition of weight 0.3

当W=0.5时的精确度如表3所示。

表3　权重为0.5条件下的评价结果Tab 3　Evaluation results under the condition of weight 0.5

当W=0.8时的精确度如表4所示。

表4　权重为0.8条件下的评价结果Tab 4　Evaluation results under the condition of weight 0.8

综合表2～表4分析，当权重不变时，随着网络规模的增大，精确度随着减小，最后稳定在0.8这个水平上；当网络规模不变时，随着权重增大，精确度随着增大，但是对于网络规模较大，即使增加权重，精确度也稳定在0.8这个水平上。

4　结论

经过不同规模的PNN仿真测试表明：MI算法有效地辨识出网络中的连接结构。因此，本文所提出的基于MI的BNN功能性连接辨识方法是一种准确、高效、计算可行、能够适应于非线性生物神经元网络反向结构辨识方法，特别适合于大规模网络的计算。未来，通过BNN电生理实验，如多电极阵列（multi-electrode array，MEA）可获得体外培养真实的神经元多通道脉冲响应数据［14］。利用这些脉冲序列数据来辨识神经元间的连接结构，可帮助加深对于支配典型网络行为（如，同步振荡、异步振荡、过激振荡等）的特定连接结构的认识和理解。当然，该方法也存在一定的局限性，在于不能判断两个神经元之间连接的方向性，可结合格兰特因果性方法［15］或贝叶斯网络方法［3］进行算法改进。

［1］寿天德.神经生物学［M］.北京：高等教育出版社，2013.

［2］Shmulevich I，Dougherty E R，Kim S，et al.Probabilistic boolean networks：A rule-based uncertainty model for gene regulatory networks［J］.Bioinformatics，2002，18（2）：261-274.

［3］Zou M，Conzen S.A new dynamic Bayesian network（DBN）approach for identifying gene regulatory networks from time course microarray data［J］.Bioinformatics，2005，21（1）：71-79.

［4］李启青，马建文，哈斯巴干，等.基于贝叶斯网络模型的遥感图像数据处理技术［J］.电子与信息学报，2003，25（10）：1321-1326.

［5］Schliep A，Schnhuth A，Steinhoff C.Using hidden Markov models to analyze gene expression time course data［C］∥Computational Biology&Chemistry，2007，31（4）：239-245.

［6］Kim S，Kim J，Cho K H.Inferring gene regulatory networks from temporal expression profiles under time-delay and noise［J］.Computational Biology&Chemistry，2007，31（4）：239-245.

［7］Butte A J，Is K.Mutual information relevance networks：Functional genomic clustering using pairwise entropy measurements［C］∥Pacific Symposium on Biocomputing，2000：415-426.

［8］Batina L，Gierlichsm B.Mutual information analysis：A comprehensive study［J］.Journal of Cryptology，2011，24（2）：269-292.

［9］傅祖芸.信息论——基础理论与应用［M］.北京：电子工业出版社，2007.

［10］Hodgkin A L，Huxley A F.A quantitative description of membrane current and its application to conduction and excitation in nerve［J］.Journal of Physiology，1952，117（1/2）：500-544.

［11］Gerstener W，Kistle W M.Spiking neuron models［J］.Encyclopedia of Neuroscience，2002，241（22）：277-280.

［12］Lindner B，Longtin A.Effect of an exponentially decaying threshold on the firing statistics of a stochastic integrate-and-fire neuron［J］.Journal of Theoretical Biology，2005，232（4）：505-521.

［13］Lindner B，Geier L S，Longtin A.Maximizing spike train coherence or incoherence in the leaky integrate-and-fire model［J］. Physical Review E，2002，66（3）：1916-1921.

［14］Marom S，Shahaf G.Development，learning and memory in large random networks of cortical neurons：Lessons beyond anatomy ［J］.Quarterly Reviews of Biophysics，2002，35（1）：63-87.

［15］Dong C Y，Shin D，Joo S，et al.Identification of feedback loops in neural networks based on multi-step Granger causality［J］.Bioinformatics，2012，28（16）：2146-2153.

董朝轶，通讯作者，E—mail：dongchaoyi@hotmail.com。

Identification of functional connectivity of biological neural network based on mutual information*

LIU Jian-zhao1，2，DONG Chao-yi1，2，FENG Li-fei1，2
（1.College of Electric Power，Inner Mongolia University of Technology，Hohhot 010080，China；2.Key Laboratory of Electromechanical Control，Inner Mongolia，Hohhot 010080，China）

The identification methods of biological neural network（BNN）functional connections have been widely used in building network connecting structure with multi-channel time series data of BNN.The investigation of connective structures of BNN helps to further deepen awareness and understanding of their relations to various network functions of BNN.First，synthetic BNN models are established using integrate-and-fire（IF）mechanism，and multi-channel pulse series data are generated form the network.Then，using mutual information（MI）method，MI between the two neuron nodes can be calculated，which exceeds a certain threshold value indicating that there is a connection between the two neurons.Simulation result shows that the network identification method based on MI has a small computational cost，also it has a high accuracy for identifying the BNN functional connection structures.

biological neural network（BNN）；integrate-and-fire（IF）model；pulse series；mutual information （MI）

TP183

A

1000—9787（2016）06—0059—03

10.13873/J.1000—9787（2016）06—0059—03

2015—10—09

2013年度国家自然科学基金地区基金资助项目（61364018）；2013年度教育部留学回国人员科研启动基金资助项目（第45批）；2015年度内蒙古自治区高等学校“青年科技英才计划”—青年科技领军人才项目；2014年度内蒙古工业大学青年学术骨干项目

刘剑钊（1989-），男，湖北咸宁人，硕士研究生，研究方向为计算神经科学。