神经信息编码研究的现状与进展

朱雅婷，王如彬，倪 力，王梓印

（华东理工大学认知神经动力学研究所，上海 200237）

神经信息编码研究的现状与进展

朱雅婷，王如彬，倪 力，王梓印

（华东理工大学认知神经动力学研究所，上海 200237）

神经信息编码的研究有助于了解神经系统的工作机制。实验与理论的综合发展不断丰富着编码模式的种类，因此对编码现状进行分析探究是十分重要的。将着重阐述感受器中的编码、发放率编码与时间编码、群编码、能量编码。试图比较不同层次编码的动力学特征与各自的优缺点，从而评估它们的适用系统，找出适用范围广泛的有效的编码和解码的方法。这将对了解大脑的内部工作机制和人工智能的应用前景具有不可估量的作用和巨大的影响。

感受器编码；发放率编码；时间编码；群编码；神经能量编码

脑科学中的一个重要研究课题是大脑如何对外部信息进行编码和解码。这个问题长期以来受到认知神经科学家、计算神经科学家和人工智能科学家的极大关注，同时也困扰着我们对感知觉的理解与表达。感知觉的神经编码对于了解大脑的内部工作机制和人工智能的应用前景具有不可估量的作用和巨大的影响。

人类认知行为状态是大脑高级功能的体现。从某种程度上说，认知的本质就是信息加工的过程，而信息加工的本质则是神经编码。神经编码模式的选取对于实现脑功能的判定具有极其重要的作用。由于编码模式的多样性与认知功能的复杂性，对于所选取编码模式的识别与分析是必不可少的，这将有助于分析脑皮层信息整合与感知觉认知功能之间的关系。神经编码旨在研究刺激与单个或总体神经元响应之间的关系，以及所有神经元电活动之间的关系［1］。外部刺激信息（物理、化学信号）经过感受器上的编码形成神经冲动，进而通过神经纤维传输到神经中枢，接着经过特定皮层上的感知觉编码产生视觉、听觉、嗅觉、味觉、触觉等不同的感觉，然后通过各类知觉信息的整合产生理解、概念、判断、推理等从而形成大脑的高级认知。简而言之，到目前为止神经编码的研究就是用各种膜电位的发放来测量和表征各种刺激属性，包括光强、声强、温度、压力以及运动等。由于不同的神经编码的模式所揭示的神经活动以及适用范围都是很有限的，因此需要我们探索各个不同层次上的编码特性，并通过性能比较给出不同层次以及多层次结合上的有效的神经编码模式［2］。

由于感知觉神经编码是一个相当复杂的研究课题，作者只能从已获得的文献出发从感受器中的编码、发放率编码与时间编码、群编码、能量编码这四个方面入手逐一进行介绍。通过比较上述所涉及的神经编码，试图了解这些编码的思想、方法、动力学特征和它们各自的优缺点，从而评估它们的适用范围。这将有助于找出适用范围广泛的有效的神经编码和解码的理论和方法，分析比较的最终目的是为智能机器人的研究与开发以及脑－机接口技术的解码研究提供一定的科学依据。

1 感受器中的编码（receptor coding）

按照信息处理的过程，刺激信息输入后，在感受器上会经历最初级的编码。研究者对各类感受器都展开了探索，这里将着重介绍光感受器、听觉感受器和嗅觉感受器上的编码特性。对光感受器上各类编码性能的比较已经得到了广泛的关注。对于一个视觉刺激，首先视网膜会接收并进行初级编码。视网膜可以作为研究信息编码的良好载体主要基于以下几个方面：视网膜输出细胞即神经节细胞是大脑得到视觉信息的唯一来源；从视网膜到大脑的信号传输是前馈的；被激活的神经节细胞数量与刺激规模相关；数据的时间长度与刺激次数及持续时间相关。基于不同的编码模式，spike序列将包含不同的信息，所以编码的前提是确定信息单元。确定信息单元不仅能够帮助实验研究者确定分析数据的方法，还能够让理论研究者了解神经计算量的大小［3］。基于不同信息单元所对应的编码模式将适应于不同的信息处理系统。Jacobs等［3－6］所做的离体实验中涉及的三种不同的编码—spike计数编码（spike count code）、spike计时编码（spike timing code）、时间相关性编码（Temporal correlation code）对应于信息单元的不同假设，分别是刺激呈现时spike的数量、单个spike的发生时刻（spike的出现不依赖于其他spike）、单个spike的发生时刻（spike的出现依赖于其他的spike）。他们还做了一个在体视网膜实验，实验中小鼠需要完成一个视觉任务，即选出两个刺激（a uniform gray field and a sinusoidal grating）中的光栅（grating）刺激。为了分析视网膜的编码性能，研究者将离体实验里三种编码的性能与在体动物实验的行为性能进行比较，从而确定与动物在体实验结果有最佳吻合的编码。结果表明在体实验中当光栅的空间频率较低时，视觉性能较高，当光栅的空间频率较高时，视觉性能则降低。接下来在离体的视网膜上执行相同的任务，要求与在体实验的所有刺激条件（图像尺寸，持续时间，强度，空间频率）匹配。结果表明，在离体条件下spike计数编码和spike计时编码性能不如动物在体实验条件下的编码性能，而时间相关性编码性能更符合动物本身的编码特性。听觉系统作为主要的感知觉系统之一，同样也得到广泛关注。Rokem等［7］记录了蚱蜢听觉感受器上的信号，运用基于spike-time jitter的分析法来研究刺激特性以及神经元响应对感知信息传输效率所造成的影响。他们研究表明刺激后所记录spike的精确程度越高，那么信息传输率就会越高。也就是说，spike-time precision是提高编码效率的一个重要机制。Wang等［8］提出了支配外毛细胞的传出神经在外毛细胞电致运动（电刺激诱发细胞体长度改变）的过程中通过改变这一电致运动的速度，起到听觉中枢对整个基底膜运动的反馈调控作用。其次，在具有外毛细胞双向耦合作用的基底膜振动模型基础上，加入外毛细胞电致运动的延时参数来进行建模仿真。通过仿真结果与实验数据进行对比，结果证明修正后的模型符合外毛细胞自身作用机制的生理特征，从一个新的角度诠释了外毛细胞运动对基底膜振动作用的贡献。此外，嗅感受器上的编码也得到了广泛研究，Buck［9］指出通过鼻腔内嗅感神经元（Olfactory Sensory Neurons：OSNs）上的气味感受器（Odorant Receptors：ORs）来编码气味信号是得到嗅觉感知的首要前提。Malnic等［10］研究发现不同气味可以通过嗅感受器上嗅感神经元的不同组合方式来编码。他们使用钙成像和单细胞RT-PCR技术来识别对相应气味敏感的嗅感神经元，并用嗅感神经元的不同联合响应方式来编码不同的气味。这类编码定义为组合感受器编码（Combinatorial Receptor Coding），它对识别气味具有重要的意义。

通过以上的分析可知，感受器编码是实现感知行为的前提，所以在实现视觉、听觉和嗅觉的过程中，光感受器、听感受器和嗅感受器上的编码模式是对各类刺激进行初步分析时所依赖的生理学机制。可以发现光感受器与听感受器主要是对单个神经元上spike的发放率和发放时刻来进行编码，而嗅感受器则是对同一时刻刺激敏感的神经元组合进行编码，因此感受器中的编码形式与刺激特性密切相关。这个分析有助于我们进一步研究感受器处理刺激信息时所依赖的生理学机制。

2 发放率编码与时间编码

发放率编码是基于时间间隔内spike数的一种普遍的编码。在大多数感知系统中，刺激强度的增加会引起发放率非线性地增加［11］。发放率的概念已经成功的应用于运动、以及各类感知觉的研究。最初，Adrian［12］研究发现肌肉中牵张感受器神经元（stretch receptor neurons）的发放率与（外界）所施加在肌肉上的力有关，他提出初级感觉神经元通过发放率来传输信息。在最近的10年中，发放率成为描述各类感知和皮层神经元性质的标准。人通过手指的精细动作来探测物体表面，识别表面纹理。该过程中最简单的动作是指尖摩擦滑过物体表面。在触觉探测过程中，材料特性被转换为躯体感觉神经系统的神经信号。针对柔软感所涉及的触觉传感和编码问题，Wang等［13－14］对触摸感评价过程进行模拟仿真，并与织物材料柔软感的心理物理响应相比较。研究发现，在接触域内所有触觉感受器诱发动作电位的平均发放率反应了织物类柔性材料的弯曲刚度，并且平均发放率与柔软感之间存在线性关系。此外，Lennie［15］通过分析神经元的能量消耗来估计神经元的spike活动，他指出每个spike都是具有代谢功能的，所以发放率编码又具有能量有效性的优势。然而为了精确估计发放率，研究者需要在给定的时间窗上给指定神经元至少两个相同刺激，并且在多次实验中对spike信号进行平均，因而人们无法运用频率编码快速提取刺激中的信息。之前有研究者提出感觉神经元可以通过发放率来传输信息，但是Roland等［16］指出这样的编码机制无法实现对于快速感知觉刺激的识别。另外，在一些听觉系统的结构中，刺激只会引发极少数的spike。DeWeese等［17］在研究小鼠的听觉系统时发现，听觉皮层对于每个短暂刺激只会给出一个spike甚至是不发放。当给定神经元在刺激下只有少量发放时，那么基于发放率的编码就难以实现。

任何与刺激相关的信息也会存在于spike的发放时间内，时间编码就提取了单个神经元spike在毫秒甚至更小尺度上的信息［18］。所以针对大多数刺激和神经元而言，与发放率编码相比，时间编码中单个神经元的发放能够包含更多信息。Richmond［19］研究刺激参数与颞下（Inferior Temporal，IT）神经元响应之间的关系时就指出，与发放率编码相比，时间编码将包含更多有关刺激参数的信息。另外，时间编码可以充分利用发放率编码无法表达的一些spike活动特性来编码信息，比如：神经元spike的相对发放次序（rank order）、神经元首次spike的潜伏时间（First-Spike Latency，FSL）。从时间编码的理论出发，Thorpe等［20］提出对神经元的相对发放次序进行编码（rank order coding），因为被强烈激活的神经元会更早的发放。Thorpe等［21］运用该编码实现了中央视觉区对于快速物体的识别。这类编码不用提取神经元的精确发放时刻但又与时间相关，所以比发放率编码高效，比潜伏编码容易操作。神经元首次发放的潜伏（First-Spike Latency，FSL）被定义为神经元受到刺激的时刻和该刺激下神经元第一次发放时刻所经历的时间。也可以指刺激开始时刻到刺激结束后神经元响应次数中达到首个peak所经历的时间，这类时间编码在听觉、视觉、体感等感官系统中都能够传递信息。Chase等［22］在研究听觉系统时提出，神经元首次发放的潜伏信息是反应刺激与神经元响应之间互信息的一种可行机制。Storchi等［23］运用发放率编码和潜伏编码分别编码了大鼠胡须受到不同方向偏斜时，三叉神经节和VPM丘脑核上的信号，发现潜伏编码更加高效。由于发放率编码需要记录刺激后给定时间窗上的spike数量，而时间潜伏编码只需记录刺激后spike的首次发放时间，所以对于快速刺激而言，后者更加高效可靠。事实上时间编码也有其局限性：①Wainrib等［24］在研究首次发放潜伏编码时指出该编码对内在神经元的振荡太过敏感，这将对编码的可靠性产生负面影响。②由于神经元本身无法精确的反应刺激的开始时间，所以研究者必须利用与神经活动相关的机制去判定刺激开始时间［23］。

大量的研究表明刺激引发的首次发放时间与总发放数之间是独立的，这就意味着首次发放潜伏和发放率可以表示不同的刺激属性［16］。具体而言，潜伏编码能够快速编码刺激的内容，发放率编码虽然不能快速编码刺激的内容，但是能反应刺激的数量。另外，从信号采集的角度而言，一段时间内的spike数量比spike timing更容易记录，所以发放率编码也具有其优势。Storchi等［23］在研究中比较了spike count code和spike latency code的性能，指出当所研究的神经元数量较少时，发放率编码只能离散的反应刺激变化，而潜伏编码可以线性的反应刺激变化，因而前者的解码分辨率要低于后者。然而当所研究的神经元达到一定数量时，两类编码的性能就非常相似了，也就是说提高所研究神经元的数量可以提高spike count code的分辨率。

通过以上的分析可知，发放率编码与时间编码，各有各的优势和不足。发放率编码具有信号采集上的优越性以及能量有效性的优势。而时间编码中单个神经元的发放可以包含更多的信息；可以运用spike发放次序编码（rank order code）、神经元首次spike的潜伏编码（first-spike latency coding）来表达发放率编码中无法表达的一些spike活动特性。在视觉、听觉、体感皮层的研究中，基于spike发放次序和神经元首次spike潜伏的编码可以更加有效可靠的编码神经信号。而时间编码的局限性在于该编码对内在神经元的振荡太过敏感从而影响其可靠性，以及神经元本身难以精确的反应刺激的开始时间。首次发放潜伏和发放率可以表示不同的刺激属性，两者虽在分辨率上有一定的差异，但是当所研究的神经元数量较大时，解码性能就相似了。因此在感知觉系统中发放率编码和时间编码具有各自的适用范围。

3 群编码

大脑中的实际信息处理过程并不是通过对单个神经元进行编码来实现的，而是通过对神经元集群进行编码来实现的。神经系统中的这类编码策略就是群编码，这是一种运用许多神经元的联合反应来表示刺激的方法。截止到目前为止大规模神经元集群的神经编码理论还没有一个能够为大家所普遍接受的成熟理论。在群编码理论上虽然有确定性的相位编码理论和随机相变理论，但在理论上都存在着各自的缺陷。例如确定性的相位编码理论不考虑随机噪声对群编码的影响，这将导致丢失很多有用的神经信息。因为根据随机共振理论，一个非常弱的神经信号通过随机共振能够将其放大，使之成为感觉和感知的生理学基础。另一个问题是无论是哪种相变理论都无法处理高维非线性耦合所带来的巨大困难。尽管如此，在群编码方面还是取得了不少进展［25－26］。

Georgopoulos等［27］在研究初级运动皮层时，训练猴子针对目标光的方向做出相应的手臂移动。实验过程中，他们发现单个神经元具有方向偏好性，也就是说当目标与神经元的偏好方向一致时，该神经元就会响应。在上述研究背景下，初级运动皮层总体神经元的合向量就可以指向实际的运动方向，因而从神经元总体的编码结果中可以提取反映运动方向的有用信息。此外，皮层中神经元集群的同步振荡可以作为群编码中的信息单元进行分析，进而实现对脑皮层中各网络的研究。对于同步振荡现象的研究主要基于相位同步化的理论以及“绑定”理论。基于绑定理论可以研究不同脑区中的编码是通过怎样的机制进行相互关联从而产生感知、决策、规划以及行为的［28］。相位同步理论发展了动态神经元组合的设想，即神经元可能通过各组信号之间相位耦合关系来表达事件。相位同步也是被广泛认可的支持绑定现象研究的重要机制［28］，因而研究同步振荡所依赖的相位编码丰富了群编码的思想。

在同步神经元的网络中，振荡过程中发生最大振幅瞬间偏转所对应的相位（振荡相位）决定了神经元的兴奋度，并且影响着网络中单个神经元的发放情况［29－30］。因此，各皮层之间振荡相位的耦合关系影响了在这些区域中动作电位的相对发放时刻。当两个区域的振荡相位相关时，那么这两个区域之间的振荡就呈现相位同步化。基于相位编码的理论，可以分析脑皮层以及脑内各区域之间的同步情况［31］。

研究脑内神经网络活动时相位编码的不同表现形式包括两个区域的spikes间的相关性，两个区域的LFP间的相关性或者是一个区域上的spikes和相同区域或者不同区域上的LFP之间的相关性（称为spike-field相关性）［32－34］。基于LFP的皮层间相位同步化编码理论可以支持感知觉认知功能研究。在运动系统中，不仅在初级运动皮层上发现了beta振荡，在运动前区［35－36］（premotor areas），顶区［37－38］（parietal areas），小脑［39］（cerebellum），丘脑底核［40］（subthalamic nucleus）和纹状体上［39］（striatum）都存在beta振荡，它们不仅是简单的共存同步，而且是在beta频段上存在脑区间的同步化［41］。Brovelli等［42］记录了猴子在执行视觉辨别任务（visual discrimination task）时脑皮层的信号，发现了初级躯体感觉皮层，初级运动皮层和次级顶叶皮层之间存在beta带LFP相同步。spikes-LFP相关性的相位同步化编码理论支持了各类实验的研究。Jutras等［43］在研究猕猴执行图片识别任务时发现，图片刺激呈现后，海马内的gamma频段spikes-LFP的相关性增强，从而体现了记忆性能。研究结果包括：同步化对于spike依赖于时间的可塑性具有促进作用；高发放率细胞的spikes会集中在gamma频段中较窄的相位范围内（导致高Spikes-LFP相关性），但是低发放率细胞的spikes会集中在theta频段中较宽的相位范围内（导致低Spikes-LFP相关性）。Vinck等［44］在研究spikes-LFP相位锁定的基础上提出了相位移动的概念。具体而言，他们记录了猴子在受到不同方向的光栅刺激时，视皮层V1区上的spike与LFP信号，其中示例神经元会在偏好方向的刺激下有强烈发放。他们发现当神经元被强烈激活时，神经元在LFP的gamma周期中会在更早的相位处发放，而随着神经元的发放率下降，spike在LFP的gamma周期中的发放位置也在向后移动。当LFP gamma－带功率较弱或者spike只是松弛的锁定于LFP的gamma频段时，gamma－相位移动会更加强烈。

识别脑皮层的同步化网络对于人类感知系统的研究具有重要意义。在研究帕金森氏症方面，同步振荡理论起到了显著效果，研究表明患有帕金森氏病的患者在丘脑底核（STN）和苍白球（GPi）两区域内存在11～30 Hz的同步振荡［45－47］。病人摄入多巴胺药物后，丘脑底核和苍白球两区域内神经元活动会在低频段减少而在高频段增多，进而同步振荡在高频段出现（最高到达70 Hz），由于高频段活动具有抑制帕金森病的效果，所以患者病情有所改善［48］。Hipp等［49］通过一系列针对人类的视听实验来研究感知与皮层活动之间的关系。实验中受试者（24人）受到相同的视听刺激（两个长条靠近，当发出咔哒声时两者重合，接着两者分开；实验持续1.52 s，重合时刻记为0 s），但会得到两类截然相反的感知结果——“弹回”感知（52.2%），感觉到两个长条在咔哒声后相互弹回；“穿过”感知（47.8%），感觉到两个长条擦身而过。研究内容主要分为三个层面，首先分析刺激过程中局部皮层响应的变化，接着是不同感知结果对应的皮层同步振荡的变化，最后是听觉与视觉的交叉模式偏好与同步振荡之间的关系以及对感知所造成的影响。对上述三个层次分别进行阐述，首先刺激输入对局部皮层在特定频段上的活动产生影响，在大多数视皮层中，刺激诱发神经元在gamma频段活动的增加，而在theta，alpha，和beta频段上的神经元活动都减少。除了在视皮层中的响应，还发现在与额叶眼区（FEF）一致的双边额叶区，神经元在alpha频段的活动也有所增加。接着，他们用一种新的排列统计分析方法［50］来识别同步化皮层区的网络，确定了视听刺激所引起的皮层间的相关性，从而得到了与之相关的beta－同步化网络和gamma－同步化网络。当额叶（frontal）、顶叶（parietal）和纹外区（extrastriate areas）之间的大尺度beta带同步化加强时，受试者更可能感知到弹回的感官刺激。在中央（central）和颞区（temporal）组成的大脑左半球的网络中，“弹回”感知比“穿过”感知有更加显著增强的gamma带相关性。最后，网络中gamma频段的同步化加强能够反应受试者对于视听交叉模式偏好的差异。因而，各皮层区域间同步化可以用广泛但是高度结构化的网络来表示，并且它与感官信息有紧密联系。越来越多的研究结果表明，各皮层区域间同步化在不同认知功能中起到重要作用，包括选择性注意，交叉模式整合，决策，感觉运动整合和工作记忆。研究表明在工作记忆的信息维持期，额叶区域（frontal area）和顶叶区域（parietal area）之间的同步化会在gamma频段和beta频段内增强［51－52］。Tallon Baudry等［53］记录了两名癫痫患者在执行延迟匹配样本任务（delayed-matching-to-sample task）时的颅内脑电图数据，发现受试者在视觉刺激回忆期间，纹外视觉区（extrastriate visual areas）内存在持续的beta频段相位同步化。另外，Axmacher等［54］通过记录分析癫痫患者的EEG数据来研究视觉工作记忆（visual workingmemory），发现随着记忆负荷的增加，颞下皮层（IT cortex）和前海马旁回（Anterior Parahippocampal Gyrus，APHG）之间的相位同步化会加强。在更高的工作记忆负荷下，梭状回面孔区（fusiform face area）和内侧颞叶（medial temporal lobe）之间的beta相位同步化会增加。他们还记录了健康受试者的FMRI数据，运用相位建模方法（phase-modeling approach）来分析相位耦合方向，最终得到前海马旁回（Anterior Parahippocampal Gyrus，APHG）和颞下叶（Inferior Temporal，IT）在gamma频段的方向性（APHG到IT）耦合会随着记忆负荷的增加而加强。对于记忆功能的研究，并不局限于同一个频率上各皮层间的同步振荡。还有大量的研究者运用交叉频率相位－振幅耦合（cross-frequency phase-amplitude coupling）和交叉频率相位－相位耦合（cross-frequency phase-phase coupling）这两类相同步化机制来研究记忆功能。其中，Mormann等［55］通过记录癫痫病人执行识别连续单词记忆任务（continuousword recognition memory task）时双侧后顶叶和枕叶上的信号，分析得到gamma频段的大幅度振荡处与theta频段振荡的负峰处有相位锁定关系，即存在thetagamma交叉频率的相位振幅耦合。另外，Sauseng等［56］研究视觉短时记忆容量时，指出theta-gamma交叉频率相位耦合结果与实验所给的记忆负荷有关，进而可以反映受试者的短期记忆容量。

可见，相位编码基于形式多样的相同步形式，能够较好的反应受到刺激时各皮层之间的联合响应，从而对视觉、听觉、记忆等系统的功能性研究提供支持。

除了实验研究之外，对于相位编码的理论研究也有很大进展。Sun［57］通过时间延迟来分析两类耦合离散时间网络之间的内在同步化和外在同步化。Lu等［58］在运用HR神经元模型的基础上，加入噪声与神经元耦合因素，验证了耦合噪声神经元网络的同步发放，这为进一步得到相位同步化的模型打下基础。Shen等［59］建立了一个简单的整合与发放的脉冲神经元模型，配合STDP学习型神经网络，模拟了大鼠海马中位置细胞关于θ相位的神经编码，数值模拟结果与实验对照具有很高的准确率。最近Wang等［60－61］利用随机相位动力学的方法，构造了几类神经网络模型。依据文献［57－58］所建立的模型，在网络的拓扑结构发生变化的情况下，对具有多个神经元集群所构成的网络在自发运动和刺激作用下的相同步运动和神经编码的演化过程进行了计算机数值模拟。研究结果表明，①证明了神经科学实验中所揭示的脑内稀疏编码的存在性；②证明了神经系统内耦合系数的大小对于神经信息的处理至关重要以及神经信息传导在串联和并联两种耦合方式下所具有的完全不同的信息处理能力。③在外刺激作用下神经元集群内的神经元数目越大，刺激的结果对其他神经元集群的相同步运动和神经编码演化的影响也越大；④证明了神经生物学实验结果，神经元集群之间耦合关系的减小预示着神经网络中侧抑制功能的增强，这种增强等效于降低神经元的兴奋性阈值，从而使这一区域和神经元集群在相同的刺激下有较强的反应；⑤刺激作用下会有更多的神经元兴奋，因而有更多的神经元参与了神经编码和相同步运动。从而理论上再一次证明了神经交流和神经可塑性是可以互相支持的。这些研究成果还表明，当不同脑区通过相位同步化交流，会引发这些区域的突触可塑性；同时还表明当两个区域的突触连接加强，更容易引发相位的同步化运动从而促进脑区神经元之间的交流。相位编码作为群编码中应用比较广泛的编码，已经得到了实验与理论的支持，能够较好的研究皮层间大规模的网络编码，但是在一定程度上忽略了单个神经元中所包含的一些信息量。

通过以上的分析可知，群编码的最主要特征是不同频率的同步运动及其识别；对于较为复杂的感知觉认知编码需要得到“绑定”理论假设的支持。如果在感知任务的分析中出现各皮层在特定频率上出现的功能性神经元网络，并且这些网络中的同步化运动会影响知觉认知任务的形成和性能时，就需要我们探索和把握不同频率同步运动的功能相关性问题［62］。这些不同网络的同步化强度预示振荡神经元网络中的这种同步可以调节特定频率、各区域皮层网络中的神经元交流。并且可以通过相关性分析，把一个复杂的知觉任务“绑定”起来。目前对于单个皮层区中神经元总体活动的研究已有所进展，但是要描述整个大脑中大尺度神经元的相互作用仍然非常困难。

4 能量编码

综上所述，无论是单个神经元编码还是集群编码都有其局限性，所以实验神经科学亟需一种能够在各种层次上用来描述知觉编码，认知编码和行为编码的有效理论。大脑的神经活动和脑的运筹方式服从于能量的最小化原则和信号传输效率的最大化原则［64］。也就是说阈上刺激和阈下刺激情况下神经系统的活动遵循能量的最小化，体现了神经系统工作的经济性。而在神经网络中信号的传输效率遵循能量利用率的最大化，体现了神经系统工作的高效率。此外，Tayabe等［65］首次通过一个物理实验，证明了信息可以转化为能量。在实验室中他们让一个纳米小球沿电场制造的“阶梯”向上爬动，爬动所需的能量由该粒子在任何给定时间朝哪个方向运动这一信息转化而来，该小球能爬阶梯完全由“自己的位置”这一信息所决定，研究人员无需施加任何外力（比如注入新能量等），这意味着科学家首次在实验室实现了信息到能量的转化，也就是说信息可以由能量来表达。这一科学思想为神经能量编码提供了理论依据。基于大脑的运筹方式以及信息可转化为能量的科学思想，Wang等［66－70］提出了能量编码的猜想，试图用能量来表达知觉认知过程中神经编码的基本规律，阐明大脑皮层神经活动时能量演化的神经动力学机制。fMRI中对于BOLD数据振幅鲜有研究是因为受试者的表现与数据振幅之间的关系会随着对任务的熟悉程度而改变。比如：对于一个复杂的认知任务而言，最初好的表现与高幅信号相对应，但随着受试者对该任务越来越熟悉，好的表现不再产生高幅信号。也就是说，虽然是相同的任务，但是熟悉的任务就会消耗更少的能量去完成。所以说能量编码虽然是标量，但是基于大脑运筹方式所遵循的上述原则，依旧可以反应脑活动的基本规律［71］。

在神经能量的研究中，Wang等［66－67］给出了阈下刺激和阈上刺激两种不同情况下通过神经能量的计算得到神经元的动作电位和对应的能量变化。一个最重要的发现是神经元并不是完全消耗能量的，它是先吸收能量，然后再消耗能量。这个重要发现修正了神经元只消耗能量的传统观点，并能够解释为什么当脑内神经元被激活的时候，脑血流量大幅增加时而耗氧量却只有很少的增加这一直到现在还很难解释清楚的神经生理学现象。

Wang等［72］在上述研究的基础上又讨论了以下问题：多种耦合条件下单个神经元活动时膜电位的能量函数；神经元集群活动的总能量函数；神经元集群所构成的网络在各类刺激条件下所形成的能量流；由能量流随时间变化而导致的能量编码。通过这些研究可以发现能量方法在研究神经编码以及相关的神经活动所显示的优点包括以下五个方面：①网络基础上依赖于时间的神经能量编码的主要特点是神经元膜电位与神经能量具有唯一的对应关系，也就是说神经信息编码是可以用神经能量编码来表达的。②神经网络中的自组织效应，会自发地将刺激响应按照同步运动过程中能量成本的分配比例分成若干个神经元集团，每个神经元集团内的能量分布与该神经元集团内的同步振荡一一对应。也就是说，神经能量编码可以自动地把网络中各同步振荡频率所对应的神经能量按照网络总能量中能量成本的分配比例把各个神经元集团从网络中分离出来。这个优点无论对于结构性神经网络还是功能性神经网络模型的分析，特别是对于知觉认知以及高级认知功能的研究是十分重要的。③神经能量具有可叠加的性质。这对于由大规模神经元组成的高维非线性复杂神经网络建模与计算分析带来了极大的方便。更重要的是叠加后神经网络的总能量在某一时刻的状态可以反映整个网络在该时刻同步振荡的状态。④神经能量可以是神经信息处理与脑血流变化之间关系的一个载体。通过网络中正负能量的周期性交替变化能够反映脑血流中的供能和神经元集群对能量的消耗这一现象，可以证明神经信息处理与血流变化之间确实存在一定的耦合关系。这可以为今后的神经建模提供理论依据。⑤神经能量编码有可能大大降低分析研究的成本。他们探讨为什么神经能量是大脑活动全局行为的有效工具，并认为带有信息的神经编码是与能量利用率联系在一起的。正如神经系统的可塑性有潜力引导大脑的稀缺资源通向它们最有价值的地方一样，神经能量将能够引导能量消耗用于神经信息处理最需要的地方［71］。这个观点可以很好地解释为什么神经能量是探讨大脑活动全局行为的有效工具。在最近的研究中，Wang等［73］从能量角度对同步振荡的认知神经动力学机制进行基础性的初步探讨。大脑的认知与意识活动实际上是通过结构网络与认知网络的转换来控制大脑的运作，因而需要探索一种系统的方法来研究局部网络的神经计算是如何与整体的神经活动模式相联系的。不同区域之间网络的动态平衡和功能性组合所引起的同步振荡来源于脑区中具有不同频率的神经元群的节律运动，基于神经能量编码能够模拟这类神经元运动，从而以能量角度研究神经系统中局部网络与整体神经元活动之间的关系。

同时，Wang等［74］也研究了数值计算中神经元能量消耗减少及负能量现象产生的生理学机制，指出主要是由于神经活动引起的局部充血导致这类现象的发生。这是因为基于星形胶质细胞的解剖结构，这类细胞非常适合根据区域中神经元的活跃程度来调节血流量［75］。根据这个理论，星形胶质细胞钙离子水平的升高，能够扩张微动脉从而增加区域的血流量，导致动脉流入量增加，使得流入组织中的氧合血红蛋白增加，其中神经元通过氧合血红蛋白来摄取氧［76］。但此时，氧的消耗量并不随血流和氧的增加而成比例的增加［77］。Fox等通过PET观察到，事件诱发时氧摄取系数（OEF）从静息时的40%减少到20%，也就是说，事件发生期间80%输送的氧并不是被生理代谢掉。这说明与神经激活相关的能量需求（与静息态所需相比）是很小的，且脑血流的充血反应受非氧化代谢的产物（如乳酸）的影响。而当动作电位在传导过程中，需要消耗大量生物能量中的氧，因此氧合的血红蛋白在这一阶段变成了脱氧的血红蛋白。可见，Wang所给出的能量编码模型能够反映神经活动的生理学机制，进而很好的表达知觉认知过程中脑活动的基本规律。

由于大脑需要大量的能量来维持运作，而脑内的能量来源于血液中的氧和葡萄糖，所以大脑的信息处理能力受限于可支配能量的多少。近一个世纪以来的观点普遍认为，当某一区域的神经元处于兴奋的时候，该区域的血流量是增加的。血量的增加是核磁共振反映脑活跃强度的理论基础［78］。由于血液流量的调节与功能刺激之间的关系还不十分清楚，因此与血液流量相比，局部能量代谢应该与局部功能刺激的关系更加紧密［77］，因为两个过程都定位于同一细胞。神经能量的计算能够为这一未知问题的理解给出合理的解释，同时为今后研究神经发放与血流之间耦合模型的建立奠定牢固的基础。

5 结 论

感知觉神经编码模式的研究对于了解大脑的内部工作机制和人工智能的研究具有重要意义。由于不同的神经编码的模式所揭示的神经活动以及适用范围都是有限的，所以本文我们从感受器中的编码、发放率编码与时间编码、群编码、能量编码这四个方面入手探索不同层次上的编码特性，并通过性能比较对不同层次以及多层次结合上的有效的神经编码模式进行评估。感受器编码是用来研究形成视觉、听觉、嗅觉等感知觉时，在感受器上进行的初级编码。发放率编码可用以研究躯体感觉系统及运动系统的部分特性，时间编码可用以研究听觉、视觉、体感等感官系统。群编码可用于研究与认知与记忆相关的牵涉到多个皮层的集群神经元活动。能量编码作为一种新颖的编码方法，理论上可以表达知觉认知过程中神经编码的基本规律，阐明大脑皮层神经活动时能量演化的神经动力学机制。

文中首先介绍了感知信息处理过程中的感受器编码，比较了光感受器、嗅觉感受器和听觉感受器上的编码特性，发现感受器中的编码形式与刺激特性是密切相关的，这将有助于我们进一步研究感受器处理刺激信息时所依赖的生理学机制。为了进一步探究在相关感知皮层上的编码特性，比较了在研究大多数感知神经系统中被普遍应用的两类编码：发放率编码与时间编码。这两类编码在信号采集方式、信息单元选取、编码的分辨率等方面具有各自的优势与不足，从而具有各自的适用范围。实验研究表明，感知觉认知功能的神经编码与皮层中神经元集群的发放有关，因此该综述报告中从实验和理论两个方面介绍了群编码的编码模式、适用范围和生理学功能。群编码的主要功能就在于识别感知任务分析中出现在不同区域的在特定频率上的功能性神经网络。目前对于单个尺度中神经元总体活动的研究已有所进展，但是要描述整个大脑中大尺度神经元的相互作用仍然非常困难。为了解决群编码中相位编码在高维非线性耦合过程中无法克服的困难，最后介绍了由Wang提出的能量编码的猜想，这个猜想有可能在大尺度神经科学上对于知觉、认知和行为的研究提供多视角的理解和多方位的理论与方法支持。因此能量编码可以与其他现有的神经编码理论相得益彰，从而形成一套适用范围广泛而有效的神经编码和解码的理论和方法。

［1］Brown EN，Kass R E，Mitra PP.Multiple neural spike train data analysis：state-of-the-art and future challenges［J］.Nature Neuroscience，2004，7（5）：456－461.

［2］Insel TR，Landis N D，Li T K，et al.Limits to growth：why neuroscience needs large-scale science［J］.Nature Neuroscience，2004，7（5）：426－427.

［3］Jacobs A L，Fridman G，Douglas R M，et al.Ruling out and ruling in neural codes［J］.PNAS，2009，106（14）：5936 －5941.

［4］Johnson D H，Ray W.Optimal stimulus coding by neural populations using rate codes［J］.Journal of Computational Neuroscience，2004，16：129－138.

［5］Nirenberg S，Latham P E.Decoding neuronal spike trains：How important are correlations？［J］.PNAS，2003，100：7348－7353.

［6］Victor JD.Temporal aspects of neural coding in the retina and lateral geniculate［J］.Network，1999，10：R1－66.

［7］Rokem A，Watzl S，Gollisch T，et al.Spike-timing precision underlies the coding efficiency of auditory receptor neurons ［J］.JNeurophysiol，2006 95：2541－2552.

［8］王如彬，周轶，张志康.具有延时作用的基底膜主动耦合模型［J］.振动与冲击，2011，30（12）：49－53.WANG Ru-bin，ZHOU Yi，ZHANG Zhi-kang，Couplingmodel for basilarmembrane with delay action［J］.Journal of Vibration and Shock，2011，30（12）：49－53.

［9］Buck L，Axel R.A novelmultigene familymay encode odorant receptors：a molecular basis for odor recognition［J］.Cell，1991，65：175－187.

［10］Malnic B，Hirono J，Sato T，et al.Combinatorial receptor codes for odors.Cell［J］.1999，96：713－723.

［11］Kandel E，Schwartz J.Jessel TM.Principles of neural science（3rd ed.）［J］.Elsevier，1991，ISBN 0444015620.

［12］Adrian ED，Zotterman Y.The impulses produced by sensory nerve endings：Part II：The response of a single end organ ［J］.JPhysiol（Lond.），1926，61：151－171.

［13］Hu Ji-yong，Wang Ru-bin.Responses of cutaneousmechanoreceptors within fingerpad to stimulus information for tactile softness sensation ofmaterials［J］.Cognitive Neurodynamics，2013，7（5）：441－447.

［14］Hu Ji-yong，Yang Xu-dong，Ding Xin，et al.Probability of prickliness detection in a model of populations of fiber ends prickling human skin［J］.Fibers and Polymers，2012，13 （1）：79－86.

［15］Lennie P.The cost of cortical computation［J］.Curr Biol，2003，13：493－497.

［16］Johansson R S，Birznieks I.First spikes in ensembles of human tactile afferents code complex spatial fingertip events ［J］.Nature Neuroscience，2004，7（2），170－177.

［17］DeWeese M R，Wehr M，Zador A M.Binary spiking in auditory cortex［J］.The Journal of Neuroscience，2003，23 （21）：7940－7949.

［18］Butts D A，Weng C，Jin J，et al.Temporal precision in the neural code and the timescales of natural vision［J］.Nature，2007，449（7158）：92－95.

［19］Optican L M，Richmond B J.Temporal encoding of two-dimensional patterns by single units in primate inferior temporal cortex.III.Information theoretic analysis［J］.AJP-JN Physiol，1987，57（1）：162－178.

［20］Thorpe S，Delorme A，VanRullen R.Spike-based strategies for rapid processing［J］.Neural Network，2001，14：715－725.

［21］Heil P.First-spike latency of auditory neurons revisited［J］，Current Opinion in Neurobiology，2004，14：461－467.

［22］Chase SM，Young E D.First-spike latency information in single neurons increases when referenced to population onset ［J］.PNAS，2007，104（12）：5175－5180.

［23］Storchi R，Bale M R，Biella G EM，etal.Comparison of latency and rate coding for the direction ofwhisker deflection in the subcortical somatosensory pathway［J］.J Neurophysiol，2012，108：1810－1821.

［24］GillesW，Thieullen M，Khashayar D，et al.Intrinsic variability of latency to first-spike［J］.Biological Cybernetics， 2010，103（1）：43－56.

［25］Wang Ru-bin，Zhang Zhi-kang.Phase synchronizationmotion and neural coding in dynamic transmission of neural information［J］.IEEE Transactions on Neural Networks，2011，22 （7）：1097－1106.

［26］Wang Ru-bin，Zhang Zhi-kang，Tse C K，et al.Neural coding in networks ofmulti-populations of neural oscillators［J］.Mathematics and Computers in Simulation，2012，86：52 －66.

［27］Georgopoulos A P，Lurito JT，Petrides M，etal.Mental rotation of the neuronal population vector［J］.Science，1989，243：234－236.

［28］Feldman J，The neuralbinding problem（s）［J］，Cogn Neurodyn，2012，DOI 10.1007／s11571－012－9219－8.

［29］Elbert T，Rockstroh B.Threshold regulation-a key to the understanding of the combined dynamics of EEG and event-related potentials［J］.Psychophysiol.，1987，4：317－333.

［30］Fröhlich F，McCormick D A.Endogenous electric fieldsmay guide neocortical network activity［J］.Neuron，2010，67：129－143.

［31］Fell J，Nikolai Axmacher.The role of phase synchronization in memory processes［J］.Neuroscience，2011，12：105 －118.

［32］Fries P，Reynolds JH，Rorie A E，et al.Modulation of oscillatory neuronal synchronization by selective visual attention ［J］.Science，2001，291：1560－1563.

［33］Womelsdorf T.et al.Modulation of neuronal interactions through neuronal synchronization［J］.Science，2007，316：1609－1612.

［34］Jutras M J，Fries P，Buffalo E A.Gamma-band synchronization in themacaque hippocampus and memory formation［J］.J.Neurosci.，2009，29：12521－12531.

［35］Sanes JN，Donoghue JP.Oscillations in local field potentials of the primate motor cortex during voluntary movement［J］.PNAS，1993，90：4470－4474.

［36］Lee D.Coherent oscillations in neuronal activity of the supplementarymotor area during a visuomotor task［J］.J.Neurosci.，2003，23：6798－6809.

［37］Murthy V N，Fetz E E.Coherent25－to 35－Hz oscillations in the sensorimotor cortex of awake behaving monkeys［J］.PNAS，1992，89：5670－5674.

［38］Brovelli A，Ding M，Ledberg A.et al.Beta oscillations in a large-scale sensorimotor cortical network：directional influences revealed by Granger causality［J］.PNAS，2004，101：9849－9854.

［39］Courtemanche R，Fujii N，Graybiel A M.Synchronous，focallymodulated beta-band oscillations characterize local field potential activity in the striatum of awake behaving monkeys ［J］.J.Neurosci.，2003，23：11741－11752.

［40］Levy R，Hutchison W D，Lozano A M，et al.Synchronized neuronal discharge in the basal ganglia of parkinsonian patients is limited to oscillatory activity［J］.J.Neurosci.，2002，22：2855－2861.

［41］Schnitzler A，Gross J.Normal and pathological oscillatory communication in the brain［J］.Neuroscience，2005，6：285－296.

［42］Brovelli A，Ding Ming-zhou，Ledberg A，et al.Beta oscillations in a large-scale sensorimotor cortical network：directional influences revealed by Granger causality［J］.PNAS，2004，101（26）：9849－9854.

［43］Jutras M J，Fries P，Buffalo E A.Gamma-band synchronization in themacaque hippocampus and memory formation［J］.J.Neurosci.，2009，29：12521－12531.

［44］Vinck M，Lima B，Womelsdorf T，et al.Gamma-phase shifting in awakemonkey visual cortex［J］.The Journal of Neuroscience，2010，30（4）：1250－1257.

［45］Levy R，Hutchison W D，Lozano A M，et al.Synchronized neuronal discharge in the basal ganglia of parkinsonian patients is limited to oscillatory activity［J］.J.Neurosci，2002，22：2855－2861.

［46］Kuhn A A，Williams D，Kupsch A，et al.Event-related beta desynchronization in human subthalamic nucleus correlates with motor performance［J］.Brain，2004，127：735－746.

［47］Marsden J F，Limousin-Dowsey P，Ashby P，et al.Subthalamic nucleus，sensorimotor cortex and muscle interrelationships in Parkinson's disease［J］.Brain，2001，124：378－388.

［48］Brown P，Oliviero A，Mazzone P，et al.Dopamine dependency of oscillations between subthalamic nucleus and pallidum in Parkinson's disease［J］.J.Neurosci.，2001，21：1033－1038.

［49］Hipp JF，Engel A K，SiegelM，et al.Oscillatory synchronization in large-scale cortical networks predicts perception［J］.Neuron，2011，69：387－396.

［50］Gross J，Kujala J，Hamalainen M，et al.Dynamic imaging of coherent sources：studying neural interactions in the human brain［J］.Proc.Natl.Acad.Sci.USA，2001，98：694 －699.

［51］Lutzenberger W，Ripper B，Busse L.Dynamics of gammaband activity during an audiospatial working memory task in humans［J］.J.Neurosci.，2002，22：5630－5638.

［52］Babiloni C，Babiloni F，Carducci F，etal.Functional frontoparietal connectivity during short-term memory as revealed by high-resolution EEG coherence analysis［J］.Behav.Neurosci.，2004，118：687－697.

［53］Tallon Baudry C，Bertrand O，Fischer C.Oscillatory synchrony between human extrastriate areas during visual short-term memorymaintenance［J］.J.Neurosci.，2001，21：RC177.

［54］Axmacher N，Schmitz D P，Wagner T，etal.Interactions between medial temporal lobe，prefrontal cortex，and inferior temporal regions during visual working memory，a combined intracranial EEG and functional magnetic resonance imaging study［J］.J.Neurosci.，2008，28：7304－7312.

［55］Mormann F，Fell J，Axmacher N，et al.Phase／amplitude reset and theta-gamma interaction in the humanmedial temporal lobe during a continuous word recognition memory task［J］.Hippocampus，2005，15：890－900.

［56］Sauseng P，Klimesch W，Heise K F，et al.Brain oscillatory substrates of visual short-term memory capacity［J］.Current Biology，2009，19：1846－1852.

［57］Sun Wei-gang，Wang Ru-bin，WangWei-xiang，etal.Analyzing inner and outer synchronization between two coupled discrete-time networkswith time delays［J］.Cognitive Neurodynamics，2010，4（3）：225－231.

［58］Shi Xia，Wang Qing-yun，Lu Qi-shao，Firing synchronization and temporal order in noisy neuronal networks［J］.Cognitive Neurodynamics，2008，2（3）：195－206.

［59］Shen En-hua，Wang Ru-bin.A spiking neuronmodel of theta phase Precession［J］.Lecture Notes in Computer Science，2006，4221：214－223.

［60］Wang Ru-bin，Zhang Zhi-kang.Phase synchronizationmotion and neural coding in dynamic transmission of neural information［J］.IEEE Transactions on Neural Networks，2011，22 （7）：1097－1106.

［61］Wang Ru-bin，Zhang Zhi-kang.Neural coding in networks of multi-populations of neural oscillators［J］.Mathematics and Computer in Simulations，2012，86：52－66.

［62］Welberg L.Oscillation Networking improves performance ［J］.Neuroscience，2011，12（3）：121.

［63］Lina A L，Foxa P T，Hardiesa J，et al.Nonliner coupling between cerebral blood flow，oxygen consumption，and ATP production in human visual cortex［J］.PNAS，2010，107 （18）：8447.

［64］Laughlin S B，Sejnowski T J.Communication in neural networks［J］.Science，2003，301（5641）：1870－1874.

［65］Tayabe S，Sagawa T，Ueda M，et al.Experimental demonstration of information-to-energy conversion and validation of the generalized Jarzynskiequality［J］.Nature Physics.，2010 （6）：988－992.

［66］Wang Ru-bin，Zhang Zhi-kang.Mechanism on brain information processing：energy coding［J］.Applied Physical Letters，2006，89：123903.

［67］Wang Ru-bin，Zhang Zhi-kang.Energy coding in biological neural network［J］.Cognitive Neurodynamics，2007，1（3）：203－212.

［68］Wang Ru-bin，Zhang Zhi-kang，Chen Guan-rong.Energy function and energy evolution on neural population［J］.IEEE Transactions on Neural Networks，2008，19（3）：535－538.

［69］Wang Ru-bin，Zhang Zhi-kang，Chen Guan-rong.Energy coding and energy functions for local activities of brain［J］.Neurocomputing，2009，73（1－3）：139－150.

［70］Wang Ru-bin，Zhang Zhi-kang.Computation of neuronal energy based on information coding［J］.Chinese Journal of Theoretical and Applied Mechanics，2012，44（4）：779－786.

［71］Huettel SA，Song A W，McCarthy G.Functional magnetic resonance imaging（2ed.）［J］.Massachusetts：Sinauer，2009，ISBN 978－0－87893－286－3.

［72］Wang Ru-bin，Wang Zi-yin.Can the representation of neural information be communicated by neuralenergy？（Submitted to CerebralCortex.2013）.

［73］Wang R，Wang Z.Energy distribution property and energy coding of a structural neural network［J］.Frontiers in Computational Neuroscience，2014，8：14.

［74］Zheng Hong-wen，Wang Ru-bin，Qiao Lin-kun.Themolecular dynamics of neuralmetabolism during the action potential ［J］.Science China（Technological Science），2014，57（5）：857－863.

［75］Rheinallt Parri.Crunelli V.An astrocyte bridge from synapse to blood flow［J］，Nature Neuroscience，2003，6（1）：5－6.

［76］Sokoloff L.The physiological and biochemical bases of functional brain imaging［J］.Cognitive Neurodynamics，2008，2：1－5.

［77］Moore C I，Cao R.The hemo-neural hypothesis：on the role of blood flow in information processing［J］.Neurophysiol，2008，99：2035－2047.

［78］Peppiatt C，Attwell D.Feeding the brain［J］.Nature，2004，431（9）：137－138.

State of art of neural information coding and its advances

ZHU Ya-ting，WANG Ru-bin，NILi，WANG Zi-yin
（Institute for Cognitive Neurodynamics East China University of Science and Technology，Shanghai200237，China）

The study on neural information coding helps to understand workingmechanisms of nervous systems.The comprehensive development of experiments and theories enlarges the types of coding modes，therefore it is important to clarity the state of art of neural coding.Here，receptor coding，rate and temporal coding，population coding，and neural energy coding were presented emphatically.The dynamic properties，advantages，and disadvantages of codings with different levels were compared in order to evaluate systems for which these codingswere applicable，respectively and find effectivemethodswith more widely applicable ranges for coding and decoding.The adrances in neural information coding were also studied.The study results had enormous effects on understanding working mechanisms ofmankind brain and application prospects of artificial intelligence.

receptor coding；rate coding；temporal coding；population coding；neural energy coding

Q189

A

10.13465／j.cnki.jvs.2015.21.001

国家自然科学基金重点项目（11232005）；国家自然科学基金（11472104）

2014－06－04 修改稿收到日期：2014－10－04

朱雅婷女，博士生，1989年11月生

王如彬男，教授，博士生导师，1951年2月生