具有艾宾浩斯遗忘规则的忆阻联想记忆电路

李志军 谭茂林 王梦蛟 马铭磷

(湘潭大学自动化与电子信息学院 湘潭 411105)

1 引言

近年来，随着对生物神经网络[1,2]结构及响应机制理解的不断深入，人工神经网络得到了巨大的发展。一方面，研究者提出构建大规模人工神经网络来实现与大脑类似的分布式并行计算能力[3,4]。另一方面，研究人员根据人脑的生物特征和工作机制尝试构造类似大脑的结构模型，并模拟相应的自适应学习能力[5—7]。人脑中大约有1011个神经元以及1015个突触，要模拟大脑的功能，在实现过程中就必须考虑大规模集成和功耗的问题。

1971年，Chua[8]提出了忆阻器的概念。2008年，惠普实验室制备了第一个表现忆阻行为的固态设备[9]。忆阻器是一种具有记忆特性的动态器件，其忆阻(忆导)值取决于流过电流(电压)的时间。利用其非线性特征，忆阻器可以实现各种混沌电路[10—12]。尤为特别的是，忆阻器兼具非易失性和低功耗等特点，与生物突触非常类似，因此采用忆阻器模拟生物突触受到了广泛的关注[13,14]。例如，Wang等人[15]采用4个忆阻器和差分放大器实现了一种忆阻桥突触电路，其突触权值可以在正值、负值、0值之间任意调节。Yang等人[16]采用运算放大器对忆阻桥突触电路进行了改进，有效减少了电流电压信号之间的转换。Alibart等人[17]则提出了双忆阻器的交叉杆阵结构，随后Truong等人[18]提出单个忆阻器的交叉杆阵列，不但减少了忆阻器个数，还实现突触权值的正、负、0值变化。

巴甫洛夫实验能有效展示生物的联想记忆能力，成为人工神经网络领域研究的焦点，受到了广泛的关注。Pershin等人[19]首次提出了忆阻突触的联想记忆电路，并验证了电路的联想记忆能力和学习能力，但该电路使用了微处理器，导致电路结构过于复杂。Chen等人[20]采用最大输入反馈学习法调节忆阻突触权值，从理论上分析了忆阻神经网络的联想学习和校正的功能。Wang等人[21]以荷控忆阻器为神经突触建立了4个神经元构成的忆阻神经网络，采用平均输入反馈学习法实现对忆阻权值的迭代和更新。为了进一步简化忆阻神经网络电路，Yang等人[22]采用4个MOS管和1个忆阻器实现了忆阻权值调节电路，结合逻辑门实现的信号控制提出了一种全功能的巴甫洛夫电路。Hu等人[23]首先提出一种具有遗忘特征的压控忆阻器，然后采用6个忆阻器和5个神经元提出了一种情感演变电路，却并未考虑加速学习和自然遗忘等功能。Sun等人[24]提出了具有延迟功能的联想记忆电路，能实现加速学习和减速遗忘，但电路仍然过于复杂，且学习速率和遗忘速率只能调节1次。

本文在上述文献的基础上提出一种全功能的联想记忆电路，与现有文献相比，所提出的联想记忆电路具有如下特征：(1)能实现全功能的联想记忆行为，包括学习、联想、遗忘、加速学习和减速遗忘等功能；(2)电路更具有仿生性，能够根据学习次数自动调整学习速率和自然遗忘速率；(3)电路实验结果与艾宾浩斯遗忘规律相吻合。为了验证电路的功能，本文采用通用电路分析程序(Personal Computer Simulation Program with Intergrated Circuit Emphasis, PSPICE)对电路进行了仿真分析。

2 忆阻器模型

突触作为神经网络中神经元之间连接的重要结构，负责将信息从前神经元传输至后神经元。当寻求突触功能器件时，必须考虑其阈值特性、突触权值存储和自适应调节能力。忆阻器作为一种新型的纳米器件，具有记忆功能和阻值连续可调的特性，是模拟生物突触的理想器件。本文采用基于AgInSbTe的压控阈值忆阻器模型。其数学表达式为[25]

3 神经元模型与联想记忆模型

3.1 神经元模型

在生物神经网络中，神经元作为神经信号处理单元，既能对前神经元信号进行整合，还能通过突触加权向后神经元输出神经信号。采用忆阻器为神经突触的神经元模型如图2所示，包含输入、激活和输出函数。

神经元对每个与其相连的前神经元输出加权后再进行求和

其中，uk, Wk分别表示第k个前神经元的输入和突触权值(对应为忆阻器的忆导值)，U(t)表示当前输入信号累加和。如果累积的电压超过神经元阈值Nth，则神经元被激活并产生输出信号。本文采用符号函数为激活函数

一旦神经元被激活，将产生一个恒定幅值的电压信号输出。神经元输出函数可表示为

其中，b是输出系数。

3.2 联想记忆模型

联想记忆分为学习阶段、联想记忆阶段和遗忘阶段。在学习阶段，通过调节突触权值将信息存储在神经网络中。在联想记忆阶段，当输入信号时，网络可以根据学习过程中存储的信息输出。遗忘阶段是将突触权重恢复初始状态的过程，也就是把学习过程中存储的信息在神经网络中擦除。图3为联想记忆模型，包含3个神经元与两个突触。其中Of,Or分别表示食物神经元和铃声神经元的输出电压，且都大于等于0。Wf为食物神经元和唾液神经元之间的突触权值，其大小固定不变，表示食物神经元和唾液神经元之间的强相关性；Wr是铃声神经元与唾液神经元之间的突触权值，其大小随食物神经元和铃声神经元的输出自动调节，表示在不同状态下铃声神经元与唾液神经元的相关性。由式(4)—式(6)可知，该联想记忆模型可表示为

其中，Wr(t)可表示为

本文采用忆阻器的忆导值来表示Wr，故权值变化量ΔWr(t)即式(3)中忆阻值变化量的倒数。

4 联想记忆电路设计

4.1 神经元电路

在生物学上，神经元作为神经系统最基本的结构和功能单位，具有信息整合、兴奋产生和兴奋传导作用。本文构建了一个简单的神经元电路，如图4所示。它由金氧半场效晶体管(Metal Oxide Semiconductor Field Effect Transistor, MOSFET)、电阻与电容组成。与其他神经元电路[7,15,26]相比，该电路使用较少的器件就可以实现神经元功能，便于集成。电路参数如下：Vth(P1)=—0.5 V, Vth(P2)=Vth(P3)=—1 V, VC=2 V, R1=R2=3 kΩ, R3=R4=1 kΩ, C1=10 μF。

当神经元无输入时，神经元处于抑制状态，VNout无输出。若神经元接收到刺激信号，电容C1充电。当其电压超过神经元阈值时，P2截止，P3导通，则神经元被激活产生输出电压VNout。若输入电压消失，则P1导通，使C1放电，神经元恢复初始状态。图5为神经元电路的PSPICE仿真结果。显然，只有电容电压Vab超过阈值电压1 V时，才能产生输出电压VNout。若输入电压时间过短，C1上电压未达到1 V，神经元电路将不被激活，表明该神经元电路能够有效防止电路的瞬时脉冲干扰。

4.2 突触电路

突触作为神经系统连接神经元的重要枢纽，是神经网络中信号处理至关重要的部分。基于对巴甫洛夫实验的生物学行为的研究，并结合忆阻器的特性，本文提出如图6所示的忆阻突触电路。其中包括学习模块(模块1)、单信号选择模块(模块2)、权值调节与输出模块(模块3)和加速学习与自然遗忘模块(模块4)。该电路不仅能实现学习、遗忘和自然遗忘功能，还能实现多次可变速率的学习、遗忘。

4.2.1 学习模块

最终Vlearn通过P14输出至模块3调整学习阶段的突触权值。

4.2.2 单信号选择模块

该模块能对前神经元信号进行甄别，当食物或铃声信号单独输入时，该模块输出电压，实现食物信号或铃声信号单独作用时的遗忘功能。该模块参数如下：Vth(N1)=Vth(N2)=0.3 V, Vth(P10)=—1.5 V, R13=1 kΩ。只有食物信号和铃声信号单独输入，则N1(或N2), P10导通，使得Vsl为高电平，并输出至模块3。对于M1，该电压为反向输入，使得M1忆导值减小，即突触权值减小。故该模块可以实现单个信号输入时的遗忘功能。

4.2.3 权值调节与输出模块

该模块主要功能是将其他模块传输而来的电压信号集合后，对忆阻突触的权值M1进行调节，经过P15, N8和一个电压跟随器(A2与R25组成)传输至下一个神经元电路。模块参数如下：Vth(P15)=—0.3 V, Vth(N8)=0.3 V, R22=40 kΩ, R23=50 kΩ,R25=1 kΩ。忆阻突触权值表示铃声神经元与唾液神经元之间的相关性，通过M1的忆导值来表示，即W=1/M1。当学习行为产生时，模块1向输出学习电压Vlnf。如果Vlnf— Vsf＞VT+(M1)，则M1的忆导值增大，表现出学习过程中突触权值的增大。此时Vboth为高电平，故N8导通，P15截止。因此，Vsf被传输至后神经元。当食物或铃声单独输入时，模块2将电压输出到Vsf，使得Vlnf— Vsf＜VT—(M1)。M1忆导值在电压作用下减小，表现出遗忘过程中突触权值的减小。此阶段在Vboth的作用下，N8截止，P15导通，Vlnf输出至后神经元。当食物信号和铃声信号都不输入时，将产生自然遗忘行为。此时Vlnf为负电压，如果Vlnf—Vsf＜VT—(M1)，M1忆导值将减小，表现出自然遗忘过程中突触权值的减小。此时N8截止，P15导通，负电压Vlnf输出至后神经元。

4.2.4 加速学习和自然遗忘模块

该模块会在学习阶段和自然遗忘阶段激活，相应地产生加速学习电压Val和自然遗忘电压Vnf。模块参数如下：Vth(P12)=Vth(P13)=—6 V, Vth(N5)=2 V, Vth(N6)=0.3 V, Vth(N7)=1 V, R21=2 kΩ,R20=2.5 kΩ，为了实现加速学习与减速自然遗忘的功能，在该模块中加入了忆阻器M2和M3。将两忆阻器分别与两固定电阻串联，故加速学习电压Val和自然遗忘电压Vnf可分别表示为

当学习行为发生时，在Vct的控制下N5截止，P12与P13导通，因此Vtl是Vb作用下的正电压。在该电压作用下M2的忆阻值逐渐减小，故Val增大，该电压通过N6输出至模块1，完成对M1的调节。由于忆阻器具有非易失性，当下次学习行为发生时，忆阻器M2的忆阻值会在上次学习行为结束时忆阻值的基础上进一步减小，故可以获得更大的Val。因此加速学习电压会随着学习次数的增加而增大，从而实现加速学习能力。如图7所示，与M2相似，M3在每次学习阶段忆阻值也会减小，但此时N7不导通，故Vnf不会在该阶段传输至模块3。当学习后进入自然遗忘阶段，在Vct的控制下P12和P13截止，N7与N5导通，因此Vtf是Ve作用下的负电压。又因为每次学习阶段结束后M3的忆阻值进一步减小，故Vnf会随着学习次数的增加而减小，从而实现减速自然遗忘功能。

图8显示了具有3个神经元和两个突触的完整联想记忆电路。由于食物诱导狗分泌唾液的行为是先天性的、无条件的，本文使用一个固定电阻R24来表示食物神经元和唾液神经元之间的强相关性。联想记忆电路中各忆阻器的参数如表1所示。

表1 联想记忆电路中各忆阻器参数

5 仿真结果

对图8的整体电路进行PSPICE仿真分析，为便于讨论，将实验分为3个情景，如图9所示，其中每个情景的前3 s为测试阶段，对应为无输入、食物单独输入、铃声单独输入。

5.1 学习与遗忘

图10(a)显示了情景1的仿真结果，Vfood和Vring分别表示食物神经元和铃声神经元受到外界刺激所形成的输入电压，Vsaliva表示唾液神经元的输出电压。第1阶段是电路测试阶段，唾液神经元只在食物信号输入时被激活，表现出它与食物神经元的强相关性，与铃声神经元的弱相关性。期间突触权值保持不变，系统维持初始状态。第2阶段是学习阶段，即同时输入食物和铃声信号，时间为3 s。该阶段唾液神经元在食物信号诱导下持续输出且突触权值增加，铃声和唾液之间的相关性由弱变强。图10中红线表示突触权值的临界值Wcv=28.5 μS。如果突触权值大于(小于)Wcv，则铃声和唾液之间将产生(丧失)联想记忆。学习阶段完成后，W＞Wcv，唾液神经元与食物神经元形成强相关性。第3阶段为联想记忆阶段，此时只有铃声信号输入，为单信号输入的遗忘过程。唾液神经元保持输出，突触权值逐渐减小，减小至Wcv，该过程持续时间为4 s，表现出系统的联想记忆功能。第4阶段仍只有铃声信号输入，但此时突触权值小于Wcv，故唾液神经元处于抑制状态。突触权值在单信号输入作用下持续降低至初始值，唾液神经元与食物神经元的相关性恢复至初始的弱相关。

5.2 加速学习和减速遗忘

图9中情景2的仿真结果如图10(b)所示，包括1个测试阶段，3个学习阶段，3个遗忘阶段。首先，通过测试阶段确保系统在初始状态。随后，同时输入铃声信号和食物信号，使系统进入学习状态。从图10(b)可以看出，在学习阶段突触权值W持续增加，铃声神经元和唾液神经元的相关性由弱变强。在学习时间相同的情况下，最大突触权值都大于前一次。PSPICE仿真发现经过3次学习，突触最大权值之间的关系为：W1=33.2 μS＜W2=37.5 μS＜W3=41.8 μS。这意味着所提出的电路具有加速学习的功能，因为随着学习次数的增加，其学习速率越来越快。图10(b)中，tm是维持记忆的时间，tf是权值恢复到其初始值的时间。在3次遗忘阶段，tf分别为22.4 s, 24.5 s和27.6 s，表明学习次数越多，遗忘速率降低，则维持记忆的时间越长。

5.3 减速自然遗忘

图9中情景3中的仿真结果如图10(c)所示。通过学习，突触权值增加到大于Wcv，铃声神经元和唾液神经元产生联想记忆。随后铃声信号和食物信号都不输入，系统进入自然遗忘阶段。结合电路结构，每经过一次学习阶段，自然遗忘电压将减小。因此，每一次自然遗忘过程中，突触权值返回至初始值的时间tnf被延长，恢复时间分别为32.8 s,46.1 s和53.4 s。这意味着电路实现了减速自然遗忘的功能。

通过研究该功能，不难联想到艾宾浩斯记忆实验。心理学家赫尔曼·艾宾浩斯系统地研究了各种因素对学习、记忆、遗忘的影响，得出了许多有价值的结论：人们在学习后，如果不及时复习，很快就会忘记所记忆的内容；记忆完成后，刚开始遗忘得快，然后越来越慢。将研究结果用坐标表示如图11(a)，红线表示理想记忆曲线；紫线代表艾宾浩斯遗忘曲线，随时间逐渐减小；蓝线代表科学复习曲线，在多次学习后，遗忘速率会变慢。学习次数与维持联想记忆时间呈正相关，因此科学复习不是浪费时间，而是更有利于记忆[27,28]。通过改变电路的输入电压信号，利用加速学习与减速自然遗忘功能，用突触权值来表示记忆的程度，最终得出的仿真结果如图11(b)。红线为忆导值60 μS，用来表示100%记忆度理想记忆曲线，紫线为自然遗忘曲线，即只学习1次后记忆曲线，与图11(a)中艾宾浩斯遗忘曲线相对应，蓝线为多次学习与遗忘记忆曲线，与图11(a)中的科学复习曲线相对应。将图11(a)、图11(b)两图做比较，可知该电路能够模拟艾宾浩斯记忆实验结果。多次学习过后，遗忘速率越来越慢，进一步说明科学复习是克服遗忘的有效途径。

表2给出了本文电路和现有相关联想记忆电路性能方面的比较。从功能上本文所提出的电路更具有仿生性，不但实现了基本的学习和遗忘功能，还能实现加速学习和减速遗忘，且学习速率和遗忘速率能够多次调整；从实现方式上本文采用MOS管和集成运放，没有使用逻辑门电路和开关器件，更便于电路的集成实现；此外该电路还能模拟艾宾浩斯记忆实验，从而从电路上验证了科学复习的重要性。

表2 已有的联想记忆电路与本文的比较

6 结束语

受著名的巴甫洛夫狗实验的启发，本文采用压控阈值忆阻器为神经突触提出了神经元模型与联想记忆模型。根据模型设计了一个联想记忆电路，并采用PSPICE对该联想记忆电路进行了仿真分析。与类似研究文献[21—24,26,29—31]相比，本电路具有以下突出优势：(1)它不仅实现了学习、联想和遗忘的功能，还具有加速学习和减速自然遗忘的功能，使电路更仿生；(2)电路非常简单，有利于降低功耗；(3)本文大胆地结合艾宾浩斯记忆实验，通过电路实现了相关的生物遗忘特征，进一步丰富了巴甫洛夫联想记忆电路在其他心理学实验中的应用。未来的工作将侧重于根据生物特征进一步优化电路性能和简化电路结构。