基于Mackey-Glass混沌储备池计算的多波形识别

包 秀 荣， 岳 荷 荷， 殷 洪 玺*， 秦 杰

( 1.大连理工大学 信息与通信工程学院, 辽宁 大连 116024； 2.内蒙古师范大学 物理与电子信息学院， 内蒙古 呼和浩特 010022 )

0 引 言

波形识别技术已经在医疗、智能故障检测、数字通信、工业自动控制等领域得到广泛应用[1-5]．因此研究一种实时性好、可靠性高、结构简单的波形识别技术至关重要．现今应用最多的波形识别算法是对波形进行非常好的特征提取，从而实现识别性能．但是由于针对多种不同波形，其算法比较耗时．实现波形识别的技术主要有离散小波变换、自组织映射网络、BP神经网络、支持向量机等[6-11]．这些技术中神经网络结构复杂且训练耗时，数字化处理过程需要模数转换，使功耗增大且速率降低．

本文给出的方法仅需要对波形进行简单的预处理，之后经快速的算法实现实时波形识别．本文使用近年来新兴的一种机器学习系统，即储备池计算系统．储备池计算系统由输入层、储备池和输出层3个部分构成[12]．储备池计算中间层用一个非线性节点附加反馈回路构成储备池结构．该系统也叫非线性时滞系统，随着反馈强度的增加系统工作状态可以从稳定的固定点到倍周期状态，再到混沌状态，能产生丰富的动力特性．储备池计算模拟了大脑处理信息的过程，能产生信号的瞬时神经响应，快速处理信号[13]．根据储备池计算中所用器件特性不同，储备池结构分为电储备池、光电储备池和全光储备池等类型[14-16]．

已有的研究中分别用全光储备池、光电储备池和电储备池实现了两种波形的识别．全光储备池计算中用耦合的半导体光放大器构成网络进行储备池计算，实现了方波和三角波两种波形的识别，识别错误率为2.5%[17]．用马赫增德尔调制器附加光电反馈构成的光电储备池计算实现了方波和正弦波两种波形的识别，其归一化均方误差为1.5×10-3[18]．本文的科研团队用电储备池计算系统成功实现了方波和正弦波两种不同波形的识别，归一化均方根误差最小达到0.22[19]．总之，目前储备池计算系统的识别应用中所识别波形数量少，且其中全光储备池计算和光电储备池计算难于集成．本文利用结构简单的Mackey-Glass电路混沌系统构建储备池计算系统的中间层，仿真研究多个波形的识别应用，并分析系统中主要参数，如反馈线上的虚拟节点个数、反馈强度和输入增益等参数的变化对波形识别效果的影响．

1 模型与原理

下面介绍由单个非线性节点附加反馈回路构成的储备池模型的计算原理．这种方法类似于环形递归神经网络的拓扑结构．如图1所示，输入信号只需输入到非线性节点上，接着读取延迟线上不同时刻的瞬时状态，即虚拟节点状态，瞬时模拟了经典储备池内的处理节点．将不同时刻的瞬时状态加权求和输出，得到识别结果．计算步骤概括如下：

(1)对每个波形进行抽样，使其在一个延迟时间τ内保持恒定，并乘以只有+1和-1值且随机变化的模板，得到输入信号J．输入信号J是M×N矩阵，M为要处理信号的抽样点个数，N为延迟线上虚拟节点的个数．

(2)输入矩阵J串行注入到非线性时滞系统，延迟线上产生瞬时响应状态．输入矩阵J的每一行的响应就是时间长度为τ的延迟向量．

(3)当输入矩阵J的所有元素注入到储备池，在虚拟节点上得到输入信号的瞬时响应，构成状态矩阵S．

(4)每个输入波形得到一个状态矩阵，利用这些状态矩阵训练输出权值完成分类．

图1 Mackey-Glass混沌储备池计算结构Fig.1 Structure of reservoir computing based on the Mackey-Glass chaos

这里输出权值训练采用的岭回归估计算法，是有偏估计回归算法．该算法与最小二乘估计算法相比较，更适合对病态数据的拟合[20]．这里的病态矩阵是指对某些矩阵中某个元素的很小的变动会使计算结果误差很大，而混沌信号具有这种特性，所以本文利用岭回归估计训练混沌储备池计算的输出权值．岭回归估计算法通过损失无偏性，换取较高的数值稳定性，从而获得较高的计算精度．

设多重线性回归模型y=Xα+ε，回归参数α的岭估计定义为[20]

(k)=(X′X+kI)-1X′y

(1)

式中：I为单位矩阵；k为岭参数，且k>0．设X已标准化，X′X为自变量样本的相关阵，则式(1)是标准化的岭回归估计．式中k不是唯一值，所以计算得到的岭回归估计是回归参数α的一个估计族．最后得到的回归参数α就是输出层的连接权值．

由单个非线性节点附加反馈回路构成的储备池数学模型为[21]

(t)=-x(t)+f(x(t-τ),J(t))

(2)

式中：x为非线性节点的状态变量，

x．

为x的一阶导数，τ是归一化延迟时间，f代表非线性函数，J(t) 为预处理后的输入信号．这里选用Mackey-Glass混沌方程作为非线性函数，则其储备池的动力学方程为

x．(t)=-x(t)+η[x(t-τ)+γ·J(t)]1+[x(t-τ)+γ·J(t)]p

(3)

式中：参数η为反馈强度，γ为输入增益，p为非线性指数．指数p用来调节系统非线性程度．该动力系统的分岔图如图2所示．当没有输入信号时，系统工作在倍周期和混沌的临界状态；有输入信号后，系统显示出更复杂的动力特性，特别是在相同的输入信号下，系统应有一致的瞬时响应．当然系统也可以用其他非线性方程作为非线性节点，例如半导体激光器或光电调制器等，同样能完成任务[22]．

如上所述，虚拟节点等间隔地分布在延迟线上，延迟时间τ=Nθ，θ为虚拟节点之间的时间间隔．事实上，输入信号的采样周期即为τ，二进制随机模板的周期也为τ，模板随机值之间的间隔为虚拟节点之间的时间间隔θ．根据经验，θ为0.2时能得到最优计算结果．

图2 无输入信号时Mackey-Glass混沌储备池分岔图

Fig.2 Bifurcation diagram of Mackey-Glass chaotic reservoir under no input

2 波形识别仿真实验及其结果分析

将上述储备池计算动力学系统应用于多种类型的波形识别，检验其识别效果．先建立要处理信号的数据库，由正弦波、方波和三角波3种波形随机构成，共有2 000组数据．串行输入到储备池之前，每个输入波形每周期采样16点，再与预处理模板进行相乘，模板由随机分布的+1、-1值序列构成．储备池内，Mackey-Glass方程的非线性指数p选为8，这样高的非线性有利于分类．输出端采用10折交叉验证方法计算归一化均方根误差(Enrms)：

(4)

其中s(t)为储备池计算系统的实际输出值，y(t)为储备池计算系统的期望输出值[3]．储备池计算系统的波形识别效果越好，Enrms越小．仿真实验中采用1 800组数据进行训练，200组数据用于测试．

研究了反馈环上虚拟节点个数N的变化对波形识别性能的影响，从而确定虚拟节点个数的最佳值．归一化均方根误差和虚拟节点个数之间的关系如图3所示，图中虚线为训练结果，实线为测试结果．由图可看出，虚拟节点个数N=100时，Enrms最小，识别效果最好．虚拟节点个数较少时，储备池状态值过于单一，很难训练得到期望输出值，所以Enrms都很高．相反，虚拟节点个数较多时，能得到很多不同储备池状态值，但有很多重复或接近的各种状态，过度拟合了数据，Enrms没有明显下降，反而有小幅度增加，且处理数据量增大使计算量变大．因此，在接下来的波形识别实验中采用的储备池计算虚拟节点个数为100．

图3 Enrms与虚拟节点个数之间的关系Fig.3 Relationship between the Enrms and the number of virtual nodes

反馈强度η和输入增益γ是储备池模型的两个重要参数，参数η和γ的变化对测试得到的Enrms的影响如图4所示．图中识别效果越好，显示越接近蓝色．由图可看出反馈强度为2.2且输入增益为0.8时，储备池计算系统识别性能最佳，归一化均方根误差Enrms达到0.11．不同参数下的训练得到的归一化均方根误差也同时算出，最佳参数与之相同．反馈强度η<1时，储备池工作在稳定的固定点上，当η慢慢增大时，储备池输出状态由周期态演变为混沌状态．反馈强度为2.2时，储备池状态处在倍周期状态和混沌状态之间的临界状态，是储备池计算系统的最佳状态[23-24]．同样由图可看出，输入增益γ从0.1增加到0.7时，识别效果一直不好，但有改善的趋势．γ为0.8时，识别效果最好．γ>0.9时识别效果又有下降趋势．储备池计算系统的波形识别结果如图5所示．

图4 Enrms与参数η和γ之间的三维色图关系Fig.4 Color graph of three dimensions for the Enrms with parameters η and γ

图5(a)是随机输入的3种不同波形；图5(b)是储备池计算系统识别的输出信号，图中虚线为滤波输出信号，实线为采样判决后的最终输出信号．由图可看出，3种波形得到正确识别．判决输出信号为+1时，输入为正弦波；判决输出为0时，输入为方波；判决输出为-1时，输入为三角波．

接着对更多的波，即对3种不同频率f、2f、5f的方波、正弦波和三角波共9个不同的波进行了识别仿真实验．同样建立了随机构成的波形数据库，共2 000组数据．由于识别波种类较多，每个波每个周期内采样25个点，储备池内设置400个虚拟节点，并设置了9个输出端．其余参数不变的情况下，测试得到的Enrms达到0.22，识别结果如图6所示．

图6(a)为期望的输出信号，图6(b)为实际滤波输出信号，图中纵轴分为9行，每一行表示一种识别波形，红色条表示输出信号接近+1，即得到识别波形种类．随机选取了部分结果展示，可以看到识别效果较好．

(a) 随机输入的3种不同波形

(b) 识别的输出信号

图5 3种不同波形的识别结果Fig.5 Recognition results for three kinds of different waveforms

(a) 期望的输出信号

(b) 实际滤波输出信号

图6 对频率分别为f、2f、5f的方波、正弦波和三角波共9个波识别的结果

Fig.6 Recognition results for square waves, sine waves and triangle waves with three different frequencies off, 2fand 5frespectively

3 结 语

采用单个非线性节点附加反馈环结构的储备池计算，相较于传统的储备池计算，具有系统结构简单、训练速度快等优点[25-26]，与现有的光电储备池和全光储备池比较，则有硬件上容易实现、易于集成、性价比高等优点．本文采用电路混沌储备池实现了多种不同波形的识别任务，通过仿真计算储备池输出端的归一化均方根误差确定了系统的虚拟节点个数、输入增益、反馈强度等参数最佳值，通过仿真实验得到了3种不同波形和对应3种不同频率的共9个不同波的识别结果，计算得到的归一化均方根误差分别为0.11和0.22，达到了较好的识别效果．

[1] FRANK J, MANNOR S, PINEAU J,etal. Time series analysis using geometric template matching[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2013,35(3):740-754.

[2]LI Hongqiang, FENG Xiuli, CAO Lu,etal. Heartbeat classification using different classifiers with non-linear feature extraction [J].TransactionsoftheInstituteofMeasurementandControl, 2016,38(9):1033-1040.

[3]QIN Jie, ZHAO Qingchun, XU Dongjiao,etal. Optical packet header identification utilizing an all-optical feedback chaotic reservoir computing [J].ModernPhysicsLettersB, 2016,30(16):1650199.

[4]JAFFE M B. Using the features of the time and volumetric capnogram for classification and prediction [J].JournalofClinicalMonitoringandComputing, 2017,31(1):19-41.

[5]CHAUDHARY A, BASU S, KUMAR R,etal. Shape classification of AltiKa 40-Hz waveforms using linear discriminant analysis and Bayes decision rule in the Gujarat coastal region [J].MarineGeodesy, 2015,38(s1):62-72.

[6]ZHAO Bendong, CHEN Shangfeng, LIU Junliang,etal. Classification of waveforms using unsupervised feature learning and artificial neural network [C] //Proceedingsof2015IEEEAdvancedInformationTechnology,ElectronicandAutomationControlConference,IAEAC2015. Piscataway: IEEE, 2015:192-196.

[7]PEREIRA T, PAIVA J S, CORREIA C,etal. An automatic method for arterial pulse waveform recognition using KNN and SVM classifiers [J].Medical&BiologicalEngineering&Computing, 2016,54(7):1049-1059.

[8]CHAOU A K, MEKHALDI A, MOULA B,etal. Classification of leakage current waveforms using wavelet packet transform on high voltage insulator [C] //ICHVE2014—2014InternationalConferenceonHighVoltageEngineeringandApplication. Piscataway: IEEE, 2014:7035489.

[10]LI Shuo, YANG Lin, YANG Yimin,etal. A model of recognition for human pulse wave types by the BP neural network [J].WITTransactionsonBiomedicineandHealth, 2014,18:375-380.

[11]MASET E, CARNIEL R, CROSILLA F. Unsupervised classification of raw full-waveform airborne lidar data by self organizing maps [J].LectureNotesinComputerScience, 2015,9279:62-72.

[12]PAQUOT Y, DAMBRE J, SCHRAUWEN B,etal. Reservoir computing:A photonic neural network for information processing [J].ProceedingsofSPIE—TheInternationalSocietyforOpticalEngineering, 2010,7728:77280B.

[14]NGUIMDO R M, DANCKAERT J, VERSCHAFFELT G,etal. Delay-based reservoir computing using semiconductor ring lasers [J].ProceedingsofSPIE—TheInternationalSocietyforOpticalEngineering, 2014,9136:91361S.

[15]LARGER L, SORIANO M C, BRUNNER D,etal. Photonic information processing beyond Turing:an optoelectronic implementation of reservoir computing [J].OpticsExpress, 2012,20(3):3241-3249.

[16]APPELTANT L, SORIANO M C, VAN DER SANDE G,etal. Information processing using a single dynamical node as complex system [J].NatureCommunications, 2011,2:468.

[17]VANDOORNE K, DIERCKX W, SCHRAUWEN B A,etal. Toward optical signal processing using photonic reservoir computing [J].OpticsExpress, 2008,16(15):11182-11192.

[18]PAQUOT Y, DUPORT F, SMERIERI A,etal. Optoelectronic reservoir computing [J].ScientificReports, 2012,2:287.

[19]岳荷荷. 基于混沌的保密通信和波形识别的应用研究[D]. 大连:大连理工大学, 2015.

YUE Hehe. Investigation of secure communication and waveform recognition based on chaos [D]. Dalian: Dalian University of Technology, 2015. (in Chinese)

[20]HOERL A E, KENNARD R W. Ridge regression:Biased estimation for nonorthogonal problems [J].Technometrics, 2000,42(1):80-86.

[21]SORIANO M C, BRUNNER D, ESCALONA-MORN M,etal. Minimal approach to neuro-inspired information processing [J].FrontiersinComputationalNeuroscience, 2015,9:68.

[22]DAMBRE J, VERSTRAETEN D, SCHRAUWEN B,etal. Information processing capacity of dynamical systems [J].ScientificReports, 2012,2:514.

[23]BUESING L, SCHRAUWEN B, LEGENSTEIN R. Connectivity, dynamics, and memory in reservoir computing with binary and analog neurons [J].NeuralComputation, 2010,22(5):1272-1311.

[24]MANEVITZ L, HAZAN H. Stability and topology in reservoir computing [J].LectureNotesinComputerScience, 2010,6438:245-256.