具有不连续激励函数的神经网络有限时间同步方案设计

种倩倩 王定国 刘影影

摘要：本文介绍神经网络在信息工程领域中的应用，尤其是具有不连续激励函数神经网络的研究背景和应用，不同于传统神经网络有限时间同步方案，设计了该类神经网络有限时间同步方案，为相关领域科技工作者提供了参考。

关键词：神经网络；不连续激励函数；有限时间；同步

中图分类号：TP13 文献标识码：A 文章编号：1009-3044（2019）05-0165-02

Design of Finite Time Synchronization Scheme for Neural Networks with Discontinuous Activations

CHONG Qian-qian， WANG Ding-guo， LIU Ying-ying

（School of Mathematics and Big Data， Anhui University of Science and Technology， Huainan 232001，China）

Abstract： This paper introduces the application of neural network in the field of information engineering， especially the research background and application of neural network with discontinuous activation functions. Different from the finite-time synchronization scheme of traditional neural networks， the finite-time synchronization scheme is designed for the considered neural networks， which provides a reference for scientific and technological workers in the related fields.

Key words： Neural networks； Discontinuous activations； Finite time； Synchronization

1 應用背景简介

众所周知，神经网络是以大脑的生理研究成果为基础，通过对人脑和生物系统若干基本特征的抽象和模拟，由人工建立的以有向图为拓扑结构的大规模神经动力系统；通过对连续或离散的输入作状态响应，进而实现信息处理功能，主要用于模拟大脑的一些原理与机制，实现某特定个方面的功能，同时根据人脑微小构造及其智能行为，结合模拟人脑的工作特点和方式所产生的信息处理技术，是人工智能研究领域的一项迫切且重要的研究课题。为了实际需要，诸多类型的神经网络模型如，Hopfield 神经网络，BAM 神经网络，Cohen-Grossberg神经网络，竞争神经网络模型等被广泛提出并应用于被广泛应用于联想记忆、优化计算、鲁棒控制、模式识别等领域，因此关于其动力学行为的研究成为神经网络应用的前提条件[1]。神经网络最为突出的特性是其具有大规模的处理单元及其相互之间的结构，其单元结构虽然简单，但由于它的非线性特征，其集群行为可能非常复杂，并具有强大的并行和分布计算能力。

从动力学的观点来看，神经网络是一个具有高纬度的非线性动力系统，其中，它的前向网的学习工程和反馈网的联想记忆工程可由它的两个动力学子系统来运行并实现。神经网络的记忆具有动态特征，在其信息重现的过程中，为了处理新信息的接收，就需要修正其连接强度，进而产生新的稳定模式，联想功能体现为在网络演化中所产生的连续记忆。通过动态地调整网络单元连接的权值进而实现学习功能，当权值达到所需的特定要求后，就会转入网络的状态动力学过程。在神经网络的实现过程中，信息之间传递中普遍存在滞后现象，为了更好地模拟实际情况，人们进一步提出了时滞神经网络，如混合时滞神经网络模型，

其中 [xi]表示神经元的状态变量，[di>0]第[i]个神经元的自我抑制，[aij]表示第[j]个神经元对第[i]个神经元的连接长度，[bij]和[cij]分别表示时变时滞反馈与分布时滞反馈，[τj（t）]是时变时滞，[pij（s）]是分布时滞的随机核函数，[gi]表示激励函数。记[D=diag（d1，...，dn）， A=（aij）， B=（bij）， C=（cij）， I=（I1，...，In）]，其网络动力学见方框图1。

2 不连续神经网络及同步方案

神经网络在具体的工程应用中，神经元间的信号传递或神经元的信息输出通常表现出不连续的特点，实际上，神经元可以依据其自身的活跃水平，对其他神经元具有激励、抑制两种状态，或激励、抑制和无影响三种状态的影响，但是在诸多神经网络中往往具有不连续的切换状态，因而，在现实世界中，客观存在着大量的具有不连续信号传输的神经网络。从数学表达上看，模型中的激励函数可能会表现出分段线性函数，所有其光滑性缺失，致使现有的动力系统方法及理论不能够直接应用于不连续神经网络的动力学研究，鉴于时滞影响的神经网络的结构复杂性等，均给研究带来了诸多困难。近些年来，基于Filippov微分包含理论，对具有不连续激励函数的神经网络动力学行为结构及特征的讨论已经引起大批学者注意，并取得了大量深入的研究成果。近几十年，对于神经网络动力学定性和稳定性的研究得到了广泛关注[2]。但是，混沌控制这一概念自20世纪80 年代出现在控制系统的研究以来，其理论和现实世界中的实用性研究引起广泛关注，比如保密通信和自动控制领域等。在1990年，混沌耦合系统的同步被提出，使得在混沌同步系统的控制研究方面，出现反馈控制，自适应控制，牵制控制等多种控制方法。同时，在含有混沌同步的保密通信中，混沌同步在保密方面提供了异常重要的理论基础。保密通信的方式种类繁多，而其原理大多又是相似的，即通过某种方式在发送端对传送的信号进行加密，在接收端需要掌握适合的密钥，才能将收到的信号进行解密，否则即使他人截取了信息，也不是那么容易破译的[3]。由于混沌同步的处理速度与密钥长度没有直接关系，所以其不仅效率高而且保密性也很强，因此，混沌同步在加密方式中的异常复杂。除此之外，众多学者广泛研究了时滞神经网络的内部结构以及医学检测和周期性等，而神经网络的功能与应用还在不断地进行扩大，网络的稳定性成为系统应用的前提条件，值得注意的是，有限时间稳定不同于通常意义下的稳定性概念。相比于经典的Lyapunov稳定性，有限时间稳定性有限时间下系统的状态，要求系统状态在固定的有限时间间隔内不超过一定的界限。而Lyapunov稳定指的是系统无穷时间下系统的状态。值得提出的是，有限时间稳定的系统与Lyapunov稳定系统，不是同一概念，两者之间没有包含关系。而在许多实际应用中，工程技术人员更加关注于有限时间稳定的情形。而同步动力学的研究也即是误差系统的稳定性研究，纵观不连续神经网络同步问题的研究结果，大多数研究结果都是基于无穷时间的渐近过程，如指数同步，渐近同步等[4，5]，这些类型的同步是在时间趋于无穷大时，驱动-反应神经网络模型才会产生同步。但是，在实际的物理或工程技术领域中，更需要不连续时滞网络在有限的时间内达到同步状态。一方面在现有文献中鲜有对有限时间同步的研究。另一方面，有限时间同步在工业或者实际生活的应用中显得格外重要。因此，对于如何有效地设计控制器，实现对具有不连续激励函数神经网络的有限时间同步成为亟待解决的问题。

纵观现有神经网络模型的同步动力学研究文献，诸多结果都是基于经典的稳定性理论和不等式技巧，在这些结果的影响下，对于处理神经网络激励函数的不连续性方面，主要还是采取微分包含理论和Filippov正则化技术，在Filippov解意义和驱动-反应同步框架下，通过设计有效的控制器（甚至是不连续的），构造合适的Lyapunov泛函，借助广义导数概念和数学分析不等式技巧，利用已有非光滑版本有限时间稳定性理论，便可实现不连续误差系统的有限时间稳定性，进而实现驱动-反应系统的有限时间同步性。

3 结论

本文简要介绍神经动力网络的研究背景和现状，对激励函数在不满足连续性的条件下，借助微分包含理论和非光滑版本的有限时间稳定性理论，给出了具有激励函数神经网络有限时间同步的控制方案，为相关领域科技工作者提供了理论参考。

参考文献：

[1]蒲浩，王来全，刘衍民，等.具有变时滞的高阶BAM神经网络在有限时间内的控制同步[J].中北大学学报（自然科学版），2017（38）：563-581.

[2]王占山，张化光，王智良，一类混沌神经网络的全局同步[J].物理学报，2006（55）：2687-2693.

[3] 赵耿，郑德玲，方锦清，混沌保密通信的最新进展[J].自然杂志，2001（23）：97-106.

[4] 邱东强，涂亚庆，神经网络控制的现状与展望[J].自动化与仪器仪表，2001（5）：1-7.

[5] 焦李成，杨淑媛，刘芳，等.神经网络七十年：回顾与展望[J]，计算机学报，2016（39）：1697-1716.

【通联编辑：唐一东】