分布式强化学习算法在异常财务数据分析中的应用

2021-07-11董亚晓杨寒冰樊浩

电子设计工程 2021年13期

董亚晓，杨寒冰，樊浩

（西安航空职业技术学院，陕西西安 710089）

企业的财务状况时刻发生着变化，面临着内部与外部的多重因素影响。如何迅速、精确地智能化分析企业的财务数据，并准确判断企业的运营情况，对于资本市场具有重要的实用价值[1-5]。

当前，随着人工智能技术的发展，借助计算机技术构建智能化的财务数据分析模型，实现异常财务数据的识别与告警是“金融+计算机”融合趋势的重要表现之一，但现有的分析算法存在效率低、准确率差的缺点。为了克服这些缺点，文中对分布式强化学习算法进行了研究。通过建立合理的财务数据分析指标体系，实现了对异常财务数据的识别[6-12]。

1 理论基础与系统设计

1.1 分布式强化学习

强化学习的灵感来源于人类对动物学习行为的观察，强化学习是一个典型的人工智能系统。该系统通过感知环境的变化，采取试探性动作。同时系统感知这一动作的反馈结果，以评判状态的适应度。系统不断重复这一反馈的过程，从而得到该环境下的最优反应行为。传统强化学习方法的学习载体通常只有一个，近年来，随着计算机运算能力的增强，多个学习单元的分布式强化学习系统成为了研究的热点之一。分布式强化学习系统包含：中央强化学习、独立强化学习、群体强化学习等多个类别，文中使用了中央强化学习系统[13-16]。

图1 给出了中央强化学习的体系结构图。对于中央强化学习方法，可以用数学形式表述为：

图1 中央强化学习体系结构图

其中，W代表RLC系统环境变量的集合，L是学习单元的集合，E是执行单元的集合。W、E各自的定义形式如下：

在环境变量集合W的定义中，S是这一环境下所有可能出现的不同状态；Δ由若干个转移向量组成，代表S中不同状态的转移概率；T是状态环境的转移映射集合，根据W中变量的定义，可以得到式（3）所示的关系：

W中包含了环境强化模块R。该模块通过<环境，动作>这样的指令对，映射成如下所示的实数型激励：

在RLC系统中，L是系统的学习单元，其定义如式（6）所示。

其中，X={x1,x2,…,xn}是学习单元输入的集合，I是从环境状态S到学习单元的映射，P是L的学习测率，根据这些定义可以得到式（7）：

对于RLC系统，其学习模块并不具有主动学习的能力，因此可以被动执行所得到的任务，通过相关的学习算法对策略模块的参数进行优化。

1.2 瞬时差分算法

对于强化系统而言，某一次对于系统的激励是存在延迟的，所以系统的某一次响应可能是由于很早之前的某次动作引起。为了解决这种延迟问题，文中引入了瞬时差分（Temporal Difference，TD）算法，该算法可以在学习中同步之前状态的经验。对于具体的TD 算法而言，首先定义了m+1 个不同时刻的状态si，观测数据以及每个状态的预测值Vi：

在TD 算法的学习过程中，对于t时刻，无需等到获得最终预测值y后再进行状态修正，而在t+1 时刻即可进行更新，即：

在实现TD 算法时，需要引入神经网络结构对V(st)进行记录。此时，TD 算法中的学习过程可以使用规则，如式（10）所示。

的修正需要依据“预测值-实际值”误差的反向传播，首先定义误差函数，如式（11）所示。

2 方法实现

2.1 指标体系建立

对企业的财务进行实时分析，及时发现异常财务数据并发出预警，是资本市场的需求之一。因此，在构建财务指标体系时需要遵循真实性、系统性、科学性与可行性等多个原则。所以，指标的选择需要综合反应公司的偿债、营运、盈利、成长等多个方面。此外，企业的运行数据并非仅包含财务指标，非财务指标也可以反映公司的财务状况。因此，在建立指标体系时也能够适当引入。综合以上讨论，文中建立了图2 所示的财务指标体系。

从图2 中可以看出，指标体系包含财务类与非财务类指标。财务类指标除了可以反映企业的偿债、营运、盈利、发展等能力之外，还能反映出企业的现金流量，此外，财务指标还引入了上市企业的每股指标。非财务类指标主要体现了企业的治理结构、股权结构以及财务的审计意见，可以从侧面反映公司的财务状况。

图2 财务分析指标体系

数据测试与分析过程中，在算法的数据采集上，文中筛选了300 家公司2016～2019 年的真实财务数据。在这些数据中，2019 年包含ST 公司150 家，非ST公司150家，ST与非ST的比例为1∶1。对于每个企业，这份数据包含了其T、T-1、T-2、T-3 年的数据。

如表1 所示，由于每家公司因财务数据异常成为ST 公司的年份不同，因此在该份数据集中，每个公司的数据属性也不相同。若某公司2019 年才成为ST 公司，则文中将有足够的数据分析其T、T-1、T-2、T-3 的变化状态。根据表1 可知，有20 家公司可以分析3 年的数据变化。

表1 仿真数据结构

2.2 财务数据分析与预警仿真

在进行数据分析时，文中分别使用T-1、T-2、T-3的数据在上文所设计的算法模型上进行仿真。为了更优地评估时间、财务数据等多个维度变化对于算法性能的影响，文中设计了多组实验，每组实验使用不同年份的财务数据。实验的设计如表2～4所示。

表2 实验一

表3 实验二

表4 实验三

文中进行仿真实验的软硬件环境如表5 所示。

表5 算法仿真环境

基于图2 所示的指标体系，构建基于TD 算法的RLC 系统。在进行算法的仿真前，需要先确定RLC系统中执行模块的数量。文中在实验1 的模式下通过遍历的方式，计算出不同执行模块数量下的算法正确率及运行时间，分别如图3（a）与图3（b）所示。

从图3（a）可以看出，当模块数量小于8 时，算法的正确率增长迅速，从45%左右增长到了近80%；当执行模块数量大于8 时，算法的正确率增长缓慢，维持在80%左右。从图3（b）可以看出，当执行模块小于7 时，算法的运行时间增长缓慢，维持在大约1.8×105s；当执行模块数大于7 时，运算时间增长迅速，综合考虑图3（a）和图3（b），文中最终确定使用的执行模块数量为8 个。

图3 执行模块数量对于算法正确率和运算时间的影响

表6 给出了在分布式强化学习下的不同实验结果。为了对比，文中还引入了BP 神经网络，如表7 所示。从计算结果可以看出，对于异常财务数据的分析，分布式加强学习算法对ST 公司的识别正确率在各个实验场景下均优于BP 神经网络。其中，实验三的计算精度提升了4.6%。从算法本身来看，实验三的正确率优于实验二，实验二的正确率优于实验一。这一结果说明，通过多个不同年度的财务数据累计，可以更优地分析出企业的财务状态。