基于Attention-LSTM深度学习方法的量化投资研究

摘要： 近年来随着人工智能的不断发展，相关深度学习技术也在量化投资中得以运用。LSTM（long short term memory network）属于深度学习模型之一，该模型在预测时间序列数据方面性能较优，在此基础之上本文引入Attention机制以提高其捕捉关键信息的能力，从而提升模型预测性能。本文采用Attention-LSTM方法构建模型对上证50指数最高价涨跌趋势进行预测，结果显示所构建量化投资方法预测能力较优，其正确率能达到63.42%，这表明深度學习模型的泛化能力较强以及预测准确性较高，为拓宽深度学习应用场景，深入应用于量化投资领域提供了实践经验。

关键词：LSTM;Attention;深度学习;量化投资

深度学习模型是人工智能的重要实现手段，近年来受益于深度学习研究的不断深入，人工智能实现了迅速发展，在图像识别、语音识别等领域得以广泛应用。人工智能概念的兴起也促使金融学者将目光转向深度学习模型中，开始探究其在量化投资领域的应用。相关研究表明深度学习模型可以用于股价预测之中，识别出投资机会，从而在降低风险的同时获得超额收益。深度学习在量化投资方面取得的优秀表现，使得越来越多关于这方面的研究不断涌现。

为了紧跟研究方向，本文选取了具有代表性的LSTM深度学习模型在量化投资方面进行研究。LSTM是深度学习模型的一种，由于其较强的自学习能力，能够充分挖掘金融数据中的有效信息，在预测时间序列数据方面具有很大优势，因此在量化投资领域中得以脱颖而出。本文将LSTM深度学习模型应用于上证50指数的预测之中，实证结果验证了LSTM模型泛化能力较强，预测准确性较高，为将深度学习技术拓宽应用场景，广泛应用于各种时间序列预测提供了实践经验。此外，本文在LSTM模型基础之上引入Attention 机制，进一步捕捉重要时间点的局部特征，提高正确率。

本文通过实证研究得出LSTM深度学习模型拥有预测精度和稳定性两方面的优势，未来在金融预测等方向应用前景广阔。同时借助于大数据与Attention 机制的优势，可以将深度学习方法应用于量化投资领域，依靠计算机识别投资机会，提升预测准确性与投资效率，吸引国内外投资者，推动我国金融市场不断完善与发展。

一、深度学习在量化投资领域的文献综述

近年来，随着人工智能的发展，深度学习模型开始脱颖而出，其中CNN、RNN、LSTM等深度学习模型应用较为广泛。由于金融数据具有非平稳的特性，传统的模型对其非线性部分的处理具有一定局限性，而深度学习擅于挖掘金融噪声中的有效信息，正好补充了传统模型的应用缺陷，能在一定程度上降低投资风险并提高收益。例如，Xiong等（2015）基于LSTM模型预测S&P 500波动率，发现LSTM能准确预测信噪比较高的金融时间序列。Di Persio和Honchar（2016）对比了MLP、LSTM、CNN这三种模型在S&P500指数预测结果，研究表明CNN模型预测误差最小。

在国内研究方面，崔建福和李兴绪（2004）对比了GARCH和深度学习模型模型在股价预测性能，研究表明两者都不能用随机游走模型来预测股票价格，经过多次实验得出BP深度学习模型模型优于GARCH（1，1）模型。张坤等（2009）提出一种混合模型改进模型预测效果，该模型将灰度预测深度学习模型和小波深度学习模型相结合，改进后的预测结果表明混合模型的预测效果好于采用单一方法的预测模型。肖著和潘中亮（2012） 基于LM算法的改进算法建立了改进的三层BP深度学习模型，解决了容易出现局部最优的问题，使模型具有更好的准确性和稳定性。

在深度学习领域中，LSTM由于其自学习能力，可以深入挖掘大量数据中的有效信息，提升预测精度。它创新地引入了门机制，解决了RNN梯度消失和梯度爆炸问题，使其具有记忆能力，因此更适合预测金融时间序列。周凌寒（2018）从股市相关文本数据中提取出情感因子，并作为输入特征应用于LSTM模型，提升了模型预测效果。Shun Chen和Lei Ge （2019）、陈佳等（2019）这些学者均提出了改进后的 LSTM模型，有效提升了模型的运算速度与预测精度。李佳（2019）等比较了LSTM深度学习模型与其他模型在上证指数以及沪深300指数上的预测结果，得出的结论表明LSTM预测效果较优，在股价预测问题上具有较为广阔的发展前景。

总之，国外已有大量文献将深度学习应用于股市预测中，包括融合各类模型的混合算法，挖掘不同的预测指标，以及预测前对数据进行预处理的算法。但是，LSTM作为一种新型的深度学习模型模型，以前主要应用于图像识别、语音识别等领域，在国内金融市场预测应用还不多，实证效果还有待于进一步的检验和验证，这也是本文主要研究目的。

二、基于Attention-LSTM模型的实证分析

3.1数据来源

运用python中第三方库tushare选取上证50来预测未来最高价。选取最高价是因为稳定性比收盘价更好，波动性小，如图1所示。选取时间段为从设立之日起至2020年5月22日的日行情数据。同时应用talib库计算技术指标，包括sma、wma、momentum、slowk、slowd、rsi、macd、william、oscillator、cci，从而尽可能获取更多的特征，用这10个技术指标对股指进行预测。最终数据特征数为10个。

3.2数据预处理

在缺失值处理中，计算技术指标过程中产生了缺失值NaN，因为数据集足够大、缺少的特征值集中于前10日，这里选择删除整行来处理。本文是对上证50的涨跌趋势进行预测，需要事先进行离散化处理，若当日指标相对于前一日上涨则记为1，下跌记为0。

3.3研究方法与过程

LSTM深度学习模型具有很强的自学习能力，可以更好地发现长期依赖关系，对于股价这类非平稳、信噪比高的金融数据来说具有很高的应用价值。它创新地引入了门机制，包括输入门、输出门和遗忘门。其中，输入门和输出门用来接收和输出参数，遗忘门决定了上一单元状态的保存情况，此外还设置了一个记忆存储机制Cell，用来记录神经元状态。使用门来控制记忆的方式有效解决了RNN梯度消失和梯度爆炸问题，使其具有记忆能力，因此更适合预测金融时间序列。

在训练方法与优化器选择上，本文采用Minibatch方法训练LSTM网络，batch_size设置为128。本文目标是预测股指未来最高价涨跌，即为二分类，因此选categorical_crossentropy作为损失函数。优化器方面，这里采用Adam优化器进行优化训练并基于Keras框架进行LSTM深度学习预测。在预测时间窗口选择上，本文采用历史40个交易日的数据信息对第二天指数最高价涨跌进行预测。在输入值选取上，本文采用10个技术指标的离散型数据作为输入，最终输出得到次日最高价涨跌情况。本文将数据集分为训练集和测试集，其中前80%作为训练集，后20%作为预测集。设置validation_split=0.2，将训练集的后20%作为验证集，检验模型的泛化能力。LSTM输入格式需要为三维，用前四十天数据预测第二天，输入格式应该转换为（-1，40，10）。训练集、预测集的形式分别为X_train （3158， 40， 10），y_train （3158，2），X_test （749， 40， 10），y_test （749，2）。

此外，本文还引入了Attention机制，该机制又称为注意力机制，能让模型把注意力集中在重要信息上，而并抑制其它无用信息，能够作用于任何序列模型中，在序列学习任务上具有巨大的提升作用。谷丽琼和吴运杰（2020）曾在GRU模型中引入Attention机制，在MAPE，RMSE，R2 score三个评价指标中均取得了提升，表明注意力机制可以有效优化预测模型，捕捉重要信息特征。

三、结语

本文通過构建Attention-LSTM模型训练20次后得到的训练集loss为0.5785，acc为0.7169，验证集loss为0.6595，acc为0.6282，最终得到的上证50指数最高价预测正确率为63.42%，验证了LSTM模型在预测上的有效性。在未来的研究中，我们可以进一步将CNN、GRU、ConvLSTM模型等进行对比，比较分析各种深度学习模型的优劣。此外，除了对离散型数据进行预测外，还可以用连续型数据进行研究预测。

综上所述，本文利用Attention-LSTM模型在量化投资方面进行研究，对上证指数的预测验证了LSTM深度学习模型泛化能力较强，预测准确性较高，为将深度学习技术拓宽应用场景，广泛应用于各种时间序列预测提供了实践经验。进一步来说，未来借助于大数据的优势，可以将深度学习方法应用于量化投资领域，依靠计算机识别投资机会，提升预测准确性与投资效率，吸引国内外投资者，推动我国金融市场不断完善与发展。

参考文献：

[1] Sun L， Najand M， Shen J.Stock return predictability and investor sentiment： A high-frequency perspective[J].Journal of Banking & Finance， 2016，73：147-164.

[2] Ballings M， Van den Poel D， Hespeels N， et al.Evaluating multiple classifiers for stock price direction prediction [J].Expert Systems with Applications， 2015，42（20）：7046-7056.

[3] A. Jayanth Balaji， D.S. Harish Ram， Binoy B. Nair. Applicability of Deep Learning Models for Stock Price Forecasting An Empirical Study on BANKEX Data[J]. Procedia Computer Science， 2018， 143.

[4] 周凌寒.  基于 LSTM 和投资者情绪的股票行情预测研究[D].华中师范大学，2018.

[5] 宋刚，  张云峰，  包芳勋，  秦超.  基于粒子群优化 LSTM 的股票预测模型[J].  北京航空航天大学学报， 2019， 45（12）： 2533-2542.

[6] 潘水洋，  刘俊玮，  王一鸣.  基于深度学习模型的股票收益率预测研究[J].  浙江大学学报（理学版）， 2019， 46（05）： 550-555.

[7] 陈佳，  刘冬雪，  武大硕.  基于特征选取与 LSTM 模型的股指预测方法研究[J].  计算机工程与应用， 2019， 55（06）： 108-112.

[8] 李佳，黄之豪，陈冬兰.  基于 LSTM 等深度学习方法的股指预测研究[J/OL].  软件导

刊：1-5.http：//kns.cnki.net/kcms/detail/42.1671.TP.20190624.1359.040.html.

[9] 谷丽琼，吴运杰，逄金辉.基于Attention机制的GRU股票预测模型[J/OL].系统工程：1-11[2020-08-05].http：//kns.cnki.net/kcms/detail/43.1115.N.20200805.1323.004.html.

[10] 乔若羽.  基于深度学习模型的股票预测模型[J].  运筹与管理， 2019， 28（10）： 132-140.

[11] 彭燕，  刘宇红，  张荣芬.  基于 LSTM 的股票价格预测建模与分析[J].  计算机工程与应用，  2019， 55（11）： 209-212.

[12] 杨青，  王晨蔚.  基于深度学习 LSTM 深度学习模型的全球股票指数预测研究[J].  统计研究，  2019， 36（03）： 65-77.

作者简介：唐成（1996-），男，汉族，江苏高邮人。主要研究方向：金融工程。