人工智能在证券投资交易领域的应用研究

常韬

摘 要 进入21世纪以来，人工智能在工业、金融、生物医药、科技研究等领域的应用越来越广泛和深入，特别在证券投资交易中获得了重大进步。目前证券分析师和交易员都难以预测证券的行情趋势，而且容易受到情绪影响，越来越多的公司开始使用人工智能来帮助投资决策。本文基于人工智能技术在国内外证券投资领域的应用状况，分析了人工智能在预测证券价格变化方面的理论基础和技术优势，提出了使用强化学习和智能体来预测证券市场的价格趋势，得出了强化学习在预测证券价格方面优于传统方法的结论;同时讨论了人工智能交易系统的风险和应对策略;最后对人工智能交易系统的研究给出了建议。

关键词 人工智能 强化学习 神经网络 自动交易 证券投资

中图分类号：TP18;F830 文献标识码：A 文章编号：1007-0745（2021）09-0037-03

1 前言

近年来计算机和互联网技术快速发展，深刻地影响和改变了人类社会生产和生活的各个方面。人工智能是计算机领域的技术至高点，很早以前人类就梦想着有一天可以制造出能模拟甚至超过人类大脑的机器，来帮助人类解决遇到的难题，无数科学家和工程师为了这个目标而不懈努力，随着机器学习和人工神经网络技术的快速发展，这个目标已经初步实现，特别在证券投资领域已经开始了越来越广泛的应用。人工智能是基于现代计算机系统硬件和软件模拟人的认知和推理机制，利用数学理论和方法获取外界信息，对信息进行自主处理和决策并输出问题答案的技术。人工智能综合了计算机科学、应用数学、哲学和生物学，是人类工业文明和科技工程文明发展过程中为解决复杂问题而发展出来的技术结晶。证券市场具有影响因素多、数据变化迅速、信息不完全等特点，传统的技术指标和数据分析难以预测价格变化。而人工智能技术中的深度学习和强化学习能够对复杂无规律数据进行自动学习和自适应优化。早在上世纪80年代美林证券就开始研究量化交易，2014年创立的人工智能分析处理引擎Kensho开始逐步取代金融分析师，标志着人工智能具备分析预测证券市场的能力。

2 人工智能交易系统的优点与强化学习的运用

人工智能交易系统的主要功能是利用深度学习和强化学习等计算机技术对大量的历史交易数据进行训练建模，通过特定算法发现隐藏的知识和规律，得到一个能在一定程度上预测未来交易行情的模型。人工智能技术主要包括神经网络、遗传算法、模糊算法等。人工智能交易系统能够自动对资金在各个股票上进行分配，控制风险和收益，由于投资证券的目标中既要获取最大收益又要尽量减少风险，而收益与风险是一个相互矛盾的关系，为了在能承受的风险下获取最大收益，可以使用夏普公式来描述：

其中Rp表示投资组合的预期年化收益率，Rf表示年化无风险利率，σp表示投资组合年化收益率的标准差。夏普比率没有区分波动的好坏，索提诺比率在夏普比率的基础上做了改进，在计算波动率时采用下行的标准差，因为上涨的波动不是风险。索提诺比率公式如下：

其中Rp表示投资组合的预期年化收益率，Rf表示年化无风险利率，σt表示投资组合年化收益率下跌的标准差。

2.1 人工智能交易系统的优势

最近10多年来中国股市经历多次起伏，跌多涨少，据媒体统计90%的散户亏损，能赢利的少之又少。因为人容易受到情绪的影响，患得患失，追涨杀跌，不但无法制定良好的策略而且很难严格执行自己的交易策略，因此非常需要一种执行力强的机器智能来帮助设计和执行交易策略。随着人工智能技术的快速发展，2016年3月谷歌阿尔法狗以4：1的比分战胜围棋大师李世石，加速了人工智能技术在各行各业的应用和推广[1]。目前人工智能已经广泛应用于美国华尔街，2016年高盛已经把600多个交易员减少到个位数，这充分说明人工智能开始主导证券交易。

人工智能颠覆了传统的交易模式，完全自动化的选股，根据自主交易策略，全自动交易，当符合入场条件时自动买入，当股票价格高估时自动卖出，自动实现止盈止损和仓位管理，还能利用各种技术指标和参数进行自动分析和决策，能够以毫秒的时间间隔进行高频交易。人工智能系统能够从历史交易数据中进行自主学习，利用学会的知识和数学理论对证券投资过程中的信息不完全问题进行判断决策，得出风险可控前提下收益最大的证券投资组合，并且在交易过程实践中不断的学习和试错，修改系统本身的参数和权重，达到交易系统神经网络的最优化状态。Abe使用从1990年到2016年的MSCI指数中的319只成分股的月度数据，分别使用深度神经网络，随机森林和支持向量机预测下一个月的收益率，结果表明深度神经网络预测准确率最高[2]。人工智能神经网络还能够对证券类型进行自主聚类和证券特征的抽取，通过随机搜索算法像生物进化一样寻找出最适应当前证券市场的决策算法，这样就避免了传统数值算法包括牛顿法和共扼算法容易导致的局部最优的问题。

2.2 人工智能交易系统依赖的证券理论

1952年，马科维茨首次提出了马科维茨理论，在给定风险条件下，通过不同比例分配資金投资多种证券得到最大可能收益的投资方法。从20世纪30年代以来，金融数学得到不断的发展，数学家们不断研究寻找各种证券资产的定价模型，其中比较著名的有布莱克-斯科尔斯期权定价公式，该方法已经成为金融机构设计新的金融产品的重要研究方法。斯蒂芬罗斯的套利理论和美国学者威廉夏普的资本资产定价理论也为人工智能交易系统奠定了坚实基础。爱德华索普出版的《战胜市场》，标志着量化交易的开始，利用计算机算法和程序从证券市场的历史记录中寻找能得到最大收益的多种大概率技术指标，减少人类情绪和贪念带来的影响，从而发挥计算机程序算法的优势作出最理性的决策。人工智能交易技术就是在量化交易的基础上结合最新的计算机深度学习和神经网络技术发展而来的。

人工智能是否能够在一定程序上预测证券市场的价格变化，需要对证券价格变化理论进行研究。目前关于证券交易市场涨跌原理的主要理论有以下几种：随机漫步理论，现代资产组合理论，有效市场假说，行为金融学理论。

以上4个证券交易市场涨跌理论都从各自的立场对市场价格变化作出了一定程序的解释，但都存在比较明显的缺陷，无法完全解释真实世界的证券价格变化原因。于是学者安德鲁（Andrew Lo）提出了适应性市场假说（adaptive markets hypothesis简称AMH），试图协调有效市场假说和行为经济学之间的矛盾，比以往理论能更好地解释市场价格变化;该理论首次将生物进化原理应用到证券市场，认为市场中的每个个体和组织基于赢利进行决策，个体既会学习和适应环境，同时也会出错，市场中存在竞争，竞争导致适应市场变化的个体能够生存和发展，而不能适应市场环境，亏损的个体被逐渐淘汰，形成一种个体不断适应市场环境的动态变化过程。适应性市场假说理论比以往理论更好地解释了证券市场价格变化的原因，也为把人工智能技术应用到证券投资领域提供了一定的理论依据。

2.3 强化学习与智能体

根据AMH理论，证券市场中的个人投资者、基金、机构投资者、投资公司都是以赢利作为唯一目标，在市场中寻找投资机会，这些参与者的理性是有限的，有时会出现错误，同时又在不断地学习和适应市场的变化，通过对市场环境的感知作出买卖或观望的决策，市场会给予判断正确的参与者一定的奖励（Reward），同时通过亏损来惩罚判断错误的参与者，从而影响市场价格的不断变化。通过上述分析很容易联想到使用人工智能中的强化学习来模拟市场中的参与者的适应过程。强化学习的原理是：如果智能体（Agent）的一个行为导致环境的奖励，随后智能体产生这个行为的趋势就会增加;相反如果智能体的一个行为没有奖励或者受到惩罚，那么产生这个行为的趋势就会减少;智能体能够合作和竞争学习[3];强化学习就的目标是学习到一个能够得到环境最大奖励的行为策略。

桥水基金创始人在《原则》中提出“投资是一个不断反复的过程，下注有时会失败，学习新知识并重新尝试，在这个过程中可以通过反复试验来改进自己的决策”。这种方法非常适合使用人工智能的强化学习来模拟。证券市场本质上是一个通过连续决策寻找赢利的过程，交易策略可以抽象成一个强化学习中的智能体，智能体可以根据当前证券市场的信息和状态，生成一个交易的指令，然后发送到执行程序进行执行操作，经过一段时间后，系统会根据当前的市场价格计算每个交易的赢亏，从而生成一个奖励或惩罚值。智能体会根据每个策略得到的奖励值调整自身的行为，以使自身获得更多的奖励值。由于智能体决策包含选择什么证券，何时买卖以及使用多少金额，这些变量的组合会非常巨大，因此需要生成多个智能体并进行训练，一般当训练超过百万次时，智能体达到相对稳定的状态，经常亏损的智能体将被淘汰，经常赢利的智能体已经学会了如何适应市场并做出正确的交易策略。这个赢利最多、生存最久的智能体就是人功智能交易系统所需要的智能体，但是市场是瞬息万变的，当前的最优策略，并不代表未来的最优策略，所以稳定的智能体仍然需要不断地學习和适应动态的证券市场。

2.4 强化学习的奖励函数

如何设计一个合适的奖励函数是增加智能体决策能力的关键，奖励函数实质上就是一个目标函数，智能体使用奖励函数来判断自己是否正在向正确的方向进化。有两种设计奖励函数的方法：第一种是监督式的学习，对智能体的买入价格、仓位控制、卖出价格等进行打分，表现好的打高分，表现不好的打低分。理论上可以监视训练过程，为每一个操作打分进行奖励，但是这种方法工作量极大，无法大规模使用，而且人类也难以判断影响证券市场的因素;第二种方法是强化学习，能够自动尝试各种操作，不断调整参数，进行数百万次的迭代，以找到获得最大奖励逼近目标的最有效方法。Moody提出的RRL算法就是一种在线的强化学习模式，能够找到随机动态规划问题的近似解[4]。RRL算法的预测模型公式如下：

其中Ft代表在t时刻的操作（买或卖），向量w是神经网络的权重，变量v是阈值，rt代表收益率，rt=ln（pt）-ln（pt-1），用对数收益率比价格差值更能体现变动。此预测模型在预测证券市场的价格变化方面优于以往的模型。

3 人工智能交易系统的组成与应用安全

3.1 人工智能交易系统组成结构

在实际运用中人工智能交易系统一般包括以下几个部分，用户需求接口模块，证券市场综合信息处理模块，交易执行模块，投资结果分析和报表模块，和最重要的交易决策模块。国外的研究表明，人工智能交易系统在预测股票市场价格的变化趋势方面已经超过了普通的证券分析师，华尔街的许多投行已经大规模运用人工智能系统进行证券投资，取得了非常不错的成绩。

3.2 人工智能交易系统的安全性

为了加强人工智能交易系统的安全性和可靠性，防止资金和机密数据被黑客篡改，可以使用目前最安全可靠的区块链技术，充分利用区块链分布式系统的安全性和不可篡改性，把交易数据和重要信息存入区块链系统中，通过各个节点运行的一套公开透明的区块链算法来保障存入数据的安全，使得证券交易网络中各个参与实体能够相互信任，对所发出和接收的信息无法否认和修改，任何单个节点企图对数据的修改都是无效的，从而完全保障人工智能交易系统的数据安全性，为人工智能自主决策和交易提供信息安全上的保障。

为了保证人工智能交易系统的安全性，防止非授权的修改和数据泄露，企业级的人工智能交易系统必须符合3A的安全性标准，包括授权（Uthorization），验证（Authentieation）和审核（Auditing）。任何用户要想进入人工智能交易系统，必须经过严格注册许可的用户名和密码，密码必须保证一定的长度和复杂性，同时定期强制更新，防止被破解和撞库攻击;同时设置一个每天最大的登录失败次数;用户登录后还只能有普通的查询和访问权限，如果要访问机密信息和对系统进行修改，必须要有管理员的授权和认可，并实施最小化授权策略，保障交易系统的安全性;为了更好地保护人工智能交易，每隔一段时间还需要通过不可删除的用户操作日志对所有的用户操作和行为进行审计，这样可以发现非法访问和修改的行为，同时能够阻止任何潜在的非法企图，最大限度地保护人工智能交易系统的数据安全和资金安全。

3.3 人工智能交易系统的风险和应对

霍金认为发明人工智能是人类历史上最好的事情，也可能是最坏的事情。人工智能的关键技术人工神经网络几乎可以模拟任意函数，在不知道未知变量之间依赖关系的情况下抓取变量之间的非线性关系得到一个近似函数。但是计算机神经网络的处理过程是一个黑箱，难以对计算结果进行解释和判断，有可能得到一个出乎意料的结果;另外神经网络往往针对某一种具体环境条件进行优化和适应，一旦环境条件发生大的变化，以往的算法就容易失效，因此人工智能并非完全可靠。人工智能系统如果达到一定的智能，有可能偏离人类管理者对于系统的目标和期望，由于人工智能交易系统超高速的交易能力，一旦掌握巨量资金的多个人工智能实体，为了追求最大收益進行零和博弈，可能出现交易规模越来越大，交易速度越来越快的现象，引起证券市场剧烈震荡，甚至可能导致交易市场崩溃。任何人工智能系统都不可能是完美的，必然存在其失效的情况和条件;因此为了防止人工智能交易系统的失效可能，必须在极端情况下能够允许人类管理员接管并获得系统控制权，也就是说要保证人类管理者有能力和责任在人工智能交易系统出错时关闭系统并接管系统。

4 结论与建议

本文回顾了人工智能技术的发展现状和应用情况，分析了适应性市场假说理论解释强化学习智能体对证券市场价格变化的预测原理，得出了神经网络和强化学习在证券市场价格预测领域比以往的传统方法有明显优势的结论，提出可以通过3A安全性标准来保障人工智能交易系统的安全性，同时提出了为避免灾难当系统失效时允许人工接管的应对方法。

人工智能技术在证券投资中将会有更广泛和深入的应用，目前的技术仍然还有很大的提升空间，未来需要对神经网络的模型算法作持续的改进以提高强化学习在证券价格方面的预测能力，同时必须注重增强人工智能交易系统的安全性和风险控制能力。

参考文献：

[1] 薛永红，王洪鹏.机器下棋的历史与启示——从“深蓝”到AlphaZero[J].科技导报，2019，577（19）：89-98.

[2] Abe M， Nakayama H . Deep Learning for Forecasting Stock Returns in the Cross-Section[C]// Papers. arXiv.org，2018：273-284.

[3] 刘全，翟建伟，章宗长，等.深度强化学习综述简[J].计算机学报，2018（01）：1-27.

[4] 梁天新，杨小平，王良，等.基于强化学习的金融交易系统研究与发展[J].软件学报，2019，30（03）：845-864.