大数据分析在证券投资中的应用及问题分析

一、前言

伴随着大数据技术的高速发展，机构投资者开始运用大数据分析来处理证券投资中遇到的一些问题。证券公司利用大数据分析处理股市交易中产生的大量信息数据来进行股票分析，并且通过挖掘搜集社交网络的相关信息，通过分析来判断市场中的投资情绪，把握市场中的第一动向，将其作为依据进行投资决策，除此之外，对股票的结构化数据以及非结构化数据进行分析，能够做出比人工更为理性的量化投资，提高收益率。

二、大数据分析的相关概念

（一）什么是大数据分析

大数据即为数据量十分巨大的信息，其规模巨大到无法通过人工在合理时间内获取并整理分析成为人类所能解读的信息。对大数据进行分析的基础就是从物质世界，互联网以及其他数据源中获取到各种结构化数据、非结构化数据以及非数据化的各种信息，将其存储到处理器中，使用计算机技术进行处理分析，利用高效的算法进行关联分析，从中发现价值。从大数据中得到数据中的内含价值，这也就是大数据分析的目的所在。

（二）大数据分析的基本方面

大数据分析包含六个基本方面，分别是：1.可视化分析，将数据信息转化为图表等形式的可视化信息，清晰直观；2.数据挖掘算法，从大量的数据中有效地挖掘所需的数据信息，优化处理分析的速度；3.预测性分析能力。通过可视化分析和数据挖掘的结果做出一些预测性的判断；4.语义引擎，使用一系列的工具从非结构化的数据中解析，提取，分析数据，从“文档”中智能提取信息；5.数据质量和数据管理。使用高效率的流程和快捷的工具来处理数据，保证分析结果的高质量；6.数据存储，数据仓库。按照一定结构和模式建立关系型的数据库将数据存储起来，便于对数据进行查询以及调用分析。

三、大数据分析在证券投资中的应用

（一）股票分析

股票分析的内容包含两个方面，分别是技术分析和基本面分析。

1.基本面分析

在广义上，基本面分析是指将经济学当中供求关系原理作为基础，通过对历史的经济数据以及政治环境，要素主要包含宏观经济状况（利率水平、通货膨胀等）、微观经济情况（企业素质等）以及政治情况等进行分析来对金融市场走势进行分析。从狭义上来说，基本面分析则是指对广义基本面分析中的微观经济状况进行分析，要素主要包含企业报表中的财务指标、管理人员素质、所在行业发展情况、主要产品竞争力等。大数据分析主要是使用相关算法，按照投资者所感兴趣的指标挖掘出符合投资者需求的股票，建立相关规则从中寻找股市中符合要求的股票进行投资。

2.技术分析

技术分析则是通过研究市场行为来判断市场运行趋势，通过跟随市场运行趋势的周期性变化来进行股票及其他金融衍生品交易的决策。技术分析认为市场行为是重复的，股票市场中的历史将会重演，若市场是有效市场。基于人工神经网络算法的股票技术分析主要通过输入预测样本，设置目标变量，对其打分，之后进行预测并将预测值与实际值相比较，最终通过建立拟合方程，得出预测值与真实值之间的关系，从而为投资决策提供参考。

（二）投资情绪分析

广义上看，投资者情绪包含着众多能够影响投资者对证券的估值以及市场预期的因素；从狭义上看，投资者情绪分析仅仅研究广义上众多因素中的经济变量和其他因素。对于券商与相关的研究者来说，投资者情绪的测量是一个难题。如何对投资者情绪进行量化分析，这对证券市场研究来说至关重要。

在投资情绪分析中，通过获取网民经过微博、论坛和博客中的网络文本信息，从杂乱无序的网络媒体信息中获取有价值的信息，把非结构化的文本信息转化为结构化文本信息，从文本信息中提取投资者情绪测评指标，结合属性词典和情感词典，应用情感分析引擎，获得投资者情绪分析结果。从数据量如此巨大的文本信息中挖掘到有价值的信息，也正是大数据分析的长处所在。

（三）量化投资

量化投资是指对金融市场和产品信息进行量化分析，根据历史交易和相关数据建立模型，由模型做出投资决定，再根据算法自动下单完成交易。大数据分析所应用到的一系列分析工具，如数据挖掘、人工智能、支持向量机等分析工具，使得金融投资实现了高频化、智能化。大数据分析技术在证券量化投资中的应用可根据数据结构的不同分为两种应用模式，分别为结构化数据的应用与非结构化数据的应用。而结构化数据的应用更为普遍。

结构化数据的应用。在量化投资中，结构化数据应用主要集中于那些人们无法利用的极为短暂的市场变化中寻求获利的计算机化交易，而这被称之为高频交易。比如某种证券买入价与卖出价差价的微小变化。在交易量大、交易次数多、持仓日短的高频交易中，计算机每秒都要处理大量的结构化数据。虽然高频交易的每笔收益率很低，但是总体收益比较稳定。

非结构化数据当下在量化投资领域的应用并不普遍，但是业界正在进行大量的尝试。非结构化数据能够提供有价值的信息并进而获得超额利润，这推动了更多的公司在这方面加大投入，并取得了一定成果。

四、大数据分析应用带来的问题

（一）大数据安全

大数据普遍存在巨大的数据安全需求。由于大数据具有比较高的价值密度，往往是众多黑客眼中的一块肥肉，因此吸引了大量的攻击者铤而走险。在2013年与2014年，全球互联网巨头雅虎曾被黑客攻破了用户账户保护算法，分别导致了超过10亿以及5亿的账户信息泄露，其内容涉及用户姓名、电子邮箱、电话号码、出生日期和部分登录密码。我国也暴发过“2000万条酒店开房数据泄露”等一些安全事件，引起了全社会的广泛关注。除了外部盗取带来的风险，内部人员盗窃数据而导致损失的风险也应当重点关注。2017年，我国某著名互联网公司内部员工盗取并贩卖涉及交通、物流、医疗、社交、银行等个人信息50亿条，通过各种方式在网络黑市贩卖。

（二）大数据隐私保护

大数据普遍还存在隐私保护不善的问题。个人隐私泄露不仅会为用户带来严重的骚扰问题，也可能会让用户以及亲友面临遭受诈骗的风险，从而对用户造成极大的侵害。除此之外，人们面临的威胁还有基于大数据对人们状态以及行为的预测。随着深度学习等人工智能技术的快速发展，通过对用户行为建模与分析，个人行为规律可以被更为准确地预测与识别，甚至刻意隐藏的敏感属性可以被推测出来。在社交网络中，可以通过用户的朋友具有的属性、用户加入的群组等推测用户可能具有的属性，用户隐藏的敏感属性存在着挖掘和被公布的风险。例如通过分析用户的twitter信息，可以发现用户的政治倾向、消费习惯等。除此之外，研究者基于用户的历史轨迹建立隐马尔可夫模型，利用此模型可成功地对用户出行的目的地进行预测。一旦被不法分子获取到这些信息，将对用户造成难以想象的后果。

五、如何应对大数据分析在应用中带来的问题

（一）健全大数据的相关法律法规及使用规范

由于法律法规以及监管层面的缺乏，用户数据收集、存储、管理与使用等缺乏规范，单纯依靠企业的自律无法切实保障用户隐私安全。在商业化场景中，用户应有权决定自己的信息如何被利用，实现用户可控的隐私保护。随着科技进步的高速发展以及互联网技术的快速推广应用，健全法律法规为应用新兴技术、保护人民利益保驾护航迫在眉睫。从国家层面制订相关法律法规来保障大数据的安全能够从法律层面上保障用户的切身利益，能够在惩处违法犯罪分子时做到有法可依，起到警示不法分子，惩戒犯罪分子的作用，制订健全使用规范能够为企业提供一套行为指南，避免缺乏自律的企业肆无忌惮地滥用大数据，以法律法规或行业规范的形式确定用户对个人信息利用的决定权利。例如用户可以决定自己的信息何时以何种形式披露，何时被销毁。

（二）升级信息安全技术保障信息安全

作为计算机技术发展的成果，要想继续扩大应用，在更重要更紧要的领域进行应用，信息安全必须在技术层面上得到保障。黑客通过企业的技术漏洞从企业的服务器中窃取数据，而技术漏洞则只能通过升级技术手段来加以弥补，相关企业必须将培养技术人才以及研发信息安全技术作为公司的战略性规划并且加大投入。作为全球数据存储系统的垄断寡头，EMC、ORACLE、IBM等公司所拥有的高端的数据存储技术为金融业的信息安全打下了坚实的技术基础，为众多行业，尤其是金融业提供了杰出的数据存储服务以及IT解决办法，客户群遍及全球。而在当下，我国正与美国进行的博弈正是科学技术的博弈，美国对我国的技术封锁也让我们明白核心技术必须掌握在自己手中，依靠美国公司的技术不是长久之计，我国的数据安全终究也只能依靠我国的技术来提供根本保障。