大数据技术在金融行业中的应用探索

段敏华

（中国华电集团财务有限公司，北京 100031）

1 金融行业中大数据的应用分析

1.1 大数据在金融机构中的应用

我国金融行业普及应用大数据技术的时间比较短，但是发展速度非常快，截至目前已经取得了阶段性成果，非结构化的金融信息数量得到了充足、有效的发展。金融行业运用大数据技术的好处如下：首先，金融行业发展过程中会产生大量的有价值、有意义的数据资料，例如客户资金结构、消费习惯等，这些数据经过深度分析之后，能够为金融机构的业务开展、产品创新提供强大的数据支撑。其次，金融机构的资金体量十分庞大，在大数据技术探索、应用方面占据诸多优势，还能吸引更多优秀的大数据人才。总体来说，金融行业普及应用大数据技术的作用如下：

1.推动金融行业转型升级。随着经济结构调整工作的持续推进，再加上利率市场化的影响，金融行业的利润空间逐渐被压缩、业务定位急需调整。大数据技术的普及与应用，可以帮助金融机构深度挖掘海量数据中的潜在商业价值，帮助金融机构确立精准的市场定位，优化资源结构，从而推动金融行业的转型发展。

2.提升金融机构监管水平。近年来，非法集资、资金诈骗案例不断发生，以缅北为首的诈骗集团日益嚣张，很多不法分子正是利用网络漏洞从事诈骗、盗窃资金的行为。而大数据技术应用能够对网络资金交易进行全面动态的监管分析，及时发现可疑交易行为，摸索资金诈骗规律，为破获网络诈骗案提供重要的技术支撑。

1.2 大数据在银行业中的应用

从数据维度分析，大数据技术在商业银行中的应用最为普遍。截止到2019 年底，我国的人民币银行结算账户数量达到了73.7 亿户，同比增长3.15%；个人银行结算账户数量达到了73.25 亿户，与2018 年相比提高了3.15 个百分点，2019 年我国累计银行卡交易次数3343.2 亿次，涉及金额278.25 万亿，其中与互联网金融有关的网上支付306.38 亿次，同比增长25.21%，由此可以看出银行业在使用大数据方面有着广阔的前景。大数据技术在银行业中的应用主要集中在客户精准营销、金融产品开发、金融风险管理等诸多领域，例如光大银行设计的“阳光理财”资产配置平台，能够深度分析客户的投资需求，并制定相应的投资理财方案[1]。从整体角度分析，大数据技术在银行经营管理中的职能作用如下：

1.有助于管控信贷风险。过去银行都是利用以往数据来分析预估贷款客户的违约风险，前瞻性和准确率十分低下，使得银行蒙受了巨大的风险损失。后来西班牙一家银行利用大数据技术，对贷款客户的信用等级、资金状况、履约情况、预期收益进行预测分析，进而给出科学、精准、完善的风险评估报告，不仅降低了银行业信贷风险管控的成本，而且提升了信贷风险管理水平。

2.提升银行业的中间收入。银行积累了规模庞大的金融资料，诸如客户身份、社会地位、资产状况、消费习惯等，银行可以利用大数据技术对这些数据展开深入细致的研究分析，将其转化成新产品，从而提升银行的中间收入。例如澳大利亚一家银行通过大数据分析解读客户“消费特征”，将其销售给公司客户，帮助客户优化广告投放位置、调整产品结构，从而获得更多的经济收入。

1.3 证券行业中大数据技术的应用

如今证券行业拥有资本密集、信息密集、技术密集的典型特征，数据规模得到了充足、有效的发展，数据的形成、传播、结构也发生了巨大的变化，极大地改变了证券行业的经营发展[2]。大数据技术在证券行业中的应用价值主要体现在两个方面：一是大数据技术可提升证券股行业的个性化服务水平；二是大数据技术可避免证券客户大量流失，详细内容如下：

1.证券行业是综合类金融产品的提供者，在大数据技术的助力下，能够快速搜集高质量信息，设计出更符合客户需求的金融产品，还能根据客户偏好调整金融产品组合策略。如今很多证券公司都开始利用数据驱动方法，对客户数据进行采集、存储、分析、处理，为客户提供更好的投资策略，更好地满足客户的个性化需求。

2.证券公司可以根据历史数据、客户交易信息创建大数据分析模型，精准预测客户的流失数量、流失原因，进而制定出精准合理的挽留策略。例如海通证券创新设计了一套基于数据挖掘算法的证券客户行为特征分析技术，能够精准刻画客户画像，对100 多万样本客户、交易记录进行建模分析，在此基础上构建客户分类、客户偏好、客户流失等数据模型，能够很好地预测分析客户流失问题。

1.4 保险行业中大数据技术的应用

保险行业是金融体系的重要组成部分，也是大数据技术应用的主战场，如今很多保险公司都在积极研发应用大数据技术，并取得了阶段性成果。据有关资料显示：截止到2020 年12 月，我国保险行业共向公安机关移送诈骗线索28005 条，涉案金额高大6 亿元人民币，共抓获犯罪嫌疑人2000 余人，在此过程中大数据技术发挥出了重要的职能作用。某保险公司高级管理人员曾经指出：“大数据已经成为反欺诈的有力武器。”大数据技术可以帮助保险公司分析判断投保、理赔的合法性、合规性，有效防范欺诈风险，降低保险行业的损失[3]。

1.大数据技术可以减少保险公司的赔付金额。赔付金额是影响保险公司经营利润的关键因素，尤其是“超大额赔付”是保险公司的关注焦点。例如美国一家保险公司利用内部数据、第三方平台展开动态化监管，用1.4 亿个数据点构建预测模型，涵盖了客户健康情况、人口特征、理赔流程、医疗状况等多种信息，并根据分析结果采取及时有效的干预措施，使得平均索赔额下降了20%。

2.为保险产品差异化定价提供技术支持。由于每个人的条件不同、需求不同，对保险产品的期望也存在较大差异。大数据技术能够对客户数据展开全面深入的分析研究，进而制定出符合客户需求的保险产品组合方案，有效提升客户的满意度。例如澳大利亚一家保险公司通过分析客户数据来预测分析驾车风险，并为客户提供个性化的保险产品和理赔计划，大大提升了客户的满意度。

2 金融行业中大数据应用的技术支持

在金融产业、大数据技术飞速发展的时代背景下，金融业务的线上化、生态化特征越来越明显，金融行业面临着海量数据存储、数据挖掘分析、数据商业应用等一系列挑战。为了更好地满足金融行业的发展需求，银行业、证券业、保险业都开始创新探索IT 架构，为大数据在金融行业中的应用拉开了新的帷幕。

按照技术架构不同，应用于金融行业的数据库可分为集中式数据库、分布式数据库，其中分布式数据库可细分为中间架构数据库、NewSQL 数据库、云原生数据库等三种类型，具体内容如下。

2.1 集中式数据库

集中式数据库的解析器、优化器、存储引擎等重要部件都集中在同一台服务器上，将其应用到金融行业中，能够大大提升数据库系统处理能力。例如MySQL 8.0 的处理性能与传统系统相比提升了两倍，能够完成海量数据的分析与处理，为金融公司的业务开展提供全面可靠的数据支撑[4]。此外，集中式数据库能够增强SQL 查询功能，降低应用开发难度，例如DB2 11.5引入了机器学习优化器，可大大提升SQL 查询速度，MySQL 8.0 引入更多窗口函数，强化了对数据统计分析与查询等功能支持。

截至目前，很多金融公司、证券公司、保险公司使用的都是集中式数据库，经过十多年的创新发展和技术积累，集中式数据库的发展已经相当成熟。在集中式数据库的支持下，金融公司的产品易用性、稳定性、成熟度都达到了新的高度。

2.2 中间件架构数据库

金融公司为了解决集中式数据库的拓展性缺陷，打破系统纵向拓展中硬件设施的制约，数据库引入分库分表中间件从而实现数据容量的横向拓展，经过分布式事务管理、高可用切换、自动化运维，构成了基于中间件架构的数据库产品。中间件架构数据库采用“传统数据库+分片路由中间件+全局事务管理器”的架构，以集中式数据库为基础，通过中间件实现数据分片、分布式事务等实现数据分析功能，拥有较为成熟的数据技术和生态环境，而且稳定性更好，能够满足金融公司对系统稳定性的要求。

与较为先进的数据库技术相比，中间件架构数据库很少从架构设计角度宣传功能应用。例如某金融公司创新设计出一套基于中间件架构数据库产品和云原生数据库产品，技术迁移跨度非常小，为大数据技术在金融行业中的普及与应用提供了无限可能。

2.3 NewSQL 数据库

为了应对管理超大规模MySQL 集群造成的复杂度过高的问题，Google 公司创新推出了NoSQL 系统，并发表了GFS、Map-Reduce、Big Table 等技术指导方案。而后开源社区推出了TiDB、CockroachDB 等NewSQL 架构分布式数据库产品，该数据库的架构以KV 存储引擎为基础，引入SQL 关系模型以及分布式事务ACID 特性，拥有良好的拓展性，数据存储可达到100PB 级别，能够满足金融行业对海量数据的存储、管理及分析要求。

此外，NewSQL 数据库在数据存储、统计分析方面有着明显优势，因此部分金融公司使用NewSQL 数据库作为金融核心批量场景的解决方案。

3 金融行业应用大数据技术的前景分析

2020 年，我国金融大数据应用市场的规模已经达到了1300 亿人民币，而且这一数据依然保持高速增长趋势，参考金融行业和大数据技术的发展特征，对未来的发展前景进行预测分析就显得尤为重要。

3.1 大数据助力金融信息的可视化

如何将海量数据中的结构化数据、非结构化数据提炼出来，清晰明确地展示出来，是当下金融公司、证券公司、保险公司需要考虑的共同问题。在以后的发展过程中，会有各种各样的可视化金融工具应运而生，为金融行业的数据分析、应用提供专业的可视化方案[5]。金融可视化是利用数学算法、网络技术、数据挖掘、计算机技术，将数据分析的目的、过程和结果展示出来，为金融决策、产品开发、客户服务提供重要的方向指引。

3.2 大数据助力金融服务的个性化发展

在以后的发展过程中，大数据会彻底融入金融行业服务当中，诸如保险公司、证券公司会综合利用客户行为信息、交易信息、资产信息、消费习惯，刻画出精准、立体的人群画像，有效锁定目标人群，提供完善周到、高质量的金融服务。以银行借贷为例，银行可以根据客户还款信息，结合外部数据创新设计完善的数据模型，对客户逾期风险进行预测分析，深入分析客户逾期的根本原因，并提供个性化的解决方案，更好地帮助银行挽回损失。

3.3 大数据助力金融行业的智能化发展

如今人们已经步入了信息化时代，人群周围充斥着各种各样的智能产品，金融行业作为前瞻性行业，在大数据技术的助力下，必然会向着智能化的方向发展。以后的金融行业不再局限于资产存取、证券交易，而是通过大数据、物联网技术拓展到人们生活的各个角度，打造一个万物互联的新场景、新时代。

4 总结

从整体角度分析，大数据技术在金融机构、银行业、证券业、保险业中都得到了广泛的普及与应用，彻底改变了传统落后的金融产业发展模式。金融公司可以根据自身实际情况，合理运用集中式数据库、中间件架构数据库、NewSQL 数据库，创新开发出智能化、个性化、多功能化的数据平台，为客户提供更加专业、更加智能化的金融服务。相信在以后的发展过程中，大数据技术能够在金融行业中展现出旺盛的生命力，推动金融行业会向着可视化、个性化、智能化的方向发展。