浅析大数据在商业银行中的应用

(湖北国土资源职业学院 湖北 武汉 430000)

一、大数据概述

(一)什么是大数据

大数据(Big Data)概念的兴起可以追溯到2000年前后，最初理解为一类海量数据的集合。美国麦肯锡研究所在《大数据的下一个前沿：创新、竞争和生产力》的研究报告中给出了大数据的定义：大数据是指大小超出典型数据库软件工具收集、存储、管理和分析能力的数据集。根据Gartner的定义，大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。大数据在通信、商业银行、教育等各个领域存在已有时日，近年来随着互联网和信息行业的发展进入了快速推广阶段。

(二)大数据的特征

大数据不仅有传统数据定义的“三个V”，即数量(Volume)、速度(Velocity)和种类(Variety)，还包含了更重要的第四个V——价值(Value)。

阿姆斯特丹大学提出了大数据体系架构框架的5V特征，在原有4V基础上增加了真实性(Veracity)特征，包括数据可信性、真伪性、来源和信誉、有效性和可审计性等特性。

二、商业银行大数据市场规模

商业银行竞争日益激烈，基于数据的精细化运营需求日益迫切是商业银行大数据发展的内在需求。商业银行经过多年的信息积累沉淀了大量高价值的数据，发展商业银行大数据成为必然方向。

据爱分析《中国大数据行业报告》中指出，2017年大数据行业整体市场规模1 000亿元，其中行业应用细分市场规模为700亿元，是大数据行业最大细分领域，大数据在商业银行、政务、互联网成熟度最高。基础平台整体市场规模在100亿元左右，通用技术整体市场规模在200亿元左右。行业应用层，大数据在各个行业应用差异较大，应用相对成熟的商业银行、政府领域市场规模为200亿元。

商业银行、政务、互联网这三个行业的IT投入居各行业前列，随着“互联网+政务”的普及、政务云和政务大数据的落地，政府2017年IT投入超过800亿元，占中国IT总投入的5%～10%。商业银行一直是重IT投入的行业，以银行为例，2017年中国银行业整体IT投资为800亿元，整个商业银行行业的IT投资突破千亿元大关。

三、商业银行大数据发展现状

(一)数据容量大，涵盖范围广

在大数据时代，商业银行数据迅速膨胀并呈现出几何级数的增长态势。由于行业特性，商业银行在长期业务开展过程中积累了海量数据。从数据涵盖范围来看，数据类型包括以工资、公积金、消费贷款等为代表的结构化数据和以文档、图片、音像和地理位置信息等种类繁多的非结构化和半结构化数据。商业银行每创收100万美元，会平均产生820GB的数据，数据强度高居各行业之首，由此可知商业银行在大数据应用方面具备天然优势。

(二)数据处理复杂，充分挖掘困难

商业银行数据体量庞大，在数据处理过程中存在很多问题，主要包括：

第一，数据治理体系化建设匮乏。现阶段商业银行尚未形成系统的数据治理方法和体系，缺乏有效的数据分类、整理和加工。

第二，数据资源管理整合度不高，内部可用信息使用率低下。当前商业银行的数据在组织内部处于割裂状态，缺乏顺畅的共享机制，难以实现数据的有效整合和使用。

第三，数据内容复杂多样，难以充分挖掘数据资源潜在价值。造成这一现状的原因在于商业银行非结构化数据占比不断上升，数据构造方法重复率高，且关系复杂。

(三)数据资产化，应用场景丰富

国内商业银行现处于数据资产化、产业化的起步阶段，且银行运用大数据技术以描述性数据分析为主，预测性数据建模为辅；以自身交易和客户数据为主，外部数据为辅。数据资产目前最主要的作用是趋势预测和决策支持，典型的应用场景集中在营销分析、内部运营和风险管控等方面，具体应用案例包括交叉销售、客户群体划分、信用评分及违约监测等。当前我国商业银行大数据应用深度、广度和频度都与国际先进银行存在着巨大差距，迫切需要拓宽数据应用层面，实现数据资产增值。

(四)数据应用难度大，制约因素多

1.大数据技术框架

大数据技术框架的组成部分包括处理系统、平台基础和计算模型。首先，处理系统必须稳定可靠，同时支持实时处理和离线处理多种应用，支持多源异构数据的统一存储和处理等功能。其次，平台基础要解决硬件资源的抽象和调度管理问题，以提高硬件资源的利用效率，充分发挥设备的性能。最后，计算模型需要解决三个基本问题：模型的三要素(机器参数、执行行为、成本函数)、扩展性与容错性、性能优化。这些要求对构建大数据技术框架提出了非常高的要求。

2.大数据应用推进和落地

商业银行大数据应用虽然在风控、反欺诈、征信等领域初见成效，但在其他层面暂时还处于探索阶段。究其原因，一方面只有当数据分析转变为企业业务方式后才产生价值；另一方面商业银行在新建应用系统的过程中缺乏数据思维，没有充分了解大数据分析的价值、战略和流程。同时，大数据应用投资效果难以衡量，领域建模未得到充分重视。

3.数据安全与个人隐私

现阶段用户数据的收集、存储、管理和使用缺乏规范，主要依靠商业银行自律，用户无法确定自己隐私信息的用途。此外，鉴于国内商业银行体制机制限制以及尚未健全的商业银行法律法规体系，许多商业银行机构担心擅自使用数据会触犯监管和法律底线，同时数据处理不当可能会给自身带来声誉风险和业务风险，因而在驾驭大数据层面难以付诸实际行动。

四、商业银行大数据类型

商业银行数据从数据类型上进行划分，大致可以分为结构化数据、半结构化数据与非结构化数据三大类。

(一)结构化数据

结构化的数据源自商业银行运营数据仓储(ODS)和数据仓库(EDW)。ODS主要实现企业数据整合、共享和准实时运营监控等功能，EDW为企业提供分析决策服务。而通过Hadoop等组件的应用可以将数月前甚至几年前的历史数据进行迁移保存。在分布式存储结构下，结构化数据的存储计算可以得到巨大的改善，可对海量离线数据进行离线分析，将离线数据优势最大化，为商业银行用户打造立体用户画像提供最全面的数据支撑。

(二)半结构化数据

半结构化数据的整合在数据整合中是最为复杂的。商业银行可对接来源于外部单位所提供的不同类型数据库或Excel等的数据。“打通”多源异构的数据是项目中遇到的最困难的部分，数据整合完毕可快速进行建模分析。

(三)非结构化数据

商业银行对于非结构化的处理的方法还是比较原始的。非结构化数据涵盖的范围比较广泛，有新闻、视频、图片以及社交网络等数据。

五、商业银行大数据应用场景

从技术角度来看，商业银行大数据主要分为数据接入、数据存储、数据计算、数据分析四层。目前商业银行大数据典型的应用场景包括精准营销、舆情监控与股价预测、智能投顾、智能投研、监管科技、信贷风险评估、信息可视化、消费信贷、供应链商业银行、风险定价、黑产防范等。特别是在监管科技方面，大数据堪称市场风险、非法集资、异常交易等监测利器。

(一)商业银行信贷

以前借款需要很长时间的审核，尤其是线下取证、财务报表、抵押担保、审批流程、领导签批、最后借款等环节，根据内在的大数据信用评估和内控技术，能够实现实时计算借款人的信用额度，在信用额度内实现即时放款。这是传统商业银行领域难以想象的。而这种快速借款模式，将成为未来互联网商业银行时代的标准配置。

(二)信息可视化

帮助双方站在同一个平台上相互模拟、相互评估与相互决策。商业银行信息可视化已经成为经济分析、管理决策、绩效评价等工作的必备工具，它将始终贯穿商业银行活动的全过程。在技术变革的推动下，商业银行可视化成为未来发展趋势。数据可视化的最大价值并不仅在于直接将数据呈现出来，让人直观地感受到数据，更在于思维模式和决策方式的转变。可以利用数据的可视化重新定义商业银行领域的数据模型，判断商业银行价值模型中的爆发点与增长点的关联。

(三)管理决策

在数据集成的基础上，运用大数据、云计算技术，将数据清洗，处理，然后输入模型，就能还原真实世界，得出精准信息，以此作为决策依据。未来的决策中，人的主观因素会弱化，大数据提供的信息使决策更加科学智能化、动态实时化。

(四)供应链金融

供应链金融的风险控制从授信主体向整个链条转变。供应链核心企业拥有良好的资产、充足的资金和高额的授信额度。而依附于核心企业的上下游企业可能需要资金，但是贷不到款。供应链金融可以由核心企业做担保，以产品或应收账款做质押，帮助上下游企业获得资金。

(五)风险控制

应用大数据技术，可以统一管理商业银行内部多源异构数据与外部征信数据，可以更好地完善风控体系。内部可保障数据的完整性与安全性，外部可控制用户风险。

(六)智能投顾

智能投顾业务提供线上的投资顾问服务，能够基于客户的风险偏好、交易行为等个性化数据，采用量化模型，为客户提供低门槛、低费率的个性化财富管理方案。智能投顾在客户资料收集分析、投资方案的制定、执行以及后续的维护等步骤上均采用智能系统自动化完成，且具有低门槛、低费率等特点，因此能够为更多的零售客户提供定制化服务。

六、商业银行大数据的挑战与前景

商业银行服务的方式和工具随着技术的成熟发生变化，但商业银行的本质不会改变，即解决信息不对称的问题。而大数据恰恰提供了一个解决信息不对称问题的有效渠道。目前商业银行大数据的应用挑战至少包括三方面。

一是商业银行行业的数据资产管理应用水平仍待提高。

二是商业银行大数据应用技术与业务探索仍需突破。

三是商业银行大数据的行业标准与安全规范仍待完善。

相关机构应及时出台促进商业银行大数据发展的产业规划和扶持政策，并分阶段推动商业银行数据开放、共享和统一平台建设，强化商业银行大数据行业标准和安全规范建设。

商业银行机构是大数据天生的合作者，一方面自身有着利用技术红利带来收益冲动，另一方面又有国内较好的信息化基础。因此商业银行大数据发展也促进了商业银行行业从多方面实现管理的转型和业务产品的创新，其中包括信用风险、客户服务、智能运营以及商业银行本身的产品。而商业银行行业在大数据领域里有着较好的场景应用，例如，银行、保险、证券等。同时互联网公司在大数据基础上开展商业银行业务，这些业务跨过银行传统的信贷领域，开始向转账汇款、现金管理、资产管理、供应链商业银行、支付等领域蔓延。

商业银行跟互联网的融合是大势所趋，商业银行向互联网发展，互联网向商业银行转型，已经成为整个科技和互联网商业银行发展的焦点。中国是全球第二大经济国，银行业向实体经济、创新驱动的转型中，利用大数据技术，必将成为中国银行业的新增长点和新亮点。