金融业大数据应用研究＊

刘寒 中国信息通信研究院通信标准研究所工程师

孙晶 中国信息通信研究院电信设备认证中心助理工程师

金融业大数据应用研究＊

刘寒 中国信息通信研究院通信标准研究所工程师

孙晶 中国信息通信研究院电信设备认证中心助理工程师

大数据技术不断发展，同传统行业的结合势在必行。金融业是以数据为基础的行业，在大数据应用领域首当其冲。金融领域的银行、保险、证券三大业务已经同大数据全方位结合发展。但在大数据规范完善、信息安全、金融企业大数据平台建设、分析能力方面还有待进一步发展。

大数据 金融 应用

1 引言

随着2013年后大数据概念的热度升温和技术发展，大数据这个来源于互联网领域的技术理念已经不可避免地与传统行业相互接触、碰撞，一些拥有大数据技术的企业利用技术优势和前瞻科技不断扩展业务领域，对传统行业形成威胁；而从另一个角度来说，传统行业更应该凭借自身固有优势，利用新技术手段改革创新、寻求新的发展方式，固步自封是一潭死水，开放融合才会孕育新的生机，这才是真正的大数据思维。

金融业是以数据为基础的行业，大量的交易、客户、投资等数据都为金融业大数据的应用提供了丰厚土壤，大数据和金融行业的协同发展不仅是天然结合，也是业界共识。金融行业应该抓住大数据这次技术引领的创新机遇，以大数据思维从事业务、使用大数据技术拓展经营空间、利用大数据资源创造价值，这必将是金融业的发展路径。

2 大数据发展趋势

（1）数据种类日益丰富、采集渠道不断拓展

金融、医疗、交通等各行业经过信息化建设，积累了众多专有数据，是存量的大数据资源。而移动互联网和物联网的发展，大大丰富了大数据的采集渠道，社交网络、可穿戴设备、车联网等成为大数据增量资源的主体。

目前，微博、微信和各类移动APP等渠道提供了丰富的互联网数据源。截至2014年6月，中国网民规模达6.32亿，其中手机网民规模5.27亿。微博用户数量2014年达2.75亿，社交网站用户规模为2.57亿。通过社交网络服务商提供的API或爬虫程序，可以采集到丰富的网络数据，构成企业数据资源的重要组成部分，可以作为业务数据的有效补充。

智能化的可穿戴设备经过几年的发展，智能手环、腕带、手表等可穿戴设备正在走向成熟。国外Intel、Google、Facebook，国内百度、京东、小米等均布局可穿戴设备领域。同时，随着移动互联网的发展，车联网附加功能将越来越丰富，车联网进入快速发展阶段。2014年，全球机动车保有量达到12亿辆，我国1.4亿辆；预计2015年，国内车联网即将突破10%；到2020年，车联网渗透率有望突破20%。而这些物联网领域定向采集的数据资源具有极高的利用价值，是各行业大数据资源的重要组成部分。

（2）大数据存储、计算、分析技术为大数据应用提供支撑

2000 年左右，Google等提出的文件系统（GFS），以及随后的Hadoop的分布式文件系统HDFS（Hadoop Distributed File System）奠定了大数据存储技术的基础。这类存储技术采用分布式架构，拥有较高的并发访问能力，同时将计算和存储在物理上进行统一，降低了数据频繁读取所产生的I/O吞吐量制约。

2004 年，Google提出了新型分布式计算技术MapReduce，其线性扩展的处理能力在成本和扩展性上有着巨大优势，目前成为最广泛的大数据处理方式。2010年，Google公布的Dremel系统是一种交互分析引擎，几秒钟即可完成PB级的数据查询操作。新一代计算平台Spark进一步将Hadoop性能提高30倍以上。技术不断进步，并通过开源方式进行发布，降低了技术准入门槛。同时，成本不断降低，传统数据存储和分析成本约为3万美元/TB，而采用Hadoop技术，成本可以降到300～1000美元/TB。目前，开源Hadoop和Spark已经形成了比较成熟的产品供应体系，基本上可以满足大部分企业建设大数据存储和分析平台的需求，为企业的大数据应用提供了低成本解决方案。

（3）大数据分析、挖掘和建模技术成为发展重点

大数据已经具备了技术上的可能，但是在人类全部数字化数据中仅有1%的数据得到了深入分析和挖掘，大型的互联网企业也仅是对网络数据进行了浅层分析，而占数据总量一半以上的图片、语音、视频等非结构数据还没有得到有效挖掘。因此，企业不仅需要针对结构化数据进行深入挖掘和分析，同时应积极分析利用非结构化数据中隐含的价值构建自身优势，增强竞争能力。

（4）大数据政策不断推出、法律法规日益完善

美国政府在2012年率先推出“大数据行动计划”，加大技术研究力度、推行数据开放和推动政府大数据应用。随后，英、澳、日等国家相继推出大数据规划和政策。我国政府高度重视大数据应用发展，2012年以来，科技部、发改委、工信部等部委在科技和产业化专项上陆续支持了一批大数据项目；2014年3月，“大数据”首次出现在全国两会的《政府工作报告》中。各地方政府从2013年陆续出台大数据推进计划，根据地方特点，形成不同应用模式。

3 金融业大数据应用研究

金融业的行业特性决定了金融业利用大数据的必然性。金融业是信息密集型服务产业，现代金融企业普遍大量投资IT设施，同时拥有庞大的数据库可资利用。因此，数据易用性好，数据密度大，技术和人才储备相对充裕，利用大数据可创造价值更高。

根据2012年的一份调查报告显示，中国大数据应用投资规模最大的行业分别是互联网行业（28.9%），之后是电信业（19.9%）、金融业（17.5%），然后是交通、政府和医疗领域。金融业的大数据应用投资逐年增加，已经成为除信息通信领域外大数据应用热情最高和投资最大的传统行业。而在麦肯锡的一份报告中显示，金融保险无论是在整体价值潜力、企业平均数据量、交易密度等方面都居于全球所有行业的前20%；另一份报告显示，在金融行业的三大主要领域，银行业大数据应用居首，占比41%，证券和保险分别占31.5%和28.5%。

（1）银行业大数据应用

●数据整合和数据平台建设

大数据应用的基础是数据，数据的体量大小、类型多样性和完整性决定了数据应用的程度和能够挖掘的数据价值。各银行的传统数据大多来源于经营网点的业务数据，而在大数据时代，银行获取数据的渠道不断扩展，包括门户网站、网上银行、电话银行、手机银行、ATM等电子渠道，利用微博、微信、社交网站等众多途径，整合这些新型数据使得银行有了大数据应用的基础。

以客户数据为例，客户是企业赖以生存的基础，企业的一切产品、营销、服务都是以客户为出发点，所以基于多渠道的客户数据进行整合分析，描绘完整和精准的客户画像至关重要。企业的客户画像应用主要分为个人客户画像和企业客户画像。个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等；企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。传统手段上，银行拥有的客户信息并不全面，基于银行自身拥有的数据有时候难以得出理想的结果甚至可能得出错误的结论。例如，如果某位信用卡客户月均刷卡8次，平均每次刷卡金额800元，平均每年打4次客服电话，从未有过投诉，按照传统的数据分析，该客户是一位满意度较高流失风险较低的客户。但如果看到该客户的微博，得到的真实情况是：工资卡和信用卡不在同一家银行，还款不方便，好几次打客服电话没接通，客户多次在微博上抱怨，该客户流失风险较高。因此，银行不仅仅要考虑银行自身业务所采集到的数据，更应考虑整合外部更多的数据，以扩展对客户的了解。

有了大数据基础，还需要大数据平台的建设，大数据平台的建设可以分为两个方面：一是数据获取、存储平台的建设；二是数据分析平台的建设。数据获取手段的丰富和存储能力的提升还需要大数据技术的支持，包括各类网络信息的爬取和数据的存储、客户交易数据的实时获取和存储、语音视频数据的获取和非结构化数据的存储及网络交互中各类可以完善元数据的通信数据的获取和存储。数据获取和存储的目的是为了应用，大数据分析手段成为大数据能否创造商业价值的衡量标准。传统的数据挖掘方法在海量数据分析时，存在非结构化数据转换、算法效率等亟待解决的问题。大数据平台的建设已经成为各个银行现阶段重点关注的问题，无论是在现有平台的基础上向分布式平台Hadoop和Spark迁移、还是以业务特点为出发点分领域、分段建设和转换大数据平台或是使用云服务商提供的云服务等方式都是大数据平台建设的手段。

例如，摩根大通银行已经开始使用Hadoop技术以满足日益增多的用途，包括诈骗检验、IT风险管理和自主服务。摩根大通的大数据平台能够存储大量非结构化数据，可以收集和存储WBB日志、交易数据和社交媒体数据，其拥有150PB在线存储数据、3万个数据库和35亿个用户登录账号。所有数据都被汇集至通用大数据平台，以方便以客户为中心的数据挖掘与数据分析工具使用。

●产品创新能力成为核心竞争力

大数据应用拓宽了商业银行业务和服务的发展空间，加速了产品创新。目前，我国商业银行服务同质化、产品差异性小。随着数据的不断积累和商业银行数据分析能力的不断提升，大数据应用将拓展银行的业务发展空间，涉及具有定价权和竞争力的创新产品，提升银行的核心竞争力。

例如，阿里巴巴推出的“花呗”，基于对消费者日常消费的研究，年轻人理财需求旺盛，收入有限，但又热衷消费。“花呗”的用户中，有将近一半是没有信用卡的，他们资金紧张时的购物需求“花呗”可以满足。“花呗”的人群获得的风险控制，都基于用户在平台上的消费行为，进行复杂分析计算后得出。

●互联网金融

互联网金融是大数据同金融业结合应用的典型代表，既是经营模式也是新兴产业，既可以是传统银行的新业务也可以是互联网企业进军金融业的一件利器。目前，国内的商业银行的互联网经营大多还是传统业务的互联网运营，对于互联网大数据价值的发掘还有待发展。而坐拥大数据技术的互联网公司同金融业务的结合成为目前互联网金融的最主要形式。

从本质上看，互联网金融模式通过搭建高效便捷的信息交易平台不断弱化金融中介的作用，是一种金融脱媒的行为，目前基本形成第三方支付、大数据金融、P2P网络信贷、众筹融资等寡头垄断竞争的发展格局。大数据金融模式是推动互联网金融格局变革的活跃因素。从运营模式看，可以分为以京东、苏宁为代表的供应链金融模式和以阿里小贷为代表的平台自营模式。前者主要解决核心企业供应商金融借贷所需的信用凭证问题，通过电商核心企业掌握的供应商在支付、物流等关键环节的数据和凭证，与银行合作，对产业链条中的上下游进行融资；后者主要解决平台交易商小额贷款的风险控制问题，凭借电商平台自身系统掌握的贷款人交易数据，对其信用状况进行核定，发放无抵押的信用贷款及应收账款抵押贷款。

●风险管控和运营优化

在风险管控方面，可以对小企业贷款风险进行评估，银行可通过企业的产、流通、销售、财务等相关信息结合大数据挖掘方法进行贷款风险分析，量化企业的信用额度，更有效地开展中小企业贷款。同时，可以实时欺诈交易识别和反洗钱分析。银行可以利用持卡人基本信息、卡基本信息、交易历史、客户历史行为模式、正在发生行为模式等，结合智能规则引擎进行实时的交易反欺诈分析。互联网金融应用大数据整合物流、信息流等信用风险控制关键节点，以快捷方便的网络信用贷款迅速抢占小微市场，商业银行市场定位被迫下沉，并通过与供应链核心企业、电商平台的异业联盟获取大数据来源，创新信用风险管理模式。

在运营优化方面，包括：

——市场和渠道分析优化。通过大数据，银行可以监控不同市场推广渠道尤其是网络渠道推广的质量，从而进行合作渠道的调整和优化。

——产品和服务优化。银行可以将客户行为转化为信息流，并从中分析客户的个性特征和风险偏好，更深层次地理解客户的习惯，智能化分析和预测客户需求，从而进行产品创新和服务优化。

——舆情分析。银行可以抓取社区、论坛和微博上关于银行以及银行产品和服务的相关信息，并通过自然语言处理技术进行正负面判断，尤其是及时掌握银行以及银行产品和服务的负面信息，及时发现和处理问题；对于正面信息，可以加以总结并继续强化。同时，银行也可以抓取同行业的银行正负面信息，及时了解同行做得好的方面，以作为自身业务优化的借鉴。

（2）保险业大数据应用

价值创造是保险业大数据应用的最终目标。保险业的普遍共识是，大数据同保险业的结合利用应该是全方位、全流程的，无论从横向的产品维度还是纵向的流程维度都应该充分挖掘应用节点，更好地利用大数据技术创造价值。不仅包括商业赢利，还包括企业经营方式的改变、企业管理水平的进步、企业整体工作效率的提高、各业务水平的发展、服务水平的改进等方方面面的提升。

麦肯锡公司将欺诈检测、客户视图、交叉销售、情感分析、外部数据价值、非结构化文档挖掘等12类客户案例同透明度、准实时分析、客户细分、主动深入洞察、产品改良5类大数据价值创造模式进行交叉分析得出：在12类业务案例中有11类已经应用或可以应用大数据技术进行主动洞察和改善保险各项业务，占比达到90%以上；有7类应用了大数据技术进行客户细分和创造新的商业模型来改善保险产品，占比达到50%以上。NOVARICA保险研究机构对55家保险机构的首席信息官和高级IT执行官进行调查分析得出：大数据技术在保险精算和产品建模方面已经创造较大的显著应用价值（18%）；大数据承保方面创造的显著商业价值达到13%；在理赔方面有着最大的模糊应用比例（11%），应用模式不够清晰，有待进一步研究和应用；市场营销是大数据应用的重点领域，但是目前没有显著的商业效果（7%）；保险服务方面基本没有显著商业效果（2%）。

●客户分群和精准营销

现代保险业以客户为基础，如何整合客户信息，创建统一视图成为了大数据在保险业的重要应用。以客户为中心整合客户自然信息、业务信息、互动信息以及外部公共信息等。基于客户视图建立客户标签、进行客户分群是进行精准营销、个性化服务的重要基础工作。采用大数据技术中的Nosql数据库技术，以键值的方式储存客户数据。然后，以客户为中心建立客户与保单关联视图。一方面可以实现基于客户或基于保单的整合查询，为呼叫中心、营销员、柜面及风险部门提供便利；另一方面可以进行客户分群、客户特征抽取等工作，为精准营销、个性化服务打下基础。

保险企业面对日益严峻的经济因素、激烈的市场竞争、严苛的客户要求和日益发展的大数据技术四方面压力，如何改善营销模型，达到精准营销目的，提升公司营销水平，保证市场竞争力成为企业重点发展领域。企业需要运用大数据思维改变传统的客户管理观点：从以产品为中心、销售人员驱动的模式转为以客户为中心的定位和差异化营销模式；从单一通过业务交易获取客户数据转化为全面整合公司内部客户数据、积极获取客户外部数据的策略。之后是进行客户大数据存储的建设。数据存储平台建设之后就是通过客户分群模型实现对客户数据的分群处理，达到客户特征的精准客刻画和洞察。预测模型，对制定的销售策略进行交叉销售和追加销售的模型预测，并通过反馈实现数据的闭环流动，实现了对客户的洞察，找出了客户的价值和行为，向客户发起有针对性的营销活动，并通过营销活动结果不断调整营销策略提升营销能力。

●个性费率和最优定价

费率计算和产品定价可以说是保险产品从开发设计到走向市场整个过程中最重要的一个环节，也是最直接利用数据的一个环节。从大数据的角度来看，因为保险业务的个性化定价较为普遍，数据量越大、数据维度越广对于定价的精确程度提升越有帮助。定价越准确，保险公司面临的逆选择风险就越低，费率的充足性和公平性也就越理想正是在这个意义上，定价能力的高低，决定了保险公司风险选择能力的高低。

定价科学、费率充足是产险公司承保盈利的源头，如何使得费率最大程度地贴近保险市场的真实情况、如何使产品定价能够为公司带来最大化的收益一直以来都是保险公司最为关注的核心问题，大数据的出现使得个性化费率的制定和最优产品定价有了可能。

●核保理赔优化

对于保险业，“核保”与“理赔”每天都在发生，保险公司现金流主要通过“核保”与“理赔”两个环节进行运作，核保理赔工作正是处在保险企业“收”和“支”两条大动脉的重要关口上，把握着公司命脉。总的来说，核保理赔在保险企业的风险控制能力、盈利能力的提高和企业信誉的建立等方面起着关键作用。

核保方面，目前大数据主要应用是利用大数据技术实现自动核保、自动赔付、优化核保理赔流程。在大数据支持下，数据分析建模可以实现自动化核保和差异化核保，将前台处理转化为后台处理。保险公司通过各种核保因素进行分析建模，将用户填写信息输入电脑或移动终端，在结合公司数据库内所关联的客户信息，即可以实现实时和自动化核保。

理赔方面，在初步审核阶段，报案手段的不同也决定了大数据应用的方式有所不同。电话报案，保险公司可以通过电话号码的小区定位大致了解报案发生的地点。如果通过手机应用报案，保险公司可以通过技术手段获取用户的GPS定位信息，精确确定报案地点。在确认事故原因方面，可以通过远程上传现场图片的方式，通过图片分析挖掘手段进行事故分析，确认各方责任。在确定赔偿金额方面，通过重要信息录入，结合基本的赔偿计算公式和客户保单明细进行自动计算。最后对用户进行保险赔偿和给付，通过优化内部流程和合理的赔付手段，为客户实现更为快捷、方便、适合的赔付，给客户更好的赔付体验。

（3）证券业大数据应用

证券市场一直是数据分析师的领地，专业数据分析师凭借良好的数学功底，多年的行业经验能够对微小波动进行数字化解读，找到最佳投资点，他们也是每个证券企业的宝贵财富。大数据技术中的数据分析手段，包括人工智能、深度学习、时序分析等算法的发展可以为数据分析师提供更为专业的数据支撑，深入数据内部找出数据价值。

股市是证券行业的战场，股市交易是一种高频金融交易，其主要特点是实时性要求高和数据规模大。目前，沪深两市每天4个小时的交易时间会产生3亿条以上逐笔成交数据，随着时间的积累数据规模非常可观。与一般日志数据不同的是这些数据在金融工程领域有较高的分析价值，金融投资研究机构需要对历史和实时数据进行挖掘创新，以创造和改进数量化交易模型，并将之应用在基于计算机模型的实时证券交易过程中。

美国一家叫做Kensho的金融数据服务商可以说充分利用了大数据技术进行证券市场分析，同时也对专业的金融企业带来了不小的冲击。该公司正在研发一种针对专业投资者的大规模数据处理分析平台。该平台将取代现有各大投资分析师的工作，可以快速、大量地进行各种数据处理分析工作并能实时回答投资者所提出的复杂金融问题。Kensho对于金融分析行业的影响就好像谷歌给搜索业带来的冲击一样。当投资者想弄清楚三级飓风、朝鲜试射导弹或者苹果新iPad上市和股票价格之间的关系时，即使最好的分析师能找到所有的数据，也至少要花上数天的时间来找出其中的潜在联系。而大数据分析软件可以通过扫描药物审批、经济报告、货币政策变更、政治事件以及这些事件对地球上几乎所有金融资产的影响等9万余份数据资料进行分析，得到答案，而处理速度在优质模型的驱动下甚至可以达到毫秒级别，可以得到上千万种答案，并从中找出最优结果。

4 结束语

总体说来，大数据金融呈现出网络化、信息不对称大大降低、高效率、多层次的行业格局、高度个性化金融和去媒介化等多种特点，这是传统金融所不具有的。从应用模式上看，以客户为中心，通过海量多样数据的分析，进行个性化产品创新、精准营销、针对性服务成为主要领域。同时，对于金融企业内部管理、运营优化带来更丰富的支撑手段。

金融业大数据应用前景一片光明，但也不能忽略发展背后带来的问题。大数据平台建设还需要继续发展和完善、硬件迁移在成本和性能上还需综合考量、大数据安全隐私问题的处理能力还很薄弱、各项法律法规的不健全也对金融大数据应用造成标准不统一、市场混乱等问题。

1 McKinsey Report.5 DifferentWays of VALUE Creations. McKinsey.2013

2 NovaricaSurveyof55 InsurerCIOsandSenior ITExecs.2013

3 http://w ikibon.org/w iki/v/Big_Data_Vendor_Revemnue_and_Market_Forecast_2013-2017

4 傅志华.大数据在金融行业的应用

5 唐方杰.大数据金融渐行渐近.银行家.2014,3

6 蔚赵春,凌鸿.商业银行大数据应用的理论、实践与影响.上海金融.2013,9

2015-01-29）

云计算标准与测试验证北京市重点实验室项目资助