当前大数据应用发展的局限性分析

2014-09-10何廷润

移动通信 2014年13期

【摘要】在论述大数据应用发展现状，以及以互联网企业为主的大数据应用条件与特征的基础上，分析了传统产业大数据应用的问题与发展环境，指出了当前大数据应用的局限性。

【关键词】大数据互联网谷歌地图支付宝传统产业

中图分类号：TN91 文献标识码：A 文章编号：1006-1010（2014）-13-0029-04

当前大数据技术在舆论上己成燎原之势，但在应用与发展上仍处于起步阶段。真正展现大数据技术应用魅力的案例多集中在国内外互联网巨头开发的相关业务中，甚少在国民经济与社会发展的更多领域有所突破。探讨大数据技术及其发展环境，分析大数据技术应用发展中暴露的局限性，为未来大数据技术更广泛地应用提供借鉴。

1 大数据应用产业发展现状

大数据对经济社会发展乃至国家安全具有重要的战略意义，我国政府非常重视大数据的发展，从科研创新和产业政策等方面大力促进大数据的发展，一些地方也陆续出台了具体的推进措施，国内大数据产业的发展日趋活跃。工信部电信研究院余晓晖总工程师在《我国大数据发展与展望》的报告中指出，大数据应用可以造福经济和人们的生活，我国也有条件在大数据领域进行创新。但报告中也明确指出：从目前发展来看，大数据应用的一个方向是公共服务，另一个方向是商业服务。同时，伴随着互联网产业的崛起，这种创新的海量数据处理技术在电子商务、定向广告、智能推荐、社交网络等方面也得到了应用，取得了初步成效。

经过10多年的发展，目前形成了多种相对成熟的大数据应用模式：

（1）以盈利为目标的商业大数据应用。目前常见的有：一是基于用户个人信息、行为、位置、微博等数据而进行的个性化推荐、交叉推荐、品牌监测等营销类大数据应用；二是基于用户、商铺的交易数据而进行的经营分析报告、反欺诈、反虚假交易、促销和团购选品、产业集聚判断等交易辅助类大数据应用；三是利用网站动态数据对网络状态进行实时监控预警、网站分析优化和网络信息安全保护的网络安全大数据应用。

（2）公共服务的大数据应用，即不以盈利为目的、侧重于为社会公众提供服务的大数据应用。如搜索引擎公司提供诸如春运客流分析、失踪儿童搜寻等公益大数据服务。

（3）技术研发类大数据应用，即利用大数据技术促进前沿技术研发、持续改进产品性能的应用。例如，利用各种语言版本的网页数据不断提高翻译质量的机器翻译，利用更多话音指令不断提升话音识别技术等前沿技术的研发。

国际上，大数据应用的典型案例之一是谷歌地图。2005年谷歌向开发者开放地图功能，2006年便推出了首个移动地图应用。此外，谷歌还加大力度，为全球所有重要城市的每条街道提供地图，同时提供全球卫星视图。现在，用户使用搭载谷歌地图的智能手机就能找到某座城市附近的道路。由于所有安卓手机以及搭载iOS6前代系统的苹果手机均能够使用谷歌地图，因此现在大多数智能手机使用的都是谷歌地图。谷歌的另一款大数据应用是语音搜索，谷歌使用庞大的数据库来存储用户所说的每个字，并与数百万用户的语音模式进行对比，使搜索提问的内容和语境相关联，使用大数据，谷歌大大加快了改进语音识别技术的步伐。

在国内，互联网金融领域的支付宝是大数据应用的典型案例之一。例如，支付宝利用大数据预测账户风险。支付宝大数据安全中心利用账户设备环境属性及账户行为等数据构建多维立体虚拟网络，从账户安全与账户行为之间寻找风险的痕迹。大数据在多维度分析用户支付行为数据，提前介入风险控制，从链条源头把握支付安全，使之从传统风险控制的“事后堵截”转变为支付宝的“预先识别”。实践结果表明，支付宝大数据安全中心每天分析超过2.4亿个账户的行为，最终实现资金损失率低于0.001%。与此同时支付宝还与业内厂商合作，共同屏蔽了全球39%的电子商务钓鱼网站，每周基本拦截钓鱼网站5 000个左右。

另外，支付宝利用大数据技术发布的2014年春运报告也是大数据技术应用的一项创举。2014年1月，支付宝发布的《支付宝用户春运报告》是基于支付宝数亿实名用户，并利用大数据技术交叉分析而成的。报告显示，近一半支付宝实名用户远离出生地而居，他们中的多数人将在“年”的召唤下回到家乡。报告还根据人口迁移状况，首度揭示了2014年春运的10大热门路线，为春运出行者提供参考。该报告显示，外出生活的用户中以离家200～800km最为集中，这表明最近几年，随着沿海产业向中西部梯度转移、东中西部多个区域经济中心崛起，新一代外出人群就近务工的趋势开始显现。数据还显示，2014年春运，需要回到出生地过年的人数最多。数据分析专家认为，这一报告是互联网大数据在春运领域应用的首度尝试，分析后才发现，它同时也是时代脉搏的记录仪、经济发展的晴雨表、社会变迁的折射镜。

当然，在国外大数据的成功应用案例也有很多，例如美国西雅图利用大数据节电，通过预测分析工具，大数据系统将能找出可行的节能措施，目标是将耗电量降低25%。法国的里昂市利用大数据整治城市拥堵，主要是基于实时交通报告侦测来预测拥堵。

2 当前大数据应用产业发展的条件与特征

深入分析大数据应用的成功案例可见，大数据经过数据源分析挖掘到最终获得价值包括了数据准备、数据存储与管理、计算处理、数据分析和知识展现等5个步骤。

（1）数据准备。由于大数据的来源复杂、数量庞大、格式不一，质量良莠不齐，在进行存储和处理之前，需要对数据进行清洗、整理。

（2）数据存储与管理。大数据存储系统不仅需要以极低的成本存储海量数据，还要适应多样化的非结构化数据管理需求，具备数据格式上的可扩展性。

（3）计算处理。根据处理的数据类型和分析目标，采用适当的算法模型，快速处理数据。海量数据处理要消耗大量的计算资源，因此分布式计算成为大数据的主流计算架构。

（4）数据分析。这个是大数据价值挖掘的关键环节。传统数据挖掘对象多是结构化、单一对象的小数据集，可依据既定模型进行分析。对于非结构化、多源异构的大数据集的分析，需要发展智能的数据挖掘技术。endprint

（5）知识展现。大数据应用是服务于决策，以直观、易懂的方式将分析结果呈现给决策者，是大数据分析的重要环节。

以上大数据应用必备的5大步骤，体现了大型互联网企业的优势。

（1）如谷歌、阿里、腾讯等大型互联网企业拥有丰富的数据和强大的平台，是大数据创新的基础条件。以谷歌为例，其数据资源极为丰富，拥有全球网页搜索索引库，掌握几十亿用户的搜索行为数据，建立了高分辨率的谷歌地图数据库，拥有谷歌+社交数据和YouTube海量视频数据。谷歌的基础设施也十分强大，在全球拥有36个超大型数据中心，上百万台服务器。

（2）大数据的应用效益必须依靠长期的不断积累。例如搜索、广告和推荐等成熟应用是在日积月累的微小进步中逐渐形成的。

（3）获取大数据应用效益主要靠持续不断的技术迭代。互联网企业一直奉行敏捷开发、快速迭代的软件开发理念，以长期持续“小步快跑”的研发方式，支撑了大数据应用效果的持续提升，建立了技术上的领先优势。

（4）技术和应用的一体化组织是快速迭代的保障。与传统行业“应用者——解决方案提供商”分离的组织形态不同，互联网企业省去了解决方案供应商环节，可以迅速将需求转化为解决方案。谷歌、百度等大型互联网企业的研发人员占比一般都在50%～70%，为技术开发提供了强大的后盾。

（5）领先企业进行前沿创新，创新成果通过开源得到不断完善并向全社会辐射，原创与开源相得益彰，形成了高效运转的研发产业化体系。开源模式能够降低研发和采购成本，还能够启发新的创意，加快再创新步伐。比如开源Apache Hadoop的大范围应用，大大加速了大数据应用进程，一大批互联网公司和传统IT业都从这种技术扩散体系中受益。

3 大数据应用在传统产业中推广的难点

与环境限制

2013年8月，工信部向社会发布了《信息化和工业化深度融合专项行动计划》，提出要促进工业大数据集成应用。支持和鼓励典型行业骨干企业在工业生产经营过程中应用大数据技术，提升生产制造、供应链管理、产品营销及服务等环节的智能决策水平和经营效率；支持第三方大数据平台建设，面向中小制造企业提供精准营销、互联网金融等生产性服务。推动大数据在工业行业的管理和经济运行中的应用，形成行业大数据平台，促进信息共享和数据开放，实现产品、市场和经济运行的动态监控、预测预警，从而提高行业管理、决策与服务水平。

与工信部推进两化深度融合的急切心情相比，大数据应用的发展却在传统产业中遇阻，至今在国内乃至全球未见可普及推广的应用案例与模式。当前传统产业在大数据应用方面存在不容忽视的问题与环境限制因素。

（1）传统产业正处于工业化与信息化融合的过程中，其关注的重点仍是产业生产过程的自动化，以实时感知、采集、监控生产过程中产生的数据为主，以实现生产系统的智能分析和决策优化为目标。因此，传统产业很难构成市场需求——产业环境——供应链——生产体系——产品营销——用户，直至产品或服务扩散与反馈的全流程。流程的缺失导致数据的完整性受损，其大数据应用局限于生产流程内部，不具有推动整个传统产业转型升级的普遍意义。

（2）传统产业类型十分广泛，就某一企业而言很难有实力构建大数据处理、存储、计算、分析挖掘与决策支撑的能力。比如，就数据存储而言，谷歌文件系统（GFS）和Hadoop的分布式文件系统HDFS（Hadoop Distributed File System）奠定了大数据存储技术的基础。谷歌公司在2012年披露的Spanner数据库在全球部署，系统规模达到100万～1 000万台机器。相对而言，传统产业没有实力，也不可能完全采用谷歌系统，而目前尚缺少具有普适性的可以应用于传统产业的大数据存储技术。

（3）工信部提出第三方大数据平台建设方案，为中小制造企业提供精准营销、互联网金融等生产性服务。形成行业大数据平台，促进信息共享和数据开放，实现产品、市场和经济运行的动态监控、预测预警，提高行业管理、决策与服务水平。但现实的状况是由于企业的分散与信息化层次的参差不齐，第三方大数据平台很难汇集真实、完整的数据。尤其是第三方大数据平台难以形成有效的运行与盈利模式，其各项能力建设与升级缺乏持久性，目前在国内尚无成功的先例。

（4）与在大数据应用方面获得成功的大互联网企业相比，传统产业不具有持续不断的技术迭代能力，很难像互联网企业一样，长期采用以持续“小步快跑”的研发方式来支撑大数据应用效果的持续提升。另外，传统产业也不具有技术和应用一体化的组织形态以保障快速的技术迭代。传统产业是典型的“应用者——解决方案提供商”分离的组织形态，难以对大数据应用保持不断开发的状态。所以，传统产业一旦建设了大数据应用能力，则很难实现新的技术迭代，最后沦为企业内部信息化的一部分。

（5）传统产业大数据应用也难以依靠本身的创新，将成果通过开源形式进行不断完善并向其他企业辐射，无法形成高效运转的研发产业化体系。

综上可见，当前以互联网企业为主的成功的大数据应用案例，难以在传统产业复制。

4 结束语

当前，以互联网巨头推动为主的大数据应用，在促进经济社会发展与保障国家安全中己显示和发挥了十分重要的作用。但是，作为国家经济基石的传统产业仍基本游离在大数据应用之外，这为大数据产业提出了严峻的课题，大数据应用之路才刚刚开始。

参考文献：

[1] 工信部电信研究院. 大数据白皮书[Z]. 2014.

[2] 胡虎. 两化融合引领全球创新风向[N]. 人民邮电报， 2014-05-26.

[3]清雨. 谷歌地图VS苹果地图：大数据领域竞争[EB/OL]. （2012-10-04）. http：//tech.qq.com/a/20121004/000008.htm.

[4] 陈继东. 支付宝正利用大数据预测账户风险[N]. 东方早报， 2014-03-12.

[5] 朱珠. 支付宝用大数据技术发布春运报告[N]. 经济参考报， 2014-01-07.

[6] 何鑫. “数据”为产业转型升级核心[N]. 深圳商报， 2014-01-03.

[7] 步轩. 制造业互联网化正成为一种大趋势[N]. 人民邮电报， 2014-05-09.