数据“大”有作为
2013-04-29邢帆
邢帆
进入大数据时代,数据信息的作用远不止步于银行与电信业的业务发展中,政府行业对于数据的使用与价值的开发正逐渐实现着数据的更深层次价值。从人口普查到总统选举,数据的大作为正以迅猛的速度渗透到各个行业。
数据的正能量
大数据被用来描述信息爆炸所产生的海量数据。Jim Gray的新摩尔定理认为,每18个月全球新增的信息量是计算机有史以来全部信息量的总和。截至2010年,人类拥有的信息总量大约是1.2ZB(1ZB等于1万亿GB)。IDC预计,到2020年,世界上的数据存储总量将达35ZB。数据之所以增长如此之快,源于各类传感器、智能终端的剧增。而高清晰图像和视频,更使得数据呈指数级增长。如何收集、管理和分析数据日益成为信息通信技术创新的重中之重。
对此,工信部信息化推进司副司长董宝青曾表示,要积极看待大数据热潮。大数据的兴起,不完全源于信息技术变革到了一个多么了不起的高度,而源于一国政府、企业、国民的信息化应用和创新思维到了一个崭新的高度。大数据的本质是对信息资源、知识资源、智慧资源开发利用的高度重视与创新。而我国在中办、国办34号文件里已经深刻阐述过这一理念,现在需要更加积极地去推动。
有资料显示,在发达国家,制造业、银行业、消费营销行业等较早进入大数据时代,各类顾客点击、浏览、反馈和交易记录,都构成了大数据的基础。百度目前数据总量接近1000PB,存储的网页数量接近10000亿,每天还会对这些数据进行更新,响应用户的请求也是几十亿次。通用电气正投资15亿美元建设全球软件和分析中心,拟雇佣400名数据科学家,协调全球1万名软件工程师通过共同的平台工作。IBM商业价值研究院和牛津大学商学院对全球数千名企业高管的调查显示,有63%的企业管理者希望大数据技术能与企业运营管理实践相结合,形成企业新的核心优势,28%的受访者所在企业已经开始试点部署大数据。
正如我们所看到的,数据的力量已经不再止步于金融和电信这些传统的“数据大户”,政府行业正逐渐向着服务的标准靠近,数据对政府部门的作用正在逐渐扩大。
2008年,奥巴马利用网络力量当选美国总统,被誉为首位“网络总统”。而就在不久前,奥巴马再次借助超强的“大数据”能力成功连任,其背后几十人的数据分析与挖掘团队也浮出水面。它帮助奥巴马在获取有效选民、投放广告、募集资金方面起到了不可忽视的作用。
中国联通研究院副院长童晓渝认为,无论从获取、存储、处理和服务哪个环节看,大数据产业都正在快速形成。要推动其发展,应从战略的高度去做好顶层设计和行业的发展规划,标准规范,示范工程,还要前瞻性地完善制度建设,用法律法规来保证大数据的公共性、真实性、安全性和隐私保护等。
从挑战到机遇
为了从数据中获得有价值的信息,做出更快更好的决策,企业对信息解决方案、服务和资源的投资所产生的价值成为信息回报。由结构化数据、非结构化数据、以及半结构化数据组成的大数据,是企业当前面临的挑战。同时非结构化数据在未来的增速将是结构化数据的3倍。社交媒体、移动互联网将构成大数据重要的部分。
面对数据,想让其从挑战变成机遇,首先在不同的行业里要了解如何在产生大数据的时候去分析用户的商业价值,我们要了解它管理信息的战略。当然也要了解整体数据,到底是从什么系统来,做什么用,最后和哪些客户有关系,目前处理的,大部分还是跟内部的系统有关系。另一方面,这些数据即使几个PB、几十个PB也都是小部分,这些数据的质量到底如何?如何让几天获得的信息在几秒钟之内达到更高的质量?数据从哪里来?意味着什么?以及通过绩效管理和在不同的行业里去分析数据产生的同时,做财务相关的分析、人力相关的分析,供应量相关的分析,比如核心银行的客户系统的分析,电信网络的分析,BSS系统的分析等。
其次,企业需要面对的最大的挑战就是数据的竞争。数据已经成为了现在生产过程中的基本要素和资产。数据如何竞争?投资回报率如何建立?数据投资回报是数据价值除以数据成本,第一,需要降低数据成本,提升数据价值。而降低数据成本有很多做法,其中最重要的就是把低活跃度的数据转移到低成本的存贮器上去。怎样增加数据的价值呢?要收集更多、更全面的数据,比如说社交化ERP。第二,要针对数据质量有一个数据治理的队伍和流程。第三,要有很好的数据分析的能力,“数据可视化”是当前的大趋势,通过图形、图像、动画等等一同展示数据,让数据浅层的关系得到更好的理解和发现。
农夫山泉首席信息官胡健说:“运用内存数据库平台进行实时海量数据处理,运费报表从原来的24小时缩短到只需3.6秒即可生成,速度提升了两万多倍,促进业务优化,摆脱了传统的IT维护和数据滞后的问题,整个生产环境呈现出更顺畅的运营、更准确的数据和更高效的性能,大幅提升我们应对市场变化的能力。消费品行业竞争激烈,但只要我们比人家快一步,我们就可以占得先机,就可以占领市场。”日本三井情报株式会社,生物信息和基因组分析方面的专家建立了一个实时的分析数据库平台,通过采用复杂的、迭代算法,并使用Hadoop进行基因组序列预处理,成功地把基因组分析的时间从以数天缩短到几分钟。
诸如此类,大数据对于企业能够创造出多大的价值是不能够给出定论的。数据的价值也并不在于挖掘与分析,而是从收集和存储就已开始。运营商想要从中获益就必须高度重视大数据时代的网络建设,还要对宽带网络进行智慧管理。金融行业则需尽快完善其在安全领域受到的注目,利用能多信息实现信息增值。而在政治领域,服务型社会中,数据将“大”有作为。