标准化推进大数据时代进程

2014-03-20山西省标准化研究院赵红梅

大众标准化 2014年12期

●山西省标准化研究院赵红梅

2014，大数据开启了重大的时代转型，“大数据”时代已然走进了人们生活的方方面面。利用互联网搜索信息，用微信、QQ维护社交关系，上网购物，商业、经济等等产生的海量数据目前正在以每18个月全球信息总量翻一番的速度膨胀。预计到2020年，中国一个普通家庭一年产生的数据相当于半个国家图书馆的信息储量。同时，随着移动互联网、物联网等采集数据的工具越来越多样化，对物质世界的描述越来越精确，拥有的数据量也越来越大，大数据的应用正逐步渗透到各个行业和领域，逐渐成为重要的生产要素和战略资源，深刻改变着人们的生产生活方式，在经济发展中发挥着重要作用。

标准是大数据时代的重要技术支撑，标准化工作是大数据产业发展和应用的重要基础。运用标准保障数据安全、推动技术创新、支撑大数据领域产业、应用和服务等有序、规模化发展是大数据时代的必然要求。

大数据的涵义

1.何为大数据

从广义上讲，大数据即海量数据，是由数量巨大、结构复杂、类型众多的数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的集成共享，交叉复用形成的智力资源和知识服务能力。

从狭义上讲，“大数据”是具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，是数据分析的前沿技术。

大数据是科技发展的产物，随着金融、商业、电信、贸易、期货等领域的网络电子化，互联网终端、移动电话、银行信用卡等海量数据信息出现，各种数据库的存储出现了几何级数增长。按照墨菲定律，在大数据时代，每隔半年，人类积累的数据就会翻一番。我们现在每年生产的数据几乎是人类以往五千年生产的数据的一倍还多。

2.大数据究竟有多大

一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部数据可以刻满1.68亿张DVD；发出的邮件有2 940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……

截至2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1 024TB=1PB）、EB（1 024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数据量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而截止到2012年，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约为5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。

3.大数据的特征

（1）数据量大。大数据的起始计量单位至少是P（1 000个T）、E（100万个T）或Z（10亿个T）。

（2）类型繁多。大数据包括网络日志、音频、视频、图片、地理位置信息等，多类型的数据对数据的处理能力提出了更高的要求。

（3）价值密度相对较低。随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。

（4）处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

建立大数据标准推进大数据时代转型

当前，在经济全球一体化的形势下，标准作为贸易的技术基础和产业发展的关键要素，对于经济社会发展的支撑作用日益凸显，加强技术标准化研究，帮助企业共同推进全球技术数据化标准应用，对于大数据时代转型具有关键作用。建立大数据标准体系，推进大数据时代转型发展势在必行。

1.开展数据源头标准化研究，促进行业发展

首先，要从数据的源头开展标准化研究，确保数据质量，推动行业进步。比如工业化大生产下的产品设计，应首要建立产品设计要素标准化，形成清单，并且明确使用、检验的标准，这样对后期采购、验收等流程都有重要意义。此外，对设计要素形成统一称谓，使用标准名词；依据不同行业的特点将数据按照一定的规则进行排列管理，以方便今后的工作使用等等，通过这些对产品设计等数据源头标准化的管理，实现产品的标准化生产制作，进而促进行业发展。

2.建立商品数据信息标准化，推动零售业发展

当今时代，虽然网络信息技术飞速发展，但零售业依然面临各种商品、信息、格式和协议标准不统一的问题，由于企业在采购、运输、消费等各个环节过程中需要处理大量不同的信息，商品从生产出来到消费者使用需要很长的时间等待，因此，只有把相关商品数据信息标准化，统一数据格式和交换协议才能有效解决当前零售业面临的根本问题，这就更加凸显了标准在信息化大数据时代的重要作用。建立完善商品数据信息标准，对于零售业发展繁荣以及经济发展有着不容低估的重要意义。