大数据时代：机遇、挑战与思考

王兴伟

大数据一词最早出现于1980年，是由著名未来学家阿尔文-托夫勒在自己的《第三次浪潮》一书中提出来的。当时的阿尔文·托夫勒将大数据热情地赞颂为“第三次浪潮的华彩乐章”。大约到了2009年，大数据这一词才成为信息领域的流行词汇。据悉，互联网上的数据每年大约会增长40%，每两年便会翻一番，目前世界上90%的数据是在近几年才产生的。2010年以互联网为基础所产生的数据比之前所有年份的数据总和还多，不仅数据量在激增，而且数据结构也在发生演变。

大数据的特点

除数据激增、数据结构演变等最基本的特点外，个人还认为大数据具有以下几个特点：一是变化性，即数据随着事物的变化而变化；二是真伪性，我们获得的数据不完全是可信的，有可能是有问题的，收集到的数据并不是我们所预期的，也不是我们所需要的；三是价值易时性，数据的价值有一定时效，时过境迁，如股市数据；四是易损性，数据有可能丢失，也可能被篡改；五是可视化，数据需要以合理的形式呈现给用户，加以适当表达，否则绝大多数用户仅以数据是无法理解的；六是可验证性，含有数据的分析结果必须是可以验证的，得以验证其正确与否。

大数据会提供怎样的机遇与挑战

大数据已成为继云计算、物联网后IT领域的又一次重大变革，它提供了难得的洗牌机会，数据已成为国家的宝贵财富、单位的核心资产，影响极其深远，并不局限于IT领域，实际上它对国家的治理模式、企事业单位的决策组织业务流程、个人的生活方式都可能产生很大的影响。如致力于管理的层级更加扁平化，网民和消费者的界限正在逐渐消失，过去网民是网民，消费者是消费者，而如今网民在浏览的同时便可以完成消费行为。另外，充分地利用大数据，高效地分析信息，可以准确的捕捉需求，满足受众需要。例如每天收到的垃圾广告，但通过数据对网民上网习惯进行分析，便可以推送相应的广告。单位的界限也变得模糊，业务模式、文化和组织都需要进行重构。

大数据技术需要关注的是如何解决在大数据收集、处理、存储、传送、管理和维护过程中突破和发现的关键技术。再次，是大数据工程，我们需要构建大数据的规划、运营和管理的系统工程。最后，其实也是最重要的，是开发大数据应用，基于大数据解决现实问题才是根本所在。应该说发展大数据产业的基础已经具备，即已经有了无所不在的信息聚集与积累，以及不断在发展进度中的信息采集、存储、分析和挖掘技术。发展大数据产业的动力也已经形成，遍布世界采集不尽的信息资源为发展大数据产业提供了可能。看似毫无意义的数据，经过技术处理可以转换成有交换价值和使用价值的信息，这就为企业创造财富提供了可能。

发展大数据产业应该是迫在眉睫，从狭义的角度出发看待大数据产业就是发展与大数据的采集、处理、存储、管理、运行、维护等相关的IT产业，要开发相应的软硬件设备、建设大数据中心等等；从广义的角度发展大数据产业，就是要与消费、生产领域相融合，发展大数据应用产业，如医疗健康大数据、交通数据、运输大数据等等。与此同时，培育大数据相关人才也刻不容缓，麦肯锡预测，到2018年，仅美国就需要深度数据分析人才44万到49万，缺口14万到19万，需要既熟悉本单位的业务需求、又了解大数据技术与应用的人才150万，我国的需求一定会更大。

为此，中国已将大数据技术与产业优先发展列为战略新兴产业。国务院于2015年5月8日发布了《中国制造2025》，明确提出要加强高端服务器大容量存储设施建设，促进云计算和大数据应用。2015年7月1日发布了《推进“互联网+”行动指导意见》，也明确了大数据设施的建设目标，提出了鼓励大数据应用、大数据技术开发的政策，承诺推动公共数据资源开放。2015年8月9日，国务院又通过了《关于促进大数据发展的行动纲要》（以下简称《纲要》），在《纲要》中明确指出要推动政府信息系统和公共数据的互联互享，消除信息孤岛，整合各类政府信息平台，避免重复建设和数据打架，增强政府的公信力，促进社会信用体系建设。国家要推动交通、医疗、就业、社保等民生领域，政府数据向社会开放，在城市建设、社会救助、质量安全、社区服务等方面开展大数据应用与示范，提高社区的治理水平。

国家要顺应潮流，引导支持大数据产业发展，以企业为主体、以市场为导向，加大政策支持，着力营造宽松、公平的竞争环境，建立市场化应用机制，深化大数据在各个行业的创新应用，催生新业态、新模式，形成与需求紧密结合的大数据产品体系，使开放的大数据成为促进创新创业的新动力，强化信息安全保障，完善产业标准体系，依法依规打击数据滥用、侵犯隐私等行为，让各类主体公平分享大数据带来的技术、制度和创新的红利。

大数据带来的启示与思考

研究的超前性。其实早在1980年托夫勒便指出了大数据的极端重要性和美好未来。假设我们早在1980年就意识到大数据的极端重要性，超前部署相关研发工作，那么目前的局面又会如何。因此，我们在寻求引领发展和先发优势时，它呼唤着极具前瞻眼光的战略思维和视野，这也告诉高等学校必须做超前的人才培养，必须做明天的科学研究；企业必须有超前的技术储备，为明天产品的开发做积累，如华为等智能手机的成功不是偶然的，就在于其前瞻性的布局。

人才培养与知识体系的快速适应性。面向未来的人力资源需求，如今的IT类专业人才的培养模式、知识体系、实验课程设置应如何应对？如何培养复合型人才等都是高等教育领域需要考虑的问题。个人认为，不宜过多设立过度的大数据专业与学院。从狭义的大数据角度来看，更多的是要将大数据作为计算机和软件工程等专业方向，面向大数据对IT技术提出的新要求，如对计算机系统结构、硬件结构设计、网络体系结构、软件体系结构、编程模式等提出的新要求，数据采集、存储、组织、访问管理等面临新的要求来培养专业人才。从广义大数据的角度来看，更多地应与其他专业相交叉，培育大数据方向的复合人才，如金融大数据、工业大数据、交通大数据等，这样才能更好地适应大数据在行业发展的需要。因此，高等教育必须迅速适应大数据要求，适时进行专业培养方向转型，这样便不会出现在几年后面临巨大的人才需求所谓的人才过剩及人才匮乏等现象。但在人才培养过程中切忌跟风，不要盲目蜂拥而上，必须看清自己是否有真正意义上的教师资源，否则也不会达到很好的效果。

加快发展大数据产业。一个产业的兴旺发达必须具备以下两点：一个是市场需求。没有市场需求的产业不可能长久。另一个是与产业相关的各个主体的利益保障，主体权益得不到保障，便没有发展产业的动力。在完善大数据产业政策的过程中必须考虑解决如下的问题：社会成员隐私权的保护、社会各类主体信息所有权的保护、公共数据资源开放与国家安全的甄别。思考这些问题不仅是政策制定者的责任，也是大数据技术开发工作者的责任，在数据进行专业化处理的过程中必须兼顾隐私的保护和数据资源公共安全的保護。在大数据产业发展的过程中必须科学布局、理性发展，切忌低水平的重复建设。如今到处在建大数据中心、智慧城市，但这些并不等于大数据产业中的全部。我们需要适当聚焦基础理论、关键技术及核心软硬件产品的突破，需要进一步梳理需求、开发大数据应用才能使大数据落地生根，需要选择置换应用发展才能使得大数据在中国更好地普及。

在此过程中一定要注重与其他关键技术领域的协同发展。如与云计算、物联网等的协同发展，云计算本身可以为大数据提供解决方案，物联网是数据采集和获取的主要手段。同时在发展大数据时要注重与国家战略的联动统筹，如互联网+、中国制造2025等的联动统筹，这样才能更好地推动中国社会经济发展的提效。另外一方面，随着数据处理技术的图片，特别是图像语音等分析处理技术，大数据已不像如今理解的那么大。大数据量很大，但价值不一。真正有用的数据是呈现某种状况，如安全事件几秒的影响。如今无法实时理解和分析发生事件的信息。因此，随着数据处理技术的发展，大数据可能没有今天想象的那么大了。

（作者系东北大学软件学院院长、教授）