大数据及其对测绘地理信息工作的启示

2013-04-01乔朝飞

测绘通报 2013年1期

乔朝飞

（国家测绘地理信息局测绘发展研究中心，北京 100830）

一、引言

最近一段时间，“大数据（big data）”一词快速升温，逐渐成为IT领域的热门词汇，受到越来越多的关注，影响力甚至超过了云计算、物联网等。一些业内专家预测，大数据时代即将到来。那么，究竟什么是大数据，它的出现将给测绘地理信息行业带来什么影响?测绘地理信息工作应该如何应对?笔者在此不揣简陋，谈一些粗浅的看法。

二、何谓大数据

2011年3 月29 日，奥巴马政府在白宫网站发布了《大数据研究和发展倡议》（Big Data Research and Development Initiative）（以下简称《倡仪》），旨在提升利用大量复杂数据集合获取知识和洞见的能力，并将为此投入两亿美元以上资金。《倡议》提出，将提升美国利用收集的庞大而复杂的数字资料提炼真知灼见的能力，协助加速科学、工程领域创新步伐，强化美国国土安全，转变教育和学习模式。《倡议》还承诺将在科学研究、环境保护、生物医药研究、教育及国家安全等领域利用大数据技术进行突破［1］。

2011年10 月，全球知名咨询公司麦肯锡公司的季刊刊登的一篇文章指出:数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素，大数据将成为企业的新兴资产，形成企业竞争力的重要基础；企业需要开始认真思考，是否能够充分利用海量数据的潜力，并设法应对可能的威胁；人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。

维基百科对大数据的定义是:“指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合”。大数据具有数据量大（volume）、种类多（variety）和速度快（velocity）等特点，涉及互联网、经济、生物、医学、天文、气象、物理等众多领域。

大数据与以前的数据的区别在于:以往的数据多是结构化的，是非个性化的数据。而进入2012年，非结构化数据的比例将达到互联网整个数据量的75%以上。大数据通常与数据分析与挖掘、数据仓库、商业智能及开源云计算架构等诸多热点话题联系在一起［2］。

全球著名的信息技术咨询商国际数据公司（IDC）的研究表明，数字领域存在着1.8万亿GB的数据。企业数据正在以55%的速度逐年增长。科技博客网站表示，如今只需两天就能创造出自文明诞生以来到2003年所产生的数据总量。现代企业正在经历规模化、多样化、高速化的数据挑战，大数据已成为重要的时代特征［3］。

笔者认为，大数据并非是一个突然冒出的新鲜事物，其与以前的数据爆炸、数据挖掘等是一脉相承的。大数据与其说是一项技术，不如说是由于不断增长的数据量和数据种类而逐渐衍生出来的一种现象［3］。

大数据的出现有其历史的必然。今天，数据成本下降促使数据量急剧增长，而新的数据源和数据采集技术的出现使数据类型增多，各种非结构化的数据又增加了大数据的复杂性。如今，各种电子商务、社交网站层出不穷，不同性别、年龄的用户有着各种喜好、需求，由此产生了大量非结构化的数据。如淘宝网目前每天活跃数据量已经超过50 TB，共有4亿条产品信息和2亿多名注册用户在上面活动，每天超过4000万人次访问［2］。全球最流行的社交网站Facebook已经拥有8亿个用户，每天用户之间沟通、交流的信息的数量之大可想而知。面对如此庞大的数据量，有眼光的企业开始对数据进行深加工，挖掘数据中蕴含的丰富信息。

事实上，大数据的应用离大众生活并不远。如一些用户经常在一些电子商务网站上购书，随着购买记录的增多，网站会根据用户的购买记录，向用户推荐一些可能感兴趣的图书。事实上，这些网站利用的是一种所谓推荐引擎的技术［4］，这种技术能够综合利用用户的行为、属性，对象的属性、内容、分类，以及用户之间的社交关系等，挖掘用户的喜好和需求，主动向用户推荐其感兴趣或者需要的对象。数据表明，这种主动服务的效果是显而易见的，那些在电子商务网站被推荐过商品的用户，有三分之一的人会根据这些推荐购买商品［4］。

三、大数据时代:大变革、大机遇

大数据时代的来临，对政府、企业、公众带来的影响是深远的。

对于政府来说，应用大数据技术，可以建设相关的智慧工程，提升应急处理能力和安全防范能力，提升各部门的服务效率。奥巴马政府发布大数据研发倡议后，美国国家科学基金会（NSF）、国家卫生研究院（NIH）、国防部（DOD）、能源部（DOE）、国防部高级研究局（DARPA）、地质调查局（USGS）等6个联邦部门和机构承诺，将投入超过2亿美元资金用于研发“从海量数据信息中获取知识所必需的工具和技能”，并披露了多项正在进行中的联邦政府计划。如地质调查局通过给科学家提供深入分析的场所和时间、最高水平的计算能力和理解大数据集的协作工具，催化在地理系统科学的创新思维［1］。

对于企业来说，大数据在推动企业变革的同时，也产生了新的商机。在大数据时代，企业需要重新思考已有的IT模式，并将推动企业进行又一次基于信息革命的业务转型，将有关技术与企业运营管理实践相结合，使企业能够借助大数据带来的大洞察，获取更多的商业价值和发展机会，在激烈的市场竞争中脱颖而出［3］。

对于公众来说，可以通过大数据技术享受到方便快捷的服务，如网上购物、餐饮和旅游咨询等。电子商务网站利用大数据技术，如推荐引擎技术，通过分析用户在网上的消费习惯，能够“读懂”消费者的心理，及时向消费者提供其可能会感兴趣的产品和服务。

全球互联网巨头都已意识到大数据时代数据的重要意义。包括EMC、惠普、IBM、微软在内的全球IT巨头纷纷通过收购大数据相关厂商来实现技术整合，可见其对大数据的重视。2012年5月17日，在北京召开的“智慧的分析洞察”论坛上，IBM正式发布了基于业务分析洞察（BAO）理论基础之上的IBM智慧的分析洞察（smarter analytics）战略，以帮助企业将洞察力转化为行动力［3］。IBM在此时提出大数据平台战略，其目的显而易见，它正在以自己的优势瓜分这块庞大而诱人的蛋糕。

四、大数据时代给测绘地理信息工作带来的机遇

如今，大数据在IT领域风生水起，其核心思想对于测绘地理信息工作发展有很多启示，提供了新的机遇。

1.大数据给测绘地理信息部门带来的机遇

长期以来，测绘地理信息部门的主要任务是生产基础地理信息数据。西部测图工程、1∶5万基础地理信息数据库更新的完成，标志着数字中国地理空间框架初步建成；海岛（礁）测绘工程的开展，弥补了海洋基础地理信息数据的不足；资源三号卫星的发射成功，突破了高分辨率卫星影像的瓶颈；通过基础航空摄影获取了大量遥感影像资料。可以说，当前基础地理信息数据已极大丰富。然而，问题在于，守着这样一座数据金山，测绘地理信息部门却没有很好地加以利用。

毋庸置疑的是，测绘地理信息部门拥有的是名副其实的大数据，仅西部测图工程的成果，数据量就达到13.4 TB。大数据时代的到来，对于测绘地理信息部门具有重要意义，某种程度上讲，能否使用好手中的大数据，盘活这些数据资产，直接关系到测绘地理信息部门未来发展的成与败。

令人高兴的是，国家测绘地理信息局已认识到充分利用基础地理信息数据加强公共服务的重要性，正在加快开展地理国情监测，不断完善地理信息公共平台天地图的功能，加快推进地理信息大数据的应用。

今后，测绘地理信息部门应在不断更新现有基础地理信息数据的基础上，着力加强数据的应用。

数据挖掘技术的发展水平，直接关系到基础地理信息数据开发利用程度的好坏。目前，地理信息数据挖掘技术远远不能适应开发应用的需要。因此，国家测绘地理信息局应组织有关科研力量，大力开展地理信息数据挖掘基础理论和应用研究。特别是如今测绘地理信息部门掌握着丰富的遥感影像资料，应加大从影像中获取有用信息的研究。

在重大测绘地理信息工程建设中注重开展数据应用。在开展地理国情监测时，选取若干事关大局、事关民生的领域，创建若干典型应用范例，进而带动全国范围内地理国情监测的开展。应加强天地图的开发应用，在有关部门广泛开展调研，了解部门实际需求，开发相应的应用系统。

测绘地理信息部门作为重要参与者的智慧城市建设，与大数据关系紧密。智慧城市是数字城市发展的更高阶段，是城市发展的新范式，从城市中每个人的生活方式到每个产业的生产方式，以及城市的运营和管理方式都将智慧化。建设智慧城市，只有利用大数据，才能获得突破性改善。智慧城市中，存在着大量传感器，只有利用大数据技术，结合地理位置数据，才能进行深层次分析和应用。

2.大数据给地理信息企业带来的机遇

大数据时代的来临，可能预示着新的、甚至是破坏性业务模式的诞生，即所谓“破坏式”创新。大数据意味着大商机，对于地理信息企业而言，谁能抓住大数据带来的商机，谁就能在激烈的竞争中立于不败之地。这里仅以基于位置的服务（location based service，LBS）为例，说明大数据给地理信息企业带来的机遇。

LBS曾经一度被业界寄予厚望，然而，最近其发展却离大家的预想有较大距离。大数据时代的来临，有可能使LBS重新焕发活力。

LBS与移动互联网联系紧密。移动互联网目前发展迅猛，过不了多久，使用移动互联网的用户数量将会超过使用个人电脑上网的用户。PPLive公司首席执行官，前微软虚拟地球创始人陶闯博士认为:“移动互联网+LBS”的商业模式未来将呈爆炸性增长。

大数据与LBS结合，将给精准营销带来良好机遇［5］。越来越多的用户通过手机上网看新闻、看视频、娱乐或者购物，通过对用户所在位置的周边信息进行多层次分类，如详细汇总餐饮、培训、娱乐、购物等信息，把有效的广告推送给用户，向不同需求的用户提供个性化的服务。这种商业模式下，LBS服务商需要和拥有大量用户信息的网站（如社交网站）进行合作，共同开发实用系统，同时要注意保护用户隐私。