智慧城市中大数据存储与分析技术探索

杨正理+陈海霞

摘 要：随着城市化进程的推进，智慧城市的建设与应用成为当前研究的热点。大数据是支撑智慧城市建设的基础，影响着一个城市是否能够健康发展、正确进行管理决策，以及能否可持续发展的关键因素。通过对智慧城市中大数据在存储与分析技术方面的探索，为进一步研究大数据在智慧城市中的应用、搭建智慧城市数据化平台提供了参考。

关键词：大数据；智慧城市；大数据存储

DOI：10.16640/j.cnki.37-1222/t.2017.21.115

0 引言

智慧城市通过各种传感器以及无处不在的物联网技术将现代城市与数据技术联系在一起，各式各样的数据呈现爆发式增长，进入大数据时代[1]。大数据已经在城市智能交通系统、智慧政务、智慧医疗、智慧社区、智慧体育、智慧旅游等方面得到广泛应用，成为智慧城市建设与应用的根本推动力。

大数据又称为巨量数据，是指所涉及的数据规模巨大，无法采用常规手段在合理时间内对其进行截取、管理和分析，成为人类所能解读的信息[2]。这些数据来源口径不同，模态千差万别，比如由不同厂家生产的各类传感器、智能设备产生的数据、数字照片、视频、购物交易记录、手机信号等。

面对智慧城市所产生的海量多源异构大数据，若能透彻的进行分析，以云计算技术进行整合，便能快速地将其转化为有价值信息，从中寻找和挖掘到城市的发展规律，人们生活和行为、以及社会潮流、思维的趋向，就能尽早的推断市场对产品、服务甚至政策等方面的需求和反应。从而更好、更智能的发挥大数据的作用，为智慧城市的健康发展提供有力支持。

1 城市大数据服务支撑架构

城市大数据包括结构化、半结构化和非结构化数据，尤其是空间、视频等非结构化数据越来越成为大数据的主体，传统的数据管理、存储手段已无法满足要求。而云计算技术，特别是Hadoop技术为大数据管理和高效支撑提供了基础平台，可以实现对大数据进行有效管理与并行处理[3]。充分发挥云计算技术优势，快速检索和处理城市大数据，挖掘其中有价值的信息和知识，为智慧城市的发展服务。在云計算和数据挖掘等技术支撑下，可将城市中的任何人、在任何时间、任何地点获取任何服务（Anyone，Anytime，Anywhere，Any Information，4A）的智能服务转变为在正确的时间、正确的地点将正确的信息提供给需要的人的灵性服务（Right Time，Right Place，Right Information，Right Person，4R），从而使数字城市真正成为智慧模式[4]。

基于云计算技术的城市大数据服务支撑架构如图1所示，架构由城市数据中心、城市基础库和城市云服务三部构成。

（1）城市数据中心是智慧城市大数据的基础，主要由一些物理资源构成，如：计算机、智能设备、存储设备、网络设备、数据库和数据库管理软件等。这些物理资源基于云计算和虚拟化技术，将多源异构数据资源转化成同构或接近同构的数据池。虚拟化技术能够屏蔽了数据口径和数据源之间不同的特性，使数据池中的数据能够被动态分配、动态迁移和数据整合，能够被集群用户所采用。

（2）城市基础库是智慧城市大数据的基础信息资源，也是智慧城市大数据服务支撑架构中其他用户的基础数据资源。架构中只有被授权了的用户才能访问和共享这些基础库。

（3）城市云服务是为智慧城市的各级用户提供各自所需要的云服务。按照云计算技术中“服务即应用”的理念，城市云服务就是以服务的形式为用户提供应用软件、技术服务以及各种计算资源，用户从此可以不再关注应用软件以及计算应用等的购买、安装和升级等复杂的流程，而只需要根据自己的实际情况租用相应的服务即可。

2 城市大数据服务支撑的关键技术

城市大数据服务支撑的数据资源包括基础数据资源、应用领域数据资源、共享数据资源、互联网数据中心（Internet Data Center，IDC）资源、公共安全数据资源、以及各行业部门根据自身的需要所建立起来的具有行业特点的数据资源等。基于各种数据资源的数据融合和信息共享是支撑城市更加“智慧”的关键因素，而面向服务架构（Service-Oriented Architecture，SOA）技术是保障数据融合和信息共享的技术支撑[5]。

从数据分析层面看，大数据服务支撑技术包括：

（1）数据收集技术。智慧城市大数据服务支撑架构可通过数据请求、数据迁移、软件调用、中间件技术等方式从城市基础库或行业专用数据库中获取数据。由于各数据库中数据的多源异构特性，采集过程一般通过开放数据库接口来实现，比如RestAPI和Web Service等。

（2）数据存储。城市要实现“智慧”化，首先就需要对分布的、海量数据进行高效存储，以实现低成本、低功耗、高可靠性和云计算技术的数据分布，并能按照一定的分类规则对数据进行过滤、去重和清洗操作，同时还需要给数据添加标签，以方便检索。城市大数据的高效存储是城市能够变得智慧的基本要求。

（3）数据处理。城市大数据涉及参数庞大，其复杂性不仅体现在数据样本本身的结构、种类和内容上，更体现在数据具有多源异构、多实体、多空间之间的交互的动态性。这些数据特征难以采用传统的数据处理方法进行描述和度量，必须采用新的数据处理方法，如Sqoop、Datanucleus等。对一些高维数据，如图像多媒体数据，还需要作降维处理，并利用上下文关系等模糊化手段进行语义分析，才能从动态的、且价值密度相对较低的信息中获取可理解的内容。

（4）结果的可视化。结果只有采用直观、形象的方式进行呈现，才能方便的为城市管理者、各行业、城市参于者提供有效的服务。可采用文件、标签云、柱状图、仪表板、历史流、GIS地图等方式为城市管理者、企业、市民提供服务，并为Web门户、移动客户端、信息发布屏等提供方便连接和共享的数据接口。endprint

SOA是为了解决在Internet环境下业务集成的需要而开发的软件系统。传统的Web（HTTP/HTML）技术解决了人与系统之间的信息交互，促进了B2C模式的发展。Web（XML/WSDL/SOAP）服务技术则是解决了系统与系统之间的信息交流与共享，从而促进了B2B/CB2B/EAI的进步。而SOA技术则是以面向服务的商业建模方式，并结合Web服务实现了系统之间的松耦合，实现了系统和系统之间资源和服务的整合与协同，其本质就在于使独立的信息系统个体能够在统一的指令下一起协同工作。

对于应用越来越广泛的分布式计算框架来说，SOA就是一场技术革命。系统集成人员或者应用开发者不需要关注服务的具体实现过程，就能通过组合一个或多个服务来构建应用。比如说，一个采用NET或J2EE来实现的服务，被服务者的应用程序可以在不同的平台上运行，且应用程序可以采用不同的语言来进行实现。

3 结语

网络通信技术和传感器技术的发展无疑使城市大数据时代来到人们面前。当人们的日常生活不得不受到大数据的影响时，所生活的城市也必将在大数据的支撑下走向“智慧化”。智慧城市促进了大数据的产生，而大数据反过来又促进了智慧城市的发展。智慧城市与大数据技术只有完美结合，才会创造出璀璨的明天。

参考文献：

[1]李德仁，姚远，邵振峰.智慧城市中的大数据[J].武汉大学学报，2014（06）：3-4.

[2]LANEY D.3D Data Management：Controlling Data volume，Velocity，and Variety[J].Application Delivery strategies，2001（06）：70-72.

[3]何延潤.以数据为中心的智慧城市信息体系架构研究[J].移动通信，2013（Z1）：13-17.

[4]CHOURABI H，HAM T，WALKER S，et al.Understanding smart cities：an integrative framework[A].2012 45th Hawaii InternationalConference on System Science[C].2012：2289-2297.

[5]王晗.国内外智慧城市建设关键要素及其耦合研究[J].河南科学，2013，31（10）：1764-1765.endprint