大数据背景下的智慧城市的发展

李玉娥

摘要：近年来，大数据技术逐渐应用于各行领域，一直备受社会各界关注，大数据的持续发展将推动智慧城市的发展，该文主要简述大数据时代下智慧城市的發展以及大数据技术在智慧城市中的应用领域，浅谈智慧城市发展带来的新的挑战。

关键词：大数据;云计算;智慧城市

中图分类号：TP311       文献标识码：A      文章编号：1009-3044（2018）36-0022-02

随着计算机应用技术的不断成熟，网站和软件开发在近年来快速发展，并由原来传统的单机应用架构演变为分布式集群应用架构，零散的数据经过分布式应用架构体系集中统一管理，网络数据信息爆炸的时代带来的效应就是大数据技术的产出，进而推动分布式计算和未来智慧城市的发展。

1 大数据体系下的技术概述

大数据是一个抽象概念，可以把理解为对亿量级的网络数据经行收集并能对进行实时计算与分析的技术。随着互联网的不断发展，网络上的信息在得以扩充后，时刻都在不断变化着，传统的数据分析技术并不能及时处理网络信息。

如图，该图片通过大数据的技术架构，将大数据的技术体系进行展示。该图的最底部是基础设施，包括了计算资源、内存与存储以及网络之间的互联，具体体现在计算节点、集群、机柜以及数据中心。其上面的内容是数据存储和管理，该部分包括的内容有文件系统、数据库以及和YARN相类似的资源管理系统。之后的内容是计算处理层，包括Hadoop、MapReduce和Spark，除此之外，还有在这些内容基础上的各种各样的计算范式，例如批处理、信息流处理和图形计算等，还有由此衍生出的编程模型中的计算模型，如BSP、GAS 等等。数据分析和可视化基于计算处理层。分析包括简单的查询分析、流分析和相对复杂的分析（如机器学习、图形计算等）。查询分析更多地以表结构和关系函数为基础，流分析以数据、事件流和相对简单的统计分析为基础，而复杂分析则是以相对复杂的数据结构、方法为基础，如图、矩阵、迭代计算和线性代数。

一般情况下，具有普通意义的可视化能够展示分析结果。可是采取交互式可视化的方式，能够对进行探究式的询问，从而让分析有新的线索，从而形成分析迭代以及可视化。当前，该领域研究的重点，包括以大规模数据为基础的实时交互可视化分析，以及该过程引入的、自动化相关的要素。

上述各层需要两个领域将其垂直打通，在打通以后，可以进行从整体上来把握。一方面是编程以及管理工具，其方向体现在通过学习的方式，机器实现自动最优化、尽可能地不需要编程、不需要相对复杂的配置。另一方面则是确保数据安全，该领域贯穿于整体的技术体系之中。

在大数据整个生命周期中，分为四个阶段：

1.1 数据收集

在大数据技术的整个运行周期种，首要的环节就是数据采集，要依据Map Reduce产生的数据进行有效分类，先分布式局部计算得出结果再统一合并得到计算结果。

1.2 数据存储

在大数据生命周期中如何将采集到的数据进行存储和管理，并在实际应用过程中对数据经行及时快速的调度，是实现大数据分析技术的第二大技术。由于网络信息具有数量多，多元性，重复性，复杂性等特征，将网络数据按照类型级别划分，实时分析，分类存储。在存储技术得到充分发展的情况下，所带来的情况是数据得以快速增长，甚至于存储成本降低的速度远远低于数据的增长速度。当前，在依照标准进行存储，以及大数据的保存方面，有着成本障碍。

1.3 数据分析

因为MapReduce主要应用于推进大数据进行线下批处理，在面对一些问题时会存在较强的不适应，诸如在面向低延迟以及具有相对复杂数据关系、相对复杂运算的大数据问题时就会存在这样的状况。所以，近年来对大数据的计算模式进行深入的研究，推出了很多该领域新的研究成果。

大数据的计算模式，主要指的是依据大数据不同侧面的特征，例如数据方面的特征、运算方面的特征等等，从这些计算问题以及相关的需求中加以提炼，从而构建各种各样的高层抽象（abstraction）或者模型（model）。比如，MapReduce中涉及的并行计算抽象，著名的Spark系统中的“分布内存抽象RDD”，CMU著名的图计算系统GraphLab中存在的“图并行抽象”等。

并行计算方法在传统阶段，重要运用的方式就是在体系结构以及编程语言方面对一些抽象以及模型进行定义。可是因为在处理这些大数据的问题时要考虑到一些数据方面的特征以及运算方面的特征，以至于在处理大数据的时候，要将这些不同层面的特征有机结合起来，从而建立起相对层面较多的计算模式。

按照处理大数据时出现的多样化的需求，以及存在的不同特征，大数据中较为典型的各种各样的计算模式已经出现了。和计算模式相类似或者相适应的，涌现出非常多的关于大数据计算的系统以及工具。因为单一描绘计算模式是非常抽象的，所以在描绘的时候，要把相关的计算系统以及工具同步给出，就像图1那样。这会使得对计算模式有着更深的把握和理解，对大数据发展的现状也有着清晰的认识，同时有助于选择更加合适的技术、系统与工具。

2 智慧城市概述

大数据技术结合物联网等技术，将原来的传统业务与网络进一步关联，更方便快捷的提高运作效率，改善人们的生活质量。将大数据技术运用于城市道路交通，社会医疗，城镇化管理等方面，可以更细粒度全面的管理。致力于智慧城市的发展，这是不断提升城市发展信息化水平的重要措施。

以大数据技术的应用为基础，要构建工作平台，该平台涉及基础设施、大数据等内容，加大对各种大数据的管理力度，同时依据工作需要对大数据进行有效的处理和管理等等，在管理中注重将管理与服务紧密结合起来，提升服务的品质，使得城市在交通、物流等方面的管理得到有效的提升，进行城市各个行业的智慧综合利用。

生活备受广大人民关注的是往往是围绕生活的一些服务行业，不管未来如何发展，衣食住行都是必不可少的，未来的智慧城市的发展也离不开这个核心。未来智慧城市将为绕智慧物流体系、能源体系、公共服务体系、交通管理体系、健康管理体系，以及智慧安居体系、文化服务体系等方面。

3 目前的发展现状

目前国家大力推进智慧城市的发展，2013年1月29日，第一批智慧城市的试点出现了，共计90个试点。这里包括37个市、50个区、3个城镇。中国已有311个地级市开展数字城市建设，智慧城市建设让人们可以更快捷的享受到数字带给生活的便利。智慧城市试点需要有3至5年的创建时期，国家相关部门将会组织对此的评估，对试点着手评定，评定的等级共分为三类，即一星级、二星级、三星级。从相关信息能够了解，相关部门在推进智慧城市建设方面已经加强制度建设，将试点工作推向深入。很多运营商和更多的城市就智慧城市的建设签订协议，加大资金投入。

智慧城市得到充分发展，这是推进城市化进程，提高城市信息化建设的重要举措。以设备厂商的层面来看，光通信设备厂商、无线通信设备厂商将自身具备的优势得到最大的发挥，把无线和有线有机结合起来，从而将网络资源的配置得以最优化，从而推进智慧城市得到更大幅度的发展，同时相关的通信设备厂商、芯片厂商会得到最大的发展，收获较大的经济效益。

4 智慧城市发展面临挑战

如何保证数据的安全性。大数据将社会的运行状态用数据描述，现代生活和虚拟数据紧密联系，带来的首要问题就是数据的安全性和可控性。安全是未来智慧城市发展面临的首要问题，信息泄露对于个人，带来的是个人信息的泄露，对于公司带来的是公司运营敏感信息的泄露，需要加强防范网络病毒，黑客技术，防止威胁数据安全。

保证数据的可控性，数亿量级的数据需要实时处理，对于现在的计算机硬件来说是一个极大的挑战，如何搭建一个高性能，高并发的实时数据分析系统，并在突发情况，自然灾害发生的情况下保证数据不会丢失，是智慧城市发展的第二个需要面临的问题。

保证数据的真实有效性，网络数据每时每刻都在发生变化，随着时间的推移，网络数据不断增加，数亿量级的网络数据，如何保证此时的数据真实有效是大数据智慧城市建设需要解决的问题之一。

未来阶段继续发展大数据，所面临的挑战远远不止这些，随着社会需求的不断增加与变化，未来需要解决的问题将会更多。更好地将大数据技术应用与智慧城市的建设并缓解或解决现有社会中的问题是智慧城市建设的最终目标。

5 智慧城市发展的建议

上文已述，大数据背景下的智慧城市的发展会极大加重网络数据被窃取的风险，给不少黑客留下了窃取他人信息的机会，在建设智慧城市的道路上和未来发展的过程中，网络安全是必须要引起重视，一旦智慧城市走进人们的生活，就意味着所有人生活的数据信息都会在网络的某个的地方存储，这就极大的加剧了个人信息泄漏问题的严重性。同时数据量巨大，能够实现实时处理并且即使分析的前提是搭建高可用，稳定性强，且容错率高的服務架构体系。

针对网络安全的建议，个人用户账户信息使用不同的加密算法，如MD5.电话功能使用虚拟电话。将数据经行加密处理。虽然这不能100%的保证数据的安全，但是可以一定程度上降低安全信息泄露的可能性。

针对大数据处理的服务架构搭建，要保证架构的稳定性，和容错率较高，在大数据分析技术中使用集群搭建，在不同的服务之间分布式搭建，合理的应用现有的资源，将资源利用率最大化。

6 结束语

我国的经济在不断发展，互联网技术的发展是国家和社会关注的重大问题，在大数据背景下，智慧城市时代会逐渐走向人们的生活。智慧城市的发展是大数据技术发展成熟的标志，智慧城市的建设将给社会的各个方面带来便利，在迎接新的技术带来的便利的同时，也要解决新的问题，需要有针对地更快更好的发展关于大数据方面的研究，加强创新与运用，破解技术方面存在的问题，不断推进智慧城市发展的新进程，从而解决智慧城市中的现有问题，让技术改变生活。

参考文献：

[1] 蔡志珍. 计算机大数据现状与发展[J]. 赤峰学院学报， 2016（3）.

[2] 王正青. 大数据时代美国学生数据隐私保护立法与治理体系[J]. 比较教育研究， 2016（11）：28-33.

[3] 李德仁， 姚远， 邵振峰. 智慧城市中的大数据[J]. 武汉大学学报， 2014， 39（6）.

[通联编辑：谢媛媛]