基于大数据的文化旅游分析管理系统研究

蔡绍博，潘 坛，鲍玲玲，蔡同建

（1.武汉市春晓曲农业科技有限公司，武汉 430211；2.武汉建春科技有限公司，武汉 430070；3.武汉市中城事大数据有限责任公司，武汉 430074）

随着旅游业的不断发展，传统产业的调整及多种技术的创新应用，旅游业呈现出多元化发展，作为一个综合性的产业，涉及到吃、住、行等多个领域。在全球化的今天，文化旅游产业甚至上升至国家层面的战略高度，促进经济文化交流，实现旅游资源共享。在形式上，要充分了解游客偏好，是文化旅游推出产品和服务的必要前提；提供新的产品形态，是不断实现经济价值转化的关键；降低运营成本是文化旅游业得以持久运转的重要保障，因此，需要在大量的数据中将用户的需求进行分析了解并进行及时推送，利用现有数据获取其规律及价值，全面整合区域的文化旅游信息。依托大数据技术，提供社会化信息基础设施建设，对景区资源进行数字化和虚拟空间的全面提升和完善，加强资源共建共享，建全旅游资源信息处理机制，优化资源配置，加深游客和景区的互动体验和深度学习，还可以通过智能导览系统、物联网全局控制，在最大限度之内节省人力和物质资源。

1 大数据技术在系统中的应用

在信息爆炸的时代，数据产生由被动、主动到自动，数据的迅速增长导致了信息的爆炸式增长，传统的信息处理技术已经不适用于现在大规模的数据空间，大数据因此而来。大数据分析的观点是指数据规模巨大且复杂即数据不止是单一的类型，具有5 V特点（Volume、Velocity、Variety、Value、Veracity），以上种种特点使得在现行标准下的数据管理工具处理数据变得异常苦难。在大数据的加持背景下，需要收集、预处理和存储大量的文化旅游数据。各种不同结构的海量数据不仅需要收集、存储和资源数据共享，还需要进行分析、对比或者数据挖掘其特点，找出其内在规律和实用价值。如何获取有价值的信息就需要依靠根据不同应用的需求选择性分析，这也是大数据处理的核心。

大数据与云计算的关系是密不可分的，作为大数据的基础平台与支持技术，大数据具有更好的发布扩展、调整补充迭代等特点，对于用户在云平台上运行的应用，不同的应用需要不同的服务器资源作为依托，为特定的应用分析匹配从而推荐合适的存储架构和数据组织，选择和拼装合适的功能模块，并根据工作负载定制系统规模和高效可靠的负载分配策略。根据不同用户的需求理解应用，提取特征，定义模型，实现灵活、可扩展的调整。其中，作为上层应用基础的文件系统也需要进行改变。大数据背景下的许多应用在大量数据的管理上出现问题，于是开始研制适合自己运营场景的大数据系统，GFS是一个可以应用于廉价普通硬件设备上的提供容错功能的可扩展分布式文件系统，其广泛应用于分布式、大型的处理海量数据的场景。其可以给大量的用户提供总体性能较高的服务，针对大文件而设计。而TFS是一个高可伸缩性、高效、面向互联网服务的分布式文件系统，主要针对复杂的非结构化数据，其构建在普通的Linux服务集群上，可为外部提供高效和并发的存储访问功能。

大数据背景下的数据库相较于以前的数据库而言，在数据规模与数据类型上有所不同，大数据背景下的数据往往杂乱无章，以非结构化和半结构化为主要类型，异构居多，同时，结构化数据往往是辅助角色。在此基础上，不同的数据源之间交错复杂，不同类型的数据内容的检索也有交叉。Hadoop是一个支持对海量数据进行操作处理的软件框架，其以并行的方式工作，通过并行处理加快处理速度。此外，其是基于社区服务构建的，任何人都能够使用，这些特点使得Hadoop成为了一个高效、易用、人性化的分布式计算平台。

大数据管理系统是一个容量大、类型多、变化快速、真实且低质量数据管理的系统应用，是面向分析型的大数据应用，以数据操作为主，所以要对数据的分析性能进行提高，其中，大数据管理系统的价值之一在于知识和信息的管理，在大数据中发现规律，获取数据价值，所以文化旅游分析系统不仅要满足对资源的获取和智能化的分析运用，还要依托大数据平台，将文化旅游发展到新的高度，推动文化旅游的跨界融合，形成政府、市场、企业和社会等多元主体的共建共享治理格局。将人文景观和当地特色，以及周边养生、保健等服务行业相结合，开发不同层次的复合商业发展模式，同时为用户提供合理旅游规划和路线，随时掌握旅游相关资讯。

2 文化旅游分析管理系统框架构建

2.1 文化旅游相关数据库建设

目前，旅游行业在我国仍未建成资源基础数据库，信息的发布和更新缺乏时效性。文化旅游数据要创新智慧旅游公共服务模式，所以文化旅游数据包含多项，要将海量多种类型多种模式的数据资源进行整合贯通，在设计之初就要严格规范，高标准去研究制定。在创新过程中要有效地把旅游、交通、气象和测绘等信息整合到数据库。综合运用地理位置信息、门票信息管理和周边服务业等信息，存储形式可以为文本、报表、图片、XML、HTML、图像、视频和音频等。与政府各级职能部门、社会组织等建立广泛密切的联系，加大资源管理的整合力度，形成大数据信息共享方式下的全覆盖、多元治理模式的文化旅游大数据库综合应用5G、大数据和云计算等技术，加强旅游预约平台建设，推进分时段预约游览、流量监测监控、科学引导分流等服务，例如“云上贵州·智慧旅游云”大数据平台系统。

2.2 文化旅游分析管理系统重要技术

大数据索引技术：数据库最重要的应用之一是数据查询，提高数据库查询效率的重要机制是索引，海量数据在索引过程中会影响到大数据应用的检索和处理效率，所以可以在基于高效的索引结构上提高检索的效率，例如以有并发索引结构为核心的高效检索技术，而本文采用基于Elasticsearch的HBase大数据二级索引，采取存储并查询二级索引的方式，是一种多网络的倒排索引技术的特殊形式，加上基于Lucene的分布式搜索引擎Elasticsearch，提高HBase的检索效率。是在Elasticsearch传输数据过程中配置了BulkProcessor，进行批量传输机制的设置和时间机制，在速度传输上有所提升；HBase在内置的索引是基于行键（RowKey）设计的，HBase搜索关键词能力较差，但在RowKey情况下查询效率具有显著的提高。此时系统在满足海量数据的写入需求的同时，也满足快速检索的需求。

大数据压缩技术：数据在采集之后会不可避免地出现数据冗余的情况，对数据进行紧缩处理，可以减少数据的存储，设计高效快捷、高压缩率且快速易懂的算法可以使数据在传输、计算、分析得到提高。

大数据可视化分析技术：可视化是分析和挖掘时空数据的重要手段。借助于图形手段，可以清晰有效地传达和交流信息。在此系统中，可以利用三维可视化技术，让用户感受到三维交互的体验效果。三维可视化技术结合了数据的三维特征分割和重建技术，将采集到的三维数据的纹理和材质渲染到视觉场景中，以提高数据的三维表达能力，然后通过网络数据信息管理系统中的三维VR虚拟现实设计，提高绘制场景的智能性和逼真度。在基于三维虚拟的海量数据信息管理系统中，使用可视化仿真渲染技术工具Vega Prime实现三维建模和可视化分析，通过可视化应用实现交叉编译，并利用Multigen Creator建立了三维虚拟网络数据设计和大型场景模型设计的静态图像处理功能，在Vega Prime系统下对视觉信息进行分析，实现了三维虚拟现实的可视化仿真。

2.3 文化旅游分析管理系统设计

该系统采用Hadoop进行构建，分为数据采集、存储、分析和呈现4层构架，形成大数据数据层、传输层、分析层和呈现层4个层次，有大数据采集、大数据存储、数据传输、大数据智能分析和大数据呈现5个分布于4个层的功能，如上功能综合对系统中各用户的互动数据进行整理和管理分析，在大数据技术的支持下为用户提供完整的旅游信息，形成智慧旅游模式。如图1所示。

图1 基于文化旅游的大数据技术框架

大数据采集系统：从各种来源采集海量结构化和非结构化数据。通过网络进行爬虫或者网站公开APⅠ进行数据批量有效采集的方式，并将数据通过内存与磁盘两种形式存储在客户端，同时，数据被简单地处理并写入各种数据接收器（例如文本、HDFS、HBase等）。然后对采集到的数据进行清洗、脱密等环节预处理，包括数据精细化清理、数据中心化集成、数据转换和数据规范。解决了数据遗漏、不一致、数据冗余和数值冲突等问题。在最大限度保持数据原始外观的基础上，简化数据量，获得较小数据集的操作，从而提高数据质量。

大数据存储系统：HDFS是基于磁盘的分布式系统，面向的对象主要是大文件的存储管理，以HDFS等为代表的开源系统已成为目前大数据存储的主要标准之一。HDFS以流式数据访问模式来存储超大文件，运行于商业硬件集群上。HDFS集群分为2大角色，分别为Namenode、Datanode（非HA模式会存在Secondary Namenode）。在存储过程中，数据以3种方式存储包括实时、批处理和流式。数据集群主机发起指令并与HBase结合，实现添加、删除、查询和修改等基本操作。在使用数据时，与Hive相结合，通过ETL工具将数据源提取到HDFS进行存储。Hive对原始数据进行清理、处理和计算，并通过与HBase配合,将表结构以配置文件的形式存放在云服务器中，最后结合Hive在利用被过滤分组后数据时，可以使用SQL语句查询和检索数据，方便编程和检索。如图2所示。

图2 大数据层

大数据智能分析系统：研究数据挖掘算法是大数据技术的核心。数据源和格式来源不同，格式不同，所以基于不同的格式和属性，数据挖掘的算法也应当做出调整，如此才能够更加科学地展现数据本身的特点和属性。常用的计算模型包括批处理计算、流计算和迭代计算等，每种计算类型都有相应的抽象接口和相应的响应组件，如Map-Reduce提供的Map和Reduce接口和相应的响应组件。根据数据库中存储的数据，可以使用“批处理+流处理”模式。“批处理+流处理”的混合处理模式已经发展迅速，Spark便是建立在HDFS之上，通过结合配置、算法进行内存计算模型和执行优化，极大地提高了数据处理能力，形成“批处理+流处理”的混合处理高效模式。Spark适用于交互式数据查询。可以通过Spark框架分析数据并输出结果。除了数据挖掘算法外，大数据可视化分析还为用户提供了清晰的旅游信息视图和理解。大数据预测分析结合多种先进的分析功能（包括统计、预测、数据挖掘和文本对比等），为用户提供新的旅游方案策略和安全预警判断，达到预测不确定事件的目的。如图3所示。

图3 传输层和分析层

大数据呈现系统：对应不同的设备，可分为在Web应用、桌面应用、手机应用和微信端等的相应用户端实现数据检索结果的输出呈现。

3 结束语

文化产业和旅游业的结合，不仅可以弘扬民族文化，加强文化自信，还可以以历史文脉作为依托，打造特色文化旅游，推动相关旅游景点的周边商品销售，进一步推动艺术表演、文化馆和博物馆等文化产业链相关经济的发展。利用多网格数据倒排索引、多维度大数据场景建模、多层次细节LOD模型展示等大数据技术，建立文化旅游分析管理系统，对文化旅游信息进一步分析获得相应的价值与规律，为用户提供高价值服务。