基于大数据技术的数据资源建设应用研究

刘海峰，徐丽丽，高 艳

（晋中信息学院，山西 晋中 030800）

1 数据资源库建设的意义

人们运用科学手段，对大量的信息进行整理和分析，为人们做出正确的选择提供了科学的基础。大数据作为一种新型的数据资源，是随着计算机技术的发展和互联网的日益普及而产生的一种新型的数据资源。大数据时代的来临，越来越多的人开始重视数据的信息化和数据库的构建。

2 数据资源库建设的技术要点

2.1 设计原则

随着计算机技术的迅速发展和普及，海量的信息资源可以被集中存储，网络的出现，使海量的数据和信息得以共享。数据虽然是一种虚拟的资源，但同时也是一种宝贵的资源，要想把它变成有用的资料，就必须要用到它，而在信息化的发展过程中，大量的数据平台和软件将会极大地提高数据的转换效率和质量，从而为社会、经济的发展提供一个很好的借鉴。随着数据的不断增长，数据的存储、处理技术的不断发展，各种数据量的收集越来越频繁，如何从海量数据中快速地抽取数据，成为数据处理领域的重点研究对象。目前，大数据云存储、检索、分析、计算等技术体系，都是随着时间的推移而不断更新的，且技术种类越来越多的，为大数据的整合提供了科技手段[1]。信息技术包括信息收集、整理、筛选、存储、管理，既可以为社会服务，也可以实现信息的增值。在对同类数据进行综合分析的基础上，必须具有交叉分析的能力，确保数据的完整性，提高数据的可用性。大数据技术是对海量的数据进行收集、存储、处理和分析，而数据的存储、共享和处理是实现大数据信息资源库的关键。信息数据库的建设能够丰富信息资源，提高信息的质量，同时也可以通过互联网实现信息的交叉处理，解决信息重复收集、处理等问题。数据库的建立必须遵循数据采集的统一规范，确保数据的质量，并利用科学的数据处理系统对数据进行甄选、分类、整合、储蓄，以便用户进行查询和管理员的日常维护，确保数据库的正常运行。

2.2 支撑技术

大数据资源库整体技术体系结构包括计算平台资源、计算业务数据、计算管理系统和计算服务系统。首先，采用虚拟化、分布式存储等计算技术，利用计算资源池、存储池、网络资源池，实现服务器虚拟化、网络虚拟化、存储虚拟化。其次，对业务数据进行计算，以确保业务数据的安全存储，实现了虚拟机的动态迁移、数据迁移、跨部门数据的分享和交换、业务应用的接入。计算管理系统是一种基于计算机的自动化控制系统，它可以将计算中心的业务和服务结合起来，从而提高其运行的效率。另外，计算服务系统作为一个与公共的平台，它能够实现对外界的统一服务，为用户提供综合的应用和服务。支持平台是一个面向外部客户的统一的计算平台，基于物理分区，建立支撑平台。为确保整个计算中心的安全性，在计算中心内应设置一个专门的隔离区域（DMZ区域），用于对不同的业务系统进行处理，并对其进行接入。在此基础上，先进的实体计算机为数据库的逻辑分割提供了支撑，而虚拟服务器和实体服务器支持了应用系统的逻辑分区[2]。

2.3 数据采集与逻辑分析

首先是资源库的数据基础，大数据信息资源具有数量大、种类多、价值密度低、处理速度快等四个特点。面对海量数据，我们迫切需要一种技术来处理海量数据并将其转化为有意义的数据。大数据的重要意义不在于掌握大量数据，而在于它所包含的数据。在构建专业信息资源库时，大数据技术可以从社会需求、交互协作等多方面进行深度挖掘，以满足不同用户需求的专业资源资源库。其次是对于数据的建模与分析整理，由于数据的数量大和多样性，数据的存储成本、存储难度和分析的复杂性都决定了数据模型的设计。分析模型的构建取决于数据模型的设计，如果数据模型过于复杂，那么整个应用程序就会变得十分复杂。对异构化数据要进行分类，要做到结构化、异构化，要合理地选择不同的存储结构和存储方式，合理地选择异构的数据采集技术，最后把异构化的数据转化成结构化的数据。在此基础上，对实时数据和沉淀数据进行严格的区分，并对数据库的持久性进行了合理的设计，以减少对数据的大量存储。在建立了数据的标准模型之后，挖掘数据的价值就需要借助智能的数据统计工具和分析工具来完成。这是技术的最重要之处，也是最困难的部分，因为很多时候，没有现成的工具，只能在现有的工具上进行更新或者重新设计。

3 基于大数据技术的数据资源库应用优势与改进措施

3.1 大数据环境下教育行业的信息资源库

为了适应市场环境的变化，促进学生的全面发展，我国在实施现代教育理念的同时，也要强化教育系统的数据库建设，优化教育资源，使其更具科学性，学内容更丰富、教学方式更灵活。随着信息技术的飞速发展，网络资料库已成为课堂教学的重要工具。在素质教育理念的影响下，所有的教育工作必须以学生的综合发展为中心，以优质的服务为中心。在进行加工、推导等操作时，要通过大数据技术对资源进行分析与合理的使用，并对数据库进行有效管理。为用户提供更完善的阅读服务，提高用户的学习体验。

尽管教育资源库为学习者和教师带来了便利的服务，但在其建设和使用过程中难免会碰到问题，这就要求建设者与管理者进一步对大数据技术进行优化。首先是关于资料的安全性。信息管理在给人们带来方便的同时，也存在着诸如信息泄露、病毒攻击等问题，若没有健全的网络安全维护系统，或是因为管理人员自身技术的欠缺，就会使得网络管理与服务环境过于开放，对学生的信息安全造成威胁。某些不法分子会通过网络的安全漏洞进行攻击，造成重大的信息泄露，从而对用户的个人信息和校园网的安全造成威胁。教育部门要想防止资料的安全漏洞，就必须加强资料的安全管理，比如，采用先进的防火墙技术对数据进行分类、整理、多重防护，以及采用云端备份技术，对各种数据进行及时备份，避免数据丢失。加强相关管理人员的安全意识，认真对待工作，并对数据进行有效的管理与维护，以保证数据的安全。其次，是服务成本和网络造价高，信息资源人才匮乏。教育部门要树立信息资源一体化的理念，加强对基础资源的利用，同时要建立各区域院校联合开发的大数据平台，以达到降低服务费用、改善服务品质、达到信息资源库可持续发展的目的。

3.2 大数据环境下旅游业的信息资源库

通过建立基于数据的旅游资源数据库，可以充分利用当地资源的真实价值，建设现代化的数字化景区，建设数字化资源数据库，为资源管理智能化发展、资源保护数字化发展、产业整合网络化发展提供良好的推动力。通过对大量数据的分析，可以为旅游企业的运营人员提供科学的信息，为旅游企业的运营管理人员提供科学的信息，从而为企业提供更好的决策依据。基于数据驱动的旅游资源数据库，可以根据游客的需求，实时地生成适合于旅游者实际需要的线路和相关的旅游服务资源。要实现旅游文化的现代化，必须建立基于数据的数据库。随着旅游业的发展，旅游业的数字化和现代化程度的提高，使得旅游业的发展更加迅速。

大数据环境下所建造的旅游资源信息库也有着类似于教育信息库一样的问题，如安全问题、管理造价问题，另外，此类嬴利用数据库也面临着版权问题、信息更新问题、用户隐私保护问题等多重困境，使得信息资源库的建立与维护难度更大。一是版权问题，要区分各景区图片的所有权问题，不得随意盗用个人用户以及景区未经许可的图片。二是信息更新，在数据驱动型旅游资源数据库的构建中，部分景区也会重建修改，必须保障资源库中的信息随着景区的改变而修改，确保信息的真实可靠。三是用户隐私保护问题，旅游业在利用数据库进行广告投放时必定考虑到游客的偏好，这就难免导致个人信息的泄露，所以必须在信息检索时保护好用户的隐私。旅游企业只有这样才能挖掘出数据资源库的价值，才能通过对旅游数据库的建设和使用进行产品改版、效果评估、广告投放以及调查问卷等，为今后旅游企业的决策与发展助力[3]。

3.3 大数据环境下人才资源库的建设

在企业发展战略中，人才资源策略是关键。人才资源的战略目标是根据企业总体战略来确定的，所以企业中的人才资源贯穿于企业的整个生命周期的不同阶段。尤其是在大数据时代，各行业、各企业对于人才的需求与日俱增，对人才资源库的需求也更为迫切。通过信息检索、档案收集、智能匹配，不仅企业可以以此来招聘合适的人才，招聘者也可以寻找自己心仪的岗位，基于大数据技术的人才资源库建设有利于提高毕业生的就业率，使其更符合企业的发展需要，符合当今社会发展的需要，其作为双赢政策为工作双方提供了有利的服务。

然而人才资源库不仅有着大数据资源库同样的问题，如用户隐私易泄露，而且还包括了虚假信息鱼龙混杂、信息检索能力不足等现存问题。必须加强对资源库的安全保护，合理投入资金加强基础建设，增添服务项目。要积极运用现代科技，拓宽信息服务渠道与查询方式，充实服务内容，最大限度地满足客户的个性化需要。另外增强网络监管，当发现虚假信息、诈骗招聘等问题时应当及时处理，并且提高用户的警惕性，避免用户的利益受到侵害[4]。

4 结束语

综上所述，在大数据技术的加持下，大量的信息可以被收集、存储、整理、分析、转化为信息资源。尤其是在当今互联网发达的时代，在知识经济的背景下，大数据是人类社会发展的一种重要科技手段，利用大数据进行检索，打破以往的被动，从数据中发掘有用的信息，使海量的数据资源被整合为具有重大价值的信息资源库，并且建立健全检索机制与监督机制以便用户检索使用，为我国的经济发展提供现代化支持。■