基于云计算的大数据网络信息检索技术及扩展

孟颖

摘  要：随处可见的云储存和计算功能，加快了大数据的产生速度，因此，在进行网络管理的过程中，需要做好大数据信息内容的收集，帮助人们便利地进行数据信息检索，结合实际调查结果显示，大数据中超过半数都是非结构化数据内容，大多数非结构化的数据形式是以文件进行储存。大数据整体被分割成不同的内容，分别储存在不同的服务器中，在主服务器上也会产生相应的储存元数据，该文主要探讨了基于云计算的大数据信息检索技术，对其未来发展进行了整体预测，希望能够促进我国科学技术的发展。

关键词：云计算  大数据网络  信息检索技术

中图分类号：TP18    文献标识码：A 文章编号：1672-3791（2019）09（c）-0011-02

随着信息技术的不断发展，云计算得到了广泛应用，我们正处于信息爆炸时代下，云服务在各个领域的不断应用，越来越多的个人和企业将办公业务迁移到了网络平台上，这些网络平台无疑不产出大量的数据内容。除此之外，自动传感系统、移动设备应用以及科学仪器使用，都会源源不断地提供数据内容，增长速度最为明显的就是社交网络和电子商务数据，数据内容主要是通过音频、视频、图片、文字等多种形式进行传播，要想对这些数据内容进行描述，就需要采用GB、PB甚至ZB，因此我们需要做好云计算中大数据的信息检索工作。

1  大数据网络信息检索技术

（1）大数据网络信息储存。我国在进行网络信息资源储存过程中，存在着数据分散的问题，网络用户要想通过信息系统进行教学资源的查询，就需要分别输入不同的检索条件，这种信息查询形式降低了查询效率。通过混合云计算模式的有效应用，能够改变传统的分布式数据库储存格局，将网络用户所进行的检索与数据库进行结合，全面提高查询过程的整体性。网络用户在进行数据信息查询的过程中，可以直接通过云端进行检索，云客户端能够直接将检索条件发送到系统服务器中，经过短暂的分析为市场提供合理的信息资源，满足网络用户的信息查询要求。混合云计算模式的有效应用，能够减少信息基础设施建设的资金投入，借助大数据技术建立私有云，负责储存重要信息和资源，从而结合网络的发展情况，对云数据进行统一管理，为用户提供更好的信息化服务。

（2）元数据的应用。大数据的产生本身就是随着云计算的超级计算发展而形成的，大数据主要指的是通过结构化和半结构化的数据分析模式，进行数据的储存和收集，结合其数据量，大数据具有种类多、价值高、处理速度快等应用优势，能够更好地进行数据内容的检索，如果我们依然采用传统的关系数据库进行数据储存，不仅耗费储存时间，还需要大量的资金投入，在进行数据查询时也具有一定的困难性。大多数的数据内容都是以文件形式进行储存的，因此云计算的集群文件系统，逐渐成为大数据数据传输的重点内容，集群文件系统主要指的是将一个大数据文件划分为不同模块，分别储存在服务器中，每个模块都带有元数据，元数据被储存到主服务器中。主服务器储存的内容主要有文件和块的命名，空间块的映射文件以及数据备份的主要位置，我们在进行数据查询的过程中，可以直接通过命名空间查询指定文件，找出文件所处的目录和基本路径，原数据所记录的内容有文件储存的具体位置，通过信息查询就能够了解数据的位置移动情况，实现动态化检索。

2  网络信息的收集与检索

信息储存量与信息的价值成反比，随着信息技术的不断发展，用户在进行网页浏览的过程中，会从成千上亿个网页中结合自己的需求，查询相关数据内容，例如：在观看1h左右的视频后获得的有用信息只有几秒钟，同理，云计算之所以成为信息技术发展的基础，就是因为云计算具有超强的信息计算能力，能够通过云数据，在短时间内获得信息处理结果。云计算的有效应用能够快速地挖掘数据所蕴含的价值，是解决查询问题的重要手段，在进行信息检索的过程中，中国常用的百度、美国常用的谷歌都是检索行业的领先企业，我们正处在云计算的大数据发展时代，其发展的核心思想借鉴了搜索引擎所带有的便利形式，让用户在进行大数据信息检索的过程中，将信息检索过程分为网页收录和检索两部分。

（1）网页收录。在进行数据检索的过程中，主要是检索云中的数据服务器，分别对不同节点上的服务器数据信息进行排序和分析，通过分布式检索的方式，将检索到的结果直接收录到Index Repository中，通过网页将搜索引擎中的内容收录在案，制定出搜索索引。用户在结合自身的发展需求提出搜索请求时，实际上是在Index Repository中进行搜索，通过运用云计算的计算方式，通过倒叙索引列表的制订，将其储存到储存器中，设计好页面的主要标题和连接内容，为数据制作索引，并且将网页的主要内容另存为其他索引中。用户在进行数据内容查詢的过程中，所得到的数据结果大多数都经历了较长时间的完善和记录，并且在搜索引擎的缓存区排序，整个过程搜索引擎并不会提前预知用户查询的主要关键词，但是要想全面提高搜索的整体效率，就需要建立关键词词库，在用户提出查询请求时，自动匹配关键词。

（2）数据检索。当用户结合自身需求提出查询请求时，需要像检索程序提供关键词，借助索引储存器将实际内容进行排序，直接通过用户检索界面儿呈现在用户面前，全面提高了信息检索能力，加快检索的速度。对于中文用户讲，在完成用户请求时，主要是通过中文分词实现的。中文分词主要是通过字符串匹配、理解分词、统计分词这3种形式进行的，在收到搜索请求时，需要仔细地分析关键词所蕴含的实际内容，要想保证匹配内容呈现的有序性，就是要通过搜索引擎按照相关的匹配程度进行排序，将分词信息和文件中的连接内容相结合，满足排序的客观性暴涨，检索出的结果与实际用户需求相一致，如果同一网页被其他网页多次指向，说明网页的含金量较高，判断网页自身所处的质量级别，分析网络连接的权重，

3  云计算在大数据网络信息检索技术中的应用

通过云计算技术的有效应用，能够更好地实现资源共享，直接将已经储存的资源内容与软硬件设备相结合，提高计算机数据处理的便利性，云计算技术的应用不仅能够为用户提供安全的网络环境，还能够建立高效的数据储存体系，解决传统计算机使用过程中数据处理传输问题，云计算技术应用能够让人们的网络资源收集，打破时间、空间的限制。要想做好计算机数据处理工作，就需要以云计算技术为核心，助力信息技术在我国社会发展过程中的有效应用，通过云计算技术，能够加快服务器的研发速度，建立优秀的操作系统，让人们能够在最短的时间内收集到想要的数据内容，云计算技术的应用还为数据的储存、分享提供安全保障，减少数据流失所带来的经济影响。

（1）网络环境中的云计算。在进行信息化环境的构建过程中，需要以云计算为主要依据，为当前信息系统中的网络用户，实现网络资源的动态化分配，分配的主要内容有硬件、服务器、软件等。通过云计算定期地对网站上的资源进行更新和维护，同时在网络建设的过程中，可以让网络用户通过服务的动态化申请，争取得到网络硬件和信息资源的使用权和访问权。网络中所采用的云计算，大多数都是私有云计算，针对于当前的内部用户信息开展服务，不为群众提供网络服务。在当前我国的网络建设开展的过程中，大多数都会采用私有云技术，探讨网中所存在的信息资源和数据所具有的集中性特点，结合当前的网络硬软件资源构建私有云，从而全面降低服务的成本。私有云计算的广泛应用，能够为用户提供良好的服务，私有云计算的网络服务器要搭建在单位网络中，通过防火墙进行隔离和保护，让内部用户能够享有稳定的数据信息。要想全面实现信息化管理，就需要建立属于自身的云，在当前的网络中心，建立数据储存云端，相关人员能够通过云计算进行数据查验请求，实现数据应答，从而全面提高管理制度，减少资源管理的成本。

（2）私有云的有效应用。在进行信息化建设的过程中，通过私有云技术的有效应用，能够更好地实现网络数据的储存和整理，同时大数据技术的应用还能够对当前所采用的信息、硬件和软件提供及时的升级服务，在网络终端使用的过程中，网络用户们并不需要对数据进行保护，只要结合自身的信息需求向云空间提出相应的申请。私有云技术的有效应用，能够减少网络资源的投入成本，避免出现资源浪费，结合时代的发展步伐，网络所涵盖的范围也在不断扩大，为网络用户便利地访问网络提供支持，网络的很多数据在进行处理过程中都通过私有云技术实现，用户客户端也可以减少应用软件的安装，只需要有一定的系统作为支撑。整个服务过程都是通过所具有的云端服务器进行承担的，用户只要通过简单的网络终端登录就可以直接连接到的服务网点，对服务器中所含有的海量数据进行访问，云计算的应用优势就在于能够在网络的内部进行设立，做好相关部门的维护和管理工作，保障数据库内部资源不会出现丢失和遭到破壞。同时，云计算技术在网络机房中的应用，还能够全面降低相关用户的查询强度，优化当前的计算机终端环境，在保证网络机房正常运转的情况下，对计算机进行定期的维护和管理，云端服务器还可以通过网络服务中心对各部门的工作进行管理，借助网络中的服务端口，网络用户们能够对感兴趣的资源内容进行查询。为了满足网络用户们的阅览需求，还可以成立以云计算为基础的数字化图书馆，将海量图书资源直接储存到云端服务器中，实现资源共享。

4  结语

要想从众多信息内容中提取日常生活中必要的有力数据，促进人类社会的发展，就需要充分发挥出大数据所具有的信息检索价值，以云计算为基础所开展的大数据检索技术，仍然面临着许多困难和挑战需要解决。例如，多媒体类型的图形、视频、声音等大数据文件，这些文件的检索十分困难，随着智能终端的普及，需要将多媒体类型文件与智能终端进行有机结合，从而通过智能终端的应用进行文件搜索，获取相关信息，工作人员需要以此为基础，充分利用大数据检索技术，找出有价值的信息，通过不同的收集与检索方式，促进我国社会产业变革。

参考文献

[1] 刘亚雄.基于云计算的大数据网络信息检索技术及扩展[J].电子世界，2019（10）：201.

[2] 刘昺侯.基于安全云的私有信息检索关键技术研究与实现[D].电子科技大学，2014.

[3] 刘月.探究云计算下大数据的信息检索技术应用[J].数字技术与应用，2015（7）：95.