基于大数据的Web服务传输方案的构建与实现

刘强　 宋传志

【摘要】 Web服务属于普通常用的面向对象服务架构方式，但Web服务在面向对象架构实现的网络中，仍然存在大数据网络传输效率低下的问题。如可能够有效提高大数据在网络中的传输速率，使其可以迅速响应客户端发来的大数据信息请求，增强网络用户的体验感，是研究Web服务传输方案的根本问题。本文在分析了Web服务在网络中的传输原理基础上，提出了基于取模分类和多线程的大数据Web服务传输方案，在提高大数据传输速率的同时，增强了网络用户的体验感。

【关键词】 大数据 Web服务 Web传输

随着现代社会信息化建设的进步，各种网络应用程序已经普遍应用于各领域中，网络软件越来越多，包括互联网子邮件系统、数据搜索引擎系统、文件信息上下载系统等，使网络需要在同一时间内处理的数据量越来越多，面临着海量数据传输效率低下的问题。

一、Web服务概念

Web服务是一种新型的网络应用程序，也是一种模块化的网络应用，Web服务能够处理简单的网络请求，也可以处理逻辑结构复杂的网络应用，其有强大的数据处理功能。当Web服务部署完成之后，其他网络应用程序则可以随时调用其部署的功能性服务。

SOA指的是一种应用于跨网络平台和网络驱动业务的架构模型，SOA架构模型可以按照实际需求利用分布式部署、组合部署等模式对松散耦合的粗粒度组件进行部署，其服务层是整体架构模型的基础部分，可以被网络应用程序直接调用，对网络系统中存在的交互依赖性进行控制。SOA架构模型具有以下几点优势：（1）编码灵活度较高，可以利用不同的组合方式创建基于模块化服务，充分体现了SOA架构模型编码的灵活性。而且，由于网络服务用户不会直接对服务提供者进行访问，因此，这种网络服务的本身也具有较高的灵活性。（2）明确每个开发工作人员的任务角色，例如，负责客户端编程的应用程序开发工作人员只需要考虑界面设计层，不需要掌握数据层的逻辑转换模式，重点解决具有重大价值的数据业务。（3）能够支持多种客户类型，SOA架构模型利用服务接口，以及对Web服务标准的支持，能实现对多种客户类型的数据处理业务，包括智能手机、平板电脑等网络访问。（4）SOA架构模型便于后期维护，其采用的开放性标准协议，以及提供的松散耦合关系，可以有效保证后期维护简单便捷。（5）具有良好的伸缩性和可用性，网络服务的提供者相互独立，可以在集群环境中进行灵活部署。

二、基于大数据的Web服务传输方案的构建

在现有的大数据Web服务传输方案中，应该尽量选择一次性的调用解决方式，如果期望得到快速的大数据处理请求，可以采用一次调用、多次返回的解决方式，将一个返回数据分解成为多个轻量返回数据，从而使返回数据处理更加方便灵活，以此实现快速返回第一次调用数据的实际需求。但是，想要在大数据Web服务传输方案中采用多次返回数据的解决方式，必须采用多线程技术。

如何将多线程技术应用于Web服务传输中，必须综合考虑多线程技术的特性，将一个任务分割成为多个任务。通常情况下，一个任务的最终目标是十分明确的，就是使用户获得请求的全部数据。当应用多线程技术后，需要给每个线程分配各自的任务，使每个线程都可以获得指定数据，由此，提出取模分类的方法，将任务分配给多个线程。

取模分类方法指的是根据用户发出的请求建立索引值，经过取模运算后可以将全部数据按照取模运算后得到的余数进行分类，此时，每个线程都可以查询到与其对应的分类数据，由此，一个数据查询任务被分割成为多个轻量数据查询任务，获得的第一个返回数据的时间是最快的响应时间。

随着网络技术的普及应用，网络承载的数据量越来越多，传统的数据库系统已经不能满足目前网络海量数据处理的实际需求，造成了网络数据传输效率低下。取模分类和多线程技术应用于Web服务传输方案中，可以有效提高海量数据传输效率，增强网络系统的可扩展性。

三、基于取模分类和多线程的Web服务传输方案的实现

3.1 取模分类方法

取模运算经常应用于程序设计中，设定一个整数P和任意一个整数N，存在N=KP+R，其中，K和R均为整数，0≤R

对于整数P，a，b来说，将其取模运算定义为a mod P，以a除以P的余数。在取模运算的基础上，将一个整数集合A={1，2，3，4，5，6}的模值设定为3，对集合中的每个整数进行取模运算，分别得到0，1，2三个余数，再按照余数将集合A分成三个类型，{A1，A4}mod 3=1；{A2，A5}mod 3=2和{A3，A6}mod 3=0。

同理可得，对于任意整数集合Z来说，都可以为其设置一个模值n（n∈N），由此，将集合Z进行取模运算之后，可以按照余数分成n个子集合Zi（i∈N）。

3.2 多线程技术

当客户端发出请求处理大量数据时，会造成数据库系统的数据处理时间增多，使得大量数据在网络传输中耗费过多时间，降低了网络用户的体验感，想要获得请求数据必须等候较长时间。如果客户端请求的数据处理量较小，必然会缩短网络数据传输和处理时间。如果将客户端发送的数据请求按照取模分类进行计算，将模值设置为N，每个线程传输1/N，可以有效缩短网络用户请求数据的等待时间。

目前，网络下载普遍采用的是多线程技术，以此提高网络传输速度，客户端将预先设置的模值分为N个线程，每个线程获得与其对应的数据，由此，当第一个线程完成数据传输的时间就是客户端响应时间，该时间比一次性获取全部数据缩短很多，此时，剩余的线程通过持续加载，多个线程的数据传输时间也明显少于单个线程的数据传输时间，取模分类和多线程技术数据传输原理如图1所示：

多线程技术的应用需要设置合理的模值，在大数据传输过程中，保证每个线程任务分配合理，不会占用过多的系统开销时间，以此实现大数据在网络中的快速传输。

四、结论

综上所述，本文将取模分类方法和多线程技术应用于Web服务传输中，可以迅速响应客户端发出的数据请求，提高网络用户的体验感。本方案按照客户端发出的数据请求特征，采用取模运算方法，分成多个任务在不同线程内进行传输，该方案的有效应用可以明显缩短客户端的数据需求响应时间，切实提高网络用户的满意度，具有良好的实践应用意义。

参 考 文 献

[1] 许春玲，范志刚，宋应文. 机器学习算法的网络大数据级应用实践[J]. 网络新媒体技术，2012，06：63-69

[2] 季文天. 语义Web下大数据量模糊聚类分析[J]. 电脑知识与技术，2011，27：6571-6572

[3] 赵越，陈志伟，蔡淑惠，颜志平. 大数据量科学计算数据的动态Web可视化[J]. 现代计算机（专业版），2012，14：3-6

[4] 江永源. Web大数据量页面优化实践[J]. 程序员，2010，05：107-108

[5] 涂平，朱晓铃，满旺. 大数据量数据网络传输研究与实现[J]. 微型机与应用，2010，07：6-9

[6] 熊小华，王帅，宁爱兵. 基于Web服务的大数据访问性能优化研究[J]. 上海第二工业大学学报，2007，04：271-275