基于计算经济的服务网格资源管理模型研究

王岳斌, 杨志和, 刘利强, 朱承璋, 李 毅

(湖南理工学院 计算机学院, 湖南 岳阳 414006)

基于计算经济的服务网格资源管理模型研究

王岳斌, 杨志和, 刘利强, 朱承璋, 李 毅

(湖南理工学院 计算机学院, 湖南 岳阳 414006)

服务网格是网格计算研究领域中的重要分支, 代表应用网格的发展方向. 本文针对传统资源管理模型不能满足服务网格的需求, 采用计算经济学原理作为资源管理理论基础, 结合服务网格环境特性, 对资源管理模型进行研究, 提出的基于计算经济理论的资源管理模型, 可大大提高服务网格的资源分配效率和系统吞吐量.

服务网格; 计算经济; 集群; 资源管理模型

Abstract:The Service Grid is an important branch in the grid computation research, represents the development direction of the grid application. Traditional resource management model can not meet the needs of the service grid. Adopting computational principles of economics as a theoretical basis for resource management, combining with characteristics of the service grid environment, researching the resource management model, devising a resource management model based on the economic theory of the calculation can improve the resource allocation efficiency and system throughput of the service grid greatly.

Key words:service grid; computation economy; clusters; resource management model

引言

目前政务、科研、应急等领域普遍存在业务需求快速多变, 迫切需要信息系统能够按需动态集成[1], 以实时应对需求变化的现状. 服务网格被认为是一种满足上述需求的有效解决手段. 服务网格结合了Web服务技术和网格技术, 是网格理念、方法和核心技术与传统企业应用集成(EAI)的结合, 实现以服务为核心元素的虚拟计算环境[2], 能将网络上需要共享的各种计算资源、存储资源、通信资源和信息资源等统一管理, 以“服务”的方式进行封装和接入, 让它们在物理上保持分布自治的同时实现逻辑上的统一管理, 以透明的方式进行资源的优化选取、按需中介和有效访问. 服务网格作为服务交易平台, 最终目标是为消费者提供经济、优质的资源服务, 为资源所有者创造最大化效益. 因此, 计算经济学中市场资源分配、定价原理、交易模式及经济模型适用于服务网格的资源管理.

1 网格资源模型

目前网格资源模型主要有分层模型[3]、抽象所有者模型和经济/市场模型[4]三类.

1.1 分层模型

目前, 国内外大多数网格计算系统采用分层管理模型, Globus的全局—本地两层资源模型[5]就是典型的分层模型. 分层模型包括资源代理、并发分配器、资源信息服务组件和资源分配管理器GRAM四部分.资源代理服务负责获取、转换高层RSL资源请求描述, 同时将请求发送到并行分配器上, 分配器负责任务的分解并将任务分别交给GRAM处理; 另外, 信息服务组件在资源代理上为代理和并发分配器提供当前全局资源的信息; GRAM是全局和本地的分界线, 协调全局资源管理与本地资源管理, 为异构资源提供同构访问, 但需要为每一种本地资源管理工具提供一种GRAM实现, 显然限制了分层资源模型的可扩展性,导致使用其他本地资源管理工具的资源无法作为网格环境的一部分为任务提供服务.

1.2 抽象所有者模型

抽象所有者模型是在资源共享过程中遵循定购和交货模式, 用户通过与拥有全部网格资源的抽象实体(即抽象所有者)进行协商就可以使用资源. 抽象所有者模型包含两种主体: 客户和抽象所有者(Abstract Owner,简称AO). 其中客户为资源消费使用者, AO 可以是资源所有者或者是资源所有者代理. 抽象所有者模型侧重以下几方面的研究: (1)抽象所有者的内部和外部接口; (2)资源的对外形态; (3)用户如何同抽象所有者协商以获得资源, 用户如何同资源进行交互, 以及抽象所有者如何集成到类似于传统调度器的结构中. 这种模型的缺陷就是结构化、层次化不清晰, 资源管理起来比较困难, 相关理论体系也未建立起来,还很不成熟. 这方面的研究工作还需进一步细化、修正和扩展, 才能使该模型实用化, 这种模型比较适合P2P的应用, 目前还没有典型的应用[6].

1.3 经济/市场模型

市场经济模型或市场模型在资源发现和调度过程中遵从市场经济模式, 将用户对资源的购买报价与各个资源所有者的服务报价进行匹配, 它很好地融合了分层模型和抽象所有者模型的设计思想. Buyya提出了一个基于经济的网格框架GRACE[7](Grid Architecture for Computational Economy), 将经济理论应用于资源管理和应用调度; Wolski[8]从经济学的角度研究网格资源的分配问题, 研究了商品市场模型和拍卖模型的资源分配效率; Abramson等给出了一个网格资源代理, 利用经济模型动态选择资源. 但是, 这些方法只考虑了资源和消费者之间的关系, 没有考虑消费者和消费者之间、消费者和资源所有者之间关系. 这样确定的资源均衡价格即使能达到帕累托(Pareto)最优, 也不能兼顾资源消费者和所有者双方的利益.

2 网格资源任务调度

网格资源任务调度是根据各资源节点的状态、网络通信性能等参数, 把不同的任务以合理的方式分配到相应的资源结点去完成. 根据调度策略不同, 调度算法可以分为动态调度(dynamic scheduling)和静态调度(static scheduling)[9]两种.

2.1 动态调度

动态调度是任务一到来就加以映射. 动态调度算法有MET(minimum execution time)、 MCT(minimum completion time)、SA(switching algorithm)、KPB(K-percent best)、OLB(opportunistic load balancing)[10～12]和CBFS(cache based feedback scheduling). 与静态调度算法相比, 动态调度算法具有环境适应性强、多环境下操作性能好以及算法灵活等优点. 因此, 动态调度算法更适合于网格环境. 许多网格中间件, 如ChinaGrid支撑平台CGSP(ChinaGrid support platform)、VEGA、CROWN(China research and development environment over wider-area network)和Globus Toolkit等, 都采用动态任务调度算法.

2.2 静态调度

静态调度则是把任务收集起来, 等映射事件到来后才对这些任务进行集中映射. 静态调度算法主要有Min-Min、Max-Min、Suffrage、Xsuffrage[10～12]和TCR[13](transfer computation ratio)等. 静态调度算法需要花费大量时间计算任务调度表, 缺陷是缺少灵活性, 任务的任何变化, 如任务添加、删除或任务特征变化,都需要重新计算调度表. 而且静态调度算法每隔一定周期进行一次调度, 因此, 越早到达的任务等待的时间越长, 从而使得任务的响应时间过长.

3 资源管理模型设计

结合资源发现、封装和发布技术, 以校园网格实验平台为基础, 构造基于计算经济的服务网格资源管理模型.

3.1 资源发现机制

依据服务网格环境下资源分布性、动态性和自治性等特征, 综合考虑集中式和分布式资源发现方式的优缺点, 采用混合式资源发现模式, 即首先对服务网格按资源归类, 形成一些独立的虚拟组织, 各个虚拟组织中的资源搜索采用分布式的资源发现模式, 然后集中各虚拟组织中发现的资源, 再利用集中式资源发现模式; 综合考察服务网格环境和Agent技术的自主性、并行性和协作性等特征, 建立基于Agent技术的资源发现技术框架, 该框架由局部Agent机构和全局Agent机构组成, 多个Agent组件负责虚拟组织局部范围内的资源搜索, 并将结果反馈给全局Agent, 由全局Agent负责集中处理.

3.2 资源管理

XML技术在数据描述方面优势显著, 针对网格资源特性, 拟对XML技术进行适当的扩展, 提出基于XML的网格资源描述技术. 为保证与资源发现机制的一致性, 资源组织采用混合式模式, 各虚拟组织负责局部资源的组织, 然后对虚拟组织进行集中管理, 从而形成两层资源组织模型. 借鉴传统对象封装技术, 提出一种适合服务网格环境的资源封装模型, 经过封装的资源向外只提供服务机制(如计算服务、通信服务和数据服务等), 屏蔽了技术细节, 实现资源的高度虚拟化管理. 比较市场经济资源和服务网格资源管理的异同, 依据计算经济中资源匹配、交易和效益最大化等相关理论, 建立服务网格资源管理理论支撑体系, 即资源分配理论、交易理论、定价理论、结算理论和效益理论等, 构建有效的交易模型.

3.3 资源任务调度

Petri网理论是由德国的CarlAdam Petri博士提出的, 主要研究分布式系统中并发、冲突现象的一种理论, 它是描述和分析离散事件动态系统的一种模型工具. 它综合了数据流、控制流和状态转移, 能自然地描述并发、同步、资源争用等系统特性, 而且本身自含执行控制机制, 集规范表示与执行于同一模型. 任务调度机制重点考察的是资源调度和任务匹配优化组合问题, 需要对资源控制、状态变迁和任务分配进行分析, 显然Petri网技术与任务调度研究的需求是一致的. 采用高级时间Petri网技术对资源状态和变迁机制进行研究, 考察影响资源与任务匹配性能关键因素, 提出与服务网格环境相适应的资源任务匹配策略,利用时间Petri Net进行建模与分析. 深入研究网格资源调度与任务匹配NP难问题, 拟综合智能启发式和自适应性算法, 设计一种动态调度算法, 并通过GridSim的仿真网格环境对算法性能进行分析和优化.

3.4 资源管理原型系统

利用搭建的校园网格实验平台, 开发出资源管理原型系统.基于校园网组建包含三个域VO(网络中心、现代教育中心和高性能实验室)的校园网格. 其中,网络中心由一台高性能PC/Linux服务器和5台PC/Linux互连构成集群; 现代教育技术中心采用IBM工作站和5台PC/Linux; 高性能计算实验室提供的浪潮TS10000集群系统. 资源管理原型系统如图1所示.

图1 资源管理原型系统

4 结束语

计算经济理论的引入为服务网格资源管理研究提供了新途径和新方法. 为构建高效、低成本的服务网格平台提供理论和技术支持, 具有重要理论意义和工程应用价值. 服务网格资源管理模型的研究为后续的行业网格应用系统研发奠定基础, 为教育信息化、企业信息处理、电子政务及电子商务等领域的业务需求提供解决方案, 从而促进相关产业链的快速发展.

[1] Hu Song-Lin, Xiong Jin-Hua, et al. On Business-oriented, Just-in-time Application Integration in Service Grid [J]. Journal of Computer Research and Development. 2003, 40(12), 1700～1704

[2] Foster I, Kesselman C, Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations [J]. Int J Supercomput Appl, 2001, 15(3): 251～253

[3] 杨广文, 武永卫. 一种全局统一的层次化网格资源模型[J]. 计算机研究与发展, 2003, 40(12): 1763～1769

[4] I Foster, C Kesselman. Globus: A Metacomputing Infrastructure Toolkit[J]. International Journal of Supercomputer Applications,1997,11(2):115～128

[5] 孔令富, 陈 晶, 靳 京. 基于Agent 的网格资源管理系统的研究与设计[J]. 通讯和计算机, 2005, 2(12): 23～26

[6] Buyya R, Abramson D, Griddy J. Grid Resource Management, Scheduling, and Computational Economy [A].In:Intl.Workshop on Global and Cluster Computing, Japan, 2000.

[7] Rich Wolski, Ncil T Spring, Jim IIaycs. The Network Weather Service: A Distributed Resource Performance Forecasting Service for Metacomputing[J].Future Generation Computer Systems, 1999, 15(5) : 757～768

[8] Fujimoto N, Hagihara K. A Comparison among Grid Scheduling Algorithms for Independent Coarse-grained Tasks [J]. In: Proc. of the 2004 Symp. on Applications and the Internet-Workshops. Washington: IEEE Computer Society Press, 2004. 674～680

[9] Maheswaran M, Ali S, Siegel HJ, Hensgen D, Freund RF. Dynamic Matching and Scheduling of a Class of Independent Tasks onto Heterogeneous Computing Systems [J]. In: Proc. of the 8th Heterogeneous Computing Workshop (HCW’99). Washington: IEEE Computer Society Press, 1999, 30～44

[10] Wu MY, Shu W, Zhang H. Segmented Min-Min: A Static Mapping Algorithm for Meta-tasks on Heterogeneous Computing Systems [J]. In: Proc. of the 9th, IEEE Heterogeneous Computing Workshop. Washington: IEEE Computer Society Press, 2000, 375～385

[11] Zha L, Xu ZW, Lin GZ, Liu YS. Scheduling Algorithm for Hybrid Data and Computation Intensive Meta Task in Grid [A]. Computer Engineering and Design, 2003,24(10):1～4

[12] Xu ZW, Li W. Research on VEGA Architecture[J]. Journal of Computer Research and Development, 2002,39(8):923～929

[13] 袁平鹏, 曹文治, 邝 坪. 一种基于Cache的网格任务反馈调度方法[J]. 软件学报, 2006, 17(11): 2314～2323

Research of the Service Grid Resource Management Model Based on Computational Conomics

WANG Yue-bin, YANG Zhi-he, LIU Li-qiang, ZHU Cheng-zhang, Li Yi
(College of Computer Science, Hunan Institute of Science and Technology, Yueyang 414006, China)

TP302, G254.364

A

1672-5298(2010)01-0049-04

2009-12-10

湖南省自科基金项目资助(07JJ6114); 湖南省外国专家局项目资助

王岳斌(1963- ), 男, 湖南岳阳人, 湖南理工学院计算机学院教授. 主要研究方向: 网格计算、信息系统和数据库技术