基于网格市场的容量规划研究

张小丽

（吉林工商学院，长春 130507）

基于网格市场的容量规划研究

张小丽

（吉林工商学院，长春 130507）

容量规划是分析资源采购的一门古老学科，由于当前计算资源规划可选择的方案非常少，所以，在当前网格计算中，人们很容易就想到了“容量规划”。然而，由于商业网格计算面向很多种价格不同的资源，所以“容量规划”在商业网格的计算中运用起来就会变的非常复杂，所以，用户就需要一种特殊的技术支持来更好的处理这些复杂的程序。鉴于这种情况，通过研究论证，提出了一种在线的网格容量规划服务，它是一种独立的服务，利用成本效益的方式帮助那些没有专业IT知识的人来使用网格，通过这种服务，企业很容易的就可以将容量规划任务进行外包。通过模拟的方式演示了网格容量规划服务的工作方式，实现了容量规划在网格内的成功应用。

网格；容量规划；实用计算

容量规划正以多种不同的形式被运用于企业当中，企业对容量规划的依赖程度越高，就会花费更多的精力来研究它，例如，在数据中心，人们多是通过容量规划，来计算资源的需求量。在无资源过载的情况下，为了确保所有程序都能在所需的QoS上运行，IT工作人员不断实时监测数据和资源的使用情况，对应用程序运行将要需求的资源进行预测，并根据预测列出资源需求列表。这个需求列表可以被转化成为一个分配方案，如果现有的资源不足，就将需要购买的资源列入到列表中。

由于目前所需的计算资源只能租赁或者购买，所以，企业的计算容量规划过程都非常简单。然而，随着商业网格的出现，容量规划变得越来越复杂。所有需要额外资源的公司都面临一个新的选择，来满足其计算资源的需求，即从商业网格中购买网格资源。这个新的选择增加了资源购买决策过程的复杂性，因为在决策过程中必须解决以下三个问题：首先，需要确定应用程序是否适合在网格上运行；第二，由于网格市场的竞争，价格将随供求变化。因此，如果必须要确定使用网格的整体成本，就必须要准确的预测网格资源的价格；最后，要准确预测需求波动，因为使用网格的最大优势就在于可以在需求高峰时出售备用资源或购买额外资源。通过以上三个问题，可以看出，虽然容量规划可以更经济有效的使用计算资源，但是如果想要准确的执行它却非常困难。基于这种情况，本文提出了在网格环境下的一种新的商业服务：网格容量规划服务。

1 容量规划概论

“容量规划”这一术语经常被使用，但是却很少被定义，为了避免产生歧义，我们遵循IBM给出的定义：“容量规划包括为了满足客户工作量的需求而规划足够IT资源过程，和规划服务提供商的成本回收所需的当前和未来资源的过程。”

然而，迄今为止，在一个实用的计算环境中用户对容量规划的需求还没有相应的研究。我们将通过专注于那些客户的容量规划问题进行研究，这些问题和供应商的容量规划问题一样具有挑战性。根据以上给出的定义，以下三个任务均属容量规划的核心：（1）当前的资源利用率检测；（2）对未来及最终资源应用需求的评估；（3）确保公司不超支的成本估算。

1.1 容量规划任务

引进商业网格之前，容量规划仅仅是一个解决中长期容量问题的方法。数据中心的工作人员必须分析当前应用程序的资源映射、监测数据和一些经济数据，例如某些应用程序所产生的经济效益。利用该输入，数据中心的工作人员必须判断出资源池能否让所有的程序在所需的QoS中运行起来，如果当前资源不能满足需求，数据中心的工作人员就必须确定需要购买或租赁哪些额外的资源，然后制定一个迁移计划，用来迁移那些必须要迁移的应用程序。

随着商业网格供应商的出现，容量规划也可以用来解决短期的容量问题。在这种情况下，如果应用程序在所需的QoS上无法运行，数据中心的工作人员就可以购买额外的网格资源。由于这种决定在几秒钟之内就要完成，现在的容量规划也具备了短期性的一个方面。但是，大量的使用网格，在长期的运行过程中，仍会变得比内部资源昂贵许多。

因此可以说，效用计算的容量规划过程由两部分组成：短期容量规划过程和长期容量规划过程，长期容量规划在效用计算环境引入之前就已经在数据中心被使用了。这个想法如图1所示。

短期容量规划和长期容量规划中任意一个的子服务都有许多任务要执行。对于短期容量规划来说，他的主要任务就是为应用程序调度到可用资源，调度的另一个子任务就是负载均衡，以保证所有的资源都能被均衡的使用。此外，短期容量规划有能力执行应用程序的中期资源映射。这在随后的可规划的日常需求高峰中特别实用。这样的模块储备效用计算资源（例如在提前一天的基础上），可以确保调度到运行所有的应用程序所需的足够的资源。最后，短期容量规划也将网格使用的经济效益考虑在内了。网格的使用不仅会随着时间的推移变得昂贵，与程序运行的慢一些所带来的负面影响相比，网格使用也相对昂贵。为了使网格应用变得经济有效，短期容量规划必须要有一个经济优化模块。

另一方面，长期容量规划主要关注资源购买的经济性。换句话说，所关注的问题是购买哪种资源最经济有效。这必须考虑到应用程序当前的映射资源、每个应用程序的性能及使用网格所消耗的成本。另外，在开发一个新的应用程序映射时，用户的预算约束和经济要求都必须考虑在内。长期容量规划尤其要考虑风险。有些风险是系统固有的，如资源故障或配置问题。为了避免这些问题，在使用内部资源和网格资源时必须把优化经济引擎考虑到固有风险中去，而且必须确定哪一种程序运行可以最大限度的降低这些风险。

图1 实用计算能力规划结构

1.2 容量规划的输入输出

为了完成这些任务，两种容量规划服务都需要大量的输入，这些输入将和容量规划人员的输出如图2所示。

第一个输入参数是监视信息。这种情况下，检测涉及到三种类型的操作：资源利用率的测量、应用程序响应时间的分析、流量分析。在利用率的检测过程中，IT人员对任何给定资源的利用率进行分析。一旦利用率接近临界水平，就定为资源过载。响应时间分析确定应用程序的响应时间。响应时间的上升如果超过一定的阈值水平就表明应用程序没有足够的可用资源。流量分析用来确定数据中心的流量以及数据中心流量的进出情况。这些数据可以用来确定是否需要连接不同的个人资源。流量信息也可以用于确定基础设施是否有能力处理所有的数据传输。

图2 容量规划的输入与输出

第二种输入是用户规定的经济因素。这些可以包括要求（例如某些应用程序必须在内部运行）和限制。限制可以分为财政限制和购买限制。另外用户可以有一定的预算，创建一个新的容量规划必须把该预算考虑进去。

第三种输入是有关资源和应用程序池的信息。容量规划服务必须知道哪些应用程序正在运行以及这些应用程序正在被什么所应用，因为这些使用对资源需求有很大的影响。例如，一个基于文本web页面的web服务器与一个用于视频流的网站就会有不同的下载模式。

此外，容量规划服务必须知道哪些资源是可用的。这不仅包括内部资源，还包括已经在网格上购买的资源以及网格中的可用资源。基于这些输入，容量规划服务创建了许多既可以被自动程序使用又可以被数据中心的工作人员所使用的输出。前者是迁移引擎，它按照容量规划所产生的资源分配方案，负责任一些应用程序的迁移。

第二个输出由一个推荐列表构成，该列表用于在网格上制定计算能力预存。这些既可以是来自短期容量规划的短期预存建议，也可以是来自长期容量规划的长期预存建议。基于推荐列表的实际预留，用户可以通过一个自动的预定引擎来预定，也可自己进行预定。

最后，长期容量规划服务也可以创建一个内部资源购买方案，由于此任务不能自动执行，长期容量规划服务只提供一个可人工读取的资源表，该表列出了必须购买的资源和购买资源的商店。

2 容量规划分析

现在使用的传统容量规划与网格容量规划之间有许多差异。本节将说明这些差异，从而表明对网格容量规划服务的需求。

2.1 资源选择

由于过程只有三种行为：采购内部资源，出租或租赁内部资源或什么都不做，因此传统容量规划的产出相当受限。

虽然在非实用的计算环境中，容量规划并不是一个非常具有有吸引力的工具，但是，由于它的选择范围更大，如：购买网格资源、采购内部资源、租赁资源、或是前三种的任意组合，出售空余计算能力，或者什么都不做等，所以它在商业网格中变得越发重要。这些增加的选项，使得解决问题最佳的传统的容量规划的优势也不再那么明显了。例如，用户想要出售计算资源必须考虑容量规划过程中预期的收入情况。总的来说，由于复杂程度的增加，容量规划工作人员所需要的时间就更多，容量规划过程也变得越发昂贵，导致实用计算环境的吸引力也由此减弱。

2.2 价格波动与需求波动

目前计算资源的市场价格是静态的，即资源价格不经常更改。只有在价格优惠时或规模经济的时候才有所差异。这就意味着，在容量规划的过程中容量规划团队并不需要因为怕涨价而加快进程，因为即使是目前可用的实用计算资源的价格也始终保持不变。

随着企业可以根据自己的需求在商业网格中任意购买和出售资源，供应和需求的变化将会导致价格的变化。这些价格变化的因素在容量规划过程中也必须考虑进去。

此外，因为要考虑到价格的波动，所以就要预测将来价格波动的趋势，因此，购买时间就变成了容量规划过程的一个相关参数。为了预测精确，容量规划必须考虑现有资源的过去市场行为。这就意味着，容量规划不仅仅要看平均需求，还要看当多个网格用户都需要额外资源时效应计算市场的这种高峰期。因此，自身的需求必须要与高峰期的需求相比较。如果这种经常性的效应计算市场的上的需求高峰与自身的需求高峰同时发生，可能就需要用很高的价格才能获得所需的网格资源，这就可能会导致瓶颈问题。另一方面，如果自身所需资源是一个反周期的市场需求，网格资源的价格就不是问题了。

2.3 应用程序映射

在网格市场环境中资源到应用程序的映射也变得越来越复杂。传统的容量规划，企业只需要找到内部资源与应用程序的映射，如果需要，购买额外的资源后内部安装。这种方法虽然并不简单，但是可控，因此可能的映射数量及资源的差异性非常小。事实上，一旦公司知道了哪些资源是需要购买的，就可以根据成本对相应的产品进行排名。

另一方面，效用计算环境中的应用程序映射的优化也更多的参与进来，应用程序到资源的映射取决于那些网格中潜在的可以被购买的资源。因此，对于每一个应用程序都有两种选择需要考虑：在适合的内部资源上运行应用程序，或者在适合的网格资源上运行程序。由于定价结构中资源类型与资源提供者存在差异，所以每一个网格选项都有自己的价格。

此外，应用程序的存储必须要看网格中是否适合程序的运行。由于受到一些因素的制约，某些程序可能无法在网格中运行，例如那些在计算过程中需要用到不允许被发送到外边资源的敏感信息资源的应用程序

2.4 比较

相对传统的容量规划而言，网格容量规划更为复杂。由于计算资源市场可用的附加选项，这些差异如表1所示。相应增加的复杂性将意味着很少或没有IT经验的新公司将不使用或过度使用网格容量规划。

表1 传统容量规划与网格容量规划的的比较

然而，参与网格的公司需要执处理行相同的容量规划步骤和运行有相似负载的应用程序。因此，如果规划过程可以转包给专门提供一个容量规划服务的实体，它将具有重要意义。

这个容量规划服务将使公司受益于效用计算，通过用较低的成本优化公司网格资源的购买力。因此，该服务将推动网格市场。

3 容量规划模型

3.1 长期容量规划

长期容量规划服务，即第二节所述的长期数据分析他的主要任务是分析现行数据中心的。因为其主要任务是分析当前的数据中心计算资源池和分析当前应用程序映射，除了经济信息外，如客户的预算（为网格和内部资源采购），每个应用程序的相对重要性以及客户是否愿意在网格资源市场出售资源，这些信息都需要被给出。

另外还有经济信息如：如客户的预算（包括网格和内部资源购买）每个应用程序的相对重要性以及客户是否愿意出售在网格资源市场的信息等。

长期容量规划服务的下一步是分析如何运行应用程序的内部（所谓的内部应用程序）并将其映射到现有的资源中。该结果的分析可以分为以下几类：（1）用户必须购买额外的内部资源；（2）用户拥有闲置内部资源；（3）用户拥有闲置的内部资源但也需要购买额外的资源来满足需求；（4）用户没有空闲内部资源并且所有应用程序映射。在（1）和（3）这两种情况下，用户必须购买额外的内部资源。在其他情况下，长期容量规划服务能继续容量规划过程。这在图3中将被阐述。

在下一步中，长期容量规划服务将不得不考虑使用网格资源的成本和效益。一般来说，它必须权衡以下几点：（1）是利用内部资源还是使用网格资源；（2）购买新的内部资源还是使用网格资源；（3）用户是否愿意在网格中出售资源，如果是这样的话，这些资源配置将是销量最佳选择。然后，所有这些因素必须经过关于先前描述的市场问题的分析，即需求波动和价格波动的影响。这一步的结果将是一个最佳或接近最佳映射的应用程序资源，以致可以满足所有用户需求的同时，尽可能有效使用的资源。结果可以是以下其中之一：购买网格资源，购买内部资源，及购买以上两者。购买网格资源可以实施一项购买计划。为了避免高昂的价格，可以通过使用预订引擎提前购买这样的网格。由于经常发生需求高峰，为了避免这一现象，除网格资源外，可以使用内部资源。

3.2 短期容量规划

短期容量规划服务——执行测量内部资源，以此来确定他们的负载和应用程序的响应时间。确保这些测试对系统没有不利影响，短期容量规划服务只会如此周期性的循环。应该注意资源被最大容量使用或应用程序响应时间减少的情况，它将决定哪些网格资源接管额外的需求。

此外短期容量规划服务会考虑类似的过去已经购买的网格资源的次数。这将允许短期容量规划服务监控两个重要的方面：一方面，它可以确定这些网格购买是否必须在有规律间隔的情况购买，如果是这样的话，当下一次需要网格资源时，可以建议购买储备网格资源。

短期容量规划服务将通知长期网格容量规划购买资源。这能使长期容量规划确定这些网格资源的总成本与内部资源的成本是否接近。如果情况确实如此，由于这可能是容量规划过时的信号，因此长期容量规划将针对这一现象的出现对用户提出警告。

购买信息也能使长期容量规划决定网格资源购买是否定期发生。如果是这种情况，可以毫无困难的预测未来的购买日期同时也可以提前购买网格资源。

4 实践与验证

两个组件的初步测试已经开始实施。这项服务希望能运用于的机制下设在模拟环境中。这个模拟环境在500天内，500名代理商为这一市场销售资源。在每天开始时，每个代理确定需求量。如果需求量大于内部资源的数量，代理将在资源市场竞购网格。需求的资源少于内部资源，代理将试图出售多余的资源。交易资源在第二天也是可用的。

表2 仿真参数概述

使用这个设置开发了两个场景：第一个场景中，代理商曾运用他们现有的的需求水平购买或出售资源。这个模拟的结果通过显示可用资源的数量在图4中显示出来。一个负值显示代理所持有的资源比需求少，同时正值代理商持有资源必须求多。

图的峰值显示代理几乎没有可用资源的正确数量。这一事实表明，当预测资源时，这种非常基本的容量规划方法与最理想情况的巨大差距。

图4 基于基本容量规划资源效用

第二个场景与更复杂的容量规划方法：代理商能基于过去资源需求来预测他们的需求。需求预测是使用线性回归工具Apache Commons数学工具箱［19］实现的。该线性回归根据过去30天的需求来预测第二天的需求。用这一信息来购买或出售资源。这一模拟结果在下面的图5中显示出来。

图5 基于更高级的容量规划资源效用

图5显示了波峰，不再像以前那么高，极端的波峰不再在代理中出。虽然这没有明显得到改善，预测算法仍然是相当基础性的。

该模拟表明，在网格市场环境中，必须考虑价格波动和需求波动，因此网格容量规划的确是一个有价值的工具。网络容量规划可以确保公司有足够的资源供其在这样一个环境使用。通过这些比较也计算速度也得到了提升，在这种环境下，每个代理对整个容量规划过程只花了几毫秒。然而，模拟表明还可以通过很多其他地方的研究来提升此服务的预测能力。

5 结论

本文在实用计算环境中定义了容量规划的同时，还对容量规划和负载平衡、调度和保存进行了研究。相比于传统的容量规划在网格环境中进行容量规划更为复杂，本文从两个方面对网格容量规划进行了阐述，短期容量规划和长期容量规划。这一结构表明在商业网格环境中，容量规划必须解决长期和短期的问题。第一，需确保所有的应用和资源都要符合使用需求，同时如果需要，应提前提供建议性的额外相关资源。第二，需确保数据中心的长期规划和所有应用程序可用的内部资源、价格、需求波动，用户需求等信息，可以找到所有应用程序的映射，（如果需要）建议购买者购买哪些资源。该研究为网格容量规划的成功运用奠定了理论研究基础。

此外，通过模拟网格容量规划服务的实施，初步测试表明，该性能开销较低。由于模拟显示出需求预测必须改善，今后的工作将进一步优化两个组件算法的容量规划。

［1］Zhang Chen，Jin Chenqing，Zhou Aoying.Clustering algorithm over uncertain data streams［J］.lournal of software，2012，21（9）：2173-2182.

［2］Yang Yue，Liu Zhou，Zhang Jianpei，et al.Dynamic density-basedclusteringslgorithmoveruncertain data streams［C］.Proc of IEEE International Conference on Data Engineering，2013：2664-2670.

［3］Takayama K，Schmidt R，Singh K，et al.GeoBrush：interactivemeshgeometrycloning［J］.Journalof ComputerScienceandTechnology，2012，26（3）：538-547.

［4］王军，于勇.基于密度网格的证券市场聚类模型研究［J］.知识经济，2015（4）：83.

［5］汪锐，邓元凯，钱归平.鲁棒的网格实时几何编辑算法［J］.中国图象图形学报，2014（5）：764-770.

［6］钱归平，童若锋.实时网格编辑的扩展中值坐标方法［J］.计算机辅助设计与图形学学报，2012（10）：1312-1318.

［7］李继宝.Web数据集成中有价值事件识别研究［D］.济南：山东大学，2014.

Apacity Planning in Economic Grid Markets

ZHANG Xiaoli

（Jilin Business and Technology College，Changchun 130507）

Nowadays，the capacity planning，an old subject for analyzing resources purchasing，is easily considered since rare options can be chosen for computing recourse planning in the grid computing.Because of grid computing in business with kinds of resources in different prices，the users will need the special requirement for the complicated process. Thus，with many studies，the author offers a capacity planning in on-line service，an independent service，to help the people without professional knowledge on IT to use the grid in a cost-effective way.In this service，the capacity planning can easily be outsourced by a company.Meanwhile，the author uses the simulation mode to show how the grid capacity planning service works and tries to make a success for capacity planning in the grid.

grid economics；grid；capacity planning；utility computing

TP391

A

1672-9870（2017）01-0138-06

2016-10-16

张小丽（1983－），女，硕士，讲师，E-mail：364610828@qq.com