基于网格环境的自适应资源调度策略

朱承璋,张 舸

(1.湖南理工学院 计算机学院,湖南 岳阳 414006;2.湖南理工学院 信息工程学院,湖南 岳阳 414006)

基于网格环境的自适应资源调度策略

朱承璋1,张 舸2

(1.湖南理工学院 计算机学院,湖南 岳阳 414006;2.湖南理工学院 信息工程学院,湖南 岳阳 414006)

网格计算使得大规模的网络资源共享和协作成为可能,网格环境中如何提高资源有效利用率是一个有研究价值的问题.本文提出在网格环境中,根据资源失效规律可以自适应的提供更可靠的资源节点.经测试表明,与普通资源调度策略相比较,本文提出的策略可以屏蔽掉大量失效节点,为用户动态提供更可靠的节点资源.

网格计算;资源调度;自适应;可靠性

网格计算是当前计算机领域的一个研究热点.随着信息技术的不断发展,人们对计算能力、数据存储能力、网络服务能力等的需求越来越大,网格计算应运而生,使得大规模的网络资源共享和协作成为可能[1].因而,网格环境中如何提高资源有效利用率是一个值得研究的问题.

实际上,动态提供的自适应的资源的可靠性对于网格以及云计算都是很关键的.网格计算中各种服务有不同的资源需求模式,动态申请的资源请求有很强的波动性[2,3],各种服务资源有着不同的失效特性[4].本文研究了节点资源的动态提供策略中的节点失效规律,以保证网格计算中动态分配资源的可靠性和有效利用.

网格计算平台下各种服务大致可以分成两大类:数据计算密集型服务和交互密集型网络处理服务.当前主要考虑这两类服务的节点资源失效的规律,结合资源调度策略,实现资源分配的可靠.

1 资源失效规律

在开放的网格计算环境中,服务提供者是资源提供者的直接客户,实现对需要资源服务的客户端的服务供给和质量保证;资源提供者提供计算资源,同时保证资源的可靠性,至少不能是失效的.

失效率定义如下:假定直到时刻t系统都是有效的,失效率是时刻t到时刻t+Δt中的资源失效的概率,它是时间t的一个函数F(t).

其中pdf(t)是概率密度函数,cdf(t)是概率函数.函数F(t)定义了资源从初始到时刻t的可靠性.

人们对节点资源的失效规律做过大量的研究[5],发现失效有很强的时间空间局部性,把节点无计划重启失效的间隔时间看成一个随机过程,这个随机过程符合参数shape小于 1的韦伯分布.对于韦伯分布weibull(scale,shape),pdf(t)和cdf(t)分别是

由此可知,服从韦伯分布的节点资源的失效率函数可以按如下公式计算:

假设两个节点nodeA、nodeB各自的恢复时间是uptimeA和uptimeB,且uptimeA＞uptimeB,当shape<1时,F(uptimeA)

2 基于失效规律的自适应网格资源调度策略

在不考虑节点资源失效的情况下,通常一个请求到达,资源调度策略会从节点资源池中随机选取一个空闲节点处理到达的要求,当工作处理完,再把节点随机的放回节点资源池.在有节点失效的时候,策略将失效的节点放回节点资源池,把失效的负载放入等待队列.

基于失效规律的自适应的网格资源调度策略中,考虑到资源节点失效的规律性,应尽量选取可靠的节点资源分配给任务请求.研究结果表明,刚刚失效的节点比较脆弱,容易再次发生故障,为提高可靠性,采取的方式是维护一个按上次失效恢复时间有序排列的节点资源池,而不再是随机的.并把刚失效的节点资源放置在资源队列的头部,当有任务请求的时候,从队列的尾部取空闲节点,保证该节点是空闲节点资源池中最可靠的节点.

设置Operator操作实现从队列的首尾处存取节点.当 Node_failure_Event(节点失效事件)或Time_shedule_Event(时钟事件)发生时,策略被调用.网格中的服务大致分为计算密集型HPC和交互密集型Web两大类服务[6],时钟事件根据各个时段内的资源需求量,调整节点列表,同时对Web服务节点做周期性重启,把运行时间超过的节点放入到节点资源池Node_pool_List中.在节点资源空闲队列中设置两个操作Head()和Tail(),实现资源节点的提供和收回.

网格计算中,两大类服务在资源使用、管理时间粒度、负载类型和性能评价指标等方面都有很大的差异.首先,任务特征不同.对于交互式服务,任务由一系列请求序列组成,高性能计算服务是并行批处理作业;其次,资源使用不同.对于高性能计算,需要独占资源处理作业,交互式服务,请求可以在共享资源上并发执行;再次,服务性能衡量指标不同.交互式服务,用户请求需要在线即时响应,而高性能计算,用户可以容忍等待资源;最后,管理时间粒度不同.交互式服务中,请求处理的过程较短,响应时间要求较高,管理时间粒度小,反之高性能计算服务资源管理粒度较大.

3 结论

在网格环境中,根据资源失效规律可以自适应的提供更可靠的资源节点,通过网格模拟器Gridsim搭建模拟平台,模拟异构的环境.经测试表明,与普通资源调度策略相比较,本文提出的策略可以屏蔽掉大量失效节点,为用户动态提供更可靠的节点资源.

[1]Ian Foster,Carl Kesselman.网格计算[M].金 海,袁平鹏,石 柯,译.北京:电子工业出版社,2004

[2]Joshy Joseph,Craig Fellenstein.Grid Computing[M].北京:清华大学出版社,2005

[3]Irwin D,Chase J S,Grit L et al.Sharing networked resources with brokered leases[C].In Proceedings of the USENIX Technical Conference.Boston,MA,USA,2006:199～212

[4]Schroeder B,Gibson G A.A large-scale study of failures in high-performance computing systems[C].In Proceedings of DSN2006.Philadelphia,Pennsylvania,USA,2006:249～258

[5]田冠华,孟 丹,詹剑锋.云计算环境下基于失效规则的资源动态提供策略[J].计算机学报,2010,33 (10):1859～1872

[6]郑 湃,崔立真,王海洋,等.云计算环境下面向数据密集型应用的数据布局策略与方法[J].计算机学报,2010,33(8):1472～1480

Adaptive Resource Schedule Strategy Based on the Grid Environment

ZHU Cheng-zhang1,ZHANG Ge2
(1.College of Computer Science,Hunan Institute of Science and Technology,Yueyang 414006,China;2.College of Information and Communication Engineering,Hunan Institute of Science and Technology,Yueyang 414006,China)

Grid computing makes large scale resources share and coordination become possible.It is a valuable research that how to improve the effective utilization of resources in the grid.In the grid environment,the resource nodes based on unfailing rules will provide more reliable services.After testing,compared with general resource schedule strategy,the proposed strategy can be screened off a large number of failures nodes and provide more dependable resource for user dynamic.

grid computing;resource schedule;adaptive;reliability

TP393

A

1672-5298(2010)04-0036-03

2010-09-05

湖南理工学院资助项目(2009Y07)

朱承璋(1978− ),女,湖南衡阳人,硕士,湖南理工学院计算机学院讲师.主要研究方向:计算机网络,网格性能及模拟