大规模云计算环境下资源调度关键技术研究

王辉华 李舒婷 梁浩 周娟 潘文静

(福建福清核电有限公司 福建福清 350300)

进入21 世纪，信息技术在飞速地发展，高新技术层出不穷，云计算也在其中。在企业的信息系统中，云计算提供按需供应、弹性扩展等能力支持，另外还承担快速发布、协同管理、运维继承和故障自愈等方面内容。在面对海量数据时，云计算的优势尽显，因为其强大的计算能力和资源分配特性，使得面对海量数据都能够轻松搞定，都能够对资源数据进行分类和汇总集成，并对本身资源进行合理分配和调度。

1 云计算

云计算是一种分布式计算方式，是传统计算方式加上云形成的一种新型的现代资源共享技术。同时，云计算也是一种定价方式，是依据用户使用量的多少定量付费，在短时间内根据需要提供相应的服务，实现高效的应用和资源共享。

1.1 云计算特征

1.1.1 硬件成本低

云计算主要使用大量廉价服务器作为硬件设备，在很大程度上有效降低了硬件成本，在云计算环境下，高效应用与压缩成本不再是矛盾。

1.1.2 高可用性

所谓的高可用性，是在云服务器中使用虚拟化技术把实体物理机资源虚拟化或者使用迁移技术把单一固化服务内容发展为计算服务和重复利用状态，实现数据移植的高可用性，为数据的应用提供了更为广阔的发展空间。

1.1.3 高可扩展性

为了适应负载变化，服务规模将在时间上快速灵活地扩展。同时满足不同用户的不同需求，避免资源浪费和服务质量下降[1]。

1.1.4 可测量性

根据不同的服务类型，服务收费标准也不同。云计算将监控服务资源，并随时向用户和服务提供商发送监控报告，使其更加透明。

1.1.5 高可靠性

使用冗余确保数据的可靠性。当云计算检测到故障节点时，会充分利用冗余数据保证正常运行，从而提高服务质量，防止出现传统计算机因为故障导致数据丢失的情况。

1.1.6 面向服务云计算面向用户提供透明服务内容机制。在基于SOA架构中，松耦合性和统一接口组件的方式。

1.1.7 按需服务

云计算提供的服务以用户需求为唯一依据，可以及时释放未使用的资源，高效率服务于用户的需要，为用户提供内容服务机制。

1.1.8 规模经济

云计算通常基于大规模资源，并利用大规模集成的效果来降低用户的使用成本，使得用户用更为低廉的成本享受更加优质的服务。

1.2 云计算的服务特性

1.2.1 基础设施即服务

作为最接近物理硬件资源的底层服务，云计算架构侧重于使用虚拟化技术消除底层硬件异构性，并将物理资源虚拟化为用户可用的公共资源。这些资源包括存储、计算、网络、OS（操作系统）等资源内容。同时，基础设施即服务还增加了按使用量计费的功能。另外还能实现客制化细则即客户根据自己的真实需求获得相对应的系统资源。然而，用户无法控制基础设施即服务云平台的底层设备。对于庞大的底层集群资源，如何高效地调度、分配和使用以及如何做好负载均衡是主要的研究目标。目前，各大IT公司和云计算研究机构正在讨论适当的资源调度和分配的研究课题，以期让云计算为企业发展带来腾飞的机会。

1.2.2 平台即服务

平台即服务是对资源的更深层次的抽象。该服务模型隐藏了基础设施作为云用户服务的实现细节。整合底层硬件资源后，以平台即服务的形式提供给云用户，包括服务器、程序运行环境和数据库服务器。云用户只需要按照相关规则部署和开发应用程序。在当前时期，国内和国外最流行的经典平台有很多，包括基于PAAS（平台即服务）的谷歌应用引擎平台（GAE）、微软的Windows Azure 平台和阿里巴巴的阿里云引擎ACE（阿里云引擎）。

1.2.3 软件即服务

软件即服务是采用封装工具，完成对定制服务封装。其主要的目标依托现有云计算中的特定功能应用软件完成封装工作，并通过具有高度针对性的客户端界面提供给云用户。云用户不需要购买、安装，也不需要对购买产品进行后期维护。目前，该软件即服务云平台拥有著名的Salesforce Com 公司的在线客户关系管理CRM 系统；国内阿里云的在线软件服务，如营销推广和数据分析[2]。经过长时间的发展，云计算发展成为新一代计算模式，成为数据和服务的共享结合体。

2 云数据中心

云数据中心全称为云计算数据中心，是一种基于云计算的体系架构，其在网络、存储和计算层面具有很强的松耦合性，模块化集成度很高，也具有很高的虚拟化成分，而且在云数据中心中自动化程度很高。在云计算环境中，数据中心是由存储资源、互联网资源和计算资源组成的虚拟技术的非静态资源库。云计算的数据中心不仅仅是传统意义上的存储中心，是依托于传统存储中心对存储数据进行数据处理。基于它的规模大、资源多和分配繁杂的现实情况，实现高分配、高速率和高安全的数据中心管理体系。那究竟怎么分配资源、如何提高资源利用效率并且大大降低能源损耗，已成为我国当前面临的重要问题。每个数据中心都非常广泛，可以根据业务活动进行有效的调整，进一步促进了业务活动高效灵活地运行。

云数据中心的特点之一就是高度虚拟化，不仅仅是系统虚拟化，还涵盖服务器虚拟化、网络虚拟化、应用虚拟化以及存储虚拟化，从而满足和适应所有客户的个性化需求。另外一个特征就是自动化管理，同样也包括系统自动化管理、服务器自动化管理、存储自动化管理、网络自动化管理、应用自动化管理以及相关业务的自动化管理。最后一个特点就是绿色环保和节能，根据有关资料显示，云计算数据中心的指标是要达到绿色节能标准的，并且其PUR值不能高于1.5。

云计算数据中心与传统的IDC的不同之处主要包括以下几个方面：一是资源集约化程度和规模上的区别；二是平台运行效率上的不同；三是服务类型上的不同；四是资源分配上的区别；五是在收费模式上的不同；六是对光学器件上的要求。资源集约化程度和规模上的区别主要表现在云计算的资源节约化程度是采用资源动态分配方式来实现，而传统的IDC 服务是简单集约，两者在集约速率和规模上都存在很大差别。另外，云计算数据中心能够实现对资源的短期快速再分配。云计算数据平台具有更加灵活的资源应用技术，更加注重内部服务上的创新[3]。云计算数据平台和传统IDC 在资源分配上的区别是更新技术上的差别，云计算平台是通过快速的技术更新实现资源应用的分配，从而降低资源闲置的状况。传统数据中心在收费模式上采用月度收费或者年度收费方式，对数据进行粗放型管控，从而造成很多资源的浪费。云计算数据中心的收费方式更加精细化。与传统数据中心相比，云计算数据中心的器件密度需求更高，对元器件的集成度也要求越来越高。从这一方面来说，云计算的发展给器件带来了全新的挑战，对高密度的制造企业而言，这也意味着新的发展机遇。

3 云计算关键技术

3.1 虚拟技术

虚拟化技术可以把实体物理资源虚拟化为可调配的虚拟资源，并完成对虚拟资源进行合理分配，可以将多个虚拟资源进行有效的划分。云计算的关键步骤是从硬件系统基础上虚拟出若干个软件程序，并且在系统中通过软件调度器进行管理和调配，从而实现调度器通过对软件程序的控制显示硬件配置的管理，这是云计算的最重要的第一步，也是最基础的一步。总体而言，虚拟机的运行机制都是独立存在的。但是在实际运行过程中，这些虚拟机都是依托于物理机中实体内存资源。物理机被称为宿主机，虚拟机被称为客户机。实现虚拟化的整个过程需要应用Hypervisor。Hypervisor 的中文内容为“超级监督者”，也被称为VMM，英文全称是Virtual Machine Monitor，中文含义是虚拟机监视器。Hypervisor 分为两类内容，Hypervisor第一个运作方式是直接在物理机中运行，虚拟机是运行在虚拟机监视器上运行；第二个就是操作系统像Windows 和Linux 等运行在实体物理机中，之后Hypervisor直接运行在操作系统当中，在此基础上直接生成虚拟机，并对虚拟机进行管控。

KVM（Kernel-based Virtual Machine）是目前最流行的虚拟化内容，KVM 的内涵是基于Linux 内核的虚拟机[4]。KVM属于Hypervisor软件，所提供的虚拟化更加深入和底层，但是存在一个缺点，就是非专业人士不太习惯使用这个虚拟化工具，对用户交互界面不友好，不方便使用。

另外，为便于管理和维护，虚拟机上层设计了虚拟机管理层，虚拟化机制中又有一个重要的内容引入，就是OpenStack 云计算平台，类似于一个商店，主要负责对各种系统资源进行调配，系统资源包括存储资源、网络资源等，但云计算平台的虚拟化能力不是自身所具备的，其虚拟化能力出自KVM，除了KVM 还包括Xen等Hypervisor。

3.2 分布储存技术

分布式存储技术可以维护数据信息的完整性，并且还能维护数据信息的可靠性。这种存储方式的应用可以有效地提高系统的质量和效果，避免服务器过载。主要涵盖两个方面的内容：第一，云计算环境下的数据容错技术；第二，云计算环境下的节能技术。

（1）对于云计算环境下的数据容错技术的解读分为两类，技术一是复制型容错技术，技术二是删除码型容错技术。复制型容错技术相比较而言具有简单方便性，但是需要建立一定的副本用于维持现有容错性能。从另一方面而言复制型容错技术有占据大容量资源的缺点[5]。复制型容错技术能够实行模块化管理，即将个体数据分割存储并在不同节点中存储多个模块，在缺少模块的情况下也能够对其余节点数据进行有效的利用，所以该技术能够为用户提供最大强度的需求内容，同时防止数据丢失和失效，能够带来很大的技术优势。删除码型容错技术的特点是不需要占有大容量资源，但是需要花费很大的时间去进行重复编解码用于数据传输和存储，所以对设备的性能有很大的需求。删除码容错技术在存储数据中对数据进行重新编码，并对新生成的编码重新排列和标识，这样就会在存储占用量上大大缩减其资源。另外，删除码容错技术还可以用在数据复制和数据存储的情况下，完成对数据量的最小化存储，从而大大地提升数据运转性能。

（2）云计算环境下的节能技术[6]。根据现有资料查阅，云计算环境中的数据存储系统占据的能源消耗占比非常大，具体能超过全部能效的50%。节能技术在当今时代非常重要的研究方向，这样不仅能有效地降低成本，从而实现利益的最大化，对数据需求量大的单位而言，会大大地压缩生产成本，让企业发展得更为顺利。

3.3 数据管理技术

云计算通过处理数据集，并对处理过后的数据集进行详细分析，从而筛选出具有价值的数据信息，挖掘所必需的数据信息。此部分是云计算的主要内容，也就是数据管理技术的核心内容，保证数据信息安全和可读性。数据库内容是存放数据信息的主要存储地点。云数据管理技术是采用分布式技术，对大数据量进行分布式管理，从而能够大大提升容错能力，并且效率更加高效和便捷，为高效率的数据分析提供了应用渠道。

MVC模式是一种软件的设计能力，也是一种处理数据的模式。随着对客户对资源的需求进行动态回应，发送不同的视图到客户端。应用程序被分离为三层，当系统需要做出改变时可能只需要修改其中一层就能实现，大大简化了维护工作。控制层还可以实现对用户请求的控制，一定程度上保证系统的安全性，简化编程工作[7]。由于不同的层分别完成不同的工作，同一层的不同类具有某些相同的功能，有利于工程化地管理这些代码，从而提高工作效率，防止因代码管理造成工程的延误。

4 云计算环境下资源调度关键技术研究

4.1 云计算环境下的资源调度概念

资源调度的概念是在具体的资源配置中，依据特定的资源配置规则和方法，在资源需求者之间进行资源调整的过程。在资源需求者中提交多个虚拟解决方案，每个任务都在系统中对应着相应的进程。

4.2 资源调度分类

首先，资源分配分为动态资源分配和静态资源分配，所谓的静态分配是指所有进程和程序在启动之前就已经获取了应该配给的资源。另外一种分配方式是动态分配，所谓动态分配就是当进行和程序启动时候，系统依据进程和程序的资源申请资源的具体需求量分配资源。

其次，根据任务处理形式，可分为在线处理和批处理。在线调度是指系统在收到任务请求时，将资源信息分配作为一项重要任务。批量调度是在事件触发时集中处理以前获得的任务。

云资源提供商利用虚拟化技术将数据中心的物理资源虚拟化为虚拟单元，为云资源用户提供服务，保证资源的安全。当多个云资源请求用户同时申请服务请求时，形成资源竞争状态。在资源调度过程中，不同类型的用户对云中的各类资源有不同的需求，云存储中各类虚拟单元的资源空间也不同[8]。为了实现每个资源请求者都能在自己的约束下获得所需的资源，同时，为了最合理有效地利用云资源，设计更好的资源调度机制至关重要。

随着博弈论的提出和对资源调度的有效探索，博弈论在经济学和计算机科学领域得到了广泛的应用。博弈论是为相互制约的多个竞争对手提供优化策略，最终达到局部优化和全局优化的效果。它完全适用于云计算中的资源调用问题，博弈论的使用不仅能够实现全局优化的效果，而且会使个体发挥更大的效用。

5 结语

随着计算机技术与网络技术的不断发展与互联网用户人数的不断增加，整个网络中流通的数据总量正在飞速地增长，在庞大的数据总量的背景之下，为信息消费者和生产者都带来了新的挑战，信息消费者从互联网海量的信息中心挑选出自己感兴趣的信息将变得更加困难；信息生产者将自身的所生产的产品通过互联网准确地推送到目标用户面前的过程也不再如之前一般，这个过程将变得十分困难。而云计算则是解决该问题的有效的手段之一。同时，云计算已经在工业界进行大规模应用，例如音乐推荐、商品推荐，因此在大数据云计算大环境下，我们需要强化对资源调度关键技术方面的研究，确保数据信息的安全性、在数据处理过程中的稳定性等内容，从而强化资源调度的集成化和平台化。依据现有业务调整和需求内涵，在服务器端满足在网络、硬盘和CPU等方面的资源配置，支撑多种资源的状态转变，按需调配各个业务调配。