气象私有云环境下存储架构设计与性能探讨

顾忠顺，厉爱丽

（1.西藏自治区气象信息网络中心，西藏拉萨，850000；2.西藏高原大气环境科学研究所，西藏拉萨，850000）

0 引言

云计算是近年来兴起的互联网现代化技术之一[1]。云计算为气象科研提供了一种新的资源使用和计算模式，可以为互联网用户提供动态、可拓展的计算资源、储存能力的大规模分布式计算集合[2]。云计算技术支持下，各类作业储存在资源池，应用系统可针对业务需求获取计算能力、储存及技术软件服务，云计算平台也结合需要动态部署、配置或取消。云计算的资源更加虚拟化，其储存效率突出，具有较高的可扩展性，便于气象科研工作使用。

1 云计算在气象部门工作中应用的优势

云计算技术可提高IT资源利用率，简化繁琐管理步骤，加快IT响应[3]。目前云计算技术正处于不断成熟发展状态，众多数据中心转型都应用云计算技术。云计算、主机虚拟化可实现计算、数据高度集中，其对数据储存、使用、管理提出更严格要求。因此，需设计与之匹配的云计算储存系统。

结合西藏气象部门业务需求，利用云计算技术构建私有云计算环境，为用户提供更多计算、储存资源，提供集中托管，满足用户对IT技术资源需求[4]。云计算系统其按需配置资源，系统弹性、可用服务突出，可实现资源快速布置、动态配置，并结合业务需求可灵活升级、扩充。西藏气象私有云环境下的存储架构设计对所需要的各项业务区域化储存分析，了解储存中的各项关键参数，比对各项数据参数指标，确定气象私有云环境下储存设计方案，对架构、性能评估，发现使用的云储存架构满足需求，可支撑西藏气象科研工作有序开展。

2 云环境中储存设计的关键

新时期云计算技术不断成熟，越来越多的企业单位虚拟化架构承载比例上升[5]。西藏气象部门信息化建设以云计算技术构建气象私有云，为西藏气象业务科研部门提供计算、储存、网络接入等多项服务，私有云以20多台服务器、4套磁盘阵列、2套NAS储存等支持，目前已提供超200台虚拟服务器，实现准确的天气预报，对预报信息集中处理，提供各类自动站中心站、西藏气象一体化业务平台等超过30个应用系统[6]，使资源利用率提高近51%，且其业务部署的单位为天，故障恢复时间在分钟级别对CPU的利用率也比以前高，高出6倍以上的利用效率。

2.1 业务需求

IT架构为上层业务落实作铺垫，传统云平台建设知识以储存架构满足多类型的产生的数据访问模式及数据特征，该虚拟架构可以适应规模小，访问压力低的场合，可起到降低储存平台设计难度作用。而面对数据类型差异较大、业务系统读写模式复杂的情况，就需为不同业务匹配合理的数据类型、访问特点，优化储存平台性能及成本。

2.2 储存设计关键

云计算的储存设计需考虑储存协议、针对不同业务数据类型优化性能、考虑如何在多业务运行下对数据容量做好统筹规划。同时，储存设计还要考虑到不同储存环境下，平台的资源池化，如何更好的针对各类储存确保平台的高可用保护。

3 云环境下的储存协议确定

3.1 光纤通道储存

光纤通道储存的性能及可靠性最为突出，其成本相对较高，目前主流带宽为5Gbps[7]、16Gpbs[8]。采用光纤通道储存，可用带宽更高，延时低，且系统的性能有所保障。独立的光纤通道其网络安全性突出，设有Zoning、LUN masking[9]访问控制。光纤通道储存支持从储存启动系统，可实现本地服务器无需硬盘支持即可运行，但其建设成本高，对于气象数据中的非结构化数据文件大、数量多的特点，难以满足需求。

3.2 NAS储存

NAS储存和其他储存的协议类型不同，以光纤通道为例，其采用数据块协议，写入到后端储存设备的数据单位为块，主机的磁盘的文件维护，主机视角中，储存设备基本等同于本地磁盘。NAS的储存设备端可维护磁盘文件，协议为共享协议，服务器和储存设备只是简单通讯。

常规NAS性能不如光纤通道，无法支持虚拟主机平台全部储存特性，故西藏气象云计算环境不适合采用NAS部署操作系统。一些现代化的分布式NAS，其自身可以发挥后端磁盘带宽，确保大容量、非结构化的数据可以实现高并发的读写。针对气象数据的特点，西藏气象数据中的非结构化数据资料，如卫星数据、实景图片及实景视频资料等，可以利用一部分的NAS，对其目录共享，有效提高虚拟机文件储存性能，节省成本。

4 储存平台性能设计

4.1 影响储存性能的几个原因

云计算对储存平台性能的影响集中在储存控制器、磁盘类型、虚拟化主机环境以及储存产品集成度上。储存平台需考虑储存产品的软硬件配置是否合理，如控制器处理计算能力、储存缓存多少、磁盘接口类型，IO通道带宽、数量及主机多路径管理等。加速盘也是一种新兴储存介质，其I/O性能远远超出传统硬盘，可灵活应该用到虚拟环境中，提高系统整体性能。对于储存阵列以及服务器自身的虚拟化基层而言，可采用开放性的储存产品软件接口协议，以合理的储存产品，和对应I/O配合，卸载到储存端，以此控制虚拟化层服务整体压力，设置合理的虚拟环境。例如气象私有云采取VAAI协议，利用存储双活技术，将虚拟机、储存设备和主流系统对接，用户无需顾虑后期储存能力、类型，存储资源可动态扩展。

4.2 储存IO能力

后磁盘的使用会导致I/O遇到一定阻碍，可以在磁盘系统的规划方面，注重配置好IOPS，充分分析缓存性能优化的多种问题，规划过程中基本不考虑缓存对储存的影响。结合业务需要、特点，或者配合对以往的业务IO数据分析，可以得到业务系统大致读写比例，和IOPS的统计预设目标分析，可以得到实现所需性能的磁盘数量。

4.3 虚拟化层对性能造成的影响

伴随新时期信息技术飞速发展，服务器向虚拟化发展已经成为趋势，虚拟化的产品也研发出和储存产品兼容的软件接口协议，目前一些较为先进的储存产品可和软件对接，将大量储存的I/O卸载到客户端，降低服务虚拟化层承受的有压力，实现对虚拟环境的优化。虚拟环境中的储存硬件及虚拟中间软件的管理程序通讯并不简单，为简化通信过程提高通信效率，研发出VAAI接口，应用此接口可以为对应的管理程序、储存设备规定好不同的职责，最大化发挥其各自效能，让通信程序可以充分完成虚拟化相关工作，将储存工作留给储存阵列完成。

通过设置的VAAI，厂家可以对储存硬件及应用程序、vSphere进行集成，使VAAI的一些储存层工作可以在储存阵列上运行，此时运行为离线状态，可以比主机端完成此类操作更加高效。主机端则简单的负责相关工作转移给储存阵列完成，主机只是负责监控，并非占用主机资源完成操作。

5 结果分析

采取西藏气象私有云环境内部的A、B区储存一日的数据作为基础分析，以储存性能专业的分析工具支持分析，具体结果如下。

5.1 储存访问特性

面对不同的业务，其所需要的储存方式也各有不同，具体的差异主要是不同的业务其I/O读写比例及大小各不相同，对储存效果优化，需要考虑到访问特性进一步完善。对西藏气象私有云的储存数据分析，其中A区和B区的读写比例分别为53%：49%、61%；41%，A区的I/O大小4K，B区一设备装置量128K。对于后端磁盘而言，使用磁盘必然会制约写入的储存访问，故需要对储存进行规划分析，注重利用磁盘本身的并发性特征，将写入的数据充分打散，分布到多个物理磁盘内，大大提高数据落盘的响应效果。考虑到后端磁盘对储存的影响，故在原本设计储存基础上，融入Pool服务，将数据在Pool的各个硬盘中充分打散，以此获取更为理想的储存性能。对大的I/O业务量场景分析，发现西藏气象私有云通过虚拟机和业务数据分离设置方式，可提高整体架构性能，将虚拟机当中不同的系统文件都储存到光纤通道内，以此构建业务目录和NAS的联系，进一步提高文件的读写效果，也充分控制云平台的虚拟机性能。

5.2 储存负载性能

对几台储存展现分析，从储存承担IOPS方面分析，发现几个储存负载并不平均，A的储存IOPS压力较小，而B的这方面压力相对较大。但是目前系统的储存性能仍然满足要求。绝大多数IO的响应时间基本可以控制在5秒以内，其运行响应速度满足使用需求。伴随虚拟机数量不断增加，就需要注重解决储存IOPS的压力不平均问题，避免部分储存受到过多的压力，导致响应时间较长，影响系统整体使用效果，而另一部分的储存性能处于闲置状态，未充分利用。

6 结束语

伴随气象私有云平台储存设计及应用，文章从的性能影响因素、IO能力计算及虚拟化层的方向分析，评估储存实际运行状态，在平台访问、IO负载方面展开分析，发现目前西藏气象私有云平台构建的架构相对合理，不同类型储存经过配置优化之后可以互相补充不足，满足不同类型气象科研及业务的需要，经过实际运行分析发现各项指标良好。未来发展中，将融入跟踪技术，结合存储虚拟化技术，调整高速双活存储和海量大数据存储之间的关系，加强信息系统安全建设，优化西藏气象私有云存储架构，提升管理职能，进一步满足业务系统发展需求，将更多元化的储存及管理平台深入研究，将更智能化的技术融入到西藏气象科研及业务工作中。