当前位置:首页 期刊杂志

智慧流域研究的云平台支撑

时间:2024-05-04

闻琛阳 姚娟

【摘要】 智慧流域是在智慧地球概念下局部的、专业化的智慧系统,是水利信息化的高端、集成和深度应用。要开展智慧流域研究,需要充分利用物联网、大数据技术,并在云平台上研究开发与应用。本文主要探讨为智慧流域研究提供云平台的支撐方案。

【关键词】 智慧流域 云计算 物联网 大数据

一、智慧流域的概念

智慧流域是指把新一代IT技术充分运用于流域综合管理,把传感器嵌入和装备到流域各个角落的自然系统和人工系统的各种物体中,并通过普遍连接形成流域物联网;而后通过云计算将流域物联网整合起来,以多源耦合的气象水文信息保障平台、二元水循环及伴生过程数值模拟平台、水资源数值调控平台、流域数据同化系统平台、流域虚拟现实系统平台等为支撑,并将其与数字流域耦合起来,完成数字流域与物理流域的无缝集成,使人类能以更加精细和动态的方式对流域进行规划、设计和管理,从而达到流域的“智慧”状态。

二、智慧流域研究的主要内容以及意义

智慧流域研究包括智慧流域框架体系研究、流域立体监测网应用研究、流域专业模型集成以及三维仿真、云存储云服务技术研究。

云计算服务方式可以支撑智慧流域的存储、建模、处理等各环节。实现智慧流域云计算功能,解决信息孤岛与重复建设的问题,充分利用网络取得远方的计算资源,通过后端的大型云计算中心同时为众多用户服务。

三、云平台对智慧流域的支撑作用

3.1物联网

物联网是通过射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等信息传感设备,按约定的协议,把任何物品与互联网相连接,进行信息交换和通信,以实现智能化识别、定位、跟踪、监控和管理的一种网络概念。其关键技术有传感器技术、RFID标签和嵌入式系统技术。

通常,物联网的开展步骤首先是对物体属性进行标识,接着通过识别设备完成对物体属性的读取,并将信息转换为适合网络传输的数据格式,最后将信息经网络传输到信息处理中心,由处理中心完成相关计算。

智慧流域根据实际需求,在物联网的感知层采用以传感器网络、RFID、视频监控等新技术,按流域立体监测网要求布设传感装置,通过互联网信道传输数据到数据中心。

物联网对于智慧流域的应用最核心的是对于水资源数据的采集监测以及将采集监测的数据传输至后端云平台。水资源数据的采集主要是结合长江流域内河段、支流、小流域特点,重点采集水文、水生态、水环境和气象数据。水文数据则主要包括降水、蒸发、径流(水位,流量,流速),泥沙含量,水质,土壤含水量等;水生态数据主要包括水体的溶氧、PH值、氨氮含量、亚硝酸氮含量等;水环境数据主要指各类污染的相关数据,气象数据包括气压、气温、湿度、风向、风速、降水量、雪深、雪压、日照、地温、水温等。

3.2大数据

大数据技术,是指所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据技术的战略意义在于对这些含有意义的数据进行专业化处理。

大数据的特点有四个层面,即Volume(大量)、Variety(多样)、Velocity(高速)、Value(价值)。

从技术上看,大数据与云计算的关系密不可分。它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

对于智慧流域研究,大数据的4V特性体现在其一,大量的实时或非实时采集的地理信息、野外观测数据、云图、水文信息等,包括众多数据的历史积累量;其二,智慧流域的研究与建设涉及的数据类型繁多,如各类水资源数据等;其三,面对通过复杂的数学模型进行各类数据的处理、分析、仿真等,其高速的处理速度;其四,提供有价值的结果数据或者提炼出用户需要的数据。

3.3云计算

智慧流域是流域研究的长期演进过程,而在建设过程中所采用的云计算技术是这个过程中一项关键技术,可以加速和帮助实现智慧流域。

通过云计算,将流域或河流模拟程序拆分成无数个较小的子程序,通过网络交由分布式计算机所组成的庞大系统搜索、计算分析之后将处理结果回传给用户,整个计算过程只需要几秒就能完成。这意味着对局部河段或者流域干流的高精度的三维模拟从理想变成现实。

云存储是以数据存储和管理为核心的云计算系统。通过云存储技术,流域中的原型观测、实验数据和数学模型计算的历史数据和实时数据以及流域管理的自然、社会、经济等数据的存储将不再受制于硬盘空间。

云平台不仅可以提供强大的数据处理分析能力,提供大量的存储资源,而且能为社会公众用户与专业用户,包括研究人员提供在互联网环境中的云访问,使其可以获取智慧流域计算统计的成果数据及原始数据,该数据的展现形式可以根据实际研究和应用的需求表现为图、表、文档以及三维仿真等。

四、智慧流域对云平台的资源需求

云平台配置的网络设备包括交换机、防火墙和负载均衡设备,将智慧流域系统部署在云平台上,可考虑利用云平台的防火墙实现智慧流域系统的地址转换,将智慧流域平台的内部私网地址转换为公网地址。针对智慧流域所需要的分布式的高速数据处理,将业务合理的分配到多个虚拟机上进行计算,云平台可以通过负载均衡设备实现业务的负荷分摊。

云平台可为智慧流域提供资源动态伸缩,实现基础资源的网络冗余,即智慧流域系统的任一资源节点异常宕机(虚拟机或物理机),都不会导致智慧流域业务的中断,也不会导致用户数据的丢失。同时,云平台可根据智慧流域的系统软件部署特点,为不同的软件模块按精简模式或是厚置备模式分配虚拟机资源。

精简模式,即是按实际需要分配的CPU、内存资源分配虚拟机资源,可提高资源利用率;利用虚拟化的精简模式,可以先分配一个最大化的虚拟资源,但是该虚拟机的实际资源为实际使用的大小,根据业务的实际资源占用率的增大而增大。

而虚拟化的厚置备模式,相对来说,资源的占用则比较固定,不会因云平台其他业务的并发量的增大而受到影响。对于与业务关联度高的服务器,可考虑按厚置备模式由云平台分配虚拟机资源;而对于与业务关联度相对较低的服务器,可考虑按精简模式由云平台分配虚拟机资源。

考虑到智慧流域系统的不断发展和完善,为实现其快速、平滑的可扩展性,建议智慧流域系统部署在云平台后,采用集群版本部署,核心服务器采用N+1集群部署。如此,通过云平台不仅能实现硬件资源的可靠备份,而且可以实现软件和应用的可靠备份。当智慧流域系统的虚拟机因硬件问题出现宕机时,云平台可立即通过虚拟化软件的漂移技术在其他物理机上进行重建,使业务不中断。

针对智慧流域具有数据量大的特点,云平台可为智慧流域提供可靠的存储资源。在智慧流域发展的初期,建议云平台为智慧流域提供SAN存储,不同的数据采用不同的RAID方式,核心数据建议采用RAID0+1方式部署,非核心的数据采用RAID5方式部署。当智慧流域发展到一定阶段时,若SAN存储难以满足其存储空间或者读取速度时,可考虑在云平台上采用分布式的存储方式。

五、小结

构建智慧流域需要物联网作为数据传输环境,需要大数据技术完成气象、水文、空间地理、工程设施等数据的综合处理与分析,更需要在分析计算、成果发布、信息服务等方面得到云平台的支撑;数据处理是管理智慧流域运作的基础。要研究智慧流域中涉及多源海量数据组织、数据处理以及数据服务模式;实现智慧流域云存储,动态分配和部署共享的存储资源。创建基于ArcGIS Server为智慧流域服务的私有云,为流域用户提供一个地理信息资源整合利用的平台。

[作者简介]

电话:18907185260

参 考 文 献

[1] 蒋云钟.冶运涛.王浩. 智慧流域及其应用前景.系统工程理论与实践. 2011.31(6)

[2] 周力峰.刘文.张治中.云计算在水利科研信息化中的地位和作用.中国(国际)水务高峰论坛在线-2014第二届中国水利信息化与数字水利技术论坛(论文集)

免责声明

我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自各大过期杂志,内容仅供学习参考,不准确地方联系删除处理!