当前位置:首页 期刊杂志

大型调水调度运行管理系统数据中心框架设计

时间:2024-07-28

祁 洁 ,周 洲 ,茅婷婷 ,薛 姣 ,沈醉云

(1. 南水北调东线江苏水源有限责任公司,江苏 南京 210029;2. 江苏省鸿源招标代理有限公司,江苏 南京 210000)

0 引言

大型调水工程为了降低运行成本,提高资本的收益率,在调水时需要选择最佳的调水线路,优化各级泵站运行,准确计量取水量,减少管理人员,必须建设一套调度运行管理系统来帮助调水机构实现各种调度方案比选、水量计量、水费计收等繁杂的工作,以适应现代企业管理的运行机制,支持各级管理机构水调度过程的管理工作。在调度运行管理系统中需要设置数据中心,以实现所有数据的统一存储、管理维护,提供统一的数据交换平台,实现数据交换,为各类业务应用提供统一的数据访问平台和开发运行环境[1]。本文以南水北调东线工程为例设计了调度运行系统中的数据中心。

南水北调东线工程是我国南水北调总体布局中的重要组成部分,利用江苏省江水北调工程扩大规模,向北延伸。江苏省内调水线路总长 852 km,其中长江至洪泽湖 445 km,洪泽湖至骆马湖 270 km,骆马湖至下级湖 137 km。沿线输水河道大多具有防洪、排涝、航运、供水等综合功能。江苏省内调水工程以京杭运河线为主,已建成 9 个梯级。一期工程新建泵站 14 座,与江水北调已有的 14 座泵站和18 条输水河道,形成运河线、运西线的调水工程,共同实现调水目标。

1 数据库建设需求

南水北调江苏段采用的是省中心、分中心、管理所 3 级管理机制,大部分管理所是已建的,数据存储可以在其数据采集、工程监控和视频监视等系统内解决,所以仅需考虑省中心和分中心的数据库建设。

省中心所需数据包括:江苏省范围内各泵闸站、口门、水质点、湖泊、水库等信息点的水情,水质,工程运行的实时及历史信息;有关工程的工程特性;用户用水量、水费;江苏省的调水方案、水价和调水计划;各调度分中心调水合同的副本;政策法规;江苏省的空间地理信息。

各分中心所需数据包括:本分中心管辖范围内各泵闸站、口门、水质点、湖泊、水库等信息点的水情,水质,工程运行的实时信息;有关工程的工程特性;本分中心有关的用户用水量、水费、调水合同;本分中心有关的调水计划;本地区调水运行信息;本地区的空间地理信息等。

调度运行管理系统所需的数据主要包括以下几类:实时水情、水质、工程运行、视频监视、工程属性、用水、水价、电子政务、空间地理等信息,以及调度方案、调水合同、调水计划、政策法规和应急预案。

2 数据中心设计任务

根据南水北调东线的需求,数据中心主要负责数据的集中存储、管理、访问,并为调水业务应用系统提供所需的开发与运行环境。数据中心存储的数据来源于数据采集、工程监控、视频监视和业务应用等系统,数据的入库操作由上述相应的系统完成。业务应用系统的开发必须遵循数据中心应用支撑平台提出的统一架构,所需的软硬件环境均有数据中心提供。

数据中心设计的主要任务包括:1)数据库。根据业务管理的需求,依据数据库设计规范,设计调度运行管理系统的数据库表结构,建设省数据中心和 4 个数据分中心的数据库。2)数据存储系统。依据网络划分和数据规模设计总中心和分中心 2 级数据存储体系,实现数据的统一存储。3)数据备份方案。针对数据安全需求,设计本地和异地备份方案。4)数据访问服务平台。包括数据库维护、数据目录服务、数据交换、数据访问服务等系统。5)应用支撑平台。包括统一的开发、运行环境的构建;各系统共用的应用组件的开发;各系统共用的商业软件产品的购买与集成;共性的跨系统间的数据、流程交互应用组件的搭建;平台系统管理与运维体系的建设。设计要求数据中心具有完整性、实时性、一致性、可靠性、安全性。

3 数据中心总体架构

数据中心由运行环境层、数据资源层、数据访问服务平台和应用支撑平台 4 个层次组成[2],总体架构如图1 所示。

1)运行环境层。提供数据中心运行所需的软硬件环境。

2)数据资源层。对数据资源及其描述信息进行统一存储。

3)数据访问服务平台。对数据资源进行统一管理和提供统一的数据访问平台。

图1 数据中心总体架构图

4)应用支撑平台。处于系统软件与应用系统之间,是对所有应用系统开发、部署、管理中所涉及的共性技术问题进行提炼而形成的应用支撑平台,是一套支撑环境和开发体系,包括基础支撑层、应用交互层、公共服务层、应用组件层。

4 数据中心功能

省中心主要功能包括以下几点:1)存储所有需要共享的数据资源,并对这些数据资源进行统一的管理维护;2)提供唯一的对外接口,负责与外界的数据交换;3)负责把各数据分中心所需的数据资源实时地交换给相应的数据分中心;4)提供数据目录服务。

分中心主要功能包括:1)存储分中心所需的数据资源;2)与省中心进行数据交换;3)对分中心自己使用的数据资源进行管理维护。整个数据架构如图2 所示。

4.1 数据存储分布

为保证数据的完整性和一致性,省中心存放所有需要共享的数据,即除了具体某个分中心自己需要使用的数据以外的所有数据;各分中心存放管辖范围内所需使用的数据资源,以及自己需要使用的非共享数据。

图2 数据架构图

4.2 数据交换

与外部的数据交换通过总数据中心统一进行,并分发给相关数据分中心,这不仅能保证数据的一致性,而且能最大限度地保证数据资源的安全。部分自建工程采集的数据可以先汇集到数据分中心,然后通过交换系统交换到总数据中心。

4.3 数据维护

原则上共享数据由省中心统一维护,非共享数据由各使用单位自己维护;部分自建工程采集并通过数据分中心到达省中心的数据,由相应分中心负责维护;由各分中心上报的数据(如统计数据)由上报分中心负责维护。

4.4 数据访问

所有业务数据由省中心统一对外发布。业务应用系统访问数据资源必须通过数据中心的数据访问中间件实现,不允许直接访问数据库。

5 数据库设计

数据库设计立足于信息资源开发并建立稳定的信息结构,满足调度系统工程的应用需求,联合运用基本和扩展的 EE-R 建模技术。数据库设计结果统一采用数据建模工具 ERWIN 进行建模,设计过程按照数据库总体设计、信息需求分析、概念数据模型设计、逻辑数据模型设计、物理数据模型设计、建库实施等阶段进行。

5.1 数据分类

根据信息分类的原则和方法,可以把数据分成基础和专业信息(也可称为业务专用信息)2 大类。基础信息是调水业务的基本资料,可以比较广泛地为各种业务应用提供服务,专业信息通常是为某个或某类特定业务应用专用的信息。

基础和专业信息又可根据信息依附的具体对象、实体和信息本身的属性作进一步的划分。基础信息可以被划分为水利工程、水利空间、水文、社会经济信息等数据,以及法规政策标准和行政管理基本信息;专业数据库划分为调水、水质、实时水雨情、实时工情等数据库[3]。

5.2 数据库概念设计

根据数据分类,在逻辑上把整个数据库划分成实时水雨情、水质、工程运行、视频监视、水调、应急预案、工程属性、电子政务、社会经济等数据库,以及政策法规库和空间地理信息库,共 11 个。

5.3 数据库逻辑设计

逻辑数据模型的设计目的是为数据建模。即将数据库的概念模式转换为关系数据模式,结果是关系模式定义和数据语义约束等集合。逻辑数据模型设计任务主要包括逻辑模式设计、规范化,视图模式、信息代码设计等。

5.4 数据库安全设计

1)主机安全防护。综合运用主机安全加固、核心防护和基于主机的入侵检测等 3 种技术手段,使服务器的安全等级达到最高。操作、数据库管理等系统要求采用不低于 C2 的安全级别。

2)备份与恢复。采用服务器备份、数据备份、灾难恢复等措施,建立数据库的备份与恢复机制。

3)数据库用户安全。在用户组、用户、角色、操作权限 4 个层次上设置权限机制,保证对数据库的安全操作。

4)安全评估。采用安全评估扫描工具,包括基于主机和数据库的 2 种扫描器。在主机系统的安全性检测、安全漏洞发现,以及数据库管理系统有关的授权与认证探测等方面,落实安全评估扫描的具体工具和措施。

5)安全审计。采取安全审计措施,并通过多层次的审计手段,形成一个功能较完备的安全审计系统。例如,记录用户使用数据库系统进行所有活动的过程,不仅能够识别谁访问了系统,还能指出系统正被怎样地使用,为确定问题和攻击源提供依据;完善系统事件记录,便于迅速识别问题。

6 数据存储系统

调度运行系统中的计算机网络系统建设根据需求不同,按照业务类别对网络进行物理划分。工程监控对安全性和可靠性要求较高,不能与其他业务共用 1 个物理网络;管理调度业务涉及水文、地理信息等有保密要求的数据,必须与 Internet 物理隔离。因此设计了 3 个物理网络,1 个网络独立承载工程监控业务,1 个网络承载视频监视和管理调度业务,1 个网络负责外网的访问接入。

工程监控网,用于承载泵(闸)站管理所、分公司、省公司等各级管理机构之间的监控信息,同时与其他业务网络之间物理隔离,保证了全线泵闸启闭控制数据的传输和调水业务的安全运行;管理调度网中传送的数据主要包含视频监视信号、水量调度、闸站安全监测、内部办公信息、视频会议等数据,并通过 VPN 进行虚拟通道划分,保证了业务系统使用的控制权限;在省公司统一设置互联网出口,以满足互联网访问的需求。

工程监控和管理调度部署在 2 个网络上,所以,数据存储系统也相应地分成 2 套。1 套用以存储工程监控的数据,另外 1 套用于存储业务应用系统和视频监控数据。每套存储系统由省数据中心、数据灾备中心和 4 个数据分中心的数据库服务器组成,服务器之间利用数据交换系统进行数据交换。

由于调度指令生成在管理调度网上,需要下发至工程监控网,同时工程监控网的实时数据要上传至管理调度网以支持调度指令的生成,并且工程监控要实现和视频监视系统之间的联动,因此 2 套数据存储系统之间通过网闸方式在总中心统一进行数据交换。

为高效可靠地存储这些数据,应当建设以存储区域网络(SAN)架构为基础的数据存储、交换和服务系统。SAN 架构是当代大型数据中心普遍采用的先进技术,利用光纤和光交换机等数据交换设备,具有很高的服务效率、可靠性和可扩展性。

7 数据访问服务平台

数据访问服务平台负责对数据进行统一管理和维护,并为应用提供数据访问接口,主要包括数据库维护管理、数据交换和访问服务 3 部分内容,具体由数据库维护、数据目录服务、数据交换系统和数据访问中间件组成。

7.1 数据库维护系统

数据维护系统主要包括数据字典、编辑维护,以及通用数据查询等子系统。这些数据库维护系统为数据库维护提供数据的录入查询、编辑修改、校对审核服务功能,也属于数据汇集平台的组成部分。

7.2 数据目录服务系统

数据目录服务系统包括元数据注册和管理、资源目录管理和查询及其他辅助等模块。

7.3 数据交换系统

数据交换系统用于单位和部门之间异构数据的交换共享,主要功能包括数据抽取、集成、规约、装载。

7.4 数据访问中间件

数据库访问中间件位于数据库管理系统与应用程序之间,使应用程序可以透明地访问数据库,数据库访问中间件的使用是解决异构平台、环境、数据库的统一访问和存取的最佳方案,提供 1 组数据库访问 API(应用程序编程接口)及数据库引擎选择、访问请求解析、数据库操作生成、转换并返回操作结果等功能,支持防汛指挥系统各项应用程序通过数据库访问中间件定义良好的 API 访问数据库服务器。

8 应用支撑平台

构建应用支撑平台,为快速建设业务应用系统提供坚实的基础与开放的框架,为运行管理系统未来的发展与变化提供良好的适应性与扩展性,为南水北调东线工程信息化的整体规划和建设提供一个统一、高效、稳定、安全、可扩展、可重用的基础性平台。

平台的功能有:1)基础支撑。提供开发/运行环境,包括 J2EE 应用服务器、门户服务器、ESB 中间件、消息中间件等通用的商业软件。2)应用交互。提供数据交换服务,工作流引擎、门户集成、内容管理、业务模型接口组织、业务应用中间件组织。3)公共服务。提供 GIS 服务、报表工具、移动办公平台。4)应用组件。实现统一的用户管理、身份认证管理、综合检索[4]。

应用支撑平台由 8 个子系统构成,服务于上层的业务应用系统,连接下层的数据访问服务平台,是调度与运行管理系统的中枢神经。具体包括:统一用户管理、身份认证、综合检索、业务应用中间件组织、流程管理、内容管理、GIS 服务和移动办公等子系统。

9 结语

根据南水北调东线工程的项目特点,分析了大型调水工程的数据库建设需求,对数据中心的功能提出定位,给出了具有一定代表性的数据中心总体框架设计,特点在于为保证安全和数据通信设计不同网络的数据交互,融合数据源来自于不同类型的新建或已有工程,设计了调度系统的数据库,并提出数据访问和应用支撑平台的功能要求,可以给大型调水调度工程的数据中心设计提供一定的借鉴作用,但这只是调度运行管理系统的一部分,还需要结合大型调水调度工程的实际情况进行更深入和细致的分析,进一步完善和优化框架内的分类设计。

[1]周邺飞,徐石明. 智能变电站数据中心初探[J]. 电力系统自动化,2011 (18): 57-61.

[2]罗军舟,金嘉晖,宋爱波,等. 云计算:体系架构与关键技术[J]. 通信学报,2011 (7): 3-21.

[3]吴信才. 数据中心集成开发技术:新一代 GIS 架构技术与开发模式[J]. 地球科学,2009 (3): 540-546.

[4]王宁,王延章,叶鑫,等. 一种基于数据中心的政府信息资源整合系统架构设计[J]. 计算机应用研究,2005 (9):67-68.

免责声明

我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自各大过期杂志,内容仅供学习参考,不准确地方联系删除处理!