发电企业统一数据服务平台建设与应用

时间：2024-05-19

佘俊黄嘉东周宇鹏陈俊王定发

(调峰调频发电公司,广东广州 510000)

1 研究背景

随着近年发电企业下一代智能化电网的全面建设,以及我国发电企业的集约化发展,国内各大发电企业都已完成或正在进行管理模式的系统转型,全集团应用系统版本统一,数据高度集中,公司层面数据分析建设的需求也越来越强烈。以调峰调频发电公司为例,目前已经建立了“6+1”业务系统(6是指资产管理系统、营销管理系统、人力资源管理系统、财务管理系统、协同办公系统、综合管理系统,1是指决策支持系统),同时,资产管理系统有包括众多的小型系统,这些小型系统由不同供应商承建,从而导致上述问题。随着云计算技术安全性稳定性的大幅提高,越来越多的企业开始使用第三方云服务或者自建云服务来处理各种数据业务需求。

在及时和灵活应变、全面和深刻分析、管理报表报送、精益化管理等方面提出更多高的要求。如何统一规划全景电力数据资源、整合企业技术架构、建设统一的基础数据平台、挖掘数据价值,是发电企业信息化工作的一个重心。

2 研究问题与意义

为解决发电企业管理信息存在的标准不一、规范各异、多头来源、结果分散的局面,在确保数据安全可控的前提下,建设“全面、统一、共享”的统一数据服务平台。支持全公司统一视图、报表、多维分析,提供电厂、机组、设备等多维度、多视角的数据分析、挖掘和展现,基础数据平台都有着重要的意义。

本文主要想结合自己在调峰调频发电公司中进行的统一数据服务平台建设、数据应用中的工作实践,分析总结发电企业统一数据服务平台建设的策略目标、技术架构和关键技术问题解决思路,研究主要的数据分析和挖掘应用,为发电企业统一数据服务平台建设和数据应用进行有益的探索。

3 平台建设思路

3.1 指导思想

调峰调频发电公司的企业统一数据服务平台按照“业务驱动型”向“战略驱动型”、“分散建设”向“集中建设”、“部门级应用”向“企业级应用”转变的指导思想,以战略支持型信息化建设为导向,建设企业统一数据服务平台,为公司领导与管理人员提供便于决策的与组织战略目标的相关信息,促进信息化由仅关注“正确的做事”提升到关注“做正确的事”上来,推动公司一体化管理发展,为公司战略目标实现提供信息化的有力支撑。

3.2 建设思路

企业统一数据服务平台为调峰调频发电公司本部、厂站及其他下属单位提供应用建设的基础平台,其总体上按照“数据规范化、功能组件化、应用轻量化、建设持续化”的思路建设。

(1)数据规范化：建立统一的数据模型,针对生产域各类业务数据,包括振摆度、油色谱、高压绝缘、环境监测等,基于企业公共信息模型(ECIM)开展统一的数据建模。各类业务数据应基于统一的数据模型进入数据平台,并按统一的模型进行存储固化,为应用和数据服务的建设奠定良好的基础。此外,为了保证数据平台数据的完整性、一致性,实现数据的统一规范管理,将数据访问以服务的形式进行封装,基于企业服务总线(ESB)并向上层各应用统一提供,实现资源的共享与复用,避免各应用对数据库的直接访问,造成数据中心运维管理的难度。

(2)服务组件化：企业数据服务采用SOA的理念,基于C I M模型的通用服务统一开发,各应用组件特有的服务在数据管控下自行开发。不仅要实现数据层和业务服务的组件化和可重用,同时满足数据共享服务和分析应用功能模块化建设和“即插即用”的要求。数据服务功能应按照“模块化”的建设要求,遵循企业统一数据服务平台的接口要求,实现“即插即用”和业务的灵活互动,从而具备良好的通用性、兼容性和可扩展性。

(3)应用轻量化：以轻量化应用的思路,遵循OSGi技术规范,支持PC端、移动端的组件化应用。“轻量化”旨在倡导聚焦核心问题、排除无关需求、少投入多频次地展开生产域数据中心和应用中心的建设。

(4)环境标准化：提高应用的交付和管控能力,实现软件环境的标准化,减少应用系统建设对开发商的依赖,实现统一技术规范标准的制定,实现知识的积累和转移。运行环境基于标准化原语和规范,提供统一的标准化的应用运行环境,实现应用的动态加载、运行、停止和卸载以及应用之间的低耦合度,以利于技术标准和过程规范的制定和执行。

(5)建设持续化：发电企业统一数据服务平台的建设不可一蹴而就,是一个持续建设的过程,按照总体设计思路有序开展,首先搭建基础的平台框架,以需求为驱动力,实现平台数据和应用的逐步丰富。

4 平台系统设计与开发

4.1 平台总体架构

发电企业统一数据服务平台规划企业信息化的建设标准、数据规范,结合发电业务实际需求及建设情况,实现应用系统与数据平台之间的数据服务管理,平台功能上覆盖数据接入、数据存储、数据处理、元数据基础、数据服务、服务管理、平台管理等功能模块。数据服务架构设计如图1所示。

数据接入管理：主要包括接入配置管理、接入监控管理及接入异常管理等功能。数据中心服务平台通过对外服务接口,实现从各业务系统接入实时数据和关系型数据,提供数据服务。这些业务系统是数据服务平台的数据源。为了保障数据源的统一管理和监控,需要对各数据源的信息与相关的通信参数进行配置。由于各数据源网络分布情况不一样,数据接入方式多样,实时数据传输量大,因此为了保障数据采集的工作稳定,减少网络硬件资源的损耗和浪费,提供数据接入的监控功能,实现数据接入的可视和可控。数据中心与源业务系统在接入过程中会产生异常情况(如网络中断、硬件损坏等),为了保障数据不丢失,有必要设计一套机制,对异常情况进行跟踪统计,从而待异常情况排除,恢复正常时,可以续传异常过程中传输的数据,保障数据不丢失。

数据存储管理：主要包括实时数据库存储和关系数据库存储。由于实时数据库产品相对于关系型数据库具有读写性能高、空间占用率低的优势,实时、准实时数据采用实时数据库进行压缩存储。数据中心的关系数据库存储的内容,主要是依从《调峰调频发电公司电厂信息模型》,基于IEC 61970/61968 CIM模型理念和结构,对生产域及相关数据进行建模、组织和存储管理。

数据处理管理：主要包括数据过滤、数据转换、数据处理规则定义等功能。平台支持设置数据过滤条件,当数据符合过滤条件时(例如无效值、缺失值、重复值等),根据配置进行过滤并产生告警,同时记录生成相关报告。支持设置数据转换规则(例如计量单位转换、数据字典转换、数据长度转换等),数据根据转换规则进行转换,同时记录生成相关报告。平台可以定义相关的处理转换规则,并可以与ETL工具进行集成,通过元数据集成的方式,将处理转换规则同步至ETL工具。

元数据基础管理：主要包括发电模型数据管理、数据清洗/转换规则的元数据管理、元数据标准管理。平台可以统一定义相关的数据处理转换规则,数据处理转换规则采用CWM(元数据管理标准)元数据模型进行管理。

数据服务管理：主要包括服务配置、服务管理、服务授权、服务监控等管理。平台提供的服务方式包括原子服务和组合服务原子服务：即将C I M模型中的每一个类或对象作为一种资源提供服务,通过原子服务,用户可以访问数据中心的所有内容。组合服务：由一个或多个原子服务的信息组合而成的服务,通过组合服务,用户可以获取业务查询/处理所需要的内容。业务应用可以通过平台提供的WebService、Rest API、消息推送三种方式,进行数据访问。平台提供三种服务模式：请求/应答式服务、请求/回调式服务、发布/订阅式服务。通过监控可以了解当前各服务的可用情况,发现出现异常的服务,从而进行修复。通过监控,可以统计发现占流量大的客户端,以及流量大的访问时段,可以有针对性的对平台进行优化。服务管理是对服务进行维护的管理功能,包括服务的注册、更新、投运、停运、注销、查询、测试等。平台可以采用基于PKI/CA和LDAP的统一访问认证授权方式。

图1 数据服务架构设计

4.2 技术实现

发电企业统一数据服务平台面向服务的体系结构,是一个组件模型,它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的,它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。因为不同种类的操作系统,应用软件,系统软件和应用基础结构(application infrastructure)相互交织,这便是IT企业的现状。一些现存的应用程序被用来处理当前的业务流程(business processes),因此从头建立一个新的基础环境是不可能的。企业应该能对业务的变化做出快速的反应,利用对现有的应用程序和应用基础结构(application infrastructure)的投资来解决新的业务需求,为客户,商业伙伴以及供应商提供新的互动渠道,并呈现一个可以支持有机业务(organic business)的构架。SOA凭借其松耦合的特性,使得企业可以按照模块化的方式来添加新服务或更新现有服务,以解决新的业务需要,提供选择从而可以通过不同的渠道提供服务,并可以把企业现有的或已有的应用作为服务, 从而保护了现有的IT基础建设投资。

组件化开发就是把庞大的业务拆分成一个个业务模块,每个模块完成独立的功能,模块之间协同工作。这样的模块称为组件。这些组件可以进行单独开发、单独编译、单独测试;把所有的组件组合在一起得到了完整的系统。通过组件化开发,以后哪个业务变动或模块升级,只需要修改和更新该部件即可,而不需要重新开发,这样信息系统可以做到随需而变,从而缩短开发周期。

平台基于Maven的组件化开发模式。基于模型-视图-控制器(MVC)设计方式,服务端组件分为多层调用,组件高复用、低耦合,支持SOA服务集成。

5 项目实施经验分享

调峰调频发电公司统一数据服务平台的建设,需要完成多个业务系统数据服务的改造工作,实现调峰调频发电公司应用中心与数据中心建设的推广实施,实现调峰调频发电公司一体化数据服务管理的应用,全面一体化的要求。

为了保证该项目的成功建设与实施,满足应用要求,项目在实施过程中采用了以下保障措施：

5.1 制定规范化的项目实施流程

通过管理过程的规范化来规范项目的整个建设过程,在该项目中整个项目建设实施分前期准备,管理业务梳理,项目启动会,系统设计开发,系统实施,系统验收六大过程进行规范化管理。

5.2 通过管理业务梳理数据服务管理标准体系

在建设前针对相关业务进行管理梳理,包括对现有管理手册、标准、流程、表单等各种管理成果的采集、梳理、编制、优化,进而确立科学的管理标准,并以此为基础进一步形成对系统功能的需求分析成果。经过管理梳理形成的需求分析成果直接指导系统建设的方案编制和设计开发工作,很好地保证系统功能符合公司管理需求、贴合实际业务工作开展的需要。

5.3 建立良好的沟通机制

为了保证系统建设进度,项目参与各方需要全力投入项目建设工作,并建立良好的沟通交流机制,一方面可以迅速解决项目建设过程中碰到的问题,而且可以对项目建设过程中的风险进行有效控制,及时制定措施予以化解,这样才能有效保证项目建设的进度和质量。

在该项目的建设实施过程中,项目组采用了定期例会、周报、日报等机制有效保障了过程中的问题记录、交流、沟通和反馈。而且在开发过程中采用看板管理,引入里程碑进度计划完成情况、重大问题、风险的的看板展示,既激励了项目组的工作进度,也提高信息共享程度。

5.4 组织深入的系统培训

系统的使用方大部分是监理、施工单位,人员众多,对于计算机信息系统的操作理解能力有限,为了保障系统开发出来的功能能够有效地应用到实践当中,项目组采用了系统化的培训方法,针对不同的操作用户、不同的工作职能岗位制定有针对性的培训方案、提供相应的培训指导材料,对于部分基层工作岗位,提供系统化的作业指导书指导对系统的应用操作,并通过考核、评价机制保障培训、操作的成效。

5.5 建立系统运行的制度保障机制

项目组结合公司管理部门,对与系统相关的管理规章制度、流程文件进行了一次彻底的整顿、清查,对控制不严、不合理、不规范的规章制度、管理文件进行梳理,制定了系统运行的相关一套体系流程文件,明确各部门、各单位、各岗位的管理界面分工、流程节点权限,通过公司领导的带头重视,促进相关管理工作落到实处、形成实效。同时废除已在系统中已经实现的纸质、手工表单,保障了一切工作都通过系统来运行。