基于电力企业的业务数据存取优化方式

戴昭，张纪伟，施亚林，张同乔，刘国蕊，张若冰，刘国玉

（1.国网山东省电力公司济南供电公司，济南250001；2.国网山东省电力公司电力科学研究院，济南250002）

基于电力企业的业务数据存取优化方式

戴昭1，张纪伟1，施亚林1，张同乔1，刘国蕊1，张若冰1，刘国玉2

（1.国网山东省电力公司济南供电公司，济南250001；2.国网山东省电力公司电力科学研究院，济南250002）

在调研电力企业业务数据存取方式的基础上，借鉴国内外先进数据管理经验，分析当前电力企业数据存取问题，提出了业务数据存取优化方式，结合数据接入、手工及实时数据录入方式，得出了数据存取优化方式具有可行性和先进性。

电力企业；业务数据；优化方式

0 引言

电力企业一直在积极开展业务数据的存取优化工作。总体来看，电力企业数据存取顺畅，但随着近几年先进设备的引入，实时数据大量接入，数据量大幅增加，原有的数据存取方式面临巨大的挑战和压力。因此在数据存取方面还有很多问题亟需解决。

很多先进的互联网公司在应用数据方面具有很多优势。亚马逊、苹果、华为、百度、阿里巴巴等国内外大型企业均建立各自数据中心，并将实时数据传至数据中心，实现数据的实时对等传输，减少了数据中间过程，使得数据存取方便快捷。

在借鉴国内外先进数据管理经验的基础上，结合电力企业数据存取特点，分析电力企业当前的存取问题，提出数据存取优化方式。

1 当前电力企业数据存取问题

现有的数据架构不足以满足数据中心实时数据存取的需求，各基层电力企业无法直接获取各业务系统的实时数据，需要通过各省公司数据中心进行数据传递，在传递的过程中，必然造成信息的衰减［1］。例如，营销业务系统的数据是最基础的用户数据，但是面对数目巨大的营销数据，其他系统所需营销数据均需接自营销系统，而各业务系统的编码规则不一致，必然会导致数据丢失和衰减。

随着大量业务数据的接入，数据的来源、真实性和准确性成为影响公司运营情况判断的关键，如何保证已经接入数据中心的数据质量成为电力企业亟需解决的问题［2］。

目前各数据中心业务系统的数据，大部分一直是由业务部门主动推送，但随着电力业务的不断发展，对于及时性甚至实时性的要求越来越高，这种被动接受数据的方式，已经无法满足实时业务的需要，迫切需要一种新的接口方式来满足那些随时发生变化的数据接入工作［3］。

综上所述，有必要构建一个适合各层级电力企业的数据中心，实现省、市、县三级数据共享和联通，满足各业务部门数据共享需求，全面支撑各级电力企业的数据分析和应用，达到统一管理、统一使用的目标。

2 数据存取优化方式

2.1数据接入技术以及接入方式

业务明细数据接入采用基于异步CDC（Change Data Capture）技术的OGG（Oracle Golden Gate），该技术在优化提升工程、明细数据接入项目中均已应用。

对于数据接入方式，一旦OGG接口打通，即可接入明细数据，而对于历史数据，需要根据数据量和停机申请情况采用逐步导入的方式进行，考虑到后期数据分析和挖掘的需要，应导入3年的历史数据。

2.2 数据存取

2.2.1 手工数据接入

如图1所示，以接入的业务明细数据为基础，构建手工数据报送平台，用于运营监控数据资产线下数据收集，实现线下数据“自动生成、自动汇总、自动发送、自动查错、自动提醒”，解决线下数据手工上报工作量大、数据质量控制难度大、上报不及时等问题。构建“一键式”手工数据报送平台，易化手工数据收集。

图1 手工数据录入

原数据上报格式同业务部门本身手工报表格式差异大，数据填报枯燥且转换工作量大。设计“一键式”线下数据报送平台，贴近业务部门实际业务报表格式，成功解决原有问题。

实现“省市县分级报送，数据自动汇总”。根据线下数据的不同层级的纬度，通过报送平台实现数据一次录入，多级使用，自动通过低级纬度的报送数据汇总计算高级纬度的数据。例如，根据县级报送的业务数据自动汇总计算市级和省级纬度数据，减少市级和省级的汇总重复计算工作量。

数据质量前端控制，解决后端控制难度大，整改难等问题。通过数据报送平台，实现在录入端进行数据质量校验，实现数据质量控制前移，解决数据仓库端数据质量控制难度大，整改困难等问题。

2.2.2 外部数据接入

外部数据包括两个方面，一是运行在外网的业务系统数据，二是在做主题分析和决策辅助时所需要的一些存在于外网的数据，例如发改委、电监会、统计局所公布的相关数据。这两部分数据对于监测监控、主题分析有着重要的支撑作用，因此需要把外部数据抽取到共享数据中心，具体接入如图2所示。

图2 外部数据接入

外部数据（来源于外网系统、外部网站或者外部数据接口）通过部署在外网的数据提取接口进行数据抽取和预处理，预处理后的数据通过安全强隔离装置发送至内网，并存入轻度汇总主题库中，以备主题分析和决策支持。数据提取接口主要分为通用数据提取接口和数据抽取组件，通用数据接口为数据抽取框架，支撑所有抽取组件的正常运行，数据抽取组件是按照通用接口的规范为某一种数据定制开发，并以可插拔的形式运行在数据通用接口上。统一接收通过强隔离发送过来的外部数据，并将该数据写入轻度汇总主题库的外部数据存储区域，以备用于主题分析和决策支持。

2.2.3 高频实时数据接入

高频实时数据主要是指调度、配网系统或相关设备产生的更新频率在5 min之内的数据，这些数据主要有两方面的用途，一是直接供运营监测支撑系统进行业务监控，二是进行汇总成业务指标存储在数据资源池，以支撑运营主题分析和决策辅助。实时数据接入如图3所示。

图3 实时数据接入

实时数据的接入主要通过实时数据抽取接口和OPC接口两种方式来实现，数据最终存储在以内存数据库为基础构建的实时数据中心内。实时数据抽取接口主要用来抽取存在于业务系统的实时数据，例如调度系统、配网实时数据平台等，该接口应具备定时数据抽取，数据流量统计、向内存数据库数据写入等功能，采用JAVA技术开发。OPC数据接口主要用来接收二次设备的设备数据，本方案中利用OPC COM组件进行二次开发，使得其能够接收设备（OPC SERVER）数据并存入实时数据中心内。

2.2.4 数据存储与转换

如图4所示，企业级数据中心采用“三主两辅”的数据存储架构，所谓的“三主”即贴源明细数据前置库、轻度汇总主题库和数据资源池三个主存储节点，以三层逐级汇总的方式分别存储业务明细数据、轻度汇总主题数据和指标数据，支撑数据全在线、数据在线计算、数据逐层钻取穿透查询；“两辅”分别是实时数据中心和低频明细数据存储库，其中实时数据中心存储频度低于5 min的实时数据，用于支撑基于实时数据的业务监控和进行部分数据指标的计算，低频明细数据存储库用于转存第3年以上的历史数据，用于支撑基于海量数据的数据挖掘分析。

这种存储架构具备以下特点：1）逐层穿透。从资源池穿透至汇总层，穿透至业务明细，达到数据可逆追溯及逐层展开的深入分析。2）查询加速。依据访问热度，数据分为高频资源层、中频汇总层、低频明细层，构建智能分段内存加载机制，在不损伤数据细节的同时加速数据的查询速度。3）适应指标变化。本模型将依据业务实体元素进行存储，建立高于现有指标体系的实体数据支撑存储，可应对现有业务数据支撑范围内的新增指标，指标算法变更等变化。

图4 数据存储转换

3 结语

在借鉴国内外先进数据管理经验的基础上，结合电力企业数据存取特点，提出了数据存取优化方式：数据接入技术以及接入方式采用基于异步CDC技术的OGG；构建“一键式”手工数据报送平台，易化手工数据收集；外部数据统一存储在轻度汇总主题库的外部数据存储区域；实时数据的接入主要通过实时数据抽取接口和OPC接口两种方式来实现；企业级数据中心采用“三主两辅”的数据存储架构。

［1］王德文，刘杨.一种电力云数据中心的任务调度策略［J］.电力系统自动化，2014，38（8）：61－67.

［2］胡文越.电力数据综合分析展示平台的设计与实现［D］.厦门：厦门大学，2014.

［3］胡平，王忠群，刘涛，等.基于分布式OSGI通用电力数据平台［J］.计算机工程，2014，40（3）：22－26.

Business data Access Optimization Based on Electric Power Enterprise

DAI Zhao1，ZHANG Jiwei1，SHI Yalin1，ZHANG Tongqiao1，LIU Guorui1，ZHANG Ruobing1，LIU Guoyu2
（1.State Grid Jinan Power Supply Company，Jinan 250001，China；
2.State Grid Shandong Electric Power Research Institute，Jinan 250002，China）

Based on the survey of business data access mode in electric power enterprises，problems of the current electric power data management are analyzed by drawing lessons from both domestic and international advanced－data management experience.Also，optimization mode is put forward.Combined with manual data input mode and so on，the data access optimization mode is both feasible and advanced.

electric power enterprise；business data；optimization mode

TP391

B

1007－9904（2015）05－0078－03

2015－01－14

戴昭（1973），女，高级工程师，从事电力生产及运营监测业务；

张纪伟（1983），男，工程师，从事电力生产及运营监测业务；

施亚林（1968），男，高级工程师，从事电力生产及运营监测业务；

张同乔（1974），男，经济师，从事电力生产及运营监测业务；

刘国蕊（1985），女，工程师，从事电力生产及运营监测业务；

张若冰（1980），男，工程师，从事电力生产及运营监测业务；

刘国玉（1985），女，工程师，从事电网企业政策研究及文字写作。