水电站大数据分布式采集系统研究

刘晓彤，迟海龙，杨廷勇

（1.中国水利水电科学研究院 北京中水科水电科技开发有限公司，北京 100038；2.中国长江电力股份有限公司白鹤滩水力发电厂，云南 昆明 650000）

1 引言

随着智能水电站技术的迅猛发展，大数据和人工智能技术在水电站安全稳定运行的决策过程中作用愈加重要,而大数据是开展人工智能的重要前提。水电站各个专业生产系统的数据量大、复杂度高、快速多变，现地采集后需要跨安全区、跨地域传输和汇聚到大数据平台，数据跨区跨地域安全可靠的采集与传输，成为限制大数据技术应用的关键因素。

2 现地数据采集

主要采集调速器、励磁、计算机监控系统等实时系统，以及机组状态监测、局部放电监测、油色谱监测等非实时数据。采集方式主要取决于现地各专业系统，并统筹考虑，选择最合适的采集方式。

水电站各专业系统的数据种类众多，按实时性分有实时数据、非实时性数据、历史数据、时间序列数据。按类型分有文本数据、多媒体数据。按结构分有各类结构化、半结构化数据以及非结构化数据，数据的采集和传输方式随之不同。

2.1 调速器和励磁系统

调速器和励磁系统均需与其PLC设备通信，通信协议需与电厂采用的PLC品牌和型号适配，如PLC有备用通信接口，通信协议限于其备用接口支持的协议。若没有备用通信接口，则需增加通信模块，需根据其PLC品牌和型号选择合适的通信模块，因为Modbus TCP/IP和Modbus RTU协议比较通用而优先选择[1]，其次根据实际情况选择PROFINET协议[2]、SRTP TCP/IP协议(Service Request Transport Protocol)[3]、EGD(Ethernet Global Data)协议[4]、Modbus Plus(MB+)协议等。

2.2 计算机监控系统

计算机监控系统分为上位机系统和下位机系统，部分电厂已接入到集控中心，因此其数据可从3个数据源采集。由集控中心到电厂上位机系统再到电厂下位机系统，数据采集方案的可行性、可靠性、可维护性依次降低，难度和工作量依次升高，因此数据源优先级依次降低。

若数据源选择集控中心和上位机系统，通信协议可选择方式较多，通常可采用IEC60870-5-104规约、消息队列中间件技术、RPC技术、私有TCP/UDP通信协议等。

若将下位机作为数据源，则因其PLC品牌和型号不同，通信方式和协议均不同，情况与调速器、励磁系统类似，并且通信协议为各监控系统厂家私有协议，需要深入研究和定制开发，接入调试需在机组停机检修阶段进行，开发和实施难度大，实施周期长，维护难度大，所以此方案在其他方案均无法实施时才考虑。

2.3 机组状态监测系统

机组状态监测系统的数据分为稳态常规数据和暂态波形数据，目前国内主流系统可提供TCP/UDP私有通信协议、消息队列、中间数据库等接口方式。

2.4 局部放电、油色谱监测系统

局部放电、油色谱监测系统数据变化缓慢，数据量不大，数据采集周期可适当设置。

3 组网方案

水电站的调速器、励磁、计算机监控系统等属于控制区，机组状态监测、局部放电、油色谱监测等系统属于非控制区，水电大数据平台属于管理信息大区，一般大型水电站可能建设有大数据平台，中小型水电站作为大数据平台的边缘侧，而大数据中心多建设在发电集团总部，根据《电力监控系统安全防护总体方案》，需要在控制区、非控制区和管理信息大区部署隔离装置，管理信息大区与大数据平台之间部署防火墙[5]。因此数据采集汇聚后需要跨安全区、超远距离、安全可靠的传输。

因控制区和非控制区均有多套系统数据需要接入，故在控制区和非控制区均设置有汇聚交换机，多系统数据汇聚后接入防火墙。计算机监控系统、机组状态监测系统和局部放电、油色谱监测等数据一般均采集其上位机系统数据，故上述各系统均可直接接入汇聚交换机。

调速器和励磁系统的数据，需要从每台机组的调速、励磁系统的PLC采集，若其只支持串口通信，考虑到串口信号传输距离与其可能受到的干扰等因素，可在每台机组处部署串口联网设备，转换成RJ45网络接口，机组与采集平台位置较远时，还要考虑光电转换接口。

一般发电集团公司的大数据平台采集系统网络拓扑可参考图1，若电站自建大数据平台，则不需要防火墙和专用通道。

图1 水电站大数据分布式采集系统网络拓扑

4 数据传输和存储

数据采集汇聚后，需要穿越正向隔离装置传输到管理信息大区，如果还需向外传输，而后再经过防火墙，传输到大数据平台。因而，在数据采集、非控制区与管理信息大区之间、管理信息大区与大数据中心之间存在3个故障点。在上述3个故障点处需要具备数据的缓存、存储和断点续传的功能，因数据类型不同而有不同的解决方案。

4.1 数据采集阶段

为提高数据传输的可靠性，需要在数据采集和传输过程中根据数据特点选择合适的通信方式。

若采用传统通信方式，如IEC60870-5-104规约、私有TCP、MODBUS等通信协议的方式，则通信出现故障，数据就会中断，无法实现数据的断点续传。

计算机监控系统、机组状态监测、局部放电监测、油色谱监测等数据源一般均为各自的上位机系统，因而可考虑使用缓存技术，为数据的断点续传打好基础。

机组状态监测系统的显著特点是数据量巨大，其稳态常规数据几乎与电站计算机监控系统的模拟量数据规模持平，其暂态波形数据规模更大。采用TCP协议方式，无法实现断点续传。

采用消息系统和中间数据库的方式，可以实现断点续传，但在实际应用中存在一些需要注意的问题，以Kafka为例，目前机组状态监测系统多采用Windows操作系统，而Kafka在Windows平台上的稳定性欠佳，官方仅提供Java API，支持其他编程语言的第三方接口虽多，但稳定性难以保障。

若采用中间数据库的方式，跨安全区数据复制技术问题是其难点。

4.2 实时数据传输

计算机监控系统、调速器、励磁等系统的数据、机组状态监测系统稳态数据、局部放电监测数据、油色谱监测数据等均可视为实时数据，实时更新到实时数据库。

4.3 历史数据存储

平台可从实时数据库中获取数据转存到历史数据库。同时，机组状态监测系统的暂态数据、局部放电监测系统和油色谱监测系统的图谱文件和诊断报告等二进制文件均可视为历史数据，可直接存储到历史数据库。

4.4 跨区数据同步和缓存

跨隔离装置传输数据，包括实时数据、历史数据、文件以及第三方综合数据等。隔离装置包括正向隔离和反向隔离。正向隔离装置具有单向传输的特点，反向只能传输1字节报文用于状态确认。跨反向隔离装置采用文本文件传输方式。跨区数据同步简要示意图见图2所示。

图2 跨区数据同步和缓存简要示意图

UDP协议其不可靠的特点，在对关键数据的实时性和质量要求日益提高的今天，被更少的采用。采用符合正向隔离安全要求的TCP协议同步数据，具有断点续传功能，如果传输中断，可使用数据缓存技术，选择内存、硬盘、数据库、消息队列中间件等缓存介质。

基于标准TCP的数据传输基于双向通信，无法穿越隔离装置，需要通过跨区同步代理实现报文转发。跨区同步代理需要在隔离装置两侧均代理，部署内网代理发送数据，若内外网通信故障，则将数据缓存。外网代理接收数据，并及时回复1字节报文进行确认。

需要设计好缓存的最大空间和清空策略等，比如64 MB以内的数据缓存在内存，长时间中断缓存数据在硬盘。

4.5 数据库跨区同步

机组状态监测系统的暂态波形数据和局部放电监测系统、油色谱监测系统生成的图谱文件和诊断报告多为二进制文件，需要有专业的软件才能使用和展示。在大数据平台无法完备各专业系统功能的情况下，部署各专业系统软件，不失为目前较好的现实选择。这就需要部署各专业系统的数据库。因此可通过中间数据库的方式，采用临时公用交换数据表的形式实现数据交换。

分布式数据库同步有多种技术可供选择，Databus、canal、Maxwell、yugong、DRD等均可实现，使用上述技术结合跨区数据同步功能，可解决数据库跨区同步的技术难点。

4.6 管理信息大区数据缓存与上送

管理信息大区数据缓存和上送到大数据平台，可使用消息队列中间件技术，它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等功能，作为分布式系统架构中的一个重要组件，有着举足轻重的地位。开源的消息中间件很多，比如ActiveMQ，RabbitMQ，Kafka，RocketMQ，ZeroMQ等。目前在电力领域使用较多的消息系统是Kafka。

Kafka可以充当中间数据的存储系统。在海量消息堆积的情况下，Kafka始终保持消息收、发的高吞吐能力，不影响队列性能。使用Kafka可以高效可靠地实现断点续传[6]。

5 总结

计算机监控系统、调速器、励磁等系统的数据、机组状态监测系统的稳态数据、局部放电监测数据、油色谱监测数据等可按照介绍的通信方式采集数据，更新到实时数据库，并由隔离通信服务经隔离装置传输至管理信息大区，平台按照写历史库策略转存到历史数据库，并由发布实时数据的程序轮询实时数据库，采用“不变不送，定时全送”的策略将实时数据发布到Kafka。

机组状态监测系统的暂态数据、局部放电监测系统和油色谱监测系统的图谱文件和诊断报告等二进制文件，通过隔离通信服务传输至管理信息大区，存储到历史数据库，并发布到管理信息大区的Kafka。大数据平台以订阅方式获取数据。

机组状态监测系统、油色谱监测系统、局部放电监测系统等亦可采用数据库同步的方式实现数据采集和传输。