基于Adam算法的变压器顶层油温预测方法研究

李 曼, 陈良雪, 方 慧

(国网安徽省电力有限公司超高压分公司, 安徽 合肥 230000)

0 引言

电力变压器是电网中的关键设备，对电网的安全稳定运行具有重要的意义。电力变压器的负载能力和绝缘老化程度均受变压器热特性的影响，顶层油温是反映变压器热特性的重要指标[1-3]。因此，研究变压器顶层油温的预测模型对调整电力变压器运行状态、判断绝缘老化程度以及预测故障具有重要意义。

目前，国内外对变压器顶层油温有较多的研究。现有的电力变压器顶层油温的预测方法包括三类：数值计算法、热路模型法、基于数据驱动的机器学习算法[4-5]。数值计算方法主要基于传热学以及流体力学原理，利用有限元法或有限体积法[6-8]研究温度在变压器内部的分布问题，计算结果精确但计算量大且费时，不适合电力变压器顶层油温的在线监测。Swift G等人基于热电类比理论建立变压器的热路模型[9]，Susa D等人在Swift G热路模型的基础上，考虑变压器油粘度和变压器绕组损耗与温度变化的关系，建立Susa D热路模型，进一步提高热路模型法的预测精度[10]，然而热路模型法在计算顶层油温时，相关的传热参数往往使用经验值(传热参数往往随温度的改变动态变化)，因此热路模型法预测精确度较低。基于数据驱动的机器学习方法预测变压器顶层油温是随机器学习算法提出来的一种非线性拟合方法。顶层油温与变压器其他监测量之间存在一定的相关性，简单的线性拟合方法无法准确表达顶层油温与变压器其他监测量之间的关系，机器学习具有强大的非线性拟合能力，利用机器学习算法可以很好的展现变压器监测量与顶层油温的关系[11,12]。常用的机器学习建模方法包括：人工神经网络法，支持向量机等[13,14]。利用机器学习算法建模，必须确保输入量与输出量之间有较大的相关性，否则模型过拟合、预测效果差，同时冗余的输入量增加模型维度，降低模型训练速度[15]。

本文利用灰色关联分析法分析变压器监测量与顶层油温的相关性，基于后向传播(Back Propagation, BP)神经网络，提出一种自适应动量估计(Adaptive Momentum Estimation, Adam)算法优化的电力变压器顶层油温预测模型。与Susa D热路模型方法和基于随机梯度下降法(Stochastic Gradient-Descent, SGD)训练的神经网络的预测结果相比较，该模型有更高的预测精度、更强的适用性，可以更好地指导变压器运行状态调整和故障预警，对电力变压器安全稳定运行有重要意义。

1 理论基础

电力变压器的运行状态监测量众多，有些状态量与顶层油温相关性较强，可以准确反映变压器顶层油温变化，有些不然。为筛选顶层油温神经网络预测模型的输入量，利用灰色关联分析法分析变压器顶层油温与其他监测量的相关性。模型的训练过程中，相比以SGD算法为代表的固定学习率训练方法，Adam算法具有自适应学习率的能力，收敛速度快，有更好的训练效果[16]。因此，本文采用Adam算法训练顶层油温预测模型。

1.1 灰色相关性分析法

灰色相关性分析法基于序列曲线几何形状的相似程度来判断不同序列间联系的紧密性，与传统的数理统计不同的是，灰色关联度分析法对样本量的多少和样本有无明显的规律无要求，计算量小，且通常不会出现量化结果和定性分析结果不一致的情况。某一系统的若干序列[17]如式(1)所示。

X0=(x0(1),x0(2),…,x0(n))
X1=(x1(1),x1(2),…,x1(n))
⋮
Xi=(xi(1),xi(2),…,xi(n))

(1)

⋮
Xm=(xm(1),xm(2),…,xm(n))

(2)

(3)

1.2 Adam优化算法

Adam是由Diederik Kingma和Jimmy Ba提出一种优化算法[18]，可以代替传统的随机梯度下降法(SGD)训练神经网络的模型参数，并且可以为不同的参数设计独立的自适应学习率。

神经网络的权重和偏置参数的梯度计算公式为:

(4)

式中，m表示随机选择的小批量样本数；Li(θ)表示代价函数；θ表示神经网络的权重和偏置参数。

与SGD算法不同，Adam算法可以自动选择步长大小。Adam优化算法通过计算参数梯度g的一阶矩估计s，二阶矩估计r，进一步修正一阶矩估计偏差和二阶矩估计偏差，最后得到参数的修正量，其中，s和r的计算公式如式(5)所示。

(5)

式中，ρ1和ρ2表示矩估计的衰减率，一般地，ρ1=0.9,ρ2=0.999。

图1 Adam算法流程图

(6)

式中，t表示当前的迭代次数。神经网络的权重和偏置参数更新值为：

(7)

式中，ε为步长，δ为稳定数值的小常数，一般地ε=0.001，δ=10-8。

2 变压器顶层油温模型的具体实现

2.1 状态监测量的获取和处理

本文选取了某抽水蓄能电厂的500 kV主变作为研究对象，随机选择该主变的某个月的相关监测量进行分析建模。该主变的监测量包括：冷却器进水口压力Fwater_in、冷却器出水口压力Fwater_out、冷却器进水温度θwater_in、冷却器出水温度θwater_out、冷却器进油温度θoil_in、冷却器出油温度θoil_out、高压侧相电流I、高压侧相电压U、高压侧功率因数cosφ、高压侧频率f、高压侧无功功率Q、高压侧有功功率P、油面温度θoil_top。因此，可供分析的变量有Fwater_in(n)、Fwater_out(n)、θwater_in(n)、θwater_out(n)、θoil_in(n)、θoil_out(n)、Ia(n)、Ib(n)、Ic(n)、Ua(n)、Ub(n)、Uc(n)、cosφ(n)、f(n)、Q(n)、P(n)、θoil_top(n),n=1,2,…,N。对参数进行归一化，归一化公式如式(8)所示。

(8)

式中，p表示原始值，p′表示归一化后的值，pmin和pmax分别表示该参数的最小值和最大值。

2.2 顶层油温预测模型的建立

实际运行的变压器状态监测量众多，取全部的监测量建立模型，增加模型复杂度的同时影响模型精确度。利用灰色关联度分析法，分析归一化后的其他状态监测量与顶层油温的相关性，筛选出相关性较大的监测量作为顶层油温预测模型的输入量。模型的输入量包括电气量与非电气量，由于抽水蓄能电站的特殊性，机组启停频繁，变压器运行方式变化频繁，电气量相比非电气量，突变频繁，灰色关联度整体较低，因此在选择监测量作为输入量时，应分开考虑电气量与非电气量。

利用筛选出的监测量作为BP神经网络输入量，顶层油温作为输出量，建立变压器顶层油温预测模型。神经网络隐含层的激活函数采用Leaky Relu函数，其表达式如式(9)所示。

(9)

式中，ai=(1,+∞)。输出层采用Sigmoid函数，其表达式如式(10)所示。

(10)

代价函数采用交叉熵代价函数，交叉熵代价函数为式(11)。

(11)

式中，n表示训练样本的数量，x表示训练样本输入，y表示期望输出值，a表示神经网络的实际输出值，i表示神经网络输出层神经元个数。训练过程中，为了防止模型过拟合，采用L2规范化，规范化后的交叉熵代价函数如式(12)所示。

(12)

式中，ω为神经网络的权重系数，λ≥0为规范化参数。

训练时，将数据分成3类，训练数据集，测试数据集和检验数据集。训练数据集用来进行模型训练，测试数据集用来调整模型的参数，检验数据集用来检验模型的准确度。

3 应用实例

本文算例选取某抽水蓄能电站的主变为研究对象，主变的参数信息如表1所示。

表1 主变参数表

获取该主变某月的状态监测量(采样步长为30 s)，利用实验数据进行建模。其中，该月份中连续6天的数据作为训练数据，第7天的数据作为测试数据，第8天的数据作为检验数据。第8天的变压器顶层油温曲线如图2所示。

图2 变压器第8天顶层油温实测曲线

3.1 监测量的灰色关联度计算

利用灰色关联度算法，计算变压器状态监测量与顶层有温度的关联度。设置分辨率系数ξ=1，分别计算Fwater_in、Fwater_out、θwater_in、θwater_out、θoil_in、θoil_out、I、U、cosφ、f、Q、P、θoil_top的灰色关联度，计算结果如表2。

分析关联度计算结果，非电气量灰色关联度平均值为0.893 6，电气量的灰色关联度为0.763 9，选择关联度大于均值的监测量作为模型的输入量，因此顶层油温预测模型的输入量为：θwater_out、θoil_out、θoil_in、I、U、Q、P。

表2 各监测量灰色关联度计算结果

3.2 模型训练与参数优化

根据选择的监测量，建立变压器顶层油温预测模型。建立(11,18,1)三层神经网络模型，设置最大迭代次数为10，最小训练批量为10，规范化参数λ=0.05，相对误差为0.01，利用Adam算法训练神经网络。本文算法在经过6次迭代后，训练数据和预测数据的准确度的可以达到95%，模型基本达到最优解。

利用顶层油温预测模型，预测第8天的变压器顶层油温。为对比说明本文模型的预测能力，本文方法的预测结果同Susa D模型预测结果相比较，图3是顶层油温预测结果对比曲线，图4是Adam算法优化神经网络的预测模型和Susa D模型的误差曲线。

图3 Adam神经网络模型和Susa D模型预测值与顶层油温实测值对比图

图4 Adam神经网络模型与Susa D模型误差对比图

由图3可见，基于Adam算法优化的神经网络的电力变压器顶层油温预测模型的预测结果与实测结果基本一致，且在变压器运行状态突变时，预测曲线与实测曲线基本吻合。

而传统Susa D模型，对于运行状态不断变化变压器，其预测能力比较弱，预测曲线与实测曲线有较大的偏离。

另外，基于Adam算法优化的神经网络电力变压器顶层油温预测模型的预测结果在油温达到较高时预测误差较大，这主要是由于温度影响了变压器油的粘稠度，加快了绕组到顶层油面的热对流，同时，变压器油的循环速度在温度较高时会被油泵强迫加快，进一步增加了绕组到顶层油面的热对流，使得顶层油面温度升高，文中由于缺少相关状态监测而不予考虑。

进一步对比图4可以发现，基于Adam算法优化的神经网络模型预测结果的最大误差小于1 ℃，而Susa D模型预测结果的最大误差大于3 ℃。

为了进一步说明基于Adam算法优化神经网络的顶层油温预测模型的效果，将该模型与基于随机梯度下降法(SGD)神经网络模型和Susa D模型相比较，各模型预测误差的最大误差emax，平均误差eave，标准差σ如表3所示。

表3 三种模型预测误差对比

对比表3中的数据可以看到，Susa D模型预测结果最大误差为3.38 ℃，平均误差为0.22 ℃，误差的标准差为1.72，预测结果误差较大，且预测结果误差不具有一致性，波动较大。

基于Adam算法得到的模型，预测结果最大误差为0.74 ℃，平均误差为0.01 ℃，误差的标准差为0.26，预测结果精确，且误差波动小。

同时基于SGD与Adam算法训练的神经网络模型均为(11,18,1)三层结构，最大训练次数均10次，相对误差为0.01。实际训练的结果中，SGD算法在训练数据和测试数据的准确度分别小于90%，小于80%，Adam算法在训练数据和测试数据的准确度分别为大于98%，大于95%，因此，Adam算法具有更快的收敛速度，模型相同的训练次数下，预测结果误差小，且误差波动小，预测结果稳定。

3.3 模型普遍适用性分析

为验证本文方法在不同电力变压器顶层油温预测中的普遍适用性，本文选取另一抽水蓄能电站主变进行顶层油温预测。该主变的参数如表4所示。

表4 主变参数表

获取该主变某月的监测量(采样步长为10 min)，数据分类同与相关性分析方法同第一台主变，该主变各监测量与顶层油温的灰色关联度如表5所示。

表5 各监测量灰色关联度计算结果

该主变非电气量灰色关联度的平均值为0.868 7，电气量灰色关联度的平均值为0.738 5，因此顶层油温预测模型的输入量为：θwater_out、θoil_out、θoil_in、I、U、Q、P与第一台相同。

利用Susa D模型，基于SGD算法训练的神经网络模型与基于Adam算法训练的神经网络模型预测该变压器顶层油温，三种模型的预测误差结果如表6所示。

表6 三种模型预测误差对比

从表6的对比结果可以看出Susa D模型的预测误差最大，Adam算法优化的模型预测误差最小，同Susa D模型与基于SGD训练的预测模型相比，预测精度分别提高了70.9%，37.2%，同时基于Adam算法优化的神经网络预测模型平均误差低，标准差小，预测误差的波动小。对比表3与表6可以发现，主变二的预测准确度均小于主变一。造成该现象原因是，主变二的监测量采样步长远大于主变一，抽水蓄能电站主变运行状态变化频繁，较长的采样间隔期间，主变运行状态变化大，主变二的监测量无法精细地反映出主变运行状态的改变。

4 结论

本文实现了一种基于Adam算法优化的变压器顶层油温神经网络预测模型。该模型将变压器状态监测量中的θwater_out、θoil_out、θoil_in、I、U、Q、P作为神经网络的输入量，顶层油温作为输出量，利用Adam算法训练神经网络预测模型。该方法与传统的SGD训练方法相比，具有更高的收敛速度和计算效率，为顶层油温实时预测提供了可能。经两次实例验证发现，该油温预测模型与传统的Susa D数值计算相比，顶层油温的预测精度分别提升了78.1%和70.9%。基于Adam算法优化的变压器顶层油温神经网络预测模型，能准确有效的预测变压器的顶层油温，对控制变压器运行状态，保障变压器安全运行具有指导性意义。