基于长短时记忆网络和轻梯度增强机的风电功率多步预测

李振海，李钰炎，易志高，苏盛

(1.大唐华银(湖南)新能源有限公司，湖南 长沙 422000；2.智能电网运行与控制湖南省重点实验室，湖南 长沙 410114； 3.长沙理工大学，湖南 长沙 410114)

0 引言

近年来，随着全球经济的蓬勃发展和人民生活水平的提升，人们对电力生产的需求不断增加。然而，传统的电力生产方式主要依赖于提取的化石燃料，如煤炭、石油和天然气等，带来了全球变暖等环境问题。此外，因化石燃料的有限性和不可再生性，过度开采可能导致能源资源的枯竭。因此，寻找清洁替代品已成为当务之急。其中，风能作为一种重要而有价值的资源，具备可持续生产的潜力。与传统发电方式相比，风力发电具有诸多优势[1-2]。全球范围内对风力发电的关注不断增加，人们认识到其潜力和可持续性。为了更好地利用风能资源，不断改进和创新风力发电技术变得至关重要。各国纷纷投入资金和资源，加强风力发电技术的研发和应用，以推动清洁能源的转型和可持续发展。

风力发电是受风力影响较大的能源形式，而风具有强烈的随机性、波动性和间歇性的特性，这给风力发电接入电网带来了挑战[3]。由于风力的不可控性，风力发电机组的输出功率会不断变化，这对电网的稳定性和平衡性造成了较大的冲击[4]。准确的风电预测可以帮助电力公司和调度员预测未来的风力功率，从而优化电力系统的运行，确保电力供需平衡。准确的预测结果还有利于制定合理的发电计划、电力输送和储存策略，提高电力系统的效率和稳定性[5-6]。

大部分风电功率预测是利用历史输出和数值天气预报数据，运用学习方法进行可靠的短期和长期预测。近年来风电功率预测所属的时间序列预测问题在方法上有了很大的进步，早期的研究集中在线性统计模型。其中，李丽等人[7]使用平均滑动方法对经小波变换分解出的低频和高频功率成分进行重构，LIU等人[8]采用差分整合移动平均自回归模型对非线性数据进行平稳化。然而，这些方法在构造高度非线性数据的最佳结构参数方面存在一定困难。随着特征变量的可用性增加，越来越多的人开始使用机器学习模型，如随机森林[9]、支持向量机[10]和极端梯度增强[11]，这些模型因在特征处理方面的有效性而受到欢迎。深度学习模型具有更强大的学习能力和表达能力，能够学习到更复杂的模式和抽象概念。WANG等人[12]通过经验模态分解将原始数据分解成不同频率信号，并使用神经网络对每个频率特征进行综合，得到最终的功率曲线。HARBOLA等人[13]则提出了两个一维卷积神经网络，用于预测时间风电数据集中的主导风速和风向。此外，HAN等人[14]在长短时记忆网络(long short term memory，LSTM)的记忆单元中引入了一个参数，用于抑制长期记忆中的随机成分，从而增强对风电实际模式的学习，并避免过度拟合。近年来，组合模型在风电功率预测中变得热门，不同算法的特点被结合利用，提高了预测模型的鲁棒性。张红涛等人[15]采用模糊聚类分析筛选出与预测日相关性较大的历史相似日，并建立樽海鞘群算法优化极限学习机的超短期风功率预测模型。刘大贵等人[16]利用熵值法对单一预测模型进行权重组合预测，再借鉴马尔科夫链方法对熵值法组合预测结果进行修正，得出未来一年的可用电量预测值。

LSTM在处理时间序列预测问题上具有明显的优势，并且可以通过结合其他模型来改善预测效果。本论文旨在构建一种组合模型，结合LSTM和轻梯度增强机(light gradient boosting machine，LGBM)模型，用于对风电功率进行多步预测。同时，采用网格搜索法对各模型的参数进行优化，以最大程度地提升预测精度。

1 模型原理

风电场数据集的详细信息包括风电功率输出的分布及一般数据特征，如风速、风向、气温、气压、湿度等数据，数据维度高，特征波动性强。循环神经网络(recurrent neural networks，RNN)和LSTM已被广泛应用于时间序列建模。可以借助LSTM算法的特征提取能力对输入数据进行特征提取，然后将提取的特征输入到LGBM以建立新的组合预测模型。

1.1 长短时记忆网络

LSTM是RNN的变体，具有强大的记忆和建模能力，特别适用于处理长序列数据和捕捉序列中的长期依赖关系。能够在时间序列数据中增量地处理给定的信息，同时根据过去的信息完善正在处理的内容[17-19]，并在接收到新信息时不断更新状态，建立层内之间的权重联系。

LSTM的基本单元是一个带有门控机制的循环单元，由一个细胞状态(cell state)和三个门组成：遗忘门(forget gate)、输入门(input gate)和输出门(output gate)。这些门的目的是控制信息的流动和更新，从而有效地处理序列数据。图1为基本的长短时记忆网络结构。具体功能如下：

ft=σ(Wf(ht-1，xt)+bf)

(1)

遗忘门决定了在当前时间步是否忘记之前的细胞状态中的信息，根据当前时间步的输入和前一个时间步的隐藏状态来生成一个介于0和1之间的遗忘向量，用于对细胞状态进行元素级别的遗忘操作。

it=σ(Wi(ht-1，xt)+bi)

(2)

(3)

输入门决定了当前时间步的输入中哪些信息将被添加到细胞状态中，由当前时间步的输入和前一个时间步的隐藏状态共同决定。输入门生成一个介于0和1之间的输入向量，用于对当前时间步的输入进行元素级别的筛选和更新[20]。

图1 LSTM网络结构

(4)

ot=σ(Wo(ht-1，xt)+bo)

(5)

ht=ottanhCt

(6)

输出门决定了在当前时间步将细胞状态中的哪些信息输出到隐藏状态中。输出门由当前时间步的输入和前一个时间步的隐藏状态共同决定。输出门生成一个介于0和1之间的输出向量，用于对细胞状态进行元素级别的筛选和输出。

1.2 LGBM预测模型

LGBM是一种高效的梯度提升决策树框架，专注于处理大规模数据和高维特征，以提供快速的训练和高质量的预测。LGBM采用基于梯度的学习算法，通过迭代地训练多个决策树模型来不断提升预测的准确性。相较于传统的梯度提升决策树算法，LGBM引入互斥特征捆绑和直方图算法，以加快训练速度和降低内存消耗。LGBM还具有良好的可扩展性和并行化能力，能够利用多核处理器和分布式计算资源进行高效训练和预测。此外，LGBM提供了丰富的参数调整选项，使用户可以根据不同的数据集和问题进行灵活配置，以获得最佳的预测性能。

互斥特征捆绑用于处理高维稀疏特征[21]。在传统的梯度提升决策树算法中，每个特征都被视为一个独立的特征列，会占用大量的内存和计算资源。而互斥特征捆绑将相关性较高的特征进行捆绑，形成一个新的特征列，从而减少特征的数量，提高计算效率。这种捆绑技术基于特征之间的互斥性，即同一样本中只能选择一个特征进行使用。通过互斥特征捆绑，LGBM能够更有效地处理高维稀疏特征，提升模型训练和预测的速度。

直方图算法是LGBM用于构建决策树的一种优化技术。传统的梯度提升决策树算法通常需要对特征进行排序，以便在每个节点上选择最佳的切分点[22]。这个排序操作在高维数据上的计算成本很高，而直方图算法将特征进行离散化处理，并构建直方图来近似表示特征的分布情况，具体功能如图2所示。通过对直方图进行更新和搜索，LGBM可以快速选择最佳的切分点，从而减少排序操作的开销[23-24]，大大加快了模型的训练速度。

图2 直方图累计算法的过程

2 预测模型

2.1 特征提取

在风电功率预测任务中，除了风电功率，数据集中还包含了其他相关参量。不同的特征对于预测模型的影响程度可能不同，因此需要对特征进行筛选，保留那些与预测目标密切相关的特征，同时剔除与目标关联性较低的特征，以提高预测模型的准确度。本文利用Pearson相关系数来评估特征与风电功率之间的关联程度。具体计算公式为：

(7)

式中：Cov为协方差；σ为标准差。数据间的相关程度由K的绝对值反映，绝对值越大表示数据X与Y间的相关程度越高[25-26]。

根据表1中的结果，风速、风向和气温与风电功率之间存在较强的相关性，而其他特征的相关性较小，因此选择将风速、风向和气温作为气象数据的重要特征。

表1 特征变量皮尔逊相关系数表

标准化可以消除不同特征之间的量纲差异，使得数据在同一尺度上进行比较和分析。标准化可以使得数据的分布更接近于标准正态分布，有利于一些机器学习算法的收敛速度和稳定性，尤其是对于使用基于梯度的优化算法(如梯度下降)的模型。具体如下：

(8)

式中：Xi为标准化处理后的数据；X为原始数据；μ、D分别对应原始数据集上的均值和方差。

2.2 模型结构

通过堆叠多个LSTM可以提取时间序列数据中的多层次抽象特征。每个LSTM层的输出可以作为下一层的输入，从而逐渐提取出更高级别的特征表示。最后一层LSTM的输出可以被用作时间序列数据的最终特征表示。具体功能如图3所示。每一个LSTM输入形式为样本、时间步长、特征，按时间依次记录每个时间点上的信息，实现时间维度上的特征提取，并只将最后一个时间点上的隐藏信息ht输出给下一层网络，完成风电功率预测任务。

图3 LSTM工作原理

将从LSTM中提取的特征输入另一个机器学习模型中的方法，例如随机森林和LGBM，以利用这些模型的优点并提高预测性能。特别地，选择以LGBM作为代表性的机器学习模型，并使用原始输入特征及从LSTM中提取的特征来训练LGBM模型。整体模型架构如图4所示。首先从输入数据中提取特征信息，这些特征由LSTM模型自动学习并捕捉到时序上的模式和关联。然后将这些平坦的特征输出传递给LGBM模型。通过使用LGBM模型替代全连接层，可以避免因数据数量或质量的限制而陷入局部最优解。这种特征提取的方法为LGBM模型提供了更强的表达能力，从而提高了预测性能。

图4 LSTM-LGBM整体结构

3 算例分析

3.1 实验配置

为了验证论文所提模型在风电功率预测上的科学性和可靠性，选取某风电场2020年10月1日至2021年2月15日共32 000多条风电负荷产出作为原始数据进行实验，数据集包括对应时间风电功率和天气特征，如温度、气压、湿度、风速等，采样间隔为1 h。训练集和测试集数据比例为4∶1，并且按照时序划分。

3.2 评价指标

预测模型的准确度和性能主要通过评估预测值与真实值之间的误差来衡量。常用的评估指标包括均方根误差(root mean squared error，RMSE)、平均绝对误差(mean absolute error，MAE)、平均绝对百分比误差(mean absolute percentage error，MAPE)和R平方(R-squared，R2)。RMSE用于度量预测值与真实值之间的偏差，其值越大表示预测误差越大；MAE表示预测值误差的平均绝对值；MAPE表示平均预测误差与真实值之间的百分比差异；R2用于衡量因变量方差的百分比可以由模型解释的程度。这些指标的计算公式如下所示：

(9)

(10)

(11)

(12)

此外，模型的收敛速度也被视为一个重要的评价依据。快速的收敛速度意味着模型在相对较少的训练迭代次数内能够达到较好的拟合效果。这对实际应用中的大规模数据集和实时预测任务非常重要，因为快速收敛的模型能够更快地完成训练，从而减少计算资源和时间的消耗。

3.3 模型配置

3.3.1模型超参数设置

在风电数据集中，采用皮尔逊相关系数提取风速、风向和气温作为风电多步功率预测的主要特征。首先，将数据集输入到LSTM网络中提取时序特征，然后将这些特征传递给LGBM模型进行预测。此外，为了进行全面的性能比较，研究选取3种基础模型，分别是LSTM、LGBM和额外树回归(extra trees，ET)。为了降低机器学习模型训练过程中的随机性影响，实验中采用随机种子和随机状态值。针对所有预测模型进行广泛的超参数调优，而对于其他基础模型，采用网格搜索的方法来确定最佳的参数组合。通过这样的精细调整，优化模型的性能和预测准确度。最终，每个模型使用的超参数集合在表2和表3中展示，而超参数调优实验的搜索结果见表4。这些实验和调优过程，旨在提高预测模型的性能和准确度。

表2 神经网络模型参数寻优

表3 LGBM参数寻优

表4 实验所采用模型超参数设置

3.3.2预测方法

风电功率数据存在时间上的关联性，可通过已有的时间序列数据训练模型进而对下一时刻的风电功率进行多步预测，多步预测可以采用滑动窗口记录时间信息，具体如图5所示。使用滑动窗口进行时间序列预测是通过将时间序列数据分割为固定大小的窗口，提取特征、处理数据非平稳性、建立序列模型，并实现对未来时间步的预测能力，从而使模型能够更准确地预测时间序列数据的趋势和变化。在预测过程中，首先利用历史数据对当前时刻进行预测，通过采用固定窗口长度为L的特征量作为模型输入，得到当前时刻的功率预测值，然后将该预测值作为下一时刻功率预测的输入。这种方法可以更准确地捕捉时间序列数据的趋势和变化，实现多步预测的功能。

图5 滑动窗原理

3.3.3模型组合

对于预测目标，选择筛选后的特征作为模型输入数量(为k)，即输入矩阵为x=(x1，…，xk)；使用n种模型进行预测，对应输出矩阵为y=(y1，…，yn)，关联系数矩阵为w=(w1，…，wn)；关联系数w的值介于[0，1]，则对应组合模型的预测输出矩阵为每组模型的预测值和对应的关联系数相乘，具体为：

(13)

以相关误差达到最小值为目标函数，确定最佳关联系数矩阵，寻优公式表示为：

(14)

3.4 基于LSTM-LGBM的风电功率预测

为验证论文中提出的风电功率短期预测模型(LSTM-LGBM)的有效性，将LSTM-LGBM模型与其他单一模型(LSTM、LGBM、ET)进行比较，并在相同的风电功率数据上进行训练和预测分析。各模型参数设置为网格搜索法中定义的最优参数，固定时间窗口步长为8，规定训练集上的均方根误差小于0.015时模型达到收敛状态。表5列出了各模型的误差评价指标及模型收敛所需的迭代次数，图6展示了相应的功率预测对比曲线。

表5 不同模型评价指标及迭代次数

图6 不同模型预测曲线对比

由表5可知，LGBM模型达到收敛状态所需的迭代次数最少。得益于直方图的分箱方法、互斥特征捆绑技术和梯度提升的机制，对比同为基于决策树的ET算法，LGBM模型的收敛速度更快、预测性能更好。LSTM模型在处理序列模型时，由于递归的性质，需要更多的计算资源和时间。但是捕捉时序特征的能力较强，将第二个隐藏层上最后一个时间步上的64个隐藏状态作为LGBM模型的输入特征，体现出LSTM对时序特征的敏感性和LGBM对高维数据的拟合能力。与单独使用LGBM模型相比，组合模型显著降低了RMSE指标，降幅达到了22.43%。与单独使用LSTM模型相比，组合模型在RMSE、MAE、MAPE和R2数值上的提升分别为33.07%、42.08%、30.9%和3.1%，同时在一定程度上获得更高的训练效率。图6直观地表现了各模型对功率的拟合能力，本文模型的预测值与真实值基本吻合。LSTM模型可以为LGBM提供更有信息量的特征表示，从而让LGBM能够更准确地进行预测。这种组合模型在预测功率数值和趋势方面都表现得更加准确。考虑到风机功率受环境影响较大，表现出波动性和随机性的特点。为了评估模型在不同的风电功率变化场景下的预测效果，选择两个不同场景的风电功率预测结果进行展示，分别如图7和图8所示。

图8 风机功率波动区段图

在风电功率趋于平稳的区段，LGBM模型相比LSTM和ET模型展现出更好的预测能力。LGBM模型能够准确捕捉到风电出力的趋势，并且具有较小的波动性。同时，结合LSTM和LGBM的组合模型在此基础上实现了更为精确的预测曲线，说明本文模型对于稳定状态下的风电功率具有较好的预测能力，能够提供可靠的趋势预测信息。在风电功率波动较大的区段，4个模型都能够预测出一定规律的波动。然而ET模型和LSTM模型在波动规律上与真实值存在较大的偏差，并且存在一定的滞后性。相比之下，LGBM模型在这个场景中表现良好，预测曲线的趋势与真实值基本一致，但仍然存在一定的偏置。值得注意的是，通过LSTM模型提取特征后的LGBM模型展现出更好的预测性能，无论是在趋势还是数值上都与真实值基本吻合。

4 结论

风机出力受到风速、风向、气象条件等多种因素的影响，与特征之间高度的非线性关系加大了风电功率短期预测的难度。提取特征的意义在于从原始的风机出力数据中提取出具有代表性和有意义的特征，用于建立预测模型和进行分析。为进一步提升风电功率的预测精度，提出一种LSTM-LGBM的风电功率短期预测方法，利用LSTM网络对时间的敏感性提取出原始数据中的时序特征，通过LGBM模型迭代训练多个决策树来进行集成学习，并设置了不同的超参数，以选择最优的预测效果。验证结果表明该方法具有较好的预测性能和有效性。具体结论如下：

1)通过与其他单一预测模型进行比较，本文提出的组合模型展现了更小的预测误差，具有更高的预测精度和预测性能。

2)通过将LSTM和LGBM结合在一起，模型能够充分利用LSTM提取的时序特征和LGBM模型的强大拟合能力。LSTM提供了对过去观测值的建模，捕捉了风电功率的长期趋势和周期性，而LGBM通过对LSTM提取的隐藏状态的建模，进一步改善了预测性能，提高了对未来风电功率的准确预测能力。

3)LSTM-LGBM模型在不同的风电功率变化趋势上都具有良好的拟合能力，对数据的解释能力较强，并且这种集成学习方式能够提高模型的鲁棒性和泛化能力，使得模型能够更好地适应不同的风电功率预测任务。

模拟出力风机功率预测任务中，还有一些待完善的方面，可以考虑引入天气数据、季节性特征、时间相关特征等，以更好地捕捉风机功率与环境因素之间的关系。可以尝试使用可解释性强的模型或方法，如SHAP值、特征重要性分析等，来解释模型预测结果，并对预测结果进行可解释性的评估和解释。