CAST-LSTM:一种用于雷达回波外推的时空LSTM模型*

渠海峰 何光鑫 康志明 程 勇 王 军 庄潇然 李远禄

1 南京信息工程大学,南京 210044 2 中国气象局广州热带海洋气象研究所,广东省区域数值天气预报重点实验室,广州 510640 3 江苏省气象台,南京 210008

提 要: 基于循环神经网络的雷达回波外推算法的预报结果随时间逐渐模糊失真,同时难以预报强回波区域。针对上述问题,提出一种上下文融合和注意力机制的时空长短期记忆网络模型。该方法通过上下文融合模块充分提取雷达图像不同尺度的短期上下文信息;通过注意力模块拓宽预测单元的时间感受域,使模型感知更多的时间动态。以2019—2021年4—9月江苏省气象雷达数据为样本,通过试验对比分析,基于上下文融合和注意力机制的时空长短期记忆网络取得了更好的预测性能。在外推60 min,阈值为10、20、40 dBz的条件下,临界成功指数和HSS分别达到0.7611、0.5326、0.2369和0.7335、0.5735、0.3075,有效提高了预测精度。

引 言

降水短时临近预报一直是气象预报的一项重要任务,通常是指对某一地区未来短时间内(通常是0～2 h)的降雨量进行预测(Singh et al,2017),准确的短时临近预报可以在暴雨、雷暴等恶劣天气提供预防作业(如为农业、航海等提供天气指导),减少人员伤亡和财产损失。因此,如何利用雷达回波外推技术获取精准、快速的天气短时临近预报,成为气象研究方面的热点问题。

降水短时临近预报可以看作是一种时空序列预测问题。预测雷达图通过Z-R关系(Marshall and Palmer,1948)转换为降雨强度,作为最终短时临近预报。传统的雷达回波外推方法主要有交叉相关法(Rinehart and Garvey,1978;Zou et al,2019)、单体质心法(Chung and Yao,2020;Lakshmanan et al,2009)和光流法(Ayzel et al,2019;Woo and Wong,2017)。交叉相关法是将整个数据区域划分成若干小区域,然后在相邻时刻雷达回波图像的小区域之间计算相关系数,通过最大相关系数确定相邻时刻图像中的区域对应关系,进而确定回波区域的平均运动。但是,在强对流天气中,跟踪失败的情况就会显著增加。单体质心法是将雷暴视为三维单体进行识别、分析和追踪,对雷暴进行拟合外推来做临近预报。该方法在雷达回波较为零散或出现合并、分裂现象时,准确度将会大大下降。而光流法本质上是通过计算雷达回波的光流场得到回波的运动矢量场,并基于运动矢量场对雷达回波进行外推,但光流法在计算光流矢量和外推两步时存在累计误差。雷达回波图像数据作为一类序列图像数据,以上三种传统方法没有充分学习海量雷达数据内部蕴含的复杂天气变化规律,存在外推准确率低的问题。

近年来,深度学习是机器学习中发展最为迅速的技术,针对传统方法存在的问题,越来越多的人尝试采用深度学习方法来解决视频预测(Bei et al,2021;Chang et al,2021;Tamaru et al,2021)、交通流预测(Tian and Chan,2021;Yin et al,2022;Zhao et al,2022)和降水短时临近预报(陈锦鹏等,2021;郭瀚阳等,2019;顾建峰等,2020;黄骄文等,2021;黄兴友等,2021;尹麒名等,2021;周康辉等,2021;袁凯等,2022;陈鹤等,2022)等时空序列预测问题。深度学习方法可以处理复杂的时空关系,以便从大量先前的雷达回波序列中自适应地学习降水量变化的规律。例如,Shi et al(2015)提出了将卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的卷积LSTM(ConvLSTM)模型用于降水预测,LSTM用于提取时间动态信息并存储在时间记忆单元中,CNN则负责提取空间信息。因此,该网络可以对时空信息进行更好的学习和建模。基于循环神经网络的预报方法,采用堆叠网络单元的方式搭建整体网络架构,考虑到ConvLSTM只关注了时间信息,而忽略了来自不同单元层之间的空间信息。Wang et al(2017)提出了ST-LSTM单元(spatio-temporal LSTM),通过在ConvLSTM中添加一个新的、并行的空间记忆单元,来保存每个单元层的空间特征并将其应用在新的端到端模型PredRNN上。Wang et al(2018)进一步将双记忆单元采用级联的方式构建Causal-LSTM单元,并加入梯度高速公路单元(gradient highway unit,GHU) 缓解梯度消失问题,形成新的端到端模型PredRNN++。Wang et al(2019a)提出了一种新的模型E3D-LSTM(eidetic 3D LSTM),将3D卷积集成到RNN中,使存储单元能够存储更好的短期特征。对于长期关系,通过门控制的自注意力机制使当前记忆状态与其历史记忆状态相互作用。但由于集成的3D卷积,使E3D-LSTM的计算负载非常高。Wang et al(2019b)提出了MIM(memory in memory),可以捕捉雷达回波图像中的非平稳和近似平稳特性。Luo et al(2021)提出了一种新的PFST-LSTM单元(pseudo flow spatio-temporal LSTM),其开发的空间存储单元和位置对齐模块,解决了位置不匹配和缺少空间外观保护器的问题。Yang et al(2023)提出了CEMA-LSTM,引入多头注意机制块(MAB)使用位置和信道注意机制来捕获雷达回波的全局特征。Geng et al(2022)提出了一种注意力融合时空残差网络(AF-SRNet)来精确预测对流降水的弱连续性。具体而言,时空残差网络用于提取雷达回波和降水数据的深层时空特征,实现了更精确的对流降水预报。

尽管上述方法有了重大改进,但这些网络仍存在一些缺陷:(1)输入数据和隐藏状态之间的上下文特征相关性较弱,不能相互帮助识别和保存重要信息;(2)随着预测时间增加,会出现记忆单元中存储信息逐渐衰减的问题,即当前时刻记忆单元很难有效回忆起先前时刻存储记忆。这些问题导致在雷达回波外推任务中,随着预测时间的增加,雷达回波预测图像逐渐模糊,反射率较高的雷达回波区域有消失的趋势,这大大影响了预测精度。

针对上述问题,本文提出了上下文融合和注意力机制的时空LSTM模型(CAST-LSTM)。首先,提出了上下文融合模块,有效地提取图像多尺度时空信息并提高上下文相关性。然后,提出了一种注意力模块,通过拓宽网络模型的时间感受域,使模型感知更多的时间信息。将这两个模块集成到网络单元中,性能显著提高,尤其是在强降雨地区。

1 数 据

1.1 Moving MNIST数据集

Moving MNIST数据集是时空序列预测任务中使用最广泛的数据集,在有限的范围内,几个数字随机移动,具有一些运动模式,包括旋转缩放、亮度变化等。每20个连续帧划分为一个序列。其中10帧用于输入,10帧用于预测,每帧的大小为64×64。训练集包括10 000个序列,验证集为2000个序列,测试集为3000个序列。本文通过Moving MNIST数据集初步检验改进模型对时空序列预测任务的性能。使用训练集对网络进行训练;使用验证集调整模型结构和超参数,使模型性能达到最佳;最后使用测试集检验模型的性能。

1.2 雷达数据集

使用江苏气象雷达数据集来评估模型在真实场景下的雷达回波外推性能。数据集为2019—2021年4—9月对江苏多部S波段气象雷达质量控制及组网拼图后得到的实际观测数据,覆盖整个江苏省区域面积,该数据集由江苏省气象台制作,以灰度图形式存储。数据取值范围为0～70 dBz,水平分辨率为0.01°(约1 km),时间间隔为6 min,单时次数据(即单张图片)的网格尺寸为480×560像素。

在本文中,将数据集中每20张间隔为6 min的雷达图像作为一个序列样本。在每个序列样本中,前10张回波图像作为输入,后10张作为实际输出,即根据过去一小时的观察结果预测未来一小时的结果。将所有序列样本按4∶1的比例划分为训练样本和检验样本,其中训练样本含21 103组,检验样本含5275组,使用训练样本对网络模型进行训练,使用检验样本进行测试评估。由于检验样本没有参与算法的训练和参数调整,因此可以客观地衡量算法的学习能力和预报效果。

使用江苏2022年4—9月雷达数据资料,采用与上文相同的处理方式,从中挑选并划分出5143组序列样本用于检验算法的泛化性能及在实际业务中的可用性。

2 算法描述

本节详细介绍CAST-LSTM模型。首先介绍上下文融合模块,然后阐述注意力模块,并描述如何将上下文融合模块和注意力模块嵌入到ST-LSTM单元中。最后,将介绍所提出的CAST-LSTM模型的整体外推结构。

2.1 上下文融合模块

注:Xt和表示上下文信息,其中Xt表示当前时刻输入,表示先前时刻隐藏状态;“σ”表示Sigmoid函数。图1 上下文融合模块Fig.1 Context fusion module

在卷积操作中,卷积核大小代表着感受野的范围大小。卷积核偏小时,每次滑动提取信息的范围更小,偏向于捕捉较小范围间变化较慢的信息;卷积核偏大时,每次滑动提取信息的范围更大,偏向于捕捉较大范围间变化较快的信息。因此,不同尺寸的卷积运算相结合可以充分提取雷达回波图像中更全面的多尺度时空演变特征,而好的预测结果需要网络模型充分的提取特征。因此,本文提取上下文不同尺度时空特征如式(1)所示:

(1)

(2)

(3)

式中:“⊙”表示矩阵的Hadamard积(下同),“W”表示对应的卷积核。

由上述公式可见,通过对上下文信息进行不同尺寸的卷积来提取更精细的多尺度时空特征。使用融合门来控制上下文融合过程,提高了当前输入和先前隐藏状态的上下文相关性。

2.2 注意力模块

图2 嵌入模型的注意力模块Fig.2 Attention module embedded in model

所示:

(4)

(5)

式中Catt可以表示为时间注意力信息,代表一种长期的运动趋势。通过当前空间状态与历史空间状态之间相关性所得的注意力分数可以更好地、有选择性地保留历史时间记忆单元的信息。

(6)

2.3 CAST-LSTM单元

图3 上下文融合注意力长短期记忆单元内部结构图Fig.3 Internal structure diagram of long short-term memory unit of context fusion attention

(7)

2.4 CAST-LSTM网络结构

图4 CAST-LSTM网络模型结构Fig.4 CAST-LSTM network model structure

3 试验分析

在本章节,将分别在Moving MNIST数据集和2019—2021年4—9月江苏省气象雷达数据分别进行试验,在2022年4—9月江苏省气象雷达数据上进一步检验算法的泛化性能及在实际业务中的可用性,并与现有模型对比分析。按照图4所示应用了四层CAST-LSTAM单元,每个单元的通道数设置为64,通道数即预测单元中进行卷积操作时的卷积核数量,卷积核大小设置为5×5。所有模型均在基于Pytorch框架上进行训练和测试,试验在NVIDIA A10 GPU上实现,输入图像的大小受硬件设备限制(如GPU显存),本文试验中占用显存约21Gb。选择Adam优化器进行优化,其学习率设置为0.0001,而批大小设置为4。为了稳定训练过程,在CAST-LSTM中的每个卷积层之后使用层归一化。

3.1 Moving MNIST试验

为了评估性能,本文采用了两种常用的指标,包括均方误差(MSE)、结构相似性指数(SSIM)。较低的MSE及较高的SSIM表示更好的预测性能,如表1所示。

表1 不同方法在移动MNIST数据集(10桢→10桢)中的结果Table 1 Results of different methods for moving MNIST datasets (10 frames → 10 frames)

本文提出的CAST-LSTM显著优于其他方法,尤其是在最后两个时间步中的预测,如图5所示。CAST-LSTM网络很好地保留了数字的变化细节,特别是处理重叠的轨迹,保持了随时间变化的清晰度。相比较之下,ConvLSTM、PredRNN网络预测结果很快变得模糊,逐渐丢失细节信息;而其他方法虽然也能取得一定的预测结果,但在最后时间步的预测结果中CAST-LSTM可以保留更多的细节信息,在位置精度和空间外观方面更有优势。

图5 不同方法在移动MNIST数据集中的结果Fig.5 Results of different methods for mobile MNIST dataset

3.2 雷达数据集试验

本试验实现以过去十个时间步的观察结果来预测未来十个时间步的结果。本文使用数据集为间隔6 min的连续雷达资料,即根据过去一小时的观察结果预测未来一小时的结果。

对着前面的洼地，对着山羊，王婆追踪过去痛苦的日子。她想把那些日子捉回，因为今日的日子还不如昨日。洼地没人种，上岗那些往日的麦田荒乱在那里。她在伤心地追想。

3.2.1 评估指标

在评估方面,本文使用临界成功指数(CSI)和HSS(heidke skill score)指标来评估结果。为此,应用以下变换将地面实况和预测回波图的像素值p转换为反射率dBz,如式(8)所示:

dBz=p×95/255-10

(8)

通过设置阈值将预测回波图和地面实况图转换为二进制矩阵。若雷达回波值大于给定阈值,则将相应的值设置为1;否则设置为0。类比到气象上如表2所示,计算真阳性预测数TP(预测=1,真值=1)、假阳性预测数FP(预测=1,真值=0)、真阴性预测数TN(预测=0,真值=0)和假阴性预测数FN(预测=0,真值=1)。

表2 列联表Table 2 Contingency table

CSI和HSS的具体公式如式(9)所示:

HSS=

(9)

具体来说,分别选择10、20和40 dBz作为阈值。CSI和HSS是综合度量,考虑了检测概率和虚警率,可以直接反映模型的优劣。CSI和HSS越大性能越好。

3.2.2 结果与分析

表3显示了在2019—2021年4—9月江苏省雷达数据集不同方法的对比结果。可以看到本文提出的CAST-LSTM模型在所有阈值下的CSI和HSS性能最佳,并且随着阈值的增加,模型的优势变得越来越明显。特别是,当阈值为40 dBz时,评估的CSI和HSS指标达到0.2369和0.3075,分别比PredRNN算法提高了30.5%和31.5%,比PFST-LSTM算法高9.9%和8.6%。这意味着开发的上下文融合模块和注意力模块有助于提高对强降水区域的预测效果。

表3 2019—2021年4—9月江苏省雷达数据集不同方法的CSI和HSS评分结果Table 3 Scoring results of CSI and HSS under different methods for dataset of Jiangsu radar from April to September of 2019-2021

为了更好地说明结果,描述了图6所示的在2019—2021年4—9月江苏省雷达数据中检验样本集不同阈值的CSI和HSS变化曲线,以显示各种模型在不同时间步下的性能。可以看到,本文提出的模型整体上优于其他模型,在40 dBz时差距最为明显,原因是CAST-LSTM融入了上下文融合模块和注意力模块,上下文融合模块充分提取不同尺度时空信息,提高上下文相关性;注意力模块可以从更宽的感受域感知更多的时间动态,减少了信息丢失,这更好地模拟了短期和长期依赖关系。因此,CAST-LSTM可以更好地保留预测结果的细节性,在强回波区域的预测结果也表现得更出色。此外,Pred-RNN的结果总是比本文提出的模型差,尤其是在高阈值下。这是因为PredRNN存在没有充分提取上下文相关性信息和记忆单元信息丢失的问题。此外,由于伪流位置对齐模块的设计,PFST-LSTM取得了第二的性能。至于ConvLSTM模型,其性能在试验中表现最差。

图6 2019—2021年4—9月江苏省雷达数据集中检验样本集不同阈值下的(a,c,e)CSI和(b,d,f)HSS变化曲线Fig.6 Variation curves of (a, c, e) CSI and (b, d, f) HSS at different thresholds for the test sample of dataset of Jiangsu radar from April to September of 2019-2021

为了更好地比较和理解结果,在图7中可视化了2021年5月15日02:06—03:00江苏省雷达数据不同方法下的预测结果。从地面真值序列中看到,回波图像有三个主要的强回波区域,回波区域的强度变得更高,位置也随之变化,且主要回波区域向图像右侧移动。在02:18之前,各个模型之间的预测结果差异较小,且非常接近实况。然后,随着预测时间的增加,强回波开始衰减,同时预报图像的细节也开始减少。在02:36,尽管每个模型的预测结果中都丢失了一些细节,但仍可以大致预测回波的整体轮廓和变化趋势,其中CAST-LSTM的预测效果最好。随着预测时间继续增加,ConvLSTM的外推结果逐渐变得模糊,强回波区域逐渐变小甚至消失,整个预测边界区域也逐渐平滑,只能预测出回波的大致轮廓。这是因为ConvLSTM只关注时间信息而忽略了来自不同单元层之间的空间信息。Pred-RNN在最后时刻尽管保留了部分红色区域,但回波强度仍被大大低估了。同样的问题也出现在PredRNN++、E3D-LSTM和MIM的外推图像中。尽管这些方法同时关注了时空信息,但这些网络在预测过程中存在信息丢失问题,因此随时间增加强回波逐步衰减。与上述方法相比,PFST-LSTM和CAST-LSTM的外推图与观测结果更相似,但只有CAST-LSTM模型更好地保留三个强回波区域,且预测结果的细节性也较高。这是因为CAST-LSTM的时空感知注意力机制能有效改善信息丢失问题,且多尺度上下文融合模块可以更好地帮助网络在预测中保持较多的细节性。

注:第一行为预测时输入的2021年5月15日01:06—02:00的雷达图像,第二行为02:06—03:00的实际观测图像;其他行为不同模型下的预测结果。图7 2021年5月15日02:06—03:00江苏省雷达数据集不同方法下的预测结果Fig.7 Prediction results under different methods for dataset of Jiangsu radar from 02:06 BT to 03:00 BT 15 May 2021

此外,为了说明模型的泛化性及在业务中的实际可用性,本文使用江苏省2022年4—9月雷达数据进行验证。在三个阈值条件下进行外推时长为1 h 的试验,表4显示了使用不同模型的试验结果。

表4 2022年4—9月江苏省雷达数据集在不同方法下外推60分钟的CSI和HSS评分结果Table 4 Scoring results of CSI and HSS under different methods for dataset of Jiangsu radar from April to September 2022

除了本文提出的CAST-LSTM模型之外,还采用了ConvLSTM、PredRNN、PredRNN++、MIM、E3D-LSTM和PFST-LSTM先进模型进行对比。可以看到CAST-LSTM模型在所有阈值下的CSI和HSS性能最佳,并且随着阈值的增加,模型的优势变得越来越明显。特别是,当阈值为40 dBz 时,评估的CSI和HSS指标达到0.2331和0.3037,分别比PredRNN算法提高了29.3%和30.6%,比PFST-LSTM算法高8.7%和8.2%。这意味着提出的上下文融合模块和注意力模块有助于提高对强回波区域的预测效果。

为了更直观地观察外推中数据变化过程,对2022年4—9月江苏省雷达数据在不同阈值条件下CAST-LSTM模型与ConvLSTM、PredRNN等其他主流算法在10个时序(1 h)中各项指标变化进行统计,结果如图8所示。从图中可以看出本模型整体上优于其他模型,尤其是对强回波的预测能力,特别是在最后几个时序中,CAST-LSTM模型实现了更好的预测结果。这是因为CAST-LSTM模型更关注上下文特征信息的有效提取,并且通过注意力机制有效缓解了信息传递过程中的衰减问题。

图8 2022年4—9月江苏雷达数据集中检验样本集不同阈值下的(a,c,e)CSI和(b,d,f)HSS变化曲线Fig.8 Variation curves of (a, c, e) CSI and (b, d, f) HSS at different thresholds for the test sample of dataset of Jiangsu radar from April to September 2022

为了更好地展示试验结果,在图9中可视化了2022年7月28日07:36—08:30江苏雷达数据不同方法下的预测结果。从地面真值序列中看到,随着时间推移,回波图像有两个主要的强回波区域:中下方的强回波区域向图像下方移动,且强度逐渐减弱;右侧带状强回波区域向图像右下方移动。从预测结果来看,所有模型都成功地预测了雷达回波的整体运动趋势,但外推图像在一些细节(如边界、回波强度)上仍存在差异。在07:48,各个模型之间的预测结果差异较小,且非常接近实况。在07:48以后,ConvLSTM的预测结果中强回波区域开始衰退。在08:12,ConvLSTM无法有效预测强回波区域的演变趋势,其他模型仍可以预测强回波区域的位置和雷达回波的部分细节。随着预报时间继续增加,其他模型相较于ConvLSTM保留了更多的高回波信息,其中PredRNN和E3D-LSTM在最后几个时刻中强回波区也逐渐消散,PredRNN++、MIM外推结果有所改善,但对强回波的预测仍存在偏差。只有PFST-LSTM和CAST-LSTM可以更好地预测强回波区域,其中CAST-LSTM更能预测强回波区域的强度和位置,也可以很好地预测回波变化趋势且细节效果也更好。

注:第一行为预测时输入的2022年7月28日06:36—07:30的雷达图像,第二行为07:36—08:30实际观测图像;其他行为不同模型下的预测结果。图9 2022年7月28日07:36—08:30江苏省雷达数据集不同方法下的预测结果Fig.9 Prediction results under different methods for dataset of Jiangsu radar from 07:36 BT to 08:30 BT 28 July 2022

4 结 论

本文提出了一种新的雷达回波外推方法,即CAST-LSTM。使用Moving MNIST数据集和2019—2021年4—9月江苏省气象雷达数据资料进行测试检验,并使用2022年4—9月江苏省雷达数据进行实际验证。通过与几种现有算法的对比分析,得出以下结论。

(1) 在Moving MNIST数据集中,CAST-LSTM算法的MSE为最低、SSIM最高,与几种现有算法相比,性能得到明显提升;在可视化实例中,CAST-LSTM算法具有更好的预测结果,很好地保留了数字的移动轨迹和变化细节。

(2) 在江苏省气象雷达数据中,CAST-LSTM算法有效提高了预测精度;在可视化实例中,CAST-LSTM算法在较长的时间内有效提高预测结果的准确性,在强回波区域的预测结果也表现得更出色。

(3) 本文提出的上下文融合模块有效提高网络单元的上下文相关性,提取多尺度特征信息;注意力模块可以从拓宽的感受域中感知更多的时间动态,减少信息丢失。通过将两个模块添加到网络模型中,可以进一步提高预报精度,特别是对于降雨量大且强度持续增加的地区。

目前深度学习算法使雷达回波外推效果得到了很大的提升,但距离真实实况仍有一定的差距。在后续的研究中,将研究如何在雷达回波外推任务中考虑更多的气象因素,探索更有效的算法进一步提高降水短时临近预报的预测能力。