数字孪生辅助的智慧园区物联终端接入调度方法

贾泽晗,于子淇,石 珵,廖海君,周振宇,孙 健,白晖峰,张 颉

(1.华北电力大学新能源电力系统国家重点实验室,北京 102206;2.北京智芯微电子科技有限公司,北京 100192;3.国网四川省电力公司电力科学研究院,四川 成都 610041)

0 引言

智慧园区通过物联网、大数据等新一代信息技术手段实现园区产业发展智能化。能源系统是智慧园区的重要基础设施,其低碳运行是实现“3060”双碳目标、构建新型电力系统的重要环节[1]。数字孪生通过部署大量物联终端采集海量实时信息,为实现智慧能源管理提供数据支撑和精确指导[2]。然而,基于数字孪生的能源管理模型构建需频繁的数据交互,使园区面临隐私和安全威胁。

联邦学习是保障能源管理模型构建中数据交互安全性和隐私性的有效方法,其通过解耦模型训练与原始数据上传解决隐私泄露问题,保障数字孪生能源管理模型构建的安全性[3],其核心机理为允许终端利用本地数据分布式地训练能量管理本地模型,并将训练好的本地模型上传至中心控制器进行联邦聚合训练,从而获得能量管理全局模型。文献[4-5]提出将联邦学习与数字孪生相结合,解决了模型训练与隐私保护之间的冲突。文献[6]采用统一的认证机制对源数据进行安全管理,对于扩展智慧园区的安全应用场景具有重要意义。基于联邦学习的能源管理模型构建需要调度合适的终端接入基站进行能源管理本地模型训练,以提高能源管理全局模型的精度。然而,终端接入调度还需解决如下技术挑战。

首先,异质物联终端具有差异化计算能力,需要优化接入调度来提高长期能源管理全局模型训练精度。其次,智慧园区电磁干扰、噪声,会导致模型参数传输错误,恶化能源管理模型的精度。最后,不同业务终端具有差异化的接入需求,需要建立长期的接入优先级约束,以满足重要终端的接入需求。

数字孪生通过提供能量、计算资源、信道特性等状态信息估计,能够辅助进行接入调度优化[7]。文献[8-9]提出了基于数字孪生的边缘网络,并利用数字孪生辅助强化学习完成终端接入调度。然而,上述文献忽略了电磁干扰、噪声对模型参数传输的影响。文献[10]分析了电磁干扰、噪声等因素对全局模型精度的影响,并通过优化功率控制、资源块分配和终端接入调度降低全局模型损失函数,但忽略了长期接入优先级约束。

因此,针对上述问题,本文基于联邦学习的智慧园区数字孪生框架,构建园区高精度能源管理模型,并提出了一种基于数字孪生和深度Q 网络(Deep Q Network,DQN)的终端接入调度算法。优化目标是在长期接入优先级的约束下,通过优化终端接入调度最小化能源管理模型损失函数。结合李雅普诺夫优化与DQN 算法求解上述优化问题,并利用数字孪生完成关键状态信息估计,提高学习性能。最后通过仿真分析验证所提算法的有效性。

1 系统模型构建

基于联邦学习的智慧园区数字孪生架构如图1所示,目的是通过数字孪生辅助联邦学习构建一个智慧园区的能源管理模型。其中,基于联邦学习,物联终端训练能源管理本地模型,并将训练后的模型参数经由园区基站上传至边缘服务器。边缘服务器聚合收集到的终端能量管理本地模型,以获得能源管理全局模型。数字孪生通过与物联终端实时交互,以构建智慧园区的数字化表示。同时,数字孪生为智慧园区能源管理模型构建提供实时状态估计,辅助接入调度决策,提高能源管理模型精度。

图1 基于联邦学习的智慧园区数字孪生架构

具体来说,该架构主要包含3层,即终端层、边缘层和数字孪生层。在终端层,每个电力物联终端执行能源管理本地模型训练过程,并将模型参数和终端接入优先级、能量、计算资源等信息上传到边缘层。边缘层由基站、边缘服务器和能源管理中心组成,边缘服务器根据收集的本地模型参数进行边缘聚合,以构建能源管理全局模型,为智慧园区能源管理、分布式能源出力预测、柔性负荷调控和储能调控等业务提供支撑。数字孪生层在边缘服务器上构建,通过与终端实时交互,即收集终端上传的接入优先级、能量、计算资源等信息,保持与物理网络同步[11]。同时,数字孪生可以为边缘服务器提供智慧园区状态信息估计,指导能源管理模型构建与终端接入调度优化。数字孪生辅助联邦学习的智慧园区能源管理模型构建主要包含能源管理全局模型下发、能源管理本地模型训练、模型参数上传和边缘聚合等过程。

1.1 能源管理全局模型下发及本地模型训练

考虑智慧园区中有I个终端,集合表示为U={u1,u2,…,u I}。将总时间周期划分为χ次迭代,集合定义为T={1,2,…,χ}。假设信道状态信息在一次迭代过程中保持不变,而在不同迭代间发生变化[12]。考虑到智慧园区终端数量庞大,受传输资源的限制,边缘服务器无法同时调度所有终端进行模型参数上传,需要优化接入调度决策,选择合适的终端参与能源管理本地模型训练,以提高能源管理全局模型的精度。假设基站在每次迭代可以调度N≪I个终端进行模型上传。定义第t次迭代可用终端集合为S(t)∈U。定义终端接入调度指示变量为x i(t)∈{0,1},x i(t)=1表示终端u i计划在第t次迭代进行模型参数上传,否则x i(t)=0。分别定义终端u i在第t次迭代训练的本地模型与全局模型,分别为v i(t)和v g(t)。被调度终端u i下载第t-1次迭代的能源管理全局模型作为本地模型M i,并将M i的参数设为全局模型参数,即v i(t-1)=v g(t-1)。

定义D i为终端u i用于训练本地模型M i的数据集。考虑到终端间数据的异构性,本文采用上采样或下采样等方法首先对各终端数据集进行均衡化处理,保障终端信息模型的一致性。定义ζj和ϕj为数据集D i中单样本的输入和目标输出。单样本损失函数l(v i(t-1),ζj,ϕj)用于表示实际输出与目标输出之间的偏差。因此,u i在数据集D i上的损失函数可以计算为

式中:d i为数据集D i中的样本数量。损失函数可以反映本地模型的精度,并指导参数v i(t)的更新,即

式中:μ为学习速率。

1.2 模型参数上传及数据包错误率模型

在第t次迭代,当x i(t)=1时,u i将本地模型参数v i(t)和接入优先级、能量、计算资源等状态信息上传至边缘服务器。一方面,u i上传本地模型参数用于构建能源管理全局模型;另一方面,u i上传状态信息用于保证数字孪生与物理网络同步。然而,智慧园区环境中强电磁干扰和噪声会导致模型参数传输错误[13]。因此,边缘服务器采用循环冗余校验检测接收到模型参数的数据包是否发生错误。包错误率表示为

式中:k为与编码增益有关的常数;δ和I i(t)分别为噪声功率和电磁干扰功率;H i(t)为信道增益;P i(t)为传输功率。定义二进制指示变量a i(t)∈{0,1},a i(t)=1表示终端u i在传输中没有发生包错误,否则a i(t)=0。a i(t)计算为

1.3 边缘聚合

当所有调度终端完成模型参数上传后,边缘服务器执行边缘聚合过程,获得能源管理全局模型。能源管理全局模型聚合公式为

采用全局损失函数[14]来量化能源管理全局模型的精度,能源管理全局模型的损失函数表示为

2 问题建模与转化

2.1 接入优先级约束

根据业务重要性和服务质量要求,终端具有不同的接入优先级。在联邦学习过程中,接入优先级高的终端需完成足够次数的本地训练和参数传输,以确保能源管理模型充分掌握其运行特征。长期接入优先级约束定义为

式中:e i为选择u i进行本地训练和参数传输次数的最小概率。

2.2 能源管理模型损失函数最小化问题建模

本文旨在利用联邦学习技术,在数字孪生的辅助下,通过优化电力物联终端接入调度策略,构建智慧园区能源管理模型。优化目标为在接入优先级的长期约束下,最小化智慧园区能源管理模型损失函数。定义x=(x i(t)∶u i∈S(t),t∈T)为终端接入调度向量,优化问题建模为

式中:C1和C2为基站最多可以同时调度N个终端上传模型参数;C3为长期接入优先级约束。

基于文献[10]中的推导可知,对于给定的传输功率,能源管理模型的损失函数取决于数据包错误率和终端接入调度决策,因此优化式(8)可等价转化为

2.3 问题转化

由于短期的终端调度决策与长期优化目标和约束相耦合,转化后式(9)难以直接求解。基于李雅普诺夫优化中虚拟队列[15]的概念可以实现长期约束和短期终端调度优化的解耦。长期接入优先级约束C3可以转化为队列稳定性约束,定义接入优先级赤字虚拟队列为K i(t),其更新计算为

K i(t)表征了终端u i在第t个时隙实际接入性能与规定约束之间的偏差。如果K i(t)是平均速率稳定的,那么C3自动满足。式(9)可以转化为

定义向量A(t)=[K i(t)],李雅普诺夫函数可表示为

李雅普诺夫漂移定义为李雅普诺夫函数在连续2次迭代的条件期望变化[16],表示为

为实现智慧园区能源管理模型损失函数在队列稳定性约束下的最小化,定义漂移加惩罚为

式中:V为平衡优化式(11)与队列稳定性的权重参数。因此,式(11)可以转化为在C1~C2约束下,最小化ΔVL[A(t)]的上界问题,表示为

式中:C为常数,不影响李雅普诺夫优化。因此,式(11)转化为

可以看出,通过最小化李雅普诺夫漂移加惩罚的上界,可以在满足队列稳定性的同时最小化惩罚,即在满足终端长期接入优先级约束的前提下,最小化智慧园区能源管理模型损失函数。

3 基于数字孪生和DQN的终端接入调度优化

3.1 MDP建模

本文提出基于数字孪生和DQN 的终端接入调度算法来求解转优化后的式(16)。首先,接入调度问题可以建模为马尔科夫决策过程(Markov Decision Process,MDP)模型,其关键元素包括状态空间、动作空间与成本函数[17]。

1)状态空间。状态可以通过数字孪生估计获得。定义K(t)={K1(t),…,K i(t),…,K I(t)}、H′(t)={H′1(t),…,H′i(t),…,H′I(t)}、I′(t)={I′1(t),…,I′i(t),…,I′I(t)}。其中H′i(t)和I′i(t)分别表示由数字孪生估计的信道增益和电磁干扰估计值。状态空间定义为G(t)={K(t),H′(t),I′(t)}。

2)动作空间。动作空间定义为终端接入调度指示变量x i(t)的集合,即A(t)={x1(t),…,x i(t),…,x I(t)}。

3)成本函数。成本函数定义为θ(t)。

3.2 DQN 算法

DQN 在Q-learning 的基础上发展而来,是将深度学习与强化学习结合起来,从而实现从感知到动作的端对端学习的一种新的算法。Q-learning适用于状态和动作空间是离散且维数不高的优化问题求解,其估计了在状态s下选择动作a的价值,即Q值[18],计算为

式中:η、R、γ和s′分别为学习速率、回报值、折扣因子和下一状态。在每次迭代,Q-learning 基于估计的Q值,利用ε-贪婪算法完成动作选择。

Q-learning使用Q 表储存每个状态、动作对的Q值。然而,当状态和动作空间是高维连续时,需要大量的存储资源来存储每个状态、动作对的所有Q值,导致Q-learning 实用性差和效率低。因此,针对维度诅咒问题,考虑到深度神经网络自动提取复杂特征的强大能力,本文利用DQN 将Q表的更新问题转换成一个函数拟合问题,其概念是利用深度神经网络将状态和动作之间的映射关系近似到Q值,而不是直接计算和存储它们。具体来说,DQN 通过更新深度神经网络参数v(t),使Q函数逼近最优Q值,即

式中:ρ为策略,即状态和动作之间的映射。

3.3 基于数字孪生和DQN 的终端接入调度算法

本文采用数字孪生和DQN 求解智慧园区能源管理模型构建的电力物联终端接入调度问题。其中,数字孪生用于为DQN 调度决策提供精准状态估计。DQN 可以利用深度神经网络从历史数据中提取特征,并基于估计的Q值学习最优策略。如图2所示,本文所提基于数字孪生和DQN 的终端接入调度算法主要包含接入调度决策、模型下载、本地训练、本地模型参数上传和边缘聚合。

图2 基于数字孪生和DQN的终端接入调度算法框架

首先,初始化虚拟队列积压和接入调度指示变量为0。在每次迭代初,边缘服务器基于数字孪生提供的状态信息,估计动作Q值Q[G(t),v(t)],并选择终端进行参数传输,获得接入调度策略π(t)。

其次,被选择终端u i∈π(t)下载能源管理全局模型v g(t-1),利用本地数据集执行本地训练,并将训练后的模型参数传输到基站。在此基础上,根据公式(10)更新K i(t+1)。

随后,基于收集到的模型参数,边缘服务器执行边缘聚合过程,获得能源管理全局模型v g(t)。根据公式(16)计算成本θ(t),并将数字孪生转移至下一状态G(t+1),即

最后,边缘服务器计算DQN 损失函数为

基于梯度下降法[19],DQN 网络参数v(t)更新为

式中:η为DQN 学习 速率。

本文提出基于数字孪生和DQN 的终端接入调度算法的算法表如下所示,包含初始化、决策和学习3个阶段。

算法表 基于数字孪生和DQN 的终端接入调度算法

1)输入:I,χ,N,V,{K i(t)};

2)输出:x;

3)阶段一:初始化

4)设置K i(t)=0,x i(t)=0,θ(t)=0,∀u i∈U,∀t∈T;

5)循环while≤χ。

6)阶段二:决策

7)边缘服务器基于数字孪生提供的状态信息,估计动作Q值Q(G(t),v(t)),并选择终端进行参数传输,获得接入调度策略π(t);

8)foru i∈π(t);

9)终端u i下载能源管理全局模型v g(t-1),利用本地数据集执行本地训练,并将训练后的模型参数传输到基站;

10)根据公式(10)更新K i(t+1);

11)end for

12)边缘服务器执行边缘聚合过程,获得能源管理全局模型v g(t);

13)根据公式(16)计算成本θ(t),并将数字孪生转移至下一状态G(t+1)。

14)阶段三:学习

15)边缘服务器根据公式(20)计算DQN 损失函数ϕ;

16)边缘服务器根据公式(21)更新DQN 网络参数v(t);

17)t=t+1;

18)end while

本文所提基于数字孪生和DQN 的终端接入调度算法能够实现终端接入优先级感知。由公式(10)可以看出,当终端u i被选择进行本地训练和参数传输的次数与规定约束偏离严重时,K i(t)逐渐增加,导致成本函数θ(t)增加,迫使基站调整接入调度策略,从而实现接入优先级感知,满足终端接入需求。

4 仿真分析

本文以智慧园区电动汽车储能能量调控为场景,园区光伏总装机容量为600 k W,园区内包含100个电力物联终端,用于采集电流、电压等信息,并参与能源管理模型训练。基于文献[20]中提供的园区负荷以及分布式光伏出力数据,训练分布式能源管理模型。本文通过仿真分析验证所提基于数字孪生和DQN 的终端接入调度算法的性能,对比算法为基于上置信界的终端接入调度算法,其在长期接入优先级约束下,通过优化终端接入调度以最小化迭代时延,但是未考虑包错误对能源管理模型训练的影响[21]。

仿真参数设置如表1所示。能源管理模型损失函数随迭代次数的变化情况见图3。当χ=300时,相较于对比算法,所提算法的损失函数降低了41.89%。这是因为所提算法利用循环冗余校验缓解了包错误对损失函数最小化的不利影响。除此之外,相较于对比算法,基于数字孪生辅助的DQN 更适合解决较大状态空间优化问题。

表1 仿真参数

图3 能源管理模型损失函数随迭代次数的变化情况

接入优先级赤字对比见图4。接入优先级赤字即虚拟队列K i(t)的队列积压,其表征了终端实际接入性能与规定要求之间的偏差。与对比算法相比,所提算法降低了56.74%的接入优先级赤字波动。虽然对比算法也具有接入优先级感知,但是所提算法在数字孪生的辅助下性能更优。这是由于数字孪生为DQN 提供了对关键状态信息的准确预测,从而提高了学习性能。

图4 不同算法接入优先级赤字对比

能源管理模型损失函数与接入优先级赤字随权重V的变化情况见图5。由仿真结果可以看出,随着V的增大,所提算法越来越关注损失函数最小化而忽略接入优先级性能,因此损失函数逐渐降低,接入优先级赤字逐渐上升。此仿真结果为实际应用中V参数值的设置提供了参考,通过合理设置V参数值可以实现损失函数与接入优先级赤字的有效折中。

图5 能源管理模型损失函数与接入优先级赤字随V 的变化情况

能源管理模型损失函数与接入优先级赤字随N的变化情况见图6。其中,柱状图表示能源管理模型损失函数变化情况,折线图表示接入优先级赤字变化情况。仿真结果表明,随着可调度终端数量N的增加,所提算法和对比算法的能源管理模型损失函数与接入优先级赤字均减小。一方面,基站能够调度更多的终端参与能源管理本地模型训练和参数上传,降低了能源管理模型损失函数;另一方面,N增加使每个终端被调度的几率增加,终端的长期接入优先级约束得以保障。由仿真结果可以看出,所提算法性能始终优于对比算法。当N=24时,相较于对比算法,所提算法降低能源管理模型损失函数17.62%,降低接入优先级赤字49.63%。这是由于所提算法利用循环冗余校验缓解了包错误对损失函数最小化的不利影响,同时利用数字孪生为DQN 提供了准确的状态信息预测。

图6 能源管理模型损失函数与接入优先级赤字随N 的变化情况

能源管理模型应用于园区电动汽车储能能量调控时的性能对比见图7。图中余电量表示园区光伏出力与负荷之间的不平衡量。考虑将训练后的能源管理模型应用于电动汽车充放电调度,其中负值表示电动汽车放电量、正值表示电动汽车充电量。由仿真结果可以看出,相比于对比算法,基于所提算法训练的能源管理模型性能更优,其调控电量与余电量吻合度更高、调控误差更低,平均调控性能提高了46.06%,验证了所提算法的有效性。

图7 能量调控性能对比

5 结论

本文提出了一种基于联邦学习的智慧园区数字孪生框架,以构建园区能源管理模型。在此基础上,提出了一种基于数字孪生和DQN 的终端接入调度算法,通过优化电力物联终端接入调度策略,实现了能源管理模型损失函数的最小化。仿真结果表明,与基于上置信界的接入调度算法相比,所提算法能够降低智慧园区能源管理模型损失函数41.89%,降低终端接入优先级赤字波动56.74%,减小平均调控误差46.06%。该研究为智慧园区低碳运行、新型电力系统建设和智慧城市建设提供理论支撑。本文的主要研究总结如下。

1)高精度能源管理模型。本文基于数字孪生实现智慧园区状态信息估计,利用DQN 算法完成电力物联终端精准调度,实现能源管理模型长期损失函数最小化。同时,本文采用循环冗余校验检测错误模型参数,进一步提高能源管理模型的精度。

2)接入优先级感知。本文将长期接入优先级约束转化为队列稳定性约束,通过最小化接入优先级虚拟队列赤字,实现接入优先级感知。

然而,本文只考虑了通过物联终端接入调度实现智慧园区数字孪生的构建,未考虑网络中通信、计算、缓存等资源的优化对数字孪生精度的影响;网络环境中的干扰、信道状态等信息的新鲜度对数字孪生的优化同样重要。因此在未来研究中,将进一步考虑多维资源的联合优化以及信息新鲜度对能源管理模型的影响。