表1 输入数据格式（t时刻）
Tab. 1 Input data format (Time t)
输入节点输入数据 1t-1时刻电-冷-热负荷、预测日类型及天气信息 2t-2时刻电-冷-热负荷、预测日类型及天气信息 72t-72时刻电-冷-热负荷、预测日类型及天气信息
摘要 综合能源系统中多种负荷之间可能存在复杂的、较强的相互耦合关系。相对于对各类负荷进行单一独立的预测，直接开展多元负荷预测能够进一步挖掘负荷之间的内在联系，提高预测准确度。该文提出一种基于ResNet-LSTM网络和注意力机制的多任务学习模型，用于拟合多能负荷之间的空间耦合关系和时间耦合关系。首先，采用多层ResNet作为多能负荷数据的特征提取单元，挖掘多能之间的空间耦合交互特征；然后，通过双向长短时记忆网络残差结构进一步挖掘多能负荷数据的时序特征；接着，使用注意力机制实现多任务对于共享特征不同程度的关注，体现不同子任务对共享特征的差异化选择，实现多元负荷的联合预测；最后，结合亚利桑那州立大学Campus Metabolism系统的多能负荷数据，与其他预测模型进行对比分析，结果表明所提出的多元负荷预测方法具有更高的预测精度。
关键词：注意力机制 残差网络 长短时记忆网络 多元负荷预测 多任务学习
综合能源系统可实现电、气、冷、热等多种异质能源之间的协调、规划、运行，是满足不断增长的能源需求的重要研究方向。综合能源系统负荷预测作为其调度控制的基础至关重要。在综合能源系统中，多种能源网之间通过能量转换设备互相耦合，如电锅炉可将电能转换为热能，燃气锅炉可将天然气转换为热能，电转气（Power to Gas, P2G）技术可将电能转换为天然气，冷热电联产（Combined Cooling Heating and Power, CCHP）系统机组可将天然气转换为电能和热能等[1-2]，再考虑到用户对于用能需求的多样化选择，因此用户总体的多元负荷之间存在复杂的耦合关系，若采用多元负荷预测技术，在预测中能将多能负荷之间复杂耦合关系考虑进去，将有可能在一定程度上增强负荷预测的准确性。
传统的负荷预测方法大多是某种单一负荷类型的独立预测。在电力负荷预测方面，主要包括矢量自回归模型（Vector Autoregression, VAR）、多元线性回归法[3]、整合移动平均自回归模型（Autoregressive Integrated Moving Average Model, ARIMA）[4]等传统时间序列数据分析方法，以及决策树[5]、随机森林[6]、支持向量回归（Support Vector Returns, SVR）[7]、改进萤火虫算法[8]、分频预测[9]、双向长短时记忆（Long Short-Term Memory, LSTM）网络[10]、径向基网络[11]、改进的广义回归神经网络（Generalized Regression Neural Network, GRNN）[12]、极限学习机[13]、即时学习算法[14]等机器学习方法。文献[15]提出了一种电力市场中基于Attention-LSTM网络的短期电力负荷预测模型，该模型将当前电价和历史负荷作为输入，并采用注意力机制突出关键特征，得到更好的预测效果，说明了注意力机制的有效性。在冷/热负荷预测方面，文献[16]采用XGBoost（eXtreme gradient Boosting）方法以改善冷热负荷的预测准确度；文献[17]验证了与回归分析和随机森林相比，神经网络模型拥有更高的冷热负荷预测精度；文献[18]根据冷热负荷的非线性相关性，提出一种基于马尔可夫链的负荷预测模型。在天然气负荷预测方面，主要包括ARIMA模型[19]、LSTM网络[20]，以及将果蝇优化算法（Fruit Fly Optimization Algorithm, FFOA）、模拟退火算法（Simulated Annealing, SA）和支持向量机（Support Vector Machines, SVM）多种模型相结合的集成算法[21]等预测方法。
相比于单一负荷预测，多元负荷预测的研究相对较新，主要包括两类方法：
1）传统的时间序列分析预测。例如文献[22]提出一种基于VAR的夏季多能流系统冷、电、气负荷预测方法。
2）机器学习方法。多元负荷预测模型普遍采用多任务结构，以适应多元输出要求。例如文献[23]提出了一种基于径向基函数神经网络（Radial Basis Function Neural Network, RBF-NN）模型的电力和天然气需求的短期预测方法；文献[24]提出了一种基于核主成分分析（Kernel Principal Component Analysis, KPCA）、二次模态分解、双向LSTM和多元线性回归（Multiple Linear Regression, MLR）的多元负荷预测模型；文献[25]提出了一种以深度置信网络（Deep Belief Network, RBN）为基础的多任务多元输出网络。此类模型以多任务网络的方式实现了多元输出。关于多任务的具体结构，文献[26]构建了一种以LSTM为共享层的多任务学习负荷预测模型，首先分别进行单一负荷特征的学习，再利用共享层学习辅助耦合信息；文献[27]在LSTM预测模型中加入注意力层和dropout层提升了模型的预测精度。文献[20-24]所提出的预测方法未能显式地考虑多能负荷之间的复杂耦合交互特征，其中LSTM作为一种循环神经网络具有自身的局限性，其虽然能够较好地挖掘数据时序特征，但并不能充分地挖掘多能负荷之间的交互耦合关系。在多任务的网络结构方面，模型共享层与特定任务层之间也只是简单的“硬连接”方式，不能体现不同的子任务对共享特征具有不同的关注程度。
本文在已有研究基础上考虑多能负荷数据强交互、强耦合的特点，关注多能负荷数据的多能交互耦合特征和时序特征，将ResNet和LSTM残差结构相结合，提出了一种基于注意力机制的多元负荷预测多任务学习模型（ResNet-LSTM-Attention-Multi-Task Learning, RLA-MTL）。相比于强调负荷数据时序关系的传统时间序列方法，本文方法包含显式的多能负荷数据特征提取环节，更能挖掘多能之间的耦合交互关系。相比于文献[26]，本文所提出的模型并没有进行单一负荷特征的学习，而是以ResNet作为特征提取单元，直接进行多能负荷之间的交互耦合特征即空间耦合特征的学习，然后再利用LSTM残差结构，进行时间序列特征的学习。该方法的优点在于可以通过ResNet层获取到更直接的多能负荷耦合交互信息，同时也保持了一定的时间序列信息，再通过LSTM网络进一步学习时序特征。ResNet和LSTM网络共同构成模型共享层，同时进行多能交互耦合特征和时序特征的挖掘。然后通过注意力机制实现不同子任务对共享特征的差异化选择，进一步提高了模型预测精度。
本文所建立的模型主要应用于综合能源系统中多元负荷的联合预测。通过算例验证，与其他经典预测方法相比，该模型具有更好的预测性能。
综合能源系统的多元负荷预测一般需要先将多能负荷数据按照统一的标准规范化，再结合所采用模型的具体结构确定数据格式。目前，国内的负荷预测通常需要在当天预测第二天的负荷，预测频率为1h，即在当天预测下一天的24个负荷节点，此类负荷预测技术是日前调度的重要基础。近年来常见的负荷预测方法主要以1h为步长，在当前时刻预测未来1h、6h、24h之内的负荷值。本文将分别以最具有代表性的1h和24h为例，进行综合能源的多元负荷预测。
综合考虑多元负荷的预测精度和预测时间，本文模型输入包括预测时刻t前72h整点的电、冷、热负荷历史数据和与负荷需求密切相关的预测日类型[28]和天气因素[29]，考虑到输入信息的不同组合方式对于局部特征提取的影响，模型输入数据格式见表1。根据前文所述1h预测或24h预测，分别选择以待预测时刻t（n=1）或待预测时间段t～t+23（n=24）的电、冷、热负荷作为模型的输出，输出数据格式见表2。随机选取96h多能负荷数据曲线如图1所示。
表1 输入数据格式（t时刻）
Tab. 1 Input data format (Time t)
输入节点输入数据 1t-1时刻电-冷-热负荷、预测日类型及天气信息 2t-2时刻电-冷-热负荷、预测日类型及天气信息 72t-72时刻电-冷-热负荷、预测日类型及天气信息
表2 输出数据格式（t时刻）
Tab.2 Output data format (Time t)
输出节点输出数据 1t时刻电-冷-热负荷 2t+1时刻电-冷-热负荷 nt+(n-1)时刻电-冷-热负荷
图1 96h多能负荷数据曲线
Fig.1 96-hour multi-energy load data curves
本文提出的基于注意力机制的多任务学习预测模型将多能负荷的时序历史数据作为输入。首先采用多层的ResNet网络对输入时序数据进行64核卷积操作，再进行池化操作以降低模型复杂度，并获得时间序列特征矩阵。随后将新的时序特征矩阵输入三层的LSTM残差网络得到共享特征池。每个子任务通过注意力模块从共享特征池中学习特定于该任务的特征，并通过加权的方式对共享特征施加不同的关注，模型结构如图2所示。
由图2可知，该模型的主要特点如下：
1）在模型共享层采用ResNet-LSTM网络，其中残差结构（ResNet-block）作为多能负荷数据的特征提取环节，能够有效地提取多能之间的非线性空间耦合特征；三层LSTM的残差网络可以快速有效地拟合多能负荷数据的时间序列特征。随后将池化层输出的空间耦合特征和最后一层LSTM输出的时间序列特征拼接组合，得到具有比较完整时空特性的共享特征池，为后续子任务提供更多有效的信息。
图2 RLA-MTL模型结构
Fig.2 RLA-MTL model structure
2）不采用直接“硬连接”的多任务学习方式，而通过注意力机制实现不同子任务对于共享特征不同程度的关注，以体现子任务对共享特征的差异化选择。
3）模型基本结构具有较强的适用性。首先，ResNet作为广泛应用的特征提取网络，具有较强的数据适用性；其次，通过调整特征提取单元（ResNet-block）的层数和输出神经元的个数，可适用于不同复杂程度的负荷预测任务。
本文所提出的模型理论上可以更合理高效地利用多能之间的耦合互补特性。从多任务的角度而言，模型的总体训练时间预计将会减少，且各个子任务的预测性能因模型对多能数据的进一步挖掘应有所提升。
综合能源系统中多能负荷之间存在强交互、强耦合的特点，为进一步挖掘多能负荷之间的交互耦合特征，本文采用ResNet作为前置特征提取单元。ResNet是当前应用较为广泛的特征提取卷积网络。卷积神经网络（Convolutional Neural Networks, CNN）一直是近年来深度学习研究的热点，同时作为一种自动特征提取的有效方法而广泛应用于各种领域。卷积神经网络的常见结构是交替连接的卷积层和池化层，通过局部感受机制和连续的卷积池化操作来挖掘数据的有效特征，其主要特点是通过局部连接和共享权值的方式获取数据的局部特征。而作为一种残差网络，ResNet一般通过堆叠多个ResNet-block子网络而构成，本文采用常见于浅层网络的二层卷积基本残差单元结构，如图3所示。
图3 ResNet基本单元
Fig.3 ResNet-block
假设ResNet-block所要求解的网络映射函数为H(x)，对于不含残差结构的一般卷积层，H(x)为
（1）
而对于采用残差结构的ResNet-block，H(x)为
（2）
此时卷积网络所学习到的映射函数F(x+wi)为残差H(x)-x。因为残差学习相比原始特征直接学习更容易，当残差为0时，ResNet-block相当于恒等映射，至少网络性能不会下降，而实际上残差不会恒为0，这使得ResNet-block将会在输入特征基础上学习到新的特征，从而拥有更好的性能。因此本文使用具有较强数据挖掘能力的ResNet对原始数据进行处理，充分挖掘多能负荷之间的交互耦合特征即空间耦合特征。
为进一步挖掘多能负荷的时序特征，本文采用LSTM网络作为时间序列特征提取单元。LSTM网络是一种改进的循环神经网络（Recurrent Neural Network, RNN），常见用于深度语义分析领域。与标准的前馈神经网络不同，LSTM具有反馈连接。它不仅可以用于图像的处理（单个数据点），而且非常适合根据时间序列数据进行处理和预测。LSTM网络针对在训练传统RNN时可能遇到的消失梯度问题进行了改进，增强了长期时间序列数据的处理能力。LSTM网络的基本神经元如图4所示。
如图4所示，LSTM基本神经元包括遗忘门（forget gate）、输入门（input gate）和输出门（output gate）。遗忘门决定LSTM神经元将从细胞状态中丢弃哪些信息，遗忘门读取
和
，输出一个0～1之
图4 LSTM网络的基本神经元
Fig.4 Basic cell of LSTM
间的数值
作为
的权值，计算方法为
（3）
式中，Wf为遗忘门中sigmoid模块的权重；为上一时刻的cell输出；为当前时刻的cell输入；
为sigmoid函数。ft=1代表“完全保留”，ft =0代表“完全忘记”；bf为遗忘门中Sigmoid模块的偏置。
输入门决定LSTM神经元将为细胞状态添加哪些新信息。输入门首先读取和；然后通过一个Sigmoid层得到需要更新信息的权重值
，再通过一个tanh层得到需要更新的内容
；最后得到当前时刻的细胞状态
，计算公式为
（4）
（5）
（6）
式中，Wi为输入门中Sigmoid模块的权重；bi为输入门中Sigmoid模块的偏置；Wc为输入门中tanh模块的权重；bc为输入门中tanh模块的偏置。
输出门与输入门原理相似，首先通过一个sigmoid层得到需要输出信息的权重值
，再通过一个tanh层从cell状态中得到需要输出的内容，计算公式为
（7）
（8）
式中，Wo为输出门中Sigmoid模块的权重；bo为输出门中Sigmoid模块的偏置。
考虑到残差结构简化了学习过程，增强了梯度传播，同时可以有效地提高模型的训练速度，本文采用如图2所示的残差结构LSTM网络拟合多能负荷的时序特征，并通过算例验证了该结构的有效性。
为实现多能负荷的联合预测，本文采用基于注意力机制的多任务学习结构，以适应模型多元输出要求。
多任务学习主要是指利用不同任务之间的共性和差异，以同时完成多个学习优化任务的机器学习方法。1997年，R. Caruana[30]给出了多任务学习的经典描述：“多任务学习通过多任务共享并行学习的方式，使每个任务都能得到其他任务的帮助。而多任务学习有效的原因是任务之间优化学习引起的参数正则化优于模型训练时防止过度拟合的正则化。”一般情况下，若任务之间具有显著的共性，采用多任务学习会有较大的性能提升。而近几年国内外的研究表明多任务学习也可用于学习部分不相关的任务。由于多元负荷预测对模型有多元输出的要求，本文采用多任务学习的方式构建模型。
多元负荷预测模型中存在多个预测子任务，每个子任务进行不同类型负荷的预测，因而不同的子任务对于共享特征应当具有不同的侧重点。而注意力机制正适合作为共享特征的筛选机制，为不同子任务提供差异化的特征池。
注意力机制是模仿人类注意力的机制。当人类粗略观察一幅画时，可以观察到画的全貌，但当仔细观察该画时，注意力就被局限到了画的部分区域，即人脑对整幅画的关注不是均衡的，而是有一定的侧重点。注意力机制就是对输入的每个元素采用不同的权重参数，从而自发地关注所需要的信息，而抑制其他无用的信息。本文所采用的注意力机制基本结构如图5所示，计算方法如式（9）所示。
图5 注意力机制
Fig.5 Attention mechanism
（9）
式中，V为注意力机制的输入特征；Qi为输入特征V中第i个特征序列。其中Softmax(QiVT)即为输入特征的权重序列。在实际应用中，注意力机制将在每次识别时计算每个特征的权值，然后对特征进行加权求和，权值越大，该特征对当前输出节点的贡献越大。
注意力模型的提出主要是为了解决Encoder-Decoder模型中存在的中间向量长度固定问题，但注意力机制作为一种设计思想，并不是只能依附在Encoder-Decoder框架下的，而是可以根据实际情况与多种网络模型进行结合。本文采用Attention机制实现对共享特征中高相关性和高价值信息的筛选，同时由于注意力机制可以一步到位地考虑全局联系和局部联系，且能并行化计算，进一步提高了多元负荷预测的准确性和实时性。
算例负荷数据来源为亚利桑那州立大学的Campus Metabolism系统所提供的Tempe校区电、冷、热负荷历史数据，天气数据来源为美国国家气候资料中心网站中Tempe校区位置的天气数据，包括温度、大气压、风速和风向。所有数据采样时间为2019年1月1日0时～2020年11月10日24时，其中80%数据为训练集、20%数据为验证集，并以2020年12月负荷数据为测试集。以2019年全年的电、冷、热负荷数据为例，计算电冷热负荷之间的Pearson相关系数（Pearson Correlation Coefficient, PCC）及相关统计数据见表3、表4，绘制标准化负荷曲线如图6所示，可知多能负荷之间存在较强的相关性。本文所提出模型的构建与训练在Tensorflow2.0框架下进行，所使用硬件平台为Intel Core i7-9800X 3.8G CPU、32G内存、NVIDIA GeForce RTX 2080Ti GPU。
表3 多能负荷的Pearson相关系数
Tab.3 PCC of multi-energy load
电冷热 电1.00.866 1-0.628 4 冷0.866 11.0-0.777 7 热-0.628 4-0.777 71.0
表4 多能负荷统计数据
Tab.4 Multi-energy load statistics
电冷热 均值/kW26 300.198 130 431.547 82 194.740 8 标准差/kW4 089.049 917 957.669 9765.008 0
图6 全年电、冷、热负荷数据曲线
Fig.6 Annual electricity, cooling and heating load data curve
3.1.1 数据预处理
由于在数据的采集或传输过程中可能会产生异常数据，因此需要对数据进行异常值处理[30-31]，主要包括异常值检测、样本筛选和均值替代三部分。首先检测数据中异常值的基本分布；然后剔除存在大量异常值的样本；最后对于剩余异常数据进行均值替代，以保证数据的相对完整性。以kW作为多能负荷统一计量单位，换算公式为
（10）
考虑到模型采用平均绝对百分比误差（Mean Absolute Percentage Error, MAPE）作为损失函数时零值数据无效问题，本文采用如式（11）所示归一化方法，与一般归一化不同之处在于将数据线性变换到（1, 2）范围内，以保证损失函数MAPE可用，并加速模型收敛。
（11）
3.1.2 评价指标
本文使用平均绝对百分比误差作为模型的评价指标。在多任务学习的网络参数训练过程中，需要合理平衡各个任务的训练进度。与冷热负荷相比，电负荷的不确定性要更大，这来源于用户用电需求的不确定性。而用户对冷热负荷的需求相对稳定，因此电负荷的预测难度较冷热负荷要更高一点。考虑到用户不同用能需求不确定性的差异和综合能源系统自身结构，对于电、冷、热负荷预测任务的权重分别设置为0.5、0.2、0.3。
（12）
（13）
（14）
式中，
和
分别为第i个样本的负荷实际值和预测值；N为样本数量；
和
分别为第
个任务的平均绝对百分比误差和平均精度（Mean Accuracy）；
为子任务数量；aj为第个任务权重值；
为模型加权平均精度（Weighted Mean Accuracy）。
3.1.3 超参数设置
模型超参数对模型的预测精度有着极大的影响。综合考虑训练时间成本和预测精度，基于RLA-MTL多任务网络结构，在多次实验测试之后，选择批样本数量（batch size）为128，采用学习率衰减的Adam方法作为训练优化器。在网络训练过程中学习率随训练次数的增加而逐渐减少，学习率初始值设定为0.01，衰减系数DECAY为0.5，学习率随着迭代次数衰减变化为
（15）
式中，iterations为当前迭代次数。
本节将所提出的RLA-MTL多任务网络模型与BP神经网络、LSTM单任务网络（Single Task Learning, STL）、随机森林方法（Random Forests）、SVM和RLA-STL模型进行对比。其中RLA-STL模型保持ResNet-LSTM-Attention基本结构不变，对冷、热、电负荷分别进行独立预测，以验证多任务机制的有效性。
3.2.1 1h预测
将RLA-MTL模型中Resnet-block层数设为2，输出神经元的个数为1，得到模型测试集预测精度见表5。随机挑选某日0时作为预测时刻点，将该模型与其他模型对比结果如图7所示。
表5 模型精度对比（1h）
Tab.5 Comparison of model accuracy（1h)
预测方法模型名称平均精度 电负荷冷负荷热负荷 多元预测RLA-MTL（本文）0.988 20.996 40.990 3 单一独立预测RLA-STL0.951 70.985 90.978 1 BP-NN0.976 40.992 30.985 6 LSTM-STL0.976 00.986 80.983 5 Random Forests0.968 70.992 00.985 2 SVM0.918 30.973 30.978 9
图7 RLA-MTL模型与其他模型对比（1h）
Fig.7 Comparison of RLA-MTL and other model (1h)
从图7中可以看出，这些算法模型对次日负荷预测结果与实际曲线变化趋势基本一致。结合表5可知，本文所提出的RLA-MTL模型相比于其他五种预测方法精度最高，电、冷、热负荷预测精度分别为 98.82%、99.64%、99.03%。
3.2.2 24h预测
将RLA-MTL模型中Resnet-block层数设为4，输出神经元的个数为24，得到模型测试集预测精度见表6。随机挑选某日0时作为预测时刻点，将RLA-MTL模型预测精度与其他方法中精度最高的随机森林方法对比，如图8所示。
由表6可知，除了随机森林之外的单任务预测方法已无法有效地实现24h的负荷预测，而本文所提出的RLA-MTL模型相比于其他预测方法精度仍最高，电、冷、热负荷预测精度分别为98.30%、98.86%、98.45%。
表6 模型精度对比（24h）
Tab. 6 Comparison of model accuracy (24h)
模型类型模型名称平均精度 电负荷冷负荷热负荷 多元预测RLA-MTL（本文）0.983 00.988 60.984 5 单一独立预测RLA-STL0.855 60.936 50.802 3 BP-NN0.806 50.815 90.815 0 LSTM-STL0.712 90.786 20.804 3 Random Forests0.956 50.970 10.969 5
图8 RLA-MTL模型与其他模型对比（24h）
Fig.8 Comparison of RLA-MTL and other model (24h)
在1h预测与24h预测的结果中，不同的负荷展现了不同的精度，直观上体现了不同的负荷具有不同的预测难度。首先，与冷热负荷相比，电负荷的不确定性要更大，这来源于用户用电需求的不确定性。而用户对冷热负荷的需求相对稳定，因此电负荷的预测难度较冷热负荷要更高一点。具体到该综合能源系统，其中的供冷系统中存在储冰环节，也使得系统的冷负荷需求相对更加稳定。
从两种预测的结果中还观察到，同为ResNet-LSTM-Attention结构的RLA-STL模型预测精度明显低于其他单任务模型，分析出现此情况的主要原因：RLA-STL模型使用了ResNet作为特征提取单元。ResNet作为一种卷积神经网络，具有较强的局部二维特征提取能力，常用于图像处理。对于多能负荷预测而言，ResNet能够帮助捕捉多能负荷之间的相关性，得到具有时序特征的多能负荷之间耦合信息，再提供给下一模块（LSTM），从而获得较好的预测效果。而对于单任务预测而言，模型输入数据中只有单一负荷和相关天气、日期信息，没有不同负荷之间的耦合信息，采用ResNet反而会提取到大量的无用信息，因此RLA-STL模型预测精度明显低于其他模型。
结合1h预测与24h预测，分析RLA-MTL模型有效的可能原因如下：
（1）RLA-MTL模型将多能负荷数据按时间滑动窗口构造连续的特征向量作为网络输入，首先通过ResNet网络提取多能负荷之间的交互耦合特征，在输入负荷数据中有效信息的挖掘过程中，尽量保留原始数据的时序特性，以得到具有时间序列结构的多维特征向量。将该时序多维特征向量作为LSTM残差网络模型的输入，得以充分发挥LSTM网络对时间序列数据的较强拟合能力。
（2）考虑多能负荷之间的较强耦合特性，RLA-MTL模型将电、冷、热负荷时序特征组合向量作为LSTM共享层的输入矩阵，采用LSTM残差结构学习电、冷、热负荷数据的共享特征，并以多任务的方式，通过特定子任务层学习单一负荷特征，提高了各个子任务的学习效率和预测准确性。
（3）RLA-MTL模型没有采用直接“硬连接”的多任务方式，而是采用注意力机制在共享特征池中进行有效特征的选择。每次迭代时，首先学习每个特征点的权值，然后对每个特征点进行加权求和，得到加权特征图作为子任务的输入特征，其中特征点的权值越大，表明该特征对当前子任务的贡献越大，由此为不同子任务提供差异化的特征池。
在预测所需时间方面，以1h预测为例，各个模型分别进行负荷预测，其中各个单负荷独立预测模型进行并行预测，因此其预测时间为最大单任务时间，所需的预测时间对比结果见表7。
表7 模型预测时间对比（1h）
Tab. 7 Comparison of model predict time (1h)
模型类型模型名称预测时间/s 多元预测RLA-MTL3.889 2 单一独立预测RLA-STL电3.353 93.353 9 冷3.133 6 热2.906 9 BP-NN电0.395 10.395 1 冷0.388 4 热0.371 9 LSTM-STL电1.895 01.898 3 冷1.898 3 热1.868 9 Random Forests电2.417 72.417 7 冷2.374 4 热2.283 5 SVM电0.005 90.006 4 冷0.006 4 热0.005 9
由表7可知，虽然RLA-MTL模型网络结构稍显复杂，但在现有硬件条件下的预测时间仍在可接受范围内，说明利用本文所提出的多元负荷预测模型可以较快地得到更准确的预测结果。同时可以看出RLA-MTL模型的预测时间明显小于RLA-STL单一负荷预测时间的累加，表明多任务学习能够以略高于单一任务的效率较快地完成多个学习任务。
实验结果表明，RLA-MTL模型结合ResNet和LSTM网络以及注意力机制的特点，与传统预测方法和其他神经网络方法相比，具有更好的预测性能。
本文考虑电、冷、热负荷之间较强的复杂耦合特性，采用基于注意力机制的多任务学习方法，建立多元负荷预测模型以进行多能负荷的联合预测。该模型采用ResNet挖掘多能负荷之间的交互耦合特征，同时尽可能保留数据的时序特征，形成多维时序特征向量；通过共享的LSTM残差结构形成共享特征池，采用注意力机制从共享特征池中筛选关键子任务特征；再通过各自子任务的特征池进行预测子任务，实现多能负荷的联合预测。最后通过算例分析得出如下结论：
1）本文所提出的多元负荷预测模型（RLA-MTL）通过ResNet-LSTM共享层学习多能负荷之间的时空耦合特性，并通过特定子任务层学习单一负荷预测任务特征，以多任务学习方式提高了所有负荷预测子任务的学习效率和预测准确性。
2）RLA-MTL模型采用注意力机制在共享特征池中进行共享特征的有效选择，而不是采用直接“硬连接”的多任务学习方式。注意力机制为不同负荷预测子任务提供了差异化的特征池，体现各个负荷预测子任务对于共享特征不同程度的关注，实现了单一负荷预测子任务在特征选择环节的自我学习，有效地提升了模型性能。
参考文献
[1] 刁涵彬, 李培强, 吕小秀, 等. 考虑多元储能差异性的区域综合能源系统储能协同优化配置[J]. 电工技术学报, 2021, 36(1): 151-165.
Diao Hanbin, Li Peiqiang, Lü Xiaoxiu, et al. Coordinated optimal allocation of energy storage in regional integrated energy system considering the diversity of multi-energy storage[J]. Transactions of China Electrotechnical Society, 2021, 36(1): 151-165.
[2] 刘小龙, 李欣然, 刘志谱, 等. 基于负荷重要性和源-荷互补性的离网系统终端电/热/冷负荷投切策略[J]. 电工技术学报, 2021, 36(3): 552-564.
Liu Xiaolong, Li Xinran, Liu Zhipu, et al. Research on power/heating/cooling load switching strategy of off-grid system based on load importance and source load complementarity[J]. Transactions of China Electrotechnical Society, 2021, 36(3): 552-564.
[3] 邓带雨, 李坚, 张真源, 等. 基于EEMD-GRU-MLR的短期电力负荷预测[J]. 电网技术, 2020, 44(2): 593-602.
Deng Daiyu, Li Jian, Zhang Zhenyuan, et al. Short-termelectric load forecasting based on EEMD-GRU-MLR[J]. Power System Technology, 2020, 44(2): 593-602.
[4] 梁荣, 王洪涛, 吴奎华, 等. 基于神经网络和ARIMA模型的冷热电短期负荷预测[J]. 电力系统及其自动化学报, 2019, 32(3): 52-58.
Liang Rong, Wang Hongtao, Wu Kuihua, et al. Short-term forecasting of cooling, heating and power loads based on neural network and ARIMA model[J]. Proceedings of the CSU-EPSA, 2019, 32(3): 52-58.
[5] 罗敏, 程将南, 王毅, 等. 基于小波去噪和决策树的个性化大用户负荷预测[J]. 南方电网技术, 2016, 10(10): 37-42.
Luo Min, Cheng Jiangnan, Wang Yi, et al. Wavelet de-noising and decision tree based load forecasting of large consumers[J]. Southern Power System Technology, 2016, 10(10): 37-42.
[6] 李焱, 贾雅君, 李磊, 等. 基于随机森林算法的短期电力负荷预测[J]. 电力系统保护与控制, 2020, 48(21): 117-124.
Li Yan, Jia Yajun, Li Lei, et al. Short term power load forecasting based on a stochastic forest algorithm[J]. Power System Protection and Control, 2020, 48(21): 117-124.
[7] 赵佩, 代业明. 基于实时电价和加权灰色关联投影的SVM电力负荷预测[J]. 电网技术, 2020, 44(4): 1325-1332.
Zhao Pei, Dai Yeming. Power load forecasting of SVM based on real-time price and weighted grey relational projection algorithm[J]. Power System Technology, 2020, 44(4): 1325-1332.
[8] Kavousi-Fard A, Samet H, Marzbani F. A new hybrid modified firefly algorithm and support vector regression model for accurate short term load forecasting[J]. Expert Systems with Applications, 2014, 41(13): 6047-6056.
[9] 温锦斌, 王昕, 李立学, 等. 基于频域分解的短期风电负荷预测[J]. 电工技术学报, 2013, 28(5): 66-72.
Wen Jinbin, Wang Xin, Li Lixue, et al. Short-term wind power load forecasting based on frequency domain decomposition[J]. Transactions of China Electrotechnical Society, 2013, 28(5): 66-72.
[10] 杨龙, 吴红斌, 丁明, 等. 新能源电网中考虑特征选择的Bi-LSTM网络短期负荷预测[J]. 电力系统自动化, 2021, 45(3): 166-173.
Yang Long, Wu Hongbin, Ding Ming, et al. Short-term load forecasting in renewable energy grid based on bi-directional long short-term memory network considering feature selection [J]. Automation of Electric Power Systems, 2021, 45(3): 166-173.
[11] 谷云东, 张素杰, 冯君淑. 大用户电力负荷的多模型模糊综合预测[J]. 电工技术学报, 2015, 30(23): 110-115.
Gu Yundong, Zhang Sujie, Feng Junshu. Multi-model fuzzy synthesis forecasting of electric power loads for larger consumers[J]. Transactions of China Electrotechnical Society, 2015, 30(23): 110-115.
[12] 祝学昌. 基于IFOA-GRNN的短期电力负荷预测方法研究[J]. 电力系统保护与控制, 2020, 48(9): 121-127.
Zhu Xuechang. Research on short-term power load forecasting method based on IFOA-GRNN [J]. Power System Protection and Control, 2020, 48(9): 121-127.
[13] 刘念, 张清鑫, 刘海涛. 基于核函数极限学习机的微电网短期负荷预测方法[J]. 电工技术学报, 2015, 30(8): 218-224.
Liu Nian, Zhang Qingxin, Liu Haitao. Online short-term load forecasting based on ELM with kernel algorithm in micro-grid environment[J]. Transactions of China Electrotechnical Society, 2015, 30(8): 218-224.
[14] 朱清智, 董泽, 马宁. 基于即时学习算法的短期负荷预测方法[J]. 电力系统保护与控制, 2020, 48(7): 92-98.
Zhu Qingzhi, Dong Ze, Ma Ning. Forecasting of short-term power based on just-in-time learning[J]. Power System Protection and Control, 2020, 48(7): 92-98.
[15] 彭文, 王金睿, 尹山青. 电力市场中基于Attention-LSTM的短期负荷预测模型[J]. 电网技术, 2019, 43(5): 1745-1751.
Peng Wen, Wang Jinrui, Yin Shanqing. Short-term load forecasting model based on Attention-LSTM in electricity market[J]. Power System Technology, 2019, 43(5): 1745-1751.
[16] Al-Rakhami M, Gumaei A, Alsanad A, et al. An ensemble learning approach for accurate energy load prediction in residential buildings[J]. IEEE Access, 2019, 7: 48328-48338.
[17] Mokeev V V. Prediction of heating load and cooling load of buildings using neural network[C]//2019 International Ural Conference on Electrical Power Engineering (UralCon), IEEE, 2019: 417-421.
[18] Zhang Tieyan, Li Hening, Hui Qian, et al. Integrated load forecasting model of multi-energy system based on Markov chain improved neural network[C]//2019 11th International Conference on Measuring Technology and Mechatronics Automation (ICMTMA), IEEE, Qiqihar, China, 2019: 454-457.
[19] Hai Wenlong, Wang Yahui. Load forecast of gas region based on ARIMA algorithm[C]//2020 Chinese Control and Decision Conference (CCDC), IEEE, Hefei, China, 2020: 1960-1965.
[20] Wei Nan, Li Changjun, Duan Jiehao, et al. Daily natural gas load forecasting based on a hybrid deep learning model[J]. Energies, 2019, 12(2): 218.
[21] Lu Hongfang, Azimi M, Iseley T. Short-term load forecasting of urban gas using a hybrid model based on improved fruit fly optimization algorithm and support vector machine[J]. Energy Reports, 2019, 5: 666-677.
[22] Li Yujie, Yuan Xiaoling, Xu Jieyan, et al. Medium-term forecasting of cold, electric and gas load in multi-energy system based on VAR model[C]//2018 13th IEEE Conference on Industrial Electronics and Applications (ICIEA), IEEE, Wuhan, China, 2018: 1676-1680.
[23] Tang Yu, Liu Haoming, Xie Yunfei, et al. Short-term forecasting of electricity and gas demand in multi-energy system based on RBF-NN model[C]//2019 IEEE International Conference on Energy Internet (ICEI), IEEE, Nanjing, China, 2019: 542-547.
[24] 陈锦鹏, 胡志坚, 陈纬楠, 等. 二次模态分解组合DBiLSTM-MLR的综合能源系统负荷预测[J]. 电力系统自动化, 2021, 45(13): 85-94.
Chen Jinpeng，Hu Zhijian，Chen Weinan, et al. Load prediction of integrated energy system based on quadratic modal decomposition and DBiLSTM-MLR[J]. Automation of Electric Power Systems, 2021, 45(13): 85-94.
[25] 史佳琪, 谭涛, 郭经, 等. 基于深度结构多任务学习的园区型综合能源系统多元负荷预测[J]. 电网技术, 2018, 42(3): 698-707.
Shi Jiaqi, Tan Tao, Guo Jing, et al. Multi-task learning based on deep architecture for various types of load forecasting in regional energy system integration[J]. Power System Technology, 2018, 42(3): 698-707.
[26] 孙庆凯, 王小君, 张义志, 等. 基于LSTM和多任务学习的综合能源系统多元负荷预测[J]. 电力系统自动化, 2021, 45(5): 63-70.
Sun Qingkai, Wang Xiaojun, Zhang Yizhi, et al. Multiple load prediction of integrated energy system based on long short-term memory and multi-task learning [J]. Automation of Electric Power Systems, 2021, 45(5): 63-70.
[27] 田浩含, 张智晟, 于道林. 基于改进LSTM的区域综合能源系统多元负荷短期预测研究[J]. 电力系统及其自动化学报, 2021, 33(9): 130-137.
Tian Haohan, Zhang Zhisheng, Yu Daolin. Load short-term forecasting model of regional integrated energy system based on improved LSTM[J]. Proceedings of the CSU-EPSA, 2021, 33(9): 130-137.
[28] 吴润泽, 包正睿, 王文韬, 等. Hadoop架构下基于模式匹配的短期电力负荷预测方法[J]. 电工技术学报, 2018, 33(7): 1542-1551.
Wu Runze, Bao Zhengrui, Wang Wentao, et al. Short-term power load forecasting method based on pattern matching in Hadoop framework[J]. Transactions of China Electrotechnical Society, 2018, 33(7): 1542-1551.
[29] 李滨, 黄佳, 吴茵, 等. 基于气象信息粒还原的台风分时段短期负荷预测[J]. 电工技术学报, 2018, 33(9): 2068-2076.
Li Bin, Huang Jia, Wu Yin, et al. Typhoon-period short term load forecasting based on particle reduction of weather information[J]. Transactions of China Electrotechnical Society, 2018, 33(9): 2068-2076.
[30] 马然, 栗文义, 齐咏生. 风电机组健康状态预测中异常数据在线清洗[J]. 电工技术学报, 2021, 36(10): 2127-2139.
Ma Ran, Li Wenyi, Qi Yongsheng. Online cleaning of abnormal data for the prediction of wind turbine health condition[J]. Transactions of China Electrotechnical Society, 2021, 36(10): 2127-2139.
[31] 王方雨, 刘文颖, 陈鑫鑫, 等. 基于“秩和”近似相等特性的同期线损异常数据辨识方法[J]. 电工技术学报, 2020, 35(22): 4771-4783.
Wang Fangyu, Liu Wenying, Chen Xinxin, et al. Abnormal data identification of synchronous line loss based on the approximate equality of rank sum[J]. Transactions of China Electrotechnical Society, 2020, 35(22): 4771-4783.
Multi-Energy Load Forecasting in Integrated Energy System Based on ResNet-LSTM Network and Attention Mechanism
Abstract In an integrated energy system, different types of loads, i.e. electrical loads, heat loads, cooling loads, might have complex and strong coupling relationships among them. Compared with forecasting each type of load separately, to forecast multi-energy loads together in a combined multi-task model can further explore the internal connections and therefore improve the accuracy of forecasting. A multi-task learning model based on ResNet-LSTM network and Attention mechanism is proposed to fit the spatial coupling relationship and time coupling relationship between multi-energy loads. Firstly, the multi-layer ResNet is used as the feature extraction unit of the multi-energy load data to mine the spatial coupling interaction characteristics between the multi-energy; secondly, the LSTM residual structure is used to further mine the time series characteristics of the multi-energy loads data; then, the Attention mechanism is used to realize that multiple subtasks have different degrees of attention to shared features, which reflects the differentiated selection of shared features by different subtasks, and realizes joint forecasting of multiple loads. Finally, we applied the proposed method with the data at the Campus Metabolism system of Arizona State University. Compared with other forecasting models, the results show that the proposed method has higher accuracy.
keywords：Attention mechanism, ResNet, long short-term memory(LSTM), multi-energy load forecasting, multi-task learning
DOI:10.19595/j.cnki.1000-6753.tces.210212
中图分类号：TM715
王 琛 男，1997年生，硕士研究生，研究方向为综合能源系统多元负荷预测。E-mail：wangchen1073@126.com
王 颖 女，1989年生，博士，讲师，研究方向为电力系统优化、机组组合和经济调度。E-mail：wyseu@seu.edu.cn（通信作者）
国家自然科学基金（51907025, 51977033）、国家电网公司总部科技项目（基于大数据的电网趋势预测及操作智能预演技术研究）和东南大学“至善青年学者”支持计划（2242021R41176）资助。
收稿日期 2021-02-19
改稿日期 2021-05-27
（编辑 赫蕾）