图1 RIES的灵活调节需求
Fig.1 Flexible ramping requirements in RIES
摘要 随着含可再生能源的微能源网规模化接入区域综合能源系统（RIES），其波动性和不确定性对系统的灵活调节能力带来了挑战。针对此问题，提出一种联合运行市场机制下的多主体双层互动决策模型。首先，指出RIES运行时的灵活调节需求，从市场层面分析灵活调节产品（FRP）对满足该需求的适用性；其次，将FRP市场与电、热能量市场联合运行，并设计了激励源荷双端市场主体调度灵活调节资源的联合运行市场机制；然后，为求解市场纳什均衡，建立外层多个市场主体非合作博弈、内层RIES运营商出清的多主体互动决策模型，并分别采用Q-learning算法和路径跟踪内点法对外、内层模型进行求解；最后，通过电热联合RIES仿真算例进行多场景对比分析。结果表明所提方法可以促进可再生能源消纳，减少用能总成本，降低竞价周期内能源平均价格，从而有效提升系统运行的灵活性。
关键词：区域综合能源系统 运行灵活性 灵活调节产品 联合运行市场 互动决策
能源是人类社会发展进步的基础，如何在保证人类社会持续发展的同时高效利用可再生能源，是世界各国必须关注的问题。区域综合能源系统（Regional Integrated Energy System, RIES）打破了过去多种能源系统独立运行的形式，实现了多种能源互动[1-2]。随着分布式产能技术的进步，含分布式可再生能源的微能源网开始规模化接入RIES。然而，可再生能源出力的波动性和不确定性给RIES的运行灵活性带来显著压力，对系统的灵活调节能力提出了更高要求。
综合能源市场的蓬勃发展为通过市场化手段提升运行灵活性提供了重要思路，但是现有市场机制无法解决灵活调节资源的短缺问题，传统辅助服务市场也不能完全用于优化配置灵活调节资源[3-5]。在该背景下，一种针对性提升系统运行灵活性的新型市场产品——灵活调节产品（Flexible Ramping Product, FRP）应运而生，其通过调度灵活调节资源，为下一时间段内快速变化的净负荷预留容量[6-8]。文献[9]提出了含多种能源发电机组的电能-FRP联合运行市场架构，通过建立双层优化模型分析FRP对市场均衡的影响。文献[10]在现有机制基础上改进了系统对FRP需求的计算方法，建立了电能-FRP联合出清的优化调度模型，进一步提升系统运行的灵活性。上述研究皆集中在发电侧提供FRP资源，因此文献[11]将可中断负荷作为“虚拟发电机”，提出源、荷同时参与FRP市场的实时调度模型，为需求侧供给灵活调度资源提供了依据。
然而，现有研究多集中于电力市场与FRP市场的联合运行，不能完全适用于RIES。此外，RIES的源、网、荷等环节存在多个多能耦合的利益主体，包括微能源网投资商（Micro Integrated Energy Grid Investor, MIEGI）和综合能源用户聚合商（Integrated Energy Consumer Aggregator, IECA）。求解含多个利益主体参与竞价的市场均衡，能够实现通过市场机制挖掘RIES内可灵活调度资源，对研究FRP提升RIES运行灵活性的效果具有重要意义。
在利益主体参与市场竞价方面，文献[12]建立了微能源网–用户的主从博弈能源交易模型，在兼顾用户的主动性与用能体验的同时完成了微能源网的综合能源优化。文献[13]则基于按报价结算机制，以用能成本最小为目标优化调度，探索合作博弈下小型RIES内的多能互补。在综合能源用户参与优化RIES运行方面，目前多考虑的是其参与需求侧响应，通过改变用能计划实现多能互补。文献[14]为提高RIES的运行效率，利用补贴形式激励依靠多种能源供能的负荷参与需求响应。文献[15]建立分布式能源站与综合能源用户的主从博弈模型，分布式能源站作为领导者根据负荷需求竞价，用户作为跟随者根据价格信号制定用能计划，最后求得博弈均衡。
总体而言，目前对综合能源市场的研究多集中于电、热、冷能量市场，而对提升RIES运行灵活性的辅助服务市场涉及较少；在综合能源市场的背景下，现有研究多以单个微能源网为利益主体构建决策模型，进行微能源网内部整体综合能源优化[16]，较少研究含多个利益主体市场的互动决策机制；现有研究较少考虑综合能源用户的替代作用，并且用户只能通过改变用能计划参与博弈，其参与市场的自主能动性尚未深度发掘。
基于上述分析，本文提出一种提升RIES运行灵活性的多市场主体双层互动决策模型。通过将FRP市场引入电、热能量市场构建联合运行市场，并设计挖掘灵活调节资源的市场机制。在该机制下，构建MIEGI及IECA等多个市场主体的双层互动决策模型，分析各主体之间的非合作动态博弈，并采用Q-learning算法与路径跟踪内点法求解纳什均衡。最后利用电热联合RIES算例对所提模型的有效性进行仿真验证。
在电、热紧密耦合的RIES中，含可再生能源的微能源网规模化接入会造成净负荷快速变化，其对电力子系统的影响会通过电、热耦合环节影响到热力子系统，使其运行灵活性受到巨大挑战。参考电力系统灵活性的定义[17]，可将RIES运行灵活性定义为“应对微能源网规模化接入RIES引起的波动性和不确定性，利用系统中的资源，快速响应负荷变化的能力”。
为维持多能供需平衡，RIES内能源出力要实时跟踪净负荷曲线的变化。对RIES的电力子系统而言，净负荷表示除可再生能源外系统需满足的负荷需求。由于含可再生能源的微能源网规模化接入，净负荷曲线的波动性和不确定性更加显著。相应地，RIES的灵活调节需求如图1所示，RIES的灵活调节需求可分为两类：一是应对净负荷曲线的下一个时段预测值与当前时段的波动量，即应对波动性的灵活调节需求；二是应对净负荷预测值在某置信度下的不确定性偏差量，即应对不确定性的灵活调节需求。
图1 RIES的灵活调节需求
Fig.1 Flexible ramping requirements in RIES
当上述灵活调节需求无法被满足时，RIES运行中会在多方面体现出“不灵活性”。从市场运行的角度看，“不灵活”表现包括[18]：①限制可再生能源接入，严重弃风弃光造成的市场资源浪费；②供需不平衡形成极高的惩罚电价，造成市场用能成本增加；③供需平衡在短期内被打破或恢复，造成市场价格随时间的剧烈波动。本文将从市场层面改善上述表现来提升RIES的运行灵活性，以市场机制挖掘系统中的灵活调节资源。
针对系统运行时灵活调节能力不足的情况，国外市场建设者提出一种新型交易产品——FRP。尽管传统辅助服务（如调频、备用）也可在一定程度上平衡系统净负荷实时变化，但在设计目的、响应方式、可调度资源、补偿定价等方面与FRP都存在差别：
1）设计目的不同。调频服务用于平衡实时净负荷差异，目的是维持系统频率稳定；备用服务用于应对突发故障，目的是维持系统安全运行；FRP则用于满足净负荷的波动性与不确定性造成的灵活调节需求，目的是针对性地提升系统运行灵活性。
2）响应方式不同。调频服务响应当前时段的自动发电控制调度，时间尺度为秒级；备用服务响应突发故障时的调度，且只能上行调节，响应时间为15～30min；FRP则是为下一时间段即将到来的净负荷快速变化预留容量，拥有上、下行调节能力，响应时间为5～15min。
3）可调度资源不同。调频服务的秒级响应要求资源提供者具有快速响应速率；备用服务要求资源提供者具备较高的爬坡能力；FRP市场的准入规则使得系统内所有可实时调度并预留容量的资源皆可提供FRP服务。
4）补偿定价不同。传统辅助服务价格高昂，需在辅助服务市场中额外购买，而FRP市场与能量市场联合出清，提供者无需对其报价，由机会成本确定价格，出现短缺后其价格也低于最高限价，限价远低于传统辅助服务价格。
综上所述，依靠传统辅助服务满足系统灵活调节需求，会受到调用频率、调节方向与价格的多方面限制，对系统造成不利影响。而FRP可被持续、频繁调用，满足上、下行灵活需求，经济性高，是从市场层面挖掘系统灵活调节资源的强有力手段。
基于RIES的运行框架，本文引入FRP市场，与电能、热能市场联合运行，建立面向运行灵活性的联合运行市场，分析源、荷双端多能耦合条件下，联合运行市场机制对市场主体提供灵活调节资源的激励作用。
图2为所建立的联合运行市场的结构，包括区域内电能市场、热能市场及FRP市场。此外，天然气配气网和电力批发市场分别提供天然气与电能作为区域外能量输入。
图2 区域综合能源系统联合运行市场结构
Fig.2 Configuration of the co-operating market in RIES
联合运行市场的出清由区域综合能源系统运营商（Regional Integrated Energy System Operator, RIESO）完成。同时参与市场的有多个主体，根据利益划分与是否产能可将其分为MIEGI与IECA：MIEGI内部设备通常包括分布式可再生能源、热电联产机组（Combined Heat and Power, CHP）和燃气锅炉（Gas Boiler, GB）等产能设备中的一种或多种；IECA则聚集了RIES内所有多能负荷。
在联合运行市场中，对电能、热能及FRP三类产品的出清机制与供需实现方式如下：
1）能量市场
能量市场包括电能与热能市场，市场主体对电能、热能报价，RIESO按节点能价进行市场出清。因为在RIES中，源端能源耦合节点处的能价还需叠加能源耦合成本，采用节点能价出清，能够通过市场信号激励市场主体优化产能与报价策略。
市场主体参与电、热能量市场实现供需平衡：
（1）
（2）式中，
(t)为t时刻电力批发市场的电能输入；
、
与
分别为t时刻MIEGI m内CHP、分布式光伏与风电的电能中标容量；
、
分别为t时刻MIEGI m内CHP与GB的热能中标容量；M为MIEGI的集合；
、
分别为t时刻RIES的电、热负荷；I、Ih分别为区域内电力、热力系统节点集合；
、
分别为电力、热力系统中与节点i连接的节点集合；
、
分别为电力、热力系统中线路传输功率与温度损耗热功率；
为节点电压；
、
与
分别为节点i、j间支路的导纳、功角与阻抗负倒数；
为管段工质热流量；
、
分别为该管段出口温度与所在环境温度。
2）FRP市场
在FRP市场中，市场主体无需对FRP报价，RIESO根据机会成本对FRP定价。所谓机会成本，就是市场主体由于提供FRP而未能提供能量所损失的收益。当灵活调节资源不足时，则通过需求曲线定价。当RIESO根据图1确定系统灵活调节需求后，RIES中市场主体可通过调度灵活调节资源预留容量提供FRP，其实现形式为
（3）
（4）式中，
、
和
、
分别为MIEGI m和IECA在t时刻中标的上、下行FRP容量；
与
分别为t时刻IECA的上、下行灵活调节需求剩余；
与
分别为t时刻市场对FRP的上、下行需求。
联合运行市场通过上述机制激励市场主体提供FRP，市场主体可利用源荷双端多能互补特性进一步发掘RIES中的可调度灵活调节资源。
为实现所提联合运行市场机制，以提升系统运行灵活性，建立如图3所示的多主体双层互动决策模型来求解市场均衡。该模型体现了市场运行时具有外层非合作博弈竞争，内层出清与内、外层互动等特点。内、外层间的互动以交换出清决策与报价决策的形式进行：模型外层包括IECA和多个MIEGI，它们在联合运行市场中竞价，根据内层传送的历史出清结果进行策略性报价，并整合自身资源提供电能、热能与FRP产品，参与非合作博弈以最大化自身利润；模型内层为RIESO，当外层所有主体的报价策略传送至内层后，据此在联合运行市场中进行出清，在区域综合能源系统潮流约束与灵活调节资源供需平衡约束下，以用能成本最小为目标进行优化，形成含各主体中标容量与相应中标价格的出清结果，并将其传送至外层。
图3 多主体互动决策模型双层结构
Fig.3 Bi-level structure of the multi-player interactive decision-making model
双层互动决策决定了外层主体的目标函数为其决策变量的隐函数，其决策变量为对电能、热能的报价系数与可提供的电能、热能以及上、下行FRP的容量范围，且均受外层模型约束条件的约束。
3.2.1 MIEGI优化竞价模型
对于MIEGI来说，其目标是最大化在联合运行市场中的利润
，即
式中，
为一个竞价周期的时段数；
、
与
、
分别为MIEGI的节点i电价、热价与上、下行FRP产品价格；
为MIEGI供能成本，根据供能设备的耗量计算得到[19]。
在联合运行市场机制下竞价时，MIEGI可通过调度CHP机组提供FRP。而由于CHP机组供应电能与FRP服务时在容量上存在耦合，因此MIEGI除了受可再生能源电出力、GB热出力等技术出力约束外，还受改进的CHP机组出力与爬坡条件约束。
（6）
（7）式中，
、
与
、
分别为CHP电、热出力上限和下限；
与
分别为上行、下行爬坡约束。
报价系数
、
为MIEGI的优化变量，受到市场报价系数上、下限的约束。
（8）式中，
、
分别为电能市场报价系数的上、下限；
、
分别为热能市场报价系数的上、下限。
3.2.2 IECA优化竞价模型
IECA的目标为其在联合运行市场中付出的成本
最小，即
式中，
、
分别为t时刻的热能需求、电能需求；
、
分别为t时刻IECA的上行、下行FRP容量。
IECA可通过调度可中断负荷（Interruptible Load, IL）与能源替代负荷（Alternative Load, AL）参与FRP。其中，IL可通过预留削减负荷容量提供上行FRP，AL可通过改变热能的供给方式提供上、下行FRP，进一步发挥IECA在负荷侧的多能互补优势。
与
分别为
式中，
、
分别为IECA内IL、AL在t时刻的上行FRP容量；
为AL的下行FRP容量。
IL与AL通过在一定范围内调节对供电与供热指标的要求来提供FRP，提供的FRP容量约束为
（11）式中，
、
分别为t时刻IECA中IL所能提供的最大上、下行FRP容量；
、
分别为t时刻IECA中AL所能提供的最大上、下行FRP容量。
、与t时刻IL值
成正比，即
（12）式中，
为IECA对用电变化满意度系数。越大，说明用户对用电习惯变化的敏感性越低。
在热力子系统中，热能用户对用热的满意度系数与其对室内温度变化的满意程度有关。t时刻热能用户室内温度
为
（13）式中，
为能源替代负荷散热器热介质侧的流量热当量；
为t时刻能源替代负荷散热器进口工质温度；
为t时刻室外空气温度；
为能源替代负荷设计供热常数；
为有效系数。
t时刻AL的热功率
为
（14）、与及用热变化满意度系数
的关系为
（15）RIESO在进行出清之前，需在联合运行市场供需平衡约束、系统潮流约束以及市场主体中标容量约束下进行运行校核。
RIESO出清目标为RIES的用能总成本最小，决策变量为RIESO向各主体分配的电能、热能以及上、下行FRP的容量。
式中，
、
分别为t时刻MIEGI m的电能、热能生产边际成本；
为t时刻的电力批发市场电能价格；
为t时刻RIESO向电力批发市场购买的电量；
为弃风弃光惩罚。
除了受式（1）～式（4）所示的联合运行市场供需平衡约束，RIESO市场出清还受以下条件约束。
1）节点潮流约束
（17）
（18）式中，
、
为t时刻节点i处MIEGI、配电变压器发出的无功功率。
（19）式中，
为上增广关联矩阵；
为下增广关联矩阵；
为热力管段流量热当量对角阵；T为供热系统节点流出温度列向量；
为管段出口温度列向量；Q为MIEGI、IECA所在节点输入或输出热功率列向量。
2）电力系统支路传输极限约束
（20）式中，
为节点i、j间支路传输极限。
3）供热系统支路传输损耗及节点温度上、下限约束
（21）式中，
为供热系统节点i、j间管道的温度损耗系数；
为该管道所在环境温度；
、
分别为
的上、下限；
、
分别为供热系统节点i温度
的上、下限。
4）市场主体中标容量范围约束
（22）市场出清的容量分配结果受各市场主体的报价容量范围限制：
和
为市场主体
在电热能量市场中t时刻所报的容量范围；
与
为市场主体在FRP市场中t时刻所报的容量范围。
所提双层互动决策模型中，自身以及其他主体的报价策略变化都将通过决策互动影响内层出清结果，从而改变其目标函数值。因此，当所有市场主体策略都不再发生变化，说明此时的报价策略使得全部主体得到最优利润，博弈达到纳什均衡，否则将会有主体改变报价策略以达到更高的利润。当外层的报价决策不再变化时，内层RIESO判断市场达到纳什均衡，从而结束内、外层互动决策过程并形成最终出清结果。
针对模型的特征，分层进行求解，具体流程如附图1所示。其中，针对外层的非合作博弈模型的求解，采用Q-learning算法[20-21]，目标是使市场主体在多次互动决策中积累经验，逐渐收敛到最优决策，实现自身利润的最大化；针对内层的优化出清模型求解，采用路径跟踪内点法求解[22]，目标是使RIESO在互动决策中根据报价决策进行出清，并形成最小化全区域内用能成本的出清结果。
为验证所提双层互动决策模型的有效性，选取如附图2所示的RIES进行仿真分析，仿真程序通过Matlab R2016a编写，仿真计算机CPU为Intel（R）Core（TM）i5-6500H，RAM为16.0GB。RIES由IEEE 33节点配电系统与32节点供热系统耦合构成。MIEGI内部设备与设备运行参数见附表1。需要指出的是，CHP机组的成本函数与火电机组不同，其天然气耗量函数见文献[19]，对应关系为：MIEGI 1→机组2，MIEGI 2→机组3，MIEGI 3→机组1。CHP机组的电、热产能也非单纯的线性关系，典型CHP机组的运行域如附图3所示，其边际产能成本受运行点的影响，当其处于运行域边界时，机组的经济性会发生改变。
RIES内可再生能源出力预测曲线见附图4。系统内电、热节点负荷见文献[19]，其预测曲线见附图5。由于可再生能源出力与电负荷表现出明显的不确定性，根据文献[11]中的预测概率分布，设置净负荷预测置信度为85%，确定系统应对不确定性的灵活调节需求。IECA所拥有的IL与AL分别占区域内电、热负荷的20%，用电、用热变化满意度为0.3。配电批发市场电价为68＄/(MW·h)，天然气市场气价为380＄/(103m3)[23]。联合运行市场的竞价时段
，共96个竞价时段。
对模型外层所使用的Q-learning算法的参数设置如下：学习因子
为0.01；折扣因子
为0.8；搜索速度因子
为0.1。不同市场主体的中标容量状态区间根据其参与的市场种类进行组合：电、热能量市场容量步长为
、
为50kW，FRP市场容量步长
、
为30kW。在策略空间划分方面：电、热能量市场中的报价系数下限为1，步长为0.07，上限为1.7；报价容量步长与中标容量步长相同。
采用附图1所示算法求解所提模型中外层市场主体博弈结果和内层RIESO出清结果，模型互动决策过程如图4所示。各市场主体的Q值在92次学习之后即收敛到0，RIES用能成本也随博弈的进行而逐渐达到最低，博弈过程用时543.89s达到纳什均衡。
图4 多主体互动决策过程
Fig.4 Interactive decision-making process of multi-player
用能成本最低时的联合运行市场出清结果如图5所示，可据此分析各市场主体的互动决策机理。
1）在第41～50个竞价时段内，由于MIEGI 3中的光伏出力在短时间内增长很快，净负荷曲线向下变化，系统下行灵活调节需求增加，如图5c所示。在此时段，由于机会成本更低，MIEGI 1、MIEGI 3中的CHP机组与IECA中标，预留下行灵活调节容量，系统能够消纳更多的可再生能源，因此图5a中MIEGI 3的光伏出力接近最大值。同时，图5b所示热能出清结果中，由于CHP机组在运行域内热电比可调，各MIEGI通过优化出力，仍可以维持热能供需平衡。
图5 联合运行市场出清结果
Fig.5 Clearing results of the co-operating market
2）在第58～70个竞价时段内，图5c中系统上行灵活调节需求增加。此时MIEGI 1、MIEGI 3与IECA灵活调节能力不足，RIESO还向MIEGI 2分配了上行FRP中标容量，MIEGI 2中的CHP机组开机，如图5a所示。由于区域内电能供应可以平衡电能需求，RIESO向电力批发市场购买电能减少。图5b的热能出清结果中，由于MIEGI 2中的CHP机组处于附图3所示运行域的D点，热出力调节受限，RIESO基于维持联合运行市场供需平衡及优化用能成本，减少了MIEGI 3的中标热出力。
当模型外层的博弈结束时，市场主体MIEGI 1～3及IECA在竞价周期内的总中标情况见表1。
表1 竞价周期内各市场主体的总中标情况
Tab.1 Clearing results for all market players（单位：＄）
MIEGI 1MIEGI 2MIEGI 3IECA 电能市场1 701.531 418.541 352.15— 热能市场996.68307.73463.06— FRP市场10.7923.028.5050.23 运行成本2 429.111 298.161 317.15— 利润279.89451.13506.5650.23
MIEGI 1边际产能成本较低，不作为边际机组出清，在电、热能量市场中的中标量较高，收入也较高。MIEGI 2中的CHP机组由于边际产能成本较高，开机时会作为边际机组出清，因此在热能市场中的中标量要低于MIEGI 3。但由于其启动速度快，且具有快速调节能力，使得MIEGI 2倾向于参与FRP市场来提高利润。对于MIEGI 3，虽然因为光伏出力集中于白天，造成其在电能市场中的中标量较低，但由于产能成本低于MIEGI 2，所以利润更大。而相对于CHP机组，IECA作为机会成本更低的灵活调节资源，在FRP市场中具有较强的竞争力。
为验证联合运行市场机制下所提模型对提升RIES运行灵活性的有效性，从区域内可再生能源的弃风弃光量、RIES用能成本以及竞价周期内能源平均价格三个方面进行分析，设置以下三种情景：
情景1：市场主体为MIEGI 1、MIEGI 2、MIEGI 3，在电、热能量市场中竞价，仅考虑CHP机组在电、热能源上的耦合作用。
情景2：市场主体为MIEGI 1、MIEGI 2、MIEGI 3，在电、热能量市场与FRP市场的联合运行市场中竞价，仅考虑CHP机组在电、热能源上的耦合作用。
情景3：市场主体为MIEGI 1、MIEGI 2、MIEGI 3与IECA，在电、热能量市场与FRP市场的联合运行市场中竞价，考虑CHP机组在电、热能源上的耦合作用与能源替代负荷的电、热替代作用。
4.3.1 竞价周期内弃风弃光量对比
三种情景下可再生能源的弃风弃光量见表2。相比情景1，情景2的弃风弃光量减少46.88%。因为情景2引入FRP市场联合运行，激励各市场主体提供灵活调节资源，提高系统运行灵活性以消纳更多的可再生能源。而与情景2相比，情景3的弃风弃光量进一步减少13.60%，这是由于在IECA参与FRP市场的过程中，能源替代负荷在一定程度上改变了负荷的波动量，减少了系统为应对净负荷波动性的灵活调节需求，从而增加了可再生能源的消纳。
表2 可再生能源弃风弃光量对比
Tab.2 Comparison of renewable energy curtailment
情景弃风弃光量/(kW·h) 情景11 999.7 情景21 062.2 情景3917.7
4.3.2 竞价周期内RIES用能成本对比
三种情景下RIES的用能成本见表3。相比于情景1，情景2全区域内总用能成本下降了2.06%，情景3下降了3.85%。这是由于与情景1相比，情景2与情景3中能源市场的平均能源价格下降，电能与热能成本减少，RIESO向批发市场购买的电能减少，尽管增加了RIESO购买FRP的成本，但总用能成本仍然减少。另外，在情景3中，由于IECA的加入降低了RIESO购买FRP的成本，总用能成本进一步下降。
表3 RIES用能成本对比
Tab.3 Comparison of energy cost in RIES（单位：＄）
情景1情景2情景3 电能市场4 714.024 530.624 472.22 热能市场1 814.141 791.841 767.47 FRP市场—120.6992.54 批发市场187.53133.70125.12 总计6 715.696 576.856 457.35
4.3.3 竞价周期内能源平均价格对比
三种情景下竞价周期内电能、热能平均价格如图6所示。能量市场能源价格变化反映供能及负荷的波动。因此，相对于电能市场，由于热能市场的供热设备为MIEGI内部可调的CHP机组，其能源平均价格在竞价周期内波动较小。
图6a中情景1的价格尖峰时段分别在第28、43、47、67、71、80以及85个竞价时段。这是因为情景1中没有引入FRP市场机制，市场主体无法预留容量优化出力，造成系统可调度灵活调节资源较少：在系统对下行灵活调节需求增加时，无法消纳可再生能源，弃风弃光惩罚造成平均电价升高；在系统对上行灵活调节需求增加时，无法跟随负荷，尽管RIES可从批发市场购买电能，平均电价不会叠加切负荷惩罚，但批发市场电价较高，仍然提高了电能价格。
情景2中引入FRP机制后，尖峰电价出现时段减少，这是因为RIESO优化了出清结果，减少了弃风弃光量与批发市场电能购买量，降低了平均电能价格。从第43个竞价时段开始，MIEGI 2中的CHP机组停机，图6b中的第43～50个竞价时段内，情景2中的平均热能价格要显著低于情景1，这是由于MIEGI 2的停机造成出清节点能价变低。
图6 不同情景下电、热能量市场平均能价
Fig.6 Average energy prices under different cases
对比情景2，情景3中电能市场的价格尖峰全部消失，这是因为IECA在参与FRP市场后，进一步增加了RIES内的可调度灵活调节资源。而RIESO在进行市场出清时，更加倾向于将FRP中标容量分配给机会成本更低的IECA。在第43～58个时段内，RIES内的可再生能源消纳量增加，MIEGI 2的CHP机组在线时间被继续压缩，图6中电、热能量市场的平均能价也随之下降。
4.4.1 净负荷预测置信度敏感性分析
净负荷预测置信度反映了系统应对不确定性的灵活调节需求。为分析其对系统运行灵活性的影响，以情景3为基础，将置信度从70%以5%为步长增加至95%。图7为区域用能成本与弃风弃光量随置信度的变化趋势。
可以看出，随着置信度的增加，区域用能成本与弃风弃光量呈现先减少后增加的情况。这是因为当置信度超过一定阈值时，灵活调节资源已经无法满足系统的灵活调节需求，运行灵活性反而降低。另外，区域用能成本与弃风弃光量的变化并不同步，这是由于置信度为90%时要调用MIEGI 2的CHP机组满足灵活调节需求，导致运行成本增加。由此可见，选择合理的置信度确定系统的灵活调节需求，才能够最大限度地提高运行灵活性。
图7 置信度敏感性分析
Fig.7 Sensitivity analysis of confidence level
4.4.2 用电、用热变化满意度敏感性分析
为研究IECA参与FRP市场对博弈结果的影响，以情景3为基础，分别分析用户的用电、用热变化满意度与各主体利润之间的关联性变化规律。图8a为将用热变化满意度
固定为0.3，用电变化满意度
从0.15以步长为0.05逐渐增加到0.45时各主体的利润变化情况；图8b为将固定为0.3，从0.15以步长为0.05增加到0.45时各主体的利润变化情况。
图8 用电、用热变化满意度敏感性分析
Fig.8 Sensitivity analysis of se and sh
IECA参与市场后改变市场均衡，当系统有较高的灵活调节需求时能够有效减少购买FRP的成本，优化CHP机组的运行。因此随着、增加，IECA可参与FRP市场的容量增加，各MIEGI从FRP市场中获得的收益减少，从而各自的利润也呈现降低的趋势。但是当、大于0.40时，系统可调度灵活资源较为充足，RIESO优化后的出清结果不再改变，于是各MIEGI的利润不再继续降低。由于AL提供FRP的机会成本小于IL，因此的变化对各MIEGI的利润影响更大。
本文提出一种提升RIES运行灵活性的联合市场运行机制，在该机制下，建立外层多个市场主体博弈、内层RIESO出清的互动决策模型，通过算例仿真，得出如下结论：
1）将FRP市场引入电、热能量市场，建立联合运行市场机制，可以促进RIES内可再生能源的消纳，减少区域用能总成本，有效降低竞价周期内能源平均价格，从而显著提高RIES的运行灵活性。
2）建立含多市场主体的双层互动决策模型，能够有效求解联合运行市场均衡，互动决策结果表明FRP机制能够有效激励主体调度灵活调节资源参与FRP市场、优化竞价决策。
3）需求侧IECA具有提供FRP的能力，其参与市场在丰富市场主体类型的同时，进一步降低区域用能成本并优化机组运行，说明主体多样化的市场环境能够促进RIES联合运行市场的健康发展。
附图1 纳什均衡求解流程
App.Fig.1 Nash equilibrium solution process
附图2 区域电热综合能源系统
App.Fig.2 RIES of electrical-thermal energy
附表1 MIEGI内部设备运行参数
App.Tab.1 The operating parameter of each device in MIEGI
主体MIEGI 1MIEGI 2MIEGI 3 设备CHPCHP风电CHP光伏 节点E3E4E4E32E32 /kW1600800800800800 /kW60040004000 /(kW/15min)501000700 运行域/kWA(1550, 1550)(1 200, 700)—(1 200, 700)— B(0, 1600)(0, 800)—(0, 800)— C(0, 1200)(0, 500)—(0, 500)— D(600, 600)(600, 400)—(600, 400)—
附图3 CHP机组运行域
App.Fig.3 Operation region of CHP unit
附图4 RIES内可再生能源出力预测
App.Fig.4 Renewable energy output forecast in RIES
附图5 RIES内电热负荷预测
App.Fig.5 Electrical and thermal load forecast in RIES
参考文献
[1]余晓丹, 徐宪东, 陈硕翼, 等. 综合能源系统与能源互联网简述[J]. 电工技术学报, 2016, 31(1): 1-13. Yu Xiaodan, Xu Xiandong, Chen Shuoyi, et al. A briefreview to integrated energy system and energy-yinternet[J]. Transactions of China Electrotechnical Society, 2016, 31(1): 1-13.
[2]韩佶, 苗世洪, 李超, 等. 计及相关性的电-气-热综合能源系统概率最优能量流[J]. 电工技术学报，2019, 34(5): 1055-1067. Han Ji, Miao Shihong, Li Chao, et al. Probabilistic optimal energy flow of electricity-gas-heat integrated energy system considering correlation[J]. Transactions of China Electrotechnical Society, 2019, 34(5): 1055-1067.
[3]Wang Beibei, Hobbs B F. Real-time markets for flexiramp: a stochastic unit commitment-based analysis[J]. IEEE Transactions on Power Systems, 2016, 31(2): 846-860.
[4]郭鸿业, 陈启鑫, 夏清, 等. 电力市场中的灵活调节服务：基本概念、均衡模型与研究方向[J]. 中国电机工程学报, 2017, 37(11): 3057-3066.Guo Hongye, Chen Qixin, Xia Qing, et al. Flexible ramping product in electricity markets: basic concept, equilibrium model and research prospect[J]. Proceedings of the CSEE, 2017, 37(11): 3057-3066.
[5]王成山, 李鹏, 于浩. 智能配电网的新形态及其灵活性特征分析与应用[J]. 电力系统自动化, 2018, 42(10)：13-21. Wang Chengshan, Li Peng, Yu Hao. Development and characteristic analysis of flexibility in smart distribution network[J]. Automation of Electric Power Systems, 2018, 42(10): 13-21.
[6]王蓓蓓, 丛小涵, 高正平, 等. 高比例新能源接入下电网灵活性爬坡能力市场化获取机制现状分析及思考[J]. 电网技术, 2019, 43(8): 2691-2701. Wang Beibei, Cong Xiaohan, Gao Zhengping, et al. Status analysis and thoughts of market-oriented acquisition mechanism on flexible ramp capability for power grid with high proportion of renewable energy[J]. Power System Technology, 2019, 43(8): 2691-2701.
[7]Cornelius A. Assessing the impact of flexible ramp capability products in the midcontinent ISO[D]. Durham, North Carolina: Duke University, 2014.
[8]Wu Chengye, Hug G, Kar S. A functional approach to assessing flexible ramping products' impact on electricity market[C]//Proceedings of 2015 IEEE Power & Energy Society Innovative Smart Grid Technologies Conference (ISGT), Washington, 2015: 1-5.
[9]Chen Qixin, Zou Peng, Wu Chenye, et al. A nash-cournot approach to assessing flexible ramping products[J]. Applied Energy, 2017, 206: 42-50.
[10]Sreekumar S, Sharma K C, Bhakar R. Gumbel copula based multi interval ramp product for power system flexibility enhancement[J]. International Journal of Electrical Power and Energy Systems, 2019, 112: 417-427.
[11]林鸿基, 闫园, 文福栓, 等. 高比例可再生能源电力系统中计及灵活调节产品的实时调度[J]. 电力建设, 2019, 40(10): 18-27. Lin Hongji, Yan Yuan, Wen Fushuan, et al. Real-time dispatch considering flexible ramping products in a power system with high proportion of renewable energy generation[J]. Electric Power Construction, 2019, 40(10): 18-27.
[12]林凯骏, 吴俊勇, 刘迪, 等. 基于双层Stackelberg博弈的微能源网能量管理优化[J]. 电网技术, 2019, 43(3): 974-981. Lin Kaijun, Wu Junyong, Liu Di, et al. Energy management optimization of micro energy grid based on hierarchical Stackelberg game theory[J]. Power System Technology, 2019, 43(3): 943-981.
[13]郝然, 艾芊, 姜子卿. 区域综合能源系统多主体非完全信息下的双层博弈策略[J]. 电力系统自动化, 2018, 42(4): 194-201. Hao Ran, Ai Qian, Jiang Ziqing. Bi-level game strategy for multiagent with incomplete information in regional integrated energy system[J]. Automation of Electric Power Systems, 2018, 42(4): 194-201.
[14]施锦月, 许健, 曾博, 等. 基于热电比可调模式的区域综合能源系统双层优化运行[J]. 电网技术, 2018, 40(10): 2959-2966. Shi Jinyue, Xu Jian, Zeng Bo, et al. A bi-level optimal operation for energy hub based on regulating heat-to-electric ratio mode[J]. Power System Technology, 2018, 40(10): 2959-2966.
[15]Wei Feng, Jing Zhaoxia, Wu P Z, et al. A Stackelberg game approach for multiple energies trading in integrated energy systems[J]. Applied Energy, 2017, 200: 315-329.
[16]陈柏翰, 冯伟, 孙凯, 等. 冷热电联供系统多元储能及孤岛运行优化调度方法[J]. 电工技术学报, 2019, 34(15): 3231-3243. Chen Bohan, Feng Wei, Sun Kai, et al. Multi-energy storage system and islanded optimal dispatch method of CCHP[J]. Transactions of China Electrotechnical Society, 2019, 34(15): 3231-3243.
[17]王洪坤, 王守相, 潘志新, 等. 含高渗透分布式电源配电网灵活性提升优化调度方法[J]. 电力系统自动化, 2018, 42(15): 86-93. Wang Hongkun, Wang Shouxiang, Pan Zhixin, et al. Optimized dispatching method for flexibility improvement of distribution network with high-penetration distributed generation[J]. Automation of Electric Power Systems, 2018, 42(15): 86-93.
[18]Wang Qin, Hodge B. Enhancing power system operational flexibility with flexible ramping products: a review[J]. IEEE Transactions on Industrial Informatics, 2017, 13(4): 1652-1664.
[19]张义志, 王小君, 和敬涵, 等. 考虑供热系统建模的综合能源系统最优能流计算方法[J]. 电工技术学报, 2019, 34(3): 562-570. Zhang Yizhi, Wang Xiaojun, He Jinghan, et al. Optimal energy flow calculation method of integrated energy system considering thermal system modeling[J]. Transactions of China Electrotechnical Society, 2019, 34(3): 562-570.
[20]刘国静, 韩学山, 王尚, 等. 基于强化学习方法的风储合作决策[J]. 电网技术, 2016, 40(9): 2729-2736. Liu Guojing, Han Xueshan, Wang Shang, et al. Optimal decision-making in the cooperation of wind power and energy storage based on reinforcement learning algorithm[J]. Power System Technology, 2016, 40(9): 2729-2736.
[21]Zhang Xiaoshun, Bao Tao, Yu Tao, et al. Deep transfer Q-learning with virtual leader-follower for supply-demand Stackelberg game of smart grid[J]. Energy, 2017, 133: 348-365.
[22]王锡凡, 方万良, 杜正春. 现代电力系统分析[M]. 北京: 科学出版社, 2003.
[23]李昊飞, 余涛, 瞿凯平, 等. 综合负荷聚合商参与的配电—气能源系统供需互动均衡模型[J]. 电力系统自动化, 2019, 43(19): 32-41. Li Haofei, Yu Tao, Qu Kaiping, et al. Interactive equilibrium supply and demand model for electricity-gas energy distribution system with participation of integrated load aggregator[J]. Automation of Electric Power Systems, 2019, 43(19): 32-41.
Multi-Player Interactive Decision-Making Model for Operational Flexibility Improvement of Regional Integrated Energy System
Abstract With the large-scale of the micro energy network containing renewable energy integrated into the regional integrated energy system (RIES), its fluctuation and uncertainty confront the flexibility of the system with significant challenge. In view of this problem, a multi-player bi-level interactive decision-making model was proposed based on the co-operating market mechanism. Firstly, the flexible ramping requirements in RIES operation were specified, and the applicability of flexible ramping product (FRP) to meet the requirements was analyzed from the market aspect. Secondly, the FRP market was introduced to co-operate with the electrical and thermal energy market, then a co-operating market mechanism was carried out to stimulate the market players in both source and demand side to dispatch the flexible ramping resources. In order to solve the Nash equilibrium of the market, a multi-player interactive decision model of non-cooperative game of multiple market players in the external level and clearing of RIES operators in the internal level was established. Q-learning algorithm and path tracking interior point method were adopted to solve the external and internal layer models, respectively. Finally, a numerical example of combined electrical-thermal RIES was used to carry out a comparative analysis of multiple scenarios. The results show that the proposed method can reduce renewable energy curtailment, the total energy cost and the average energy price, thus improving the system operational flexibility effectively.
keywords：Regional integrated energy system, operational flexibility, flexible ramping product, co-operating market, interactive decision-making
中图分类号：TM732
DOI: 10.19595/j.cnki.1000-6753.tces.200337
国家重点研发计划资助项目（2018YFB0904800）。
收稿日期 2020-04-08
改稿日期 2020-08-06
王雪纯 女, 1994年生, 博士研究生, 研究方向为综合能源市场、电力系统运行与控制等。E-mail：wangxuechun@whu.edu.cn
陈红坤 男, 1967年生, 教授, 博士生导师, 研究方向为电力系统运行与控制, 电能质量分析等。E-mail：chkinsz@163.com（通信作者）
（编辑 赫蕾）