融合动态规划与模型预测控制的燃料电池无人机能量管理策略

全 睿1 刘大志1 管 鑫1 章国光1 全 琎2

(1. 湖北工业大学太阳能高效利用及储能运行控制湖北省重点实验室 武汉 430068 2. 武汉海亿新能源科技有限公司 武汉 430000)

摘要 为了降低燃料电池无人机的运行成本,延长其续航时间,该文提出一种融合动态规划(DP)与模型预测控制(MPC)的实时优化能量管理策略(EMS),对燃料电池无人机混合动力系统进行能量管理。通过马尔科夫链(MC)模型对飞行需求功率进行精确预测,构建了包含等效氢气消耗、锂电池衰减成本和燃料电池衰减成本的多目标优化代价函数,使用DP算法求解出预测时域内的最优功率分配序列,并且利用MPC的滚动优化机制实现全局实时优化。研究表明:在相同的锂电池初始荷电状态(SOC)和给定飞行工况条件下,基于DP-MPC的氢气消耗量为11.72 g,与MPC、等效消耗最小策略(ECMS)和状态机控制(SMC)相比,续航时间分别提高了5.39%、13.62%和3.05%;总运行成本分别降低了0.71%、6.12%和1.01%;混合动力系统的总效率分别提高了13.41%、16.74%和12.23%。此外,所提出的DP-MPC策略在面对负载功率波动时,直流总线电压平均波动低于0.01 V,为提高燃料电池无人机的经济性和耐久性提供了方法指导。

关键词:燃料电池无人机 动态规划 模型预测控制 马尔科夫链 运行成本

0 引言

2024年政府工作报告明确提出“积极打造低空经济等新增长引擎”,《通用航空装备创新应用实施方案(2024—2030年)》进一步将氢动力技术列为重点攻关方向,推动“新能源通用航空动力技术和装备”的创新突破。在政策与技术双轮驱动下,低空经济已形成以无人机(Unmanned Aerial Vehicles,UAV)、电动垂直起降飞行器(electric Vertical Take-Off and Landinge, VTOL)为核心载体的万亿级市场空间,其应用场景加速向物流运输、农林植保和应急巡检等民生领域渗透[1]

燃料电池技术因其能量密度高、零碳排放及低噪声等优点,正成为突破低空飞行器续航瓶颈的关键路径[2]。相较于传统锂电池的能量密度限制,燃料电池可显著延长无人机航时,完美契合《绿色航空制造业发展纲要》提出的“长航时、大载重”发展目标。特别是氢电耦合技术的推进,通过燃料电池与锂电池的协同供电,既满足无人机垂直起降阶段巡航功率的瞬时需求,又能实现跨区域运输的持续动力输出,已成为政策鼓励的核心技术路线。

目前,已经有多种燃料电池无人机能量管理策略(Energy Management Strategies, EMS)来协调氢电混合动力系统的功率分配,以控制混合动力系统中多个独立的动力源部件[3]。目前,主要分为基于规则的EMS[4]、基于深度强化学习的EMS和基于优化的EMS。基于规则的EMS,如基于确定性规则的EMS[5]和基于模糊逻辑的EMS[6],因其实用性强,在混合动力系统中得到了广泛的应用。但是,对于未知的工况条件和干扰,它很难得到全局最优的结果。此外,当运行工况改变时,原有的参数将不再适用,管理效果可能会很差。基于深度强化学习的EMS近几年来引起人们的关注,使用智能体与动态环境的交互来学习策略,但由于设备算力的约束通常很难在线实现[7]。基于优化的方法将EMS作为一个优化问题,其优化目标是能量消耗,或综合燃料电池和锂电池的衰减成本[8]。动态规划(Dynamic Programming, DP)是最典型的全局优化策略,已广泛应用于 EMS的开发并取得了较好的效果。Liu Chang等[9]提出了一种负载自适应实时能源管理策略,利用动态规划优化从四个负荷工况的优化结果中提取控制规则,从而提高系统的稳定性。基于优化的方法本身是计算密集型的,需要大量的插值来估计每个状态和每个输入变量的离散点的成本值,同时,在没有事先了解运行工况的情况下也难以在线实现。近年来研究人员提出了各种基于模型预测控制(Model Predictive Control, MPC)的EMS[10]。He Hongwen等[11]提出了一个基于MPC的EMS来分配功率流,在定义的寿命约束和电池荷电状态(State of Charge, SOC)限制下定义了目标函数并且达到很好的控制效果。

为了弥补基于优化的EMS在实时性方面的缺陷,将DP或庞特里亚金极小值原理(Pontryagins Minimum Principle, PMP)嵌入模型预测控制(MPC)受到了人们的重视。MPC将整个运行周期内的全局优化问题转化为预测范围内的局部优化问题,在解决能量管理问题上具有明显的优势[12]。为满足燃料电池无人机复杂工况的功率需求,本文充分发挥DP的全局优化和MPC的局部优化优势,提出了融合DP和MPC的实时优化能量管理策略,以等效耗氢、燃料电池和锂电池的衰退成本之和作为最终优化目标,通过工况预测对混合动力系统进行能量优化分配。

1 燃料电池无人机动力总成结构

燃料电池无人机一般由动力系统、飞控系统、机身系统、数据传输设备和机载设备等组成。其中,动力系统是无人机飞行的重要动力源,针对不同的应用场景和需求,可以设计不同的动力系统拓扑方案。本文选择燃料电池+锂电池的混合动力系统方案,图1所示是燃料电池无人机动力总成结构,以燃料电池为主能源,其能量通过单向DC-DC变换器输出到直流母线上。质子交换膜燃料电池(Proton Exchange Membrane Fuel Cell, PEMFC)系统由氢气供给系统、空气供给系统与电堆等组成,经减压净化的氢气在阳极催化层发生氧化反应。由风扇提供流量可调的空气在阴极催化层发生还原反应并输出直流电能,同时进行电堆温度调节。锂电池作为辅助能源,在燃料电池无人机需要大功率输出或者瞬态高负载需求时补充能量。

图1 燃料电池无人机动力总成结构
Fig.1 Powertrain structure diagram of FC UAV

2 系统建模

2.1 燃料电池模型

所选燃料电池参数及型号来自文献[13],在阳极催化剂的帮助下,氢被分解成两个相反的电荷。正电荷由质子组成,而负电荷由电子组成,带正电的质子从阳极移动并被吸引到阴极。另一方面,电子通过外部负载并在燃料电池的端子处产生电压差[14]。燃料电池内部发生了三种形式的电压损失:活化、欧姆和浓度差电压损失。针对这些电压损耗而言,燃料电池的输出电压Vcell[15]可表示为

式中,Vact为活化极化电压损失;Vohm为欧姆电压损失;Vcon为浓差极化电压损失;Enernst为热力学电动势,其方程式描述为

式中,T为燃料电池温度,K;pH2和 2Op分别为氢气和氧气的分压。活化极化电压损失为

式中, nξn=1, 2, 3, 4)为燃料电池模型的参数因子;I为燃料电池电流;CO2为氧气浓度,可表示为

由于燃料电池内部存在等效电阻Rohm会产生欧姆电压损耗,欧姆电压损失可表示为

式中,l为燃料电池的膜厚度;A为有效反应面积;R E为接触电阻; ρ m为电阻率,表示为

式中,λ 为膜的含水量。浓差极化电压损失表示为

式中,b为浓度损失系数;J为电流密度;Jmax为最大电流密度。燃料电池的电堆通常由N个单片燃料电池串联,因此电堆在输出端的电位差计算式为

利用Sim Power Systems(SPS)工具箱在Matlab/Simulink中根据上述公式建立了燃料电池无人机的混合动力系统模型,燃料电池堆仿真模型的相关参数见表1,由此得到的燃料电池的极化曲线如图2所示。

表1 燃料电池模型输入参数
Tab.1 Fuel cell model input parameters

参 数 数 值燃料电池电堆最大功率Pfc,max/W 4 500燃料电池电堆等效电阻Rohm/Ω 0.0973单片燃料电池开路电压Vcell/V 1.1969单片燃料电池数量N 42燃料电池电堆正常工作效率ηfc(%) 47工作温度T/K 328额定供应压力 2 2 p p 1.5, 1额定空气流量/(L/min) 2 400 H,O/kPa

图2 PEMFC的极化曲线
Fig.2 Polarization curves of PEMFC

2.2 锂电池模型

锂电池相对于其他类型电池(如镍氢、铅酸和镍镉)具有高比能量、高比功率、长寿命、低自放电率和低污染等优点[16]。在燃料电池无人机混合动力系统中,锂电池起到了削峰填谷的作用。燃料电池系统负责无人机的长时间高功率工作,锂电池则负责无人机的瞬间高功率工作。锂电池的快速响应和高能量密度使其能够应对燃料电池系统在无人机加速和爬升等瞬态工况下的能量需求,同时有助于提高燃料电池系统的效率和稳定性。

本文采用的锂电池模型是基于更新的Shepherd曲线拟合模型,如图3所示。此外,为保证仿真的稳定性,使用滤波后的锂电池电流i*计算极化电阻Rpol,锂电池的电压[17]可表示为

图3 锂电池模型
Fig.3 Lithium battery model

式中,E0为锂电池的开路电压;Rint为其内部电阻;Qit=∫idt分别为锂电池容量和实际充电量;K为极化常数;HB分别为电压弛豫效应的初始幅值和时间常数。锂电池能量的消耗与存储并非完全线性过程,为了真实反映能量管理过程中锂电池的能量变化,引入了SOC,即

式中,Pb,kk时刻的锂电池输出功率; bη 为锂电池的效率(定义充电时为0.95,放电为1)。

3 能量管理策略

3.1 传统的能量管理策略

能量管理策略是以特定方式来优化和分配燃料电池与锂电池之间的功率需求,将锂电池的SOC保持在适当范围内同时减少氢气的消耗。常见的基于规则的能量控制策略包括经典PID、等效消耗最小策略(Equivalent Consumption Minimization Strategy,ECMS)和状态机控制(State Machine Control,SMC),各种策略都有自身的特点。

3.1.1 状态机控制策略

图4 所示是状态机控制策略,是由六个状态组成的[18],燃料电池的输出功率由负载需求功率Pload大小和锂电池的SOC共同决定。这些状态包含了燃料电池无人机不同的任务需求,比如起飞、巡航、下降和着陆等。为了实现更有效的控制,控制策略需要定义以下阈值:最大锂电池SOC(SOCmax= 0.9)、最小锂电池SOC(SOCmin=0.3)、锂电池充电的充电功率(Pchar=1 500 W)、最大燃料电池输出功率(Pfc_max=4 500 W)、最小燃料电池输出功率(Pfc_min=0 W)和最优输出功率(Pfc_opt=2 000 W)。

图4 状态机控制策略
Fig.4 State machine control strategy

图5 所示为状态机控制框图,以锂电池的SOC和负载需求功率Pload作为输入变量,计算燃料电池的输出功率参考值Pfc_ref,然后通过DC-DC变换器输出,剩余的需求功率Pload-Pfc_ref通过控制锂电池提供。

图5 状态机控制框图
Fig.5 State machine control block diagram

3.1.2 MPC策略

MPC将全局优化问题转换成局部优化问题,图6所示是模型预测控制框图,将锂电池的SOC和负载的需求功率Pload作为输入变量。选择SOC作为状态变量,燃料电池功率为决策变量,假设预测时域内负载功率不变,将此能量分配问题转换为优化问题,即在约束条件下求解式(11)的优化问题。其中,求解方法采用二次规划,通过将原优化问题转换成标准二次规划形式求解。根据MPC原理,求解k时刻预测时域内的优化问题,得到最优决策向量,并将第一个决策变量 作用于燃料电池无人机混合动力系统,在下一个时刻重复以上过程直至得到整个工况的最优控制序列[19]

图6 模型预测控制框图
Fig.6 Control block diagram of MPC

式中,Jc为目标函数;X为决策变量向量;H为海瑟矩阵;f为梯度向量;lbub分别为决策向量的上、下限边界向量;A为约束矩阵;lbAubA分别为约束矩阵的上、下限边界向量。

3.1.3 等效消耗最小策略

等效消耗最小策略是在确保每个能源有效运行的同时,最大限度地减少燃料电池直接消耗的氢气总量,以及在每个采样时间内锂电池的等效消耗氢气量[20]。它不需要预测任务的先验数据,而是实时计算优化变量实现实时控制。当锂电池的SOC较低时,燃料电池为锂电池充电,通过消耗氢气来补充能量。相反,如果锂电池储存了足够的能量,它可以满足加速或爬升时负载功率的瞬时需求,从而减少氢气消耗。因此,锂电池输出的能量最后可转化为等量的氢气消耗,以解决氢气消耗最小化的问题。锂电池的等效氢耗量由其能量等效因子α 来控制,它取决于其SOC,并且可以表示为[21]

式中,β 为SOC的平衡系数;SOCmax和SOCmin分别为锂电池SOC的最大值和最小值。

ECMS的输入是锂电池的SOC和负载的需求功率,输出主要包括燃料电池和锂电池的参考功率。优化问题可定义为

式中,E为等效氢气消耗的能量; ΔT为采样时间。

优化问题的等式约束和变量边界条件为

式中,PfcPb分别为燃料电池功率、锂电池功率;Pb,minPb,max分别为锂电池的最小和最大功率;Pfc,minPfc,max分别为燃料电池的最小和最大功率。

3.2 基于DP-MPC 的能量管理策略

模型预测控制中的优化与通常的离散最优控制算法不同,不是采用一个不变的全局最优目标,而是采用滚动式的有限时域优化策略。

在每一采样时刻,模型预测控制根据该时刻的优化性能指标,求解从该时刻起的控制步长内的最优控制率。计算得到的控制作用序列也只有当前值是实际执行的,在下一个采样时刻又重新求取最优控制率。也就是说,优化过程不是一次离线完成的,而是反复在线进行(即在每一采样时刻,优化性能指标只涉及从该时刻起到未来有限的时间,而到下一个采样时刻,这一优化时段会同时向前推移)。通过滚动优化策略,始终在实际的基础上建立新的优化目标,兼顾了对未来有限时域内的理想优化和实际不确定性的影响,这要比建立在理想条件下的传统最优控制更加实际和有效。

在模型预测控制框架下,使用DP求解燃料电池无人机混合动力系统的能量管理问题,图7所示是基于DP-MPC的能量管理策略总体框图,分为离线训练和在线能量管理两部分。离线训练阶段,使用燃料电池无人机的典型飞行工况数据对构建的状态转移矩阵逐行索引和更新,形成可预测未来需求功率的马尔科夫预测器。在线能量管理阶段,根据构建好的马尔科夫预测器实时预测燃料电池无人机的需求功率,结合其混合动力系统配置,对锂电池和燃料电池的能量进行合理分配。设置控制步长和预测步长都为Np=5 s,采样周期ΔT=1 s。由于燃料电池为混合动力系统提供主要功率需求,本文将燃料电池输出功率的增量u(k)=ΔPfc(k) 设置为决策变量。此外,锂电池的SOC仅取决于初始SOC以及当前时刻前的功率累积效应(即无后效性),因此将锂电池的SOC设为状态变量x(k)=SOC(k),预测步长内直流总线上的需求功率设置为干扰项w(k)=[Pdc(k) Pdc(k+1) … Pdc(k+Np-1)]。在第k个预测步长内,对预测步长内每个时间步的运行成本进行量化,使用DP算法获得短期最优功率分配序列,然后将第一个元素作用于燃料电池无人机的混合动力系统,在第k+1个预测步长内按照相同的方法进行滚动优化获得以此类推从而实现整个运行过程的燃料电池无人机混合动力系统总运行成本最低。

图7 基于DP-MPC的能量管理策略总体框图
Fig.7 Overall block diagram of DP-MPC based energy management strategy

3.2.1 基于马尔科夫链的需求功率预测

如果一种状态未来的改变与它的历史无关,只取决于其当前值,那么该状态的演变过程便是马尔可夫过程。马尔科夫链(Markov Chain, MC)模型广泛应用于预测速度和功率需求[22]。燃料电池无人机在飞行过程中,假设其在任何时刻的功率需求状态与过去无关,需求功率便可视为一种随机变量,在飞行过程中需求功率的变化可以看作是一个马尔科夫过程。因此,构建马尔科夫链预测模型学习需求功率的变化规律可对其进行预测。构建一个与预测时域Np等长的观测时域L,并将观测时域内的状态标记为a(L- l),l∈{1, 2, 3, …, Np}。将观测时域中的第l步需求功率的导数状态a(L- l) 表示为ai,当前需求功率的导数状态a(L)表示为aj,则从aiaj的状态转换概率可表示为Tlij。根据其所具有的马尔科夫特性,它们满足公式

式中, 为在观测时域内从状态ai到状态aj的转换次数;为在观测时域内由状态ai启动的状态转换次数。

构建状态转换矩阵(State Transition Matrix,STM)序列TG={T1,T2,…,TNp },其中每个元素矩阵TlTGl∈{1, 2, 3, …, Np },是一个n×n维的状态转换矩阵,即

为便于执行状态转移矩阵序列的实时更新算法,引入状态转换频率的概念,将其定义为状态观测时域中既定状态转换发生的频率,即

式中,为从L- l步状态ai到当前状态aj的转换标志值为从ai到预测时域内任意状态的转换标志值。首先,将状态在[-3, 3]的范围内离散,并初始化状态转移概率Tlij,根据历史需求功率向量得到状态aj,遍历整个观测时域,依照式(17)通过确定状态转移是否发生(1或0)递推更新状态转换频率,最后根据式(15)由频率估计概率计算出从aiaj的状态转换概率Tlij。在观测时域下取每个时间步的需求功率导数状态aj,计算其在相应状态转换矩阵行下的期望值为

式中,a(L+l)为预测时域中第l步的需求功率导数。每一步的预测需求功率P(L+l)可表示为

3.2.2 目标函数与约束

为了降低燃料电池无人机的运行成本,设计了多目标优化性能指标,该指标综合了氢气消耗和各动力源的衰减情况[23]。在第k个预测步长中,燃料电池无人机混合动力系统的总运行成本函数表示为

式中, Hγ 为氢气价格, Hγ =34.4元/kg; γbat为锂电池组价格,γ bat =1 030.5元/kW; fcγ 为燃科电池电堆价格, fcγ =515.3元/kW;γ 为SOC权重系数,γ为燃料电池无人机混合动力系统的等效耗氢量,计算式为

式中,等号右侧第一项为燃料电池的实际耗氢量,第二项为锂电池引起的额外耗氢量。ηfc为燃料电池的效率;LH2为氢气低热值。燃料电池的衰退成本主要与启停循环、高负荷、低负荷和负荷转换相关[24],假设引起其退化的所有因素相互独立,燃料电池的衰退成本可表示为

式中,αon-off为每次启停时燃料电压的下降率;αhigh为高负荷(高于其最大功率的80%)时燃料电池的衰减率;αlow为低负荷(低于其最大功率的20%)时燃料电池的衰减率;αhigh_eff为燃料电池在20%~80%功率区间的衰减率;αshift为负载转换时的衰减率;NcycleThighTlowNshift分别为启停循环次数、高负荷持续时间(h)、低负荷持续时间(h)和负荷转移量(kW);ΔUEOL,fc为燃料电池从全新状态到寿命终止状态的最大电压衰减值。此外,锂电池的衰减成本可表示为

式中,Eb为锂电池的能量容量(486 W·h);SOH(k)为k时刻锂电池的健康状态(State of Health, SOH),可表示为

式中,icellQcell分别为单个电池的电流和容量;NEoL(c)为充放电倍率为c时锂电池从全新状态运行到寿命终止所能完成的充放电循环次数。

上述运行成本还加入了锂电池SOC的约束项为

式中, 为预测步长为Np时,第k秒锂电池的充电或者放电电流,该项用于控制锂电池的充放电程度,以此来约束终点SOC与其他优化策略。

在运行过程中,由于燃料电池无人机混合动力系统各个部件受到自身物理特性或安全可靠性的限制,对燃料电池的输出功率和变化率约束为

式中,Pfc,min=0 W,Pfc,max=4 500 W,ΔPfc,max=-ΔPfc,min=1 000 W。此外,对于锂电池,其约束条件为

式中,分别为锂电池的最大充电和最大放电电流。燃料电池无人机混合动力系统使用8个串联的18650磷酸铁锂电池(3.3 V/2.3 A·h)组成一个电池模组,8个电池模组并联构成486 W·h(26.4 V/18.4 A·h)的锂电池包。这里,

优化过程中SOC和SOH的约束条件为

式中,SOCmin=0.2,SOCmax=0.8,SOCini=0.65,SOHmin=0,SOHmax=1,SOHini=1。

3.2.3 基于DP的滚动优化过程

为了得到第k个预测步长的功率分配决策,需要解决以下有限水平优化问题:

式中,μfc为控制变量Pfc的离散可行域。由于F中的一些成本项不是Pfc的线性关系或者二次形式,因此式(29)是一个非线性优化问题。

图8 所示是基于DP的滚动优化流程,使用DP求解时具体步骤如下:

图8 基于DP的滚动优化流程
Fig.8 Flowchart of DP-based rolling optimization

(1)在预测时域kk+Np-1内,将优化问题划分为Np个子阶段{k, k+1, … , k+Np-1}, 并且将状态变量SOC在约束范围内进行离散化处理。

(2)根据上述目标函数和约束条件,首先从最后一个阶段k+Np-1逆行寻优,求出上一阶段k+Np-2的最小代价值,并记录获得最小代价F(k+Np-1)时对应的控制变量Pfc(k+Np-1),依次逆向计算直到第k阶段结束整个逆向寻优过程。

(3)从初始阶段开始正向搜索,根据k阶段的状态变量SOC(k),插值找到SOC(k)对应的最小代价值F(k)和燃料电池功率,根据状态转移方程(式(28))获得下一时刻的状态量SOC(k+1),重复上述操作直到k+Np-1时结束,获得预测时域内的最优功率分配序列

为了实现DP-MPC策略的实际应用,有必要减轻计算量,本文采用以下策略降低其计算复杂度:

(1)当锂电池SOC处于较高水平时,为了避免锂电池过充增加其衰减成本,需要控制锂电池放电单独为燃料电池无人机动力系统提供能量,此时燃料电池的输出功率为0。当决策变量固定时,直接将其应用于燃料电池无人机动力系统,无需进一步优化,避免了不必要的计算。

(2)在基于DP的滚动优化中,k时刻的控制量根据SOC(k)插值得到,然后根据状态转移方程(式(28))获得下一时刻的状态量SOC(k+1),重复上述操作直到k+Np-1时结束,获得预测时域内的最优功率分配序列MPC的原理是在得到最优控制序列后,将控制序列的第一个元素应用到系统中,即第一步有效。因此,DP在有限时域内完成搜索后,不需要通过正向搜索获得已完成的最优控制序列,只需要获得并输出第一时刻的最优控制量,从而减少了计算负担。

4 仿真结果与分析

4.1 工况预测

图9 所示是不同预测步长的状态转移矩阵,x轴和y轴分别为过渡前状态ai和过渡后状态aj

图9 不同预测步长的状态转移矩阵
Fig.9 State transition matrix for different prediction steps

状态转换矩阵概率分布随着预测步长的增加而变化,最终状态的转换概率主要分布在二维平面的对角线附近,表明状态转换的概率更新位置点在较小范围内收敛。通过计算当前状态在相应行下的期望值,可以得到一个可信度很高的优势值,这证明了状态转换矩阵循环更新的有效性。状态转移概率分布特征随着预测步长的增加而变化:当预测步长小于3 s时,状态概率分布呈现较为明显的对角分布特征,代表预测器可以在三步预测范围内根据状态转移矩阵输出优势值突出的预测结果;当预测步长大于5 s时,状态转移矩阵下的概率分布不再呈现明显的对角聚集特征,更多的状态转移概率集中在平面空间的中心扩散区域,并且随着预测步长的不断增大,状态分布范围不断扩大;当预测步长大于7 s时,状态转移矩阵下的概率分布不再呈现明显的对角聚集特征,更多的状态转移概率集中在平面空间的中心扩散区域,并且随着预测步长的不断增大,状态分布范围不断扩大,过大且均匀的概率分布区间会使状态支配值的预测可信度降低,进而降低预测精度。最终针对图1所示的飞行工况,设定预测步长为5 s,图10所示是选取的马尔科夫预测器其工况预测性能表现。

图10 基于马尔科夫链的工况预测性能
Fig.10 Cycle prediction performance using Markov chain

4.2 性能对比分析

各种能量管理策略下燃料电池无人机混合动力系统的性能表现如图11所示。ECMS能量管理策略在0~50 s、250~350 s期间,燃料电池输出更多的功率给锂电池充电,导致氢耗偏高。而SMC在250~350 s几乎提供了恒定的功率,无法适应负载功率的实时变化,这使得锂电池频繁地充放电。在MPC能量管理策略中,启动阶段(0~50 s)燃料电池的输出功率出现了较大波动,这主要与SOC的变化有关。在启动阶段(0~50 s之间),DP-MPC以最低输出阈值启动,由于需求功率为零,这段时间给锂电池充电,其SOC缓慢上升。在加速爬升阶段(50~100 s之间),燃料电池以最大功率输出,锂电池则承担负载功率的实时波动,其SOC下降。在任务执行阶段(100~250 s),锂电池用于维持直流总线的功率波动,其SOC波动较大。在巡航阶段(250~350 s),得益于式(29)中的锂电池SOC约束项,锂电池的SOC被控制且停止输出,燃料电池给锂电池充电用于维持其SOC。由于ECMS和SMC缺少对于锂电池终端SOC的约束,为了便于对比,调整DP-MPC和MPC策略的锂电池终端SOC处于ECMS和SMC的之间。在启动和爬升模式中,对于负载需求功率的变化,基于DP-MPC的混合动力系统总线平均电压波动保持在0.01 V以内,更有利于延缓燃料电池的衰减。

图11 四种策略下混合动力系统的性能表现
Fig.11 Performance comparison of the hybrid power system using four strategies

4.3 效率和燃料电池功率概率分布

将燃料电池的工作点维持在高效工作区间,不仅能够提升其能量转换效率,还可以减少因低负荷或高负荷引起的衰退风险。图12所示是各策略的燃料电池输出功率分布概率和转换效率,横轴代表离散的燃料电池输出功率,左轴代表相应离散功率对应的概率,非阴影部分代表燃料电池的高效区间(900~3 600 W),右轴表示燃料电池的能量转换效率。得益于式(22)所示的燃料电池在高负荷和低负荷下施加了惩罚,基于DP-MPC策略的燃料电池工作点处于额定负载范围的概率为85.43%,相比于MPC、ECMS和SMC的76.86%、52.90%和57.00%,分别提高了11.2%、61.5%和49.9%。同时,基于DPMPC的燃料电池能量转换效率为56.8%,相比于MPC、ECMS和SMC的52.2%、55.4%和55.5%,分别提高了8.8%、2.5%和2.3%。

图12 各策略的燃料电池输出功率分布概率和转换效率
Fig.12 Power probability distribution and conversion efficiency of fuel cells using different strategies

混合动力系统的总效率为

图13 所示是各个能量管理策略的总效率变化,DP-MPC策略下的总效率为 83.46%,与 MPC(73.59%)、ECMS(71.49%)和SMC(74.36%)方法相比分别提高了13.41%、16.74%和12.24%,表明所提出的能量管理策略能有效提高燃料电池无人机混合动力系统的总效率。

图13 各个能量管理策略的总效率变化
Fig.13 Entire efficiency with various EMSs

4.4 运行成本分析

图14 所示是锂电池SOH的变化,基于DP-MPC的方法对锂电池SOH的影响处于MPC和SMC之间,经过一个工况后终值为0.999 6。四种策略下的运行成本如图15所示。从图15中可以看出,DPMPC策略下锂电池的衰减成本为0.165元,与ECMS和SMC的策略相比(分别为0.186元和0.168元)分别降低了11.29%和1.79%,在牺牲一部分锂电池损耗的情况下降低了等效氢耗、燃料电池衰减和总的运行成本。图15详细对比了上述给定工况下利用DP-MPC、MPC、ECMS和SMC四种策略时燃料电池无人机混合动力系统的运行成本。可见,利用DPMPC和SMC策略的等效氢耗成本最低为0.516元,与MPC和ECMS策略相比(分别为0.531元和0.552元)分别降低了2.82%和6.52%。图中燃料电池的衰减包括启停循环、高负荷、低负荷和负荷转换导致的损耗,DP-MPC策略的燃料电池衰减成本最低为0.301元,与MPC、ECMS和SMC的策略相比(分别为0.315元、0.308元和0.308元)分别降低了4.44%、2.27%和2.27%。

图14 锂电池SOH变化
Fig.14 SOH variation of lithium batteries

图15 四种策略下的运行成本
Fig.15 Running costs using four strategies

不同能量控制策略下燃料电池无人机的综合性能对比见表2。在氢气消耗方面,SMC策略消耗最低的原因是该方法没有对锂电池SOC加以约束导致锂电池SOC偏低,表明运行过程中锂电池输出了较多的能量,导致氢气消耗量最低。在几种对比策略中,基于DP-MPC的终端SOC值不是最小的,但是系统获得了较小的氢气消耗量(11.72 g),与MPC和ECMS相比,分别降低了3.86%和8.72%;基于DP-MPC的续航时间与MPC、ECMS和SMC相比,分别提高了5.39%、13.62%和3.05%。可见,提出的DP-MPC策略节省了氢气的消耗,能更有效地增加燃料电池无人机的续航时间。同时,对不同的EMS从等效氢耗、燃料电池和锂电池损耗成本和锂电池SOC变化等方面进行综合比较,通过式(20)得到各EMS下的总运行成本可知,DP-MPC策略的总运行成本最低为0.982元,相比于MPC、ECMS、SMC(分别为0.989元,1.046元和0.992元)分别降低了0.71%、6.12%和1.01%。造成这一结果的原因是DP-MPC策略根据工况可精准预测未来的需求功率,在预测步长内合理能量分配,使得燃料电池无人机混合动力系统的运行代价最低。

表2 不同能量管理策略的综合性能对比
Tab.2 Comparative performance with different EMSs

能量管理策略SOC(%)初始 结束氢耗/g 续航/min运行成本/元DP-MPC 65 64.83 11.72 125.1 0.982 MPC 65 64.55 12.19 118.7 0.989 ECMS 65 65.36 12.84 110.1 1.046 SMC 65 63.74 11.51 121.4 0.992

5 结论

本文建立了燃料电池无人机混合动力系统模型,提出了一种基于马尔科夫的速度预测器,在此基础上设计了一种包含等效氢气消耗、燃料电池衰减和锂电池衰减成本的多目标运行成本优化代价函数,并通过动态规划与模型预测控制相结合的能量管理策略实现了燃料电池和锂电池的功率优化分配。在给定飞行工况下,本文对提出的DP-MPC能量管理策略与MPC、ECMS以及SMC的策略进行了性能对比分析。得出主要结论如下:

1)通过比较不同步长的状态转移概率分布特征后发现,随着预测步长的增加而状态转移概率也相应变化。当预测步长小于5 s时,状态概率分布呈现较为明显的对角分布特征,当预测步长大于7 s时,状态转移矩阵下的概率分布不再呈现明显的对角聚集特征。

2)DP-MPC策略在给定工况下均能有效控制锂电池SOC的变化,避免了SOC的过度波动。同时,该策略下燃料电池的功率波动幅度明显小于MPC、ECMS和SMC策略。

3)通过分析燃料电池输出功率概率分布发现,DP-MPC策略下燃料电池高效区间的工作点占比最高为85.43%,相比于MPC、ECMS和SMC提高了11.2%、61.5%和49.9%。同时,DP-MPC策略的总效率最高为83.46%,与MPC、ECMS和SMC方法相比分别提高了13.41%、16.74%和12.24%。

4)本文所提出的DP-MPC策略能有效降低等效氢耗、燃料电池衰减成本,减少燃料电池的氢耗,使得燃料电池无人机的总运行成本最低,相比MPC、ECMS和SMC策略分别降低了0.71%、6.12%和1.01%;续航时间提高了5.39%、13.62%和3.05%。这些结果充分证明了所提出的DP-MPC能源管理策略在降低燃料电池无人机运行成本、提高其能量利用效率等方面具有明显优势。

5)所提出的能量管理策略框架主要在预设的标准飞行剖面下进行验证,未能充分考虑真实飞行环境中复杂多变的气流、气压等动态扰动因素的影响,这在一定程度上限制了其在复杂飞行工况下的普适性。未来的研究工作将重点聚焦于如何将实时外部环境信息深度融合到决策框架中,发展一种具有高自适应能力的预测性能量管理策略,从而显著提升燃料电池无人机在复杂场景下运行的鲁棒性和适应性。

参考文献

[1]高锋阳, 苏红宇, 查鹏堂, 等. 基于工况预测和动力源寿命衰减协同的燃料电池有轨电车能量管理策略[J]. 电工技术学报, 2025, 40(13): 4316-4329.Gao Fengyang, Su Hongyu, Zha pengtang, et al.Energy management strategy for fuel cell hybrid tram system based on driving cycle prediction and power source lifespan decay synergy[J]. Transactions of China Electrotechnical Society, 2025, 40(13): 4316-4329.

[2]陈冲, 贾利民, 赵天宇, 等. 光伏和储能植入铁路牵引供电系统的拓扑架构与控制策略研究综述[J].电工技术学报, 2024, 39(24): 7874-7901.Chen Chong, Jia Limin, Zhao Tianyu, et al. Research review on topology and control strategy of PV and energy storage connected to railway traction power supply systems[J]. Transactions of China Electrotechnical Society, 2024, 39(24): 7874-7901.

[3]高锋阳, 宋志翔, 高建宁, 等. 计及光伏和储能接入的牵引供电系统能量管理策略[J]. 电工技术学报, 2024, 39(3): 745-757.Gao Fengyang, Song Zhixiang, Gao Jianning, et al.Energy management strategies for traction power systems with PV and energy storage access[J].Transactions of China Electrotechnical Society, 2024,39(3): 745-757.

[4]Lei Tao, Yang Zhou, Lin Zicun, et al. State of art on energy management strategy for hybrid-powered unmanned aerial vehicle[J]. Chinese Journal of Aeronautics, 2019, 32(6): 1488-1503.

[5]胡春明, 闫丁洋, 刘娜, 等. 油电混合动力无人机能量管理策略的对比仿真研究[J]. 内燃机工程,2022, 43(4): 74-83.Hu Chunming, Yan Dingyang, Liu Na, et al.Comparison and simulation research on energy management strategies of oil-electric hybrid unmanned aerial vehicle[J]. Chinese Internal Combustion Engine Engineering, 2022, 43(4): 74-83.

[6]陈伟, 刘建宏, 任毅, 等. 基于模糊逻辑的增程式无人机能量管理策略研究[J]. 重庆交通大学学报(自然科学版), 2024, 43(1): 99-106, 124.Chen Wei, Liu Jianhong, Ren Yi, et al. Energy management strategy of extended range UAV based on fuzzy logic[J]. Journal of Chongqing Jiaotong University (Natural Science), 2024, 43(1): 99-106,124.

[7]Zhou Yujie, Huang Yin, Mao Xuping, et al. Research on energy management strategy of fuel cell hybrid power via an improved TD3 deep reinforcement learning[J]. Energy, 2024, 293: 130564.

[8]Song Ke, Chen Huan, Wen Peimin, et al. A comprehensive evaluation framework to evaluate energy management strategies of fuel cell electric vehicles[J]. Electrochimica Acta, 2018, 292: 960-973.

[9]Liu Chang, Wang Yujie, Wang Li, et al. Load-adaptive real-time energy management strategy for battery/ultracapacitor hybrid energy storage system using dynamic programming optimization[J]. Journal of Power Sources, 2019, 438: 227024.

[10]Zhou Shiyao, Chen Ziqiang, Huang Deyang, et al.Model prediction and rule based energy management strategy for a plug-in hybrid electric vehicle with hybrid energy storage system[J]. IEEE Transactions on Power Electronics, 2021, 36(5): 5926-5940.

[11]He Hongwen, Quan Shengwei, Sun Fengchun, et al.Model predictive control with lifetime constraints based energy management strategy for proton exchange membrane fuel cell hybrid power systems[J]. IEEE Transactions on Industrial Electronics,2020, 67(10): 9012-9023.

[12]Zhou Lanqi, Yang Dongpo, Zeng Xiaohua, et al.Multi-objective real-time energy management for series–parallel hybrid electric vehicles considering battery life[J]. Energy Conversion and Management,2023, 290: 117234.

[13]Meiler M, Schmid O, Schudy M, et al. Dynamic fuel cell stack model for real-time simulation based on system identification[J]. Journal of Power Sources,2008, 176(2): 523-528.

[14]Quan Rui, Wu Fan, Wang Chengji, et al. Fault diagnosis in a current sensor and its application to fault-tolerant control for an air supply subsystem of a 50 kW-Grade fuel cell engine[J]. RSC Advances,2020, 10(9): 5163-5172.

[15]Gong Chengyuan, Xing Lu, Liang Cong, et al.Modeling and dynamic characteristic simulation of air-cooled proton exchange membrane fuel cell stack for unmanned aerial vehicle[J]. Renewable Energy,2022, 188: 1094-1104.

[16]李建林, 彭禹宸, 王茜, 等. 锂离子电池建模研究现状与展望[J]. 发电技术, 2025, 46(5): 857-871.Li Jianlin, Peng Yuchen, Wang Qian, et al. Research status and prospect of lithium-ion battery modelling[J]. Power Generation Technology, 2025, 46(5): 857-871.

[17]赵珈卉, 田立亭, 程林. 锂离子电池状态估计与剩余寿命预测方法综述[J]. 发电技术, 2023, 44(1): 1-17.Zhao Jiahui, Tian Liting, Cheng Lin, et al. Review on state estimation and remaining useful life prediction methods for lithium-ion battery[J]. Power Generation Technology, 2023, 44(1): 1-17.

[18]Sellali M, Betka A, Djerdir A, et al. A novel energy management strategy in electric vehicle based on Hself-gain scheduled for linear parameter varying systems[J]. IEEE Transactions on Energy Conversion,2021, 36(2): 767-778.

[19]Mariano-Hernández D, Hernández-Callejo L, Zorita-Lamadrid A, et al. A review of strategies for building energy management system: model predictive control,demand side management, optimization, and fault detect & diagnosis[J]. Journal of Building Engineering,2021, 33: 101692.

[20]Quan Rui, Li Zhongxin, Liu Pin, et al. Minimum hydrogen consumption-based energy management strategy for hybrid fuel cell unmanned aerial vehicles using direction prediction optimal foraging algorithm[J]. Fuel Cells, 2023, 23(2): 221-236.

[21]王辉, 严欢, 张晓滨, 等. 基于分数阶的锂电池SOC 和 SOH 联合在线估计[J]. 电源学报, 2025,23(2): 256-265.Wang Hui, Yan Huan, Zhang Xiaobin, et al.Joint online estimation of soc and soh for lithium batteries based on fractional-order models[J]. Journal of Power Supply, 2025, 23(2): 256-265.

[22]Lin Xinyou, Zhou Qiang, Tu Jiayi, et al. Self-learning Markov prediction algorithm based aging-oriented gradient drop power control strategy for the transient modes of fuel cell hybrid electric vehicles[J]. Applied Energy, 2024, 376: 124198.

[23]吴字强, 王伟, 黄亮, 等. 燃料电池稳态输出功率与效率的双目标优化[J]. 电源学报, 2019, 17(2): 32-39.Wu Ziqiang, Wang Wei, Huang Liang, et al. Biobjective optimization for steady-state output power and efficiency of fuel cell[J]. Journal of Power Supply, 2019, 17(2): 32-39.

[24]Chen Huicui, Pei Pucheng, Song Mancun. Lifetime prediction and the economic lifetime of proton exchange membrane fuel cells[J]. Applied Energy,2015, 142: 154-163.

Energy Management Strategy for Fuel Cell Unmanned Aerial Vehicles Integrating Dynamic Programming with Model Predictive Control

Quan Rui1 Liu Dazhi1 Guan Xin1 Zhang Guoguang1 Quan Jin2

(1. Hubei Key Laboratory for High-Efficiency Utilization of Solar Energy and Operation Control of Energy Storage System Hubei University of Technology Wuhan 430068 China 2. Wuhan Hyvitech Co. Ltd Wuhan 430000 China)

Abstract With the low altitude economy being incorporated into the national strategic emerging industry system, fuel cell unmanned aerial vehicles (UAVs) have become the core technology direction to break through the bottleneck of lithium battery range due to their high energy density, zero carbon emission, and longrangecharacteristics. However, the existing energy management strategies (EMSs) have contradictions between real-time and global optimization performance: rule-based methods (e.g., PID) are difficult to adapt to dynamic working conditions, the UAV′s arithmetic resources limit deep reinforcement learning strategies, and optimizationbased methods (e.g., dynamic programming) are globally optimal, but with high computational complexity, and cannot be applied in real-time. There is an urgent need for an EMSs that strike a balance between real-time performance and economic efficiency. Aiming at the challenge of fuel cell UAVs, such as high running cost and short fuel cell life, a real-time EMS integrating dynamic programming (DP) and model predictive control (MPC)is proposed, which aims to reduce the equivalent hydrogen consumption, extend the life of the powertrain system,and improve the operation time through multi-objective optimization.

Firstly, a Markov predictor that can predict the future demand power is formed by cyclic indexing and updating the constructed state transfer matrix (STM) row by row, using data from typical flight conditions of the UAV. Then, it predicts the UAV demand power in real time according to the constructed Markov predictor and rationally allocates the energy of the lithium battery and fuel cell in combination with the powertrain configuration of the hydrogen-energy UAV. During system operation, the proposedcost function is used to quantify the running cost of each time step within the prediction step. The DP algorithm is used to obtain the short-term optimal power allocation sequence, and then the first element is applied to the fuel cell UAV powertrain. Rolling optimization is carried out according to the same method within the next prediction step, aimingto achieve the lowest running cost in the entire operation process.The following conclusions can be drawn from the results:

Keywords:Fuel cell unamed aerial vehicles (UAVs), dynamic programming, model predictive control,Markov chain, running cost

中图分类号:TM911

DOI: 10.19595/j.cnki.1000-6753.tces.251126

国家自然科学基金(51977061, 51407063)和武汉市东湖高新区揭榜挂帅项目(2024KJB336)资助。

收稿日期 2025-06-30 改稿日期 2025-08-06

作者简介

全 睿 男,1984 年生,教授,博士生导师,研究方向为氢能与燃料电池。

E-mail:quan_rui@126.com

章国光 男,1964 年生,教授,硕士生导师,研究方向为汽车电动化。

E-mail:zhangguoguang@hbut.edu.cn(通信作者)

(1) After comparing the state transfer probability distribution characteristics of different step lengths, it is found that with the increase of the prediction step length, when the prediction step length is less than 3, the state probability distribution shows more obvious diagonal distribution characteristics, when the prediction step length is more than 5, the probability distribution under the state transfer matrix no longer shows obvious diagonal aggregation characteristics, and finally Np = 5 is selected as the prediction step length.

(2) By analyzing the probability distribution of fuel cell output power, the DP-MPC strategy has the highest percentage of operating points in the efficient interval of the fuel cell of 85.43%, which is 11.2%, 61.5% and 49.9%higher than MPC, ECMS, and SMC. Meanwhile, the DP-MPC strategy has the highest entire efficiency of 83.46%,which is improved by 13.41%, 16.74% and 12.23% compared to MPC, ECMS, and SMC, respectively.

(3) Based on the cost analysis, it is found that the DP-MPC-based EMS proposed in this paper can effectively reduce the total running cost of the UAV by 0.71%, 6.12% and 1.01% compared to MPC, ECMS, and SMC,respectively, and the operation time is improved by 5.39%, 13.62% and 3.05%.

(编辑 郭丽军)