基于智能体建模的新型电力系统下火电企业市场交易策略

高比例新能源渗透情景下火电企业竞价策略研究对保障火电企业运营和推进新型电力系统建设具有重要意义。基于智能体建模框架，建立电力现货市场仿真模型和机组自学习决策模型。其中，环境模块建立了考虑源荷双侧不确定性的风光火储多方参与的电力现货市场出清模型；智能体模块将火电机组投标决策过程刻画为部分观测马尔科夫决策过程，采用深度确定性策略梯度算法求解。以HRP-38节点系统为例进行仿真分析，明晰高比例新能源下火电企业市场交易策略。结果表明：在不考虑火电机组提供辅助服务的前提下，随着新能源渗透率的提高，仍有部分位置独特且具有成本优势的火电机组拥有竞争力；预测误差增大将使大容量火电机组投标策略趋于保守，而小容量机组投标策略相反；火电机组在各类场景下均具有隐性共谋倾向，即彼此隐藏信息时仍同时提高报价。

（来源：中国电力 作者:李超英, 檀勤良）

0 引言

电力市场化环境下新能源规模化发展将带来市场主体利益格局的深刻调整。新能源发电短期运行边际成本接近零，将对电能量市场出清价格产生冲击。传统火电机组在电能量市场将逐步成为边际机组，其报价仍将持续影响市场出清价格水平。了解火电在电能量市场获取的收益水平，评估火电生存空间，可以为政府出台容量市场、辅助服务市场等政策提供支撑参考，助力新型电力系统建设。因此，有必要研究新型电力系统中，不同新能源渗透率下火电机组的电能量市场交易策略。

电力市场主体投标策略大多采用优化模型、均衡模型或仿真模型。关于优化模型方面，文献[1]通过计算发电站在市场出清时中标的概率来制定其投标策略；文献[2]研究线路堵塞对发电站投标策略的影响；文献[3]研究了价格需求响应的竞价方式对日前电力市场拥堵和局部节点边际电价的影响；文献[4]根据市场结构、拍卖规则和招标协议来制定投标策略。上述文献通常只关注系统中的特定市场参与者，主要在线路堵塞、价格需求响应、市场规则等单个影响因素下研究火电机组投标策略，将系统的其余部分简化为一组外生变量，难以分析各因素的组合影响，也简化了机组投标行为的不确定性。新能源的逐步并网使得发电侧出力曲线波动性增加，进一步增大了机组报价行为的不确定性，使得优化模型难以反映系统的复杂动态性。

关于应用均衡模型方面，多以事先假设的市场主体之间的合作与竞争关系为基础，再根据具体的博弈论原理研究机组的投标策略。常见的解决电力市场主体投标策略问题的模型有：以价格为博弈策略的伯川德模型[5]、以数量为博弈策略的古诺模型[2]、包含领导者和追随者的斯塔克伯格博弈模型[5-8]、以鲁宾斯坦博弈模型[5]为代表的完全信息动态博弈模型，以及联盟博弈模型[9-10]等。这些文献的局限性在于：一是博弈过程严格服从理论模型，刻画实际电力市场博弈过程有限；二是传统博弈论方法难以求解规模庞大的状态空间和动作空间的市场均衡问题；三是博弈模型不能结合电力系统网架结构，得到的电力市场主体投标策略未能考虑物理因素优势及限制。

仿真模型则在一定程度上解决了优化模型及均衡模型的缺陷。基于智能体的建模和仿真（agent-based modeling and simulation，ABMS）将电力市场的复杂性刻画为基于规则的智能体之间动态交互的集合，更关注局部互动向全域扩散的规律，体现了系统异质性、自治能力、显式空间、局部交互、有限理性和非平衡动力学等概念[11]。如今ABMS在电力领域被广泛用于研究智能电网[12]、电力市场机制[13-15]、发电企业投资决策[16-17]、企业市场力[18]等问题。在仿真模型中，电力市场交易规则、市场主体设置、不确定性问题的处理设置更加多样灵活，不做过多假设的情况下，模型中将考虑更全面的影响因素，失真率较低。

随着人工智能的发展，将博弈论和强化学习算法结合起来的智能博弈对抗技术为参与者众多、动态变化的复杂场景提供了有效分析工具[19]，其中博弈论能够提供有效的解概念来描述多智能体系统的学习结果，强化学习算法则为智能体的训练提供了可收敛性学习算法。强化学习算法例如Erev-Roth算法[20]、Q-learning[21-22]、深度确定性策略梯度算法（deep deterministic policy gradient，DDPG）[23-24]等均被逐步应用到电力市场交易策略的研究中。

对于新能源机组与传统火电机组共存的投标策略的研究，大多数文献设置了新能源高渗透率场景，并集中探究火电机组与其他类型电源的合作关系。如文献[25]基于合作博弈论建立风水火联合运营模型，通过不同合作模式和独立运营的对比分析表明风水火联营能够有效实现整体经济效益和环境效益最大化，并且有效解决弃风弃水和火电企业经营困难的问题。文献[26]通过建立考虑投标偏差惩罚的风火机组联合组成的两阶段随机整数规划竞价模型对风火联合竞价策略进行研究。文献[27]重点考虑风电的消纳问题，针对不同尺度的电力市场提出了不同的竞价优化交易策略模型，算例分析结果表明风电和火电联合参与电力市场会具有额外收益。

综上，目前有关火电企业交易策略的研究对市场环境与变量的刻画不全面，未考虑复杂动态的电力市场环境，同时没有采用仿真方法研究能源转型过程中不同新能源渗透率与火电机组投标策略的关系。为研究该问题，本文基于ABMS框架，建立多类型能源电力现货市场交易仿真模型。在假设发电企业之间彼此隐瞒信息的情况下，采用将环境交互与策略实时学习相结合的DDPG算法求解机组最优竞价行为，同时改写算法中原本的环境概念，将电力市场出清随机优化模型作为算法中的环境。在仿真过程中，环境模块的市场出清模型计算结果作为智能体学习的数据输入，智能体模块的投标决策输出作为市场出清模型的投标数据输入，环境模块与智能体模块不断交互迭代，机组将学习最优投标策略。以HRP-38节点系统为例进行模拟，研究不同新能源渗透率、不同预测误差以及有无储能等场景下火电机组的交易策略及收益情况，结果验证了模型的有效性，明确了高比例新能源渗透率下火电企业市场交易策略。

1 总体框架

ABMS通过设置和调整个体水平上的智能体的行为和互动模式，观察集体水平上的总体特征改变，精确而低成本地控制变量。基于ABMS框架，实现对实际电力市场的优化出清模拟。智能体与市场出清模型之间的交互模式如图1所示。仿真模型通过对发电系统、电网系统、电力负荷等市场参数的精细建模，采用考虑安全约束的机组组合和经济调度优化算法进行仿真出清，输出各类电源发电出力、节点边际电价、输电网阻塞和负荷购电成本等物理和经济性指标。将发电系统中的发电机组设置为智能体，机组的学习和决策行为建模为部分观测马尔科夫决策过程。通过优化模型参数和调整智能体行为来观察火电机组的交易策略和收益情况，进而观察市场总体变化。

图 1智能体与电力市场出清模型交互流程

Fig.1Flowchart of the agent interacting with the electricity market clearing model

2 电力现货市场建模

2.1 安全约束机组组合模型

安全约束机组组合模型以系统发电成本最小为目标，即

3 火电机组智能体模型

3.1 火电机组行为建模

4 算例分析

本文使用Python语言构建上述模型，采用Cplex求解器求解市场出清模型，采用Pytorch库搭建DDPG强化学习算法。

市场出清规则中，基于发电侧报量报价、系统负荷预测以及运行日电网运行边界条件，每小时为一个出清时段，对运行日的24个时段统一出清。市场出清模型中供给曲线由发电侧申报形成。火电机组申报三段非递减阶梯式价格以及对应发电量区间，在仿真模型中作为输入数据，其策略空间为该分段函数的1.0~1.5倍；风电、光伏报价设置为最低100元/(MW·h)；市场出清价格上限为1500元/(MW·h)。

4.1 场景设计

本文基于HRP-38节点系统自带数据，该系统包括38个节点、164条输电线路、44台火电机组、52台光伏机组和34台风电机组，其电源形态具备“高比例”可再生能源的特征，拓扑结构、机组装机及相关参数见文献[31]。

1）场景设置。

算例整体场景设置如表1所示。

场景0作为基础情景，根据全年8760 h数据，将系统新能源渗透率划分为40%~45%、55%~60%、65%~70%以及80%以上共4类场景，各场景分别拓展到1500天数据进行训练。用电负荷及风电、光伏出力均采用原始模拟数据作为预测值且根据目前实际水平设置预测误差。

场景1在基础情景上，考虑源侧不确定性下降。

场景2在场景0的基础上，每节点配置2 h独立储能，储能容量按照该节点15%风电机组容量、10%光伏发电机组容量计算加总。设置储能固定参数如下：模拟时间内起始和结束时段SOC均为30%，充、放电效率为92%，申报充电价格为150元/(MW·h)，放电价格为300元/(MW·h)。

2）智能体机组选择。

本文根据节点本身机组配置、周边区域各能源机组配置、输电线路容量配置等因素，选取了如表2所示4个典型节点进行分析。接入这4个节点的共计11台火电机组将作为智能体进行战略投标，表3展示了其运行参数。系统中的其余火电机组按照数据默认参数设置，投标按照边际成本曲线。

4.2 场景分析

考虑仿真结果的可信度，以下结果分析选用了从电力市场业务角度和模型计算角度均合理有效的实验结果共30次的均值。

4.2.1 场景0分析

以24 h节点负荷及节点电价作为状态信息进行训练，得到场景0中各智能体奖励曲线如图3所示。其中，场景0.3和0.4结果类似，故略去场景0.3对应图。收敛结果如表4所示，表中最佳报价为边际成本价倍数。各机组利润如表5所示，强化学习前后的结果分别对应标记为1、2。

图 3机组奖励曲线

Fig.3Units reward curve

注：表内数值为边际成本报价的倍数。

1）节点6。

节点6接入了6台火电和1台风机。根据仿真结果，随着新能源渗透率升高，节点6净流入电量增多，火电发电空间下降，6台火电不仅彼此之间凭借成本优势竞争，还与周围节点机组竞争。节点6强化学习前后出清电价的对比以及节点6接入的火电机组的出力结果对比如图4所示。图5为强化学习后输电线路潮流，纵轴正向电量表示流出。其中，场景0.3和0.4结果类似，故场景0.3对应图未列出。

图 4 节点6场景0优化结果

Fig.4 Optimization results of scenario 0 of bus 6

图 5 节点6输电线路潮流

Fig.5 Bus 6 transmission line power flow

场景0.1中，节点6在中午时段有电量净流入，其余时段电量净流出。18:00之后6台火电机组均开机，报价低的机组最多增发电量到第2段发电区间。中午时段新能源未完全消纳，火电机组挤占了新能源发电空间，有调峰缺口。强化学习后第一段报价较低的4台火电机组提高报价且到最高倍数，导致晚高峰时期节点电价有显著提高。上述现象说明当新能源发电量低时，系统对火电机组需求较大，按照满足晚高峰负荷的条件安排火电机组的最小开停机时间，火电作为晚高峰边际机组拥有提高报价的动机和提高报价后仍被调度的条件。

场景0.2中，节点6在大部分时段为电量净流入。强化学习后火电27、29提高报价的同时减少发电量，利润提升。例如火电27在中午节点电价低时段不发电减少亏损，晚高峰作为边际机组抬高节点电价增大收益。

场景0.4中，节点6全时段电量净流入，节点电价100元/(MW·h)的时段继续扩大。火电26和火电39为满足节点6剩余负荷而维持最小技术出力，但该机组与其他节点的机组相比竞争空间小，强化学习后策略为保持最低成本报价。