基于多智能体强化学习的电-碳-绿证耦合市场下多市场主体行为研究

近年来，随着“双碳”目标的进一步推进，中国新能源装机比例逐年上升，截至2023年底，中国风电装机容量达到4.4亿kW，同比增长20.7%，太阳能发电装机容量达到6.1亿kW，同比增长13.9%，新能源装机容量占全国总装机容量的36%。目前，通过建立碳排放权交易市场（carbon emission trading market，CET，下文简称碳市场），以市场机制引导发电侧、用电侧自主优化减排方法，已经成为国际上最为主要的降碳减排策略之一。

《中国电力》2025年第4期刊发了周飞航等撰写的《基于多智能体强化学习的电-碳-绿证耦合市场下多市场主体行为研究》一文。文章在考虑用电企业纳入碳市场的基础上，着重研究绿证市场与碳市场之间的环境产品信息互通，探讨绿证与碳配额的抵消对耦合市场的影响。此外，现有研究大多数基于经济角度分析电-碳-绿证3个市场的耦合关系，而往往忽视了电能量作为特殊商品的属性。因此，本文构建了一个基于电网络物理节点的模型，以探讨在实际物理网络条件下的电碳证市场耦合问题。

来源：《中国电力》2025年第4期  作者：周飞航, 王灏, 王海利, 等

摘要

建立全国碳排放权交易市场和绿证市场是中国实现“双碳”目标的重要策略之一。然而，现有研究多从经济角度分析市场耦合关系，忽视了电力网络的物理约束以及新能源出力不确定性对市场协同优化的影响，且没有考虑电力用户进入碳市场的情况。针对这一不足，提出了一种基于物理网络节点的电-碳-绿证耦合市场双层优化模型，分析碳市场扩容背景下市场主体行为及耦合机制的变化。模型在电网物理拓扑结构的基础上，引入电力用户参与碳市场的决策机制，并结合绿证与碳配额的抵消规则，探索线路阻塞对市场主体决策的影响。使用蒙西地区新能源机组实际出力数据，验证所提模型的合理性与有效性。结果表明：电力用户纳入碳市场可显著提升耦合市场的整体收益；线路阻塞对市场主体行为及市场收益具有重要影响；在碳配额充裕条件下，引入碳证抵消机制能够进一步优化市场效率。

01绿色转型背景下的电-碳-绿证多市场耦合市场框架

在本文所建立的电力市场、碳市场和绿证市场的耦合市场中，市场主体主要分为3类：传统能源发电商、新能源发电商和用电企业。这些不同的市场主体参与的市场及其消费的商品各有区别。

传统能源发电商可以通过向用电企业出售电能，从而获得电力市场的收益。在碳市场中，传统能源发电商须参与碳配额交易。如果其减排能力较强且拥有多余的碳配额，可以将这些配额出售给减排能力较弱、碳排放超过免费碳配额的传统能源发电商，以此来增加自身的市场利润。此外，传统能源企业在一定程度上需要承担可再生能源消纳配额。在本文设定的市场中，传统能源发电商须购买占其发电总量的一定比例的等量绿证以完成考核任务。

新能源发电商可以通过在电力市场中出售电能和在绿证市场中出售绿证来获取收益。用电企业须向传统能源发电商和新能源发电商购买电能，以完成自身的生产任务。此外，用电企业还须参与碳市场，以避免因碳排放超标而面临高额惩罚。与传统能源企业类似，用电企业也须购买一定比例的绿证，以完成其可再生能源消纳任务。在碳证抵消机制下，市场主体还可以选择额外购买绿证以抵消碳排放。市场框架如图1所示。

图1  耦合市场框架

Fig.1  Coupled market framework

此外，鉴于新能源发电的不确定性，本文引入了偏差考核机制。当新能源发电商无法达到中标出力时，需要向传统发电商购买电力以完成目标；反之，当新能源实际出力超过中标出力时，将面临弃电惩罚。在本文中，因偏差考核所造成的损失将不计入传统能源发电商的收益。同时，传统能源发电商和用电企业的免费碳配额将按照标杆法进行计算。需要指出的是，用电企业属于大型工业企业，其在生产经营过程中存在用电量下限。如果用电量减少，将面临停工损失。

02电-碳-绿证多市场耦合模型

2.1  市场模型框架建立

本文构建了一个基于发电企业合作的双层优化模型。其中，上层是市场出清层，以社会福利最大化为目标，以网架结构等作为约束。下层是发电商以及用电企业决策层，共分为2个子模型，分别以发电企业利润最大化和用电企业利润最大化为目标，以机组特征、用电企业特征为约束条件。整体模型框架如图2所示。

图2  市场模型框架

Fig.2  Market model framework

2.2  上层优化模型

上层模型以社会福利最大化为目标，即总发电与用电成本最小化，目标函数为

式中：I为传统能源机组数量；W、P分别为风电、光伏发电机组数量；为第i个传统能源机组的成本；分别为第i个风电机组与光伏机组的调度成本；为用电企业在电力市场的购电成本；为用电企业碳市场成本；为用电企业购买绿证成本。

上层模型的主要约束如下。

1） 系统功率平衡约束为

式中：为第i台传统能源机组t时刻的出清电量；为用电企业在t时刻购买的传统发电电能量；为第i台风电机组t时刻的出清电量；为用电企业在t时刻购买的风力发电电能量；为第i台光伏机组t时刻的出清电量；为用电企业在t时刻购买的光伏发电电能量。

2） 市场报价与市场协议约束为

式中：分别为第i台传统能源机组最低和最高出清价格；分别为第i台风电机组最低和最高出清价格；分别为第i台光伏机组最低和最高出清价格；分别为传统能源机组、风电、光伏i在t时刻的出清价格；分别为t时刻用电企业对传统能源企业、风电、光伏在电力市场的电能量报价。

3） 物理网架结构约束。

市场主体的交易将基于电力网络框架进行，因此在进行交易时应考虑网架约束，本文中网架约束为

式中：分别为属于传统能源企业、风电、光伏企业的判别布尔变量，当发电商向用电企业输送电能的通道处于同一条通道时取1，处于不同通道时取0；S为节点间最小输送容量。

4） 可出售绿证约束。

新能源企业的绿证数量取决于其在市场上的出清电量，用电企业购买的绿证数量不可多于新能源企业的绿证数量，即

式中：为企业购买绿证数量；分别为风电、光伏企业生产绿证数量。

2.3  下层优化模型

下层模型分为2个子模型，分别以发电企业收益和用电企业收益为目标。

2.3.1  发电企业收益模型

本文中采用发电企业合作的场景，因此将不同发电企业利润总和最大化作为目标函数，即

式中：为传统能源机组i在电力市场中所获得的收益；为传统能源机组i总成本；为第i台风电机组在电力市场中所获得的收益；为第i台风电机组的总成本；为第i台光伏机组在电力市场中所获得的收益；为第i台光伏机组的总成本。

传统能源机组的收益主要来自在电力市场中电能出售，即

式中：T为24，代表以1 h为间隔的24 h时间段。

传统能源机组的成本主要来自发电燃料成本、碳市场成本、碳市场惩罚成本以及消纳配额任务成本，即

式中：分别为传统能源发电商的碳市场成本、发电燃料成本、消纳配额任务成本以及碳市场惩罚成本；为燃料成本计算系数；η为配额系数；为绿证价格；为碳配额价格；为第i台机组的总碳排放量；为第i台机组的免费碳配额；为在碳市场购买的碳配额；δ_i为碳排放因子；B_i、F_l,i、F_f,i分别为第i台机组的所属碳排放基准值、冷却方式系数以及出力修正系数，用于计算免费碳配额。

若传统能源机组的碳排放量过大，超过其拥有的免费碳配额以及从碳市场购买的碳配额时，会受到处罚，即

式中：为单位电量配额处罚成本。

新能源发电商的收益主要来自在电力市场中的电能量出售收益以及在绿证市场中的收益，即

式中：上标与分别表示风电机组与光伏机组；

新能源企业几乎不存在发电成本，因此在此模型中不考虑其发电成本，但是由于新能源本身的出力不稳定性，需要考虑其调度成本，分别为

式中：分别为风电和光伏发电的调度成本；ψ为调度系数；为调度罚金；分别为风电和光伏发电实际出力。

发电企业收益模型约束如下。

1） 机组出力约束为

式中：分别为第i台传统能源机组最小和最大出力；分别为风电机组i在t时刻的最小和最大出力；分别为光伏机组i在t时刻的最小和最大出力；、分别为新能源机组出力上、下限比例系数。

2） 机组爬坡能力约束为

式中：ϕ_i为传统能源机组i的爬坡能力限值。

2.3.2  用电企业收益模型

对于用电企业，将其作为单独的个体，以企业利润最大化作为目标函数，即

式中：为用电企业的收益；为用电企业停工惩罚。

用电企业的收益主要来自其购电后的生产收益，为

式中：为用电企业在t时刻购买的电量；E_t为用电企业在t时刻减去生产成本后的度电收益。

用电企业的购电成本为

用电企业购买绿证成本为

用电企业在碳市场的成本分为2种情况，当用电企业本身减排能力较好时，可以在碳市场出售多余碳配额帮助自己获利，即

式中：分别为用电企业排碳量和用电企业免费碳配额。

当用电企业减排能力较弱，市场上没有多余碳配额时，用电企业需要购买绿证对碳配额进行抵消，即

式中：ρ为碳证抵消系数。

用电企业对于用电存在连续性需求，当下一时刻所能使用电量减少时，企业内部会由于生产技术因素而产生损失成本，即

式中：ξ为用电企业停工惩罚；p_b,t为t时刻用电企业使用电量。

用电企业主要面临购电约束，存在最低用电量和最高用电量要求，即

式中：分别为企业i在t时刻的最低用电量和最高用电量。

03模型求解算法

多智能体双延迟深度确定性策略梯度（multi-agent twin delayed deep deterministic policy gradient，MATD3）是用于解决连续动作空间的强化学习任务，相较于其他多智能体强化学习算法，MATD3在混合系统与竞争环境下的表现更佳，能够处理多个智能体之间的复杂交互。在电力市场中，不同的市场主体可以视作一个智能体，在本模型中同时存在智能体间的合作与博弈关系，因此选择MATD3算法较为合适。

对于MATD3算法中，智能体的目标是寻找最优策略，让目标函数最大或最小化。MATD3包含2个策略网络，分别是优化策略网络和目标策略网络，并采用梯度算法对网络参数进行迭代更替，即

式中：、分别为Q函数的价值网络和策略网络参数；为目标函数对智能体的Actor网络参数梯度；表示对从经验回放缓冲区中采样的状态

价值网络和目标价值网络的参数通过时间差分法延迟学习，以为参数的价值网络损失值L()为

式中：γ为奖励的计算系数；是目标价值网络的参数；y_t为目标值；r_t为执行动作后获得的奖励；N为样本数。

为了减少算法在学习过程中所产生的偏差，设置了双Q值同时进行计算学习，并选择较小的Q值作为结果使用。同时为了解决过拟合问题，该算法选择向目标策略网络中添加随机高斯噪声ε，即

式中：()为截断函数；σ为噪声标准偏差；c为噪声幅值。

最后，策略网络与价值网络进行迭代求解，得到最优策略为

式中：τ为设置的学习率。

04算例分析

4.1  算例介绍

本文算例采用图3所示Matpower软件包自带的30节点电网，4个传统能源发电（G1~G4）、1个风力发电（W1）和1个光伏发电（PV1）以及一个用电负荷（B1）参与耦合市场竞争，G1~G4分别接入节点14、13、24、8，W1接入节点1，PV1接入节点2，B1接入节点10。风电、光伏发电出力上限分别为50 MW、60 MW，下限均为0 MW，新能源实际出力由某省新能源出力等比例换算得到；用电负荷相关参数参考电解铝行业。

图3  算例电网以及市场主体位置

Fig.3  Power network and market entity locations in the case study

4.2  场景设置

为了能够更加全面、清晰地研究电力市场、碳市场以及绿证市场耦合对于市场主体的行为以及市场结果影响，探究用电企业进入碳市场、线路阻塞以及碳证抵消机制对于市场的影响，本文共设置了以下5种场景。1）BASE，基础电碳证耦合市场情况，但不存在用电企业，不存在线路阻塞；2）UnBlock1，存在用电企业，不存在线路阻塞情况；3）UnBlock2，存在用电企业，不存在线路阻塞，且考虑碳证抵消机制；4）Block1，存在用电企业，存在线路阻塞情况；5）Block2，存在用电企业，存在线路阻塞，且考虑碳证抵消情况。

4.3  算法对比

为了验证所选的MDTD3方法在算例场景下具有更高的优越性，本文选择了同为强化学习算法的深度强化学习 （deep q-network，DQN）以及多智能体近端策略优化 （proximal policy optimization，PPO）进行对比分析，在Block1以及Block2场景下进行多次实验，分析在不同方法下迭代次数以及所用时间，结果如图4和表1所示，可以看出，MDTD3算法迭代次数更少，收敛速度更快。且MDTD3算法所用时间最短。综上所述，本文所选择的MDTD3算法在解决本文问题时更加具有优越性。

图4  不同方法迭代过程

Fig.4  Iterative process of different methods

表1  仿真时间

Table 1  Simulation time

4.4  结果分析

本文对5种场景进行了仿真模拟，新能源机组、传统能源机组以及用电企业在不同情况下的总收益与平均报价结果如图5~7所示。其中，在BASE情况下，因为仅仅将用电企业作为负荷，所以不考虑其收益与报价。

图5  新能源发电商在不同情况下总利润与平均报价

Fig.5  Total profit and average quotation of new energy power producers under different scenarios

图6  传统能源发电商在不同情况下总利润与平均报价

Fig.6  Total profit and average quotation of traditional energy producers under different circumstances

图7  用电企业在不同情况下总利润与平均报价

Fig.7  Total profit and average quotation of power-consuming enterprises under different scenarios

为了进一步对不同场景进行对比研究，本文设置了几个对照组，不同对照组的对照场景以及研究目的如表2所示。

表2  对照组设计表

Table 2  Design for the contrast groups

4.4.1  对照组1：用电企业的影响

对照组1通过比较BASE和UnBlock1场景，分析在不考虑网架结构和碳证抵消机制的情况下，用电企业的加入对不同发电企业市场主体行为的影响。相较于BASE情况，在考虑用电企业的情况下，UnBlock1场景下新能源发电企业整体利润提升了25.2%。具体而言，风电发电商的平均报价降低了6.2%，而光伏发电商的平均报价上升了5.7%。在传统能源发电商中，G1和G2机组的利润分别上涨了12.6%和3.7%，而G3和G4机组的利润分别下降了3.8%和2.4%。此外，G1~G3机组的平均报价有所上升，而G4机组的平均报价则出现下降。

由于引入了用电企业，新能源企业获得了来自用电企业关于可再生能源消纳配额的额外收益，进而导致利润上升；传统能源企业的利润变化主要体现在碳排放较低的机组（G1和G2）收益增加，而碳排放较高的机组（G3和G4）收益减少。可以看出，在不考虑输电通道的情况下，传统能源发电商为了降低碳市场中的整体成本，倾向于优先使用碳排放量较低的机组发电。因此，在新能源出力较低的凌晨和夜间时段，G1和G2机组的出力显著增加，收益有所增加。相反，G3和G4机组由于碳排放量较高，出力受限，导致其收益减少。

4.4.2  对照组2和3：碳证抵消机制的影响

1）对照2：不考虑网架结构的影响。

对照组2通过比较UnBlock1和UnBlock2场景，分析在存在电力用户但不考虑网架结构的背景下，碳证抵消机制对不同市场主体行为的影响。相较于UnBlock1工况，UnBlock2工况引入了碳证抵消机制。用电企业的收益显著增加，平均报价提升了18.7%。新能源企业的总体收益及平均报价变化不大，而传统能源企业的平均收益普遍上涨，其中G1和G2机组的上涨幅度较大，分别为12.7%和9.9%；G3和G4机组则略微上涨，分别为5.4%和1.8%。

在引入碳证抵消机制后，用电企业在碳市场中的成本大幅降低，因此可以选择在同一时段内消耗更多电量以增加生产，提升收益。由于用电需求增加，电力市场的出清电量也随之上涨。因为新能源企业在凌晨和夜间的出力不稳定，传统发电机组在这些时段的出力显著增加。考虑到线路阻塞问题被忽略，且G1~G4机组在输电能力上无差异，发电商优先选择碳排放较小的G1和G2机组进行发电，剩余电力缺口则由G3和G4补充。因此，G1和G2机组的收益显著增长，G3和G4机组的收益则略有增加。

值得注意的是，虽然市场对绿证的需求增加，但由于未考虑碳证抵消机制，市场上购买的绿证仅来自可再生能源消纳责任权重部分，而没有额外自主购买的需求，因此绿证供过于求。虽然引入了碳证抵消机制，但并未直接增加新能源企业的出清电量。由于用电企业对电力稳定性的需求较高，电网在调度时优先选择了传统能源机组，导致新能源机组的出力相对减少。这种情况下，尽管市场对绿证的需求增加，由于可再生能源出力下降，新能源企业的电力市场收益减少。然而，由于现有绿证供给充足，新能源企业的绿证市场收益有所提升，但整体收益仍因电力市场收益减少而受到影响，

2）对照组3：考虑网架结构的影响。

对照组3通过比较Block1和Block2场景，分析在存在电力用户且存在线路阻塞的背景下，碳证抵消机制对不同市场主体行为的影响。相较于Block1场景，Block2场景考虑了碳证抵消机制。在Block2场景下，用电企业的收益增加了7.8%，传统能源发电商的整体收益提升了15.9%，而新能源发电商的总体收益则大幅下降了9.8%。

相比对照组2，在引入电碳抵消机制后，用电企业在碳市场中的成本显著降低，选择购买更多电能以提高生产能力，导致其收益上升。传统能源企业的出力稳定性帮助用电企业避免因停工受到的惩罚，因此用电企业更倾向于使用传统能源，推动传统能源企业整体收益上升。然而，相较于UnBlock2场景，碳排放量较高的G3和G4机组由于具备输电通道容量优势，能够在市场上出清更多电能，从而获得更高利润，导致G3和G4机组的收益涨幅大于G1和G2机组。同时，新能源机组的出力受限于输电通道容量和传统发电机组的出清量，导致其整体出力下降，利润进一步减少。

4.4.3  对照组4：网架结构的影响

对照组4的对照对象分别为Block1和UnBlock1场景。相较于UnBlock1场景，Block1场景引入了线路阻塞情况。在Block1场景下，用电企业的收益下降了3.6%，新能源企业的整体收益下降了5.7%。尽管传统能源企业的整体收益未发生显著变化，G3和G4机组的收益却明显上升，分别增加了6.5%和9.8%。

由于线路阻塞的发生，新能源发电机组及G1和G2机组的输电量受到限制，尽管G1和G2机组具有价格优势，但G3和G4机组的出清电量增加，竞争压力减小，报价上升，最终收益上涨。同样，线路阻塞进一步降低了本已受限于出力不稳定的新能源机组的出清电量，导致其收益减少。此外，传统能源企业和用电企业的发电量和用电量减少，绿证出售量下降，导致新能源企业的总收益降低。对于用电企业，由于线路阻塞导致可用电量减少，生产收益下降；同时，因更多电量来自报价较高的G3和G4机组，导致用电成本增加，最终导致其总收益下降。

4.5  碳市场扩容下关键参数敏感性分析

为了进一步探求碳配额价格以及绿证价格对整体市场的影响，本文在Block2场景背景下设置了碳配额价格在90~110元/t范围内以步长5元/t递增、绿证价格在15~30元/张范围内以步长5元/张递增的多种算例场景，分析碳配额价格以及绿证价格对于市场的影响。

碳配额价格以及绿证价格对于发电企业以及用电企业的整体收益影响如图8、9所示。

图8  发电企业整体收益变化趋势

Fig.8  Overall revenue variation trend for power generation enterprises

图9  用电企业整体收益变化趋势

Fig.9  Overall revenue variation trend for power-consuming enterprises

由图8、9可知，随着碳配额价格和绿证价格的增加，发电企业以及用电企业的收益均会增加，且不同发电机组以及用电企业的收益变化趋势与4.4节分析结果保持一致，这说明该范围内的变化并不会影响市场出清结果，且市场收益的变化与碳配额价格和绿证价格呈线性关系。

05结论

本文基于物理节点网络，建立了基于多智能体强化学习的电碳证耦合市场模型，研究了在碳证抵消机制下的市场主体博弈模型。通过分析不同市场参与情境下主体的报价行为及收益影响，进行了算例仿真分析以验证所提模型的合理性。得出如下主要结论。

1） 在电碳证耦合市场中考虑用电企业竞价，能够优化发电商的市场行为决策，并促进其报价均衡。通过可再生能源消纳配额的实施，加入用电企业不仅能够提升新能源企业的市场收益，还可通过其独特的用电计划，促使传统能源发电商调整其发电策略。

2） 考虑网架结构对电碳证耦合市场中主体行为的影响较大。在实际线路阻塞的情况下，由于新能源出力不稳定，用电企业更倾向于选择传统能源机组。同时，新能源机组为避免高调度成本，在发生线路阻塞时会主动减少市场出清电量，防止成本进一步上升。输电线路的容量对整体市场行为有显著影响，尤其当低碳排放的新能源机组位于距离用电企业较远且输电容量有限的节点时，市场收益将受到较大影响。

3） 碳证抵消机制有助于提升用电企业和传统能源企业的利润。对用电企业而言，该机制能有效降低因超额碳排放而导致的亏损。在碳配额充裕的市场环境下，尽管传统能源企业无法通过购买绿证来减少碳排放成本，其在碳市场中的成本未发生显著降低，但由于用电需求增加，电力销售量上升，传统能源企业的收益也随之增长。

本文模型未考虑节点数更多的电网络模型的影响，以及不同机组位于不同节点时对市场的影响。此外，在绿色环境产品方面的研究较为浅显，未对绿证在耦合市场中的比例做出明确规定，且对于碳证抵消机制，未探讨碳市场中可被绿证抵消的碳排放比例。与此同时，抵消系数变化对市场主体交易的影响也未深入分析。以上问题将是未来研究的重点方向。