登录注册
请使用微信扫一扫
关注公众号完成登录
摘要
提出一种基于离线策略的安全强化学习方法,通过离线训练大量配电网历史运行数据,摆脱了传统优化方法对完备且准确模型的依赖。首先,结合配电网络参数信息,建立了基于约束马尔可夫决策过程的有功无功优化模型;其次,基于原始对偶优化法设计了新型安全强化学习方法,该方法在最大化未来折扣奖励的同时最小化成本函数;最后,在配电系统上进行仿真。仿真结果表明:所提方法能够根据配电网实时观测信息,在线生成满足复杂约束条件且具有经济效益的调度策略。
01 强化学习模型
1.1 ADN有功-无功协调调度模型
1.1.1 目标函数
本文从经济性出发,协调控制可投切电容器组(switchable capacitor banks,SCB)、有载调压变压器(on-load tap-changers,OLTC)、微型燃气轮机(micro-gas turbines,MT)、分布式储能系统(distributed energy storage system,DESS),使得ADN在总调度时段T内的运行成本最小。目标函数f为
1.1.2 约束条件
本文所构建优化调度模型的约束条件为潮流约束、节点电压幅值约束、线路传输功率约束、ADN与上级输电网的交互功率约束及各可调设备的运行约束。
1.2 基于CMDP的调度模型
02 基于原始对偶优化的安全强化学习
为求解CMDP的目标函数,本文通过引入拉格朗日乘子λ,将目标函数的不等式约束问题转化为无约束问题。基于原始对偶优化方法,在迭代中依次更新网络参数θ及对偶变量λk。
为求解CMDP模型,本文将原始对偶优化方法与DDPG算法相结合,提出一种基于PD-DDPG的ADN优化方法。
2)更新对偶变量及各项参数,具体可参考文献[20]。
2.1 离线训练流程
03 算例分析
3.1 算例设置
为验证所提安全强化学习方法在ADN有功-无功协调调度上的有效性,本文在修改的IEEE 123节点配电算例上进行验证。其中,节点23、121、42、40、116处接有光伏,装机容量均为100 kW。节点5、60、47、84、76处接有风电机组,装机容量均为100 kW。节点25、95、115处分别接入MT,节点21、57处接有DESS,DESS和MT的设备参数如表1所示。节点77、109处接入SCB,共有4个调节挡位,每档为300 kV·A,动作次数上限为5次。节点0、1之间接入OLTC,共有5个调节挡位;节点68、108之间,节点26、27之间,节点10、15之间分别接入OLTC,各有33个调节挡位;OLTC分接头每天动作上限均为6次,调节范围为–10%~10%。变电站容量上限为5000 kV·A。节点电压幅值约束范围为0.95~1.05 p.u.。总调度周期为24 h,以1 h为一个调度时段。本文算例基于CAISO2018—2020年的数据进行分析,前两年作为训练集,后一年作为测试集。本文工作基于pytorch框架实现,所提方法参数设置如表2所示。算例仿真在Intel(R) Core(TM) i7-11800H处理器2.30 GHz的工作站进行。
表1 DESS和MT设备参数
Table 1 DESS and MT equipment parameters
表2 所提方法参数设置
Table 2Parameter settings of the proposed method
3.2 离线训练表现
不同方法的离线训练和在线测试的平均耗时对比如表3所示。由表3可知,不同方法的在线测试时间均在1 s以内。PD-DDPG的离线训练时间更长,这可能是由于其算法结构复杂造成的。不同方法奖励和成本情况如图1~2所示,其中实线是平均值,阴影部分是波动范围。由图1~2可知,PD-DDPG的成本值接近于0,奖励值仅次于DDPG(ρ=1),但是DDPG(ρ=1)的成本值明显不能满足ADN安全运行。DDPG(ρ=10)、DDPG(ρ=20)的奖励成本值均劣于PD-DDPG方法。上述结果说明,ρ越小,DDPG越注重优化奖励项,而忽视成本项。PD-DDPG的性能最佳,能够在保证ADN安全的同时,最小化ADN日运行成本,避免了对惩罚系数的盲目选定,实现了拉格朗日乘子的自动学习。
表3 不同算法的训练和测试时间
Table 3Training and testing time of different algorithms
图1不同算法奖励值曲线
Fig.1Different algorithm reward value curves
图2不同算法成本值曲线
Fig.2Cost value curves of different algorithms
3.3 在线测试表现
在线决策阶段测试结果如图3~4所示。由图3可知,由于数据驱动方法随机性的存在,不能保证在测试过程中各智能体100%满足约束。PD-DDPG方法在大多测试集下成本值均接近0,能够满足配电系统的安全性。由图4可知,PD-DDPG方法和ρ=1、ρ=10、ρ=20的DDPG方法累计年运行成本分别为357.00万元、358.12万元、485.08万元、500.31万元。总体而言,PD-DDPG方法以最少的违反约束情况和最低的运营成本优于基于惩罚系数的DDPG方法。
图3在线测试成本值分布情况
Fig.3Online test cost value distribution
图4在线测试阶段运行成本
Fig.4Running costs during online testing phase
取测试集中某天数据进行测试,各类可调度资源有功调度结果如图5所示。由图5可知,00:00—04:00和11:00—14:00时段电价处于低谷且总负荷需求较小,MT有功功率减小,并随着可再生能源出力的增加进一步减小出力比例。同时,向上级电网的购电功率增加,DESS进行充电以备后续高峰时段,并就地消纳可再生能源,避免功率倒送。06:00—09:00和17:00—23:00时段电价处于高峰且负荷需求较大,可再生能源出力相对较低,ADN几乎不购电,MT有功出力上升。其中,节点95处的MT由于发电成本低而成为有功出力主力,DESS此时段放电,从而减小ADN运营成本。
图5有功调度结果
Fig.5Active power dispatch results
各类可调度资源的无功调度结果如图6~8所示。由图6可知,在负荷无功需求增多的05:00—10:00时段,MT增大无功补偿;在负荷无功需求减弱的16:00—17:00及23:00时段,节点109处的SCB减小挡位,避免过多的无功补偿造成节点电压升高;结合有功无功出力情况得到各个MT功率因数均在0.8以上。
图6无功调度结果
Fig.6Reactive power scheduling results
图7OLTC和SCB档位变化
Fig.7OLTC and SCB gear change
由图7OLTC和SCB档位变化可知,SCB和OLTC通过调节档位响应无功负荷需求,避免节点电压越限;调度周期内OLTC累积动作次数分别为0、3、4、4次,SCB的累计动作次数分别为0、4次,均在约束范围以内。由图8节点电压分布可知,节点电压在负荷减少时降低,在负荷增大时升高。在无功调压设备的协同动作下,各节点电压大都为0.975~1.000 p.u.,满足本文所建模型中的电压范围约束。
图8 不同节点的电压分布
Fig.8 Voltage distribution at different nodes
综上,经训练过的智能体生成的调度策略,能够根据电价和负荷需求,动态地调整DESS和MT出力,降低运行成本。此外,经无功调节设备的共同作用,改善了ADN电压质量。上述调度方式起到了削峰填谷的作用,减小了可再生能源波动性对ADN的干扰。
04 结语
本文针对ADN有功无功协调调度问题,基于原始对偶优化方法设计了新型DDPG方法,结合算例分析,本文所采用的离线策略算法,通过离线训练大量历史数据,能够在线生成调度结果,提升了电力系统决策效率。与此同时,避免了传统DRL方法对惩罚因子的敏感性,提升了ADN运行安全性。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
最近《人民日报》通过专访任正非对外释放了重要信号。其中也讲到了,AI竞争的背后,是要有充足的电力、发达的信息网络,而中国有这样的优势。可以说,AI的尽头是算力,算力的尽头是电力,这已成为科技行业的共识。本期「电网深谈」邀请了阿里云能源行业首席架构师黄振、浙江省电力负荷管理中心孙钢、浙
为深入贯彻《国家发展改革委国家能源局关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见》(发改能源规〔2025〕624号),近日,华东能源监管局向辖区内各级供电企业、增量配电网企业部署政策落实相关工作。华东能源监管局要求各级供电企业、增量配电网企业切实履行主体责任,结合实
北极星太阳能光伏网获悉,6月27日,吉林省发改委公布了《吉林省分布式光伏发电项目2025年3季度接入配电网可开放容量表》,表格显示,国网吉林电力有限公司辖区可开放容量为1325.13MW,吉林省地方电力有限公司辖区可开放容量为109.411MW,全省总计1434.541MW。
6月26日,成都市经信局公示支持供电公司配电网建设市级财政补贴资金审核结果。原文如下:关于支持供电公司配电网建设市级财政补贴资金审核结果的公示按照市经信局《关于组织申报2025年电力相关政策补助和奖励资金的通知》(成经信财〔2025〕3号)文件要求,我局组织申报了支持供电公司配电网建设市级财
在科技发展的浪潮中,无人机技术正以前所未有的速度重塑着众多行业的发展格局。电力领域,无人机正成为电网智能化升级的“标配”。通过无人机、智能算法与数字化平台的深度融合,为电力行业提供安全高效、精准、智能、可扩展的巡检解决方案。无人机巡检正努力实现从“单一巡检工具”到“全流程数智化巡
2005年前后,SmartGrid概念出现,欧美的SmartGrid选择了配网智能化、微电网、分布式电源、虚拟电厂的路径。中国的SmartGrid更强调集中投资,集中管理,特高压+风光大基地。路径没有对错,中国和欧美选择了当时各自合适的发展路线。时过境迁,新型电力系统的挑战,不仅来自“双高”,也就是高比例可再生
北极星输配电网获悉,6月15日,福建电网正式进入迎峰度夏保供电状态。根据预测,今年夏季福建电力保供总体形势为全省紧平衡,午、晚峰最高用电负荷预计为5780万千瓦、5500万千瓦,分别比增6.4%、6.9%。今年,国网福建电力共安排迎峰度夏基建工程20项,其中500千伏工程1项,220千伏工程5项,110千伏工程
安全是一切工作的基础,是发展之基、立企之本。国网新疆电力有限公司深入学习贯彻习近平总书记关于安全生产的重要论述和重要指示批示精神,全面落实新疆维吾尔自治区和国家电网有限公司安全生产工作部署,扎实开展安全生产治本攻坚三年行动,以“时时放心不下”的责任感、“安全一失万无”的危机感,不
北极星售电网获悉,6月23日,山西省能源局发布关于平鲁经济技术开发区增量配电网配电区域划分方案的公示。根据国家发展改革委、国家能源局《增量配电业务配电区域划分实施办法》(发改能源规〔2024〕317号),我局现将平鲁经济技术开发区增量配电网配电区域范围进行公示。公示内容:平鲁经济技术开发区
北极星输配电网获悉,6月24日,全户内混凝土海岛变电站—220千伏望海(金塘)输变电工程在浙江舟山金塘岛正式投运。据介绍,本次投运的望海变占地1.5万平方米,总投资达2.52亿元,可容纳4台240兆伏安主变压器,是浙江电网建设史上同等电压等级规模最大的跨海联网输变电工程。同时,望海变是舟山首座应
6月24日,江西省发展改革委关于进一步完善分时电价机制有关事项的通知。通知显示,根据不同季节电力供需形势和负荷特性,按季节对峰平谷时段进行调整。调整后的时段为:1月和12月:高峰(含尖峰)时段9:00-12:00、18:00-21:00,其中尖峰时段为18:00-20:00;低谷时段0:00-6:00;其余时段为
近日,国内首个多智能体协作的省级电网AI调度员“明月”在广东电网公司电力调度控制中心上线,实现了人工智能与电网调度业务深度融合,促进电网调度由“经验驱动型”向“智能决策型”加速转变。“明月,请帮我预测台风期间的电网风险……”在广东电网公司电力调度控制中心,调度员江里舟正在使用调度员
近日,安徽亳州市发展和改革委员会、国网安徽省电力有限公司亳州供电公司发布关于印发2025年亳州电网迎峰度夏电力负荷管理方案的通知。2025年迎峰度夏期间,亳州电网预计最大负荷约340万千瓦,同比增长11.66%(2024迎峰度夏年最大304.5万千瓦)。亳州市大中型企业少,峰期居民负荷占比65%以上,可调控
6月26日,宁波前湾新区经济和信息化局印发《2025年宁波前湾新区迎峰度夏电力保供方案》。其中提到,根据省电力公司预测,今夏全省全社会最高负荷约1.33亿千瓦,最大用电缺口800万千瓦,新区约占1/100,即最大缺口8-10万千瓦。方案中明确移峰填谷方案安排:1.方案安排2025年新区移峰填谷方案共安排移峰
北极星储能网获悉,6月26日消息,宁波前湾新区经济和信息化局发布《2025年宁波前湾新区电力保供专项补贴实施方案》,《方案》提到,临时性区域调峰(虚拟电厂)补贴标准,在响应下达时段内有效响应,有市场出清补贴价格的在浙江省电力交易平台成交价格基础上新区财政另外补2元/千瓦时,区域自发邀约响
日前,日立能源宣布将为浙江省能源集团(以下简称“浙能”)虚拟电厂智能结算业务提供全面的技术解决方案及咨询服务。该方案旨在通过数字化手段,为客户提供高效灵活的结算信息管理及策略应用服务,进而推进虚拟电厂有序融入电力系统的常态化运营,并为未来全面参与浙江省电力市场交易奠定基础。随着政
虚拟电厂聚合模式是高比例可再生能源新型电力系统中的重要灵活性调节资源。近年来,各国为解决因系统故障、预测偏差等造成的频率不稳定问题,往往需要设立市场化平衡管理机制,通过市场化手段获取系统平衡和辅助资源,从而保障系统频率稳定。不同国家平衡管理机制概念和内涵有一定差异,我国采用“辅助
盛夏来临,热浪席卷大江南北,多地用电负荷屡创新高。面对严峻的保供“烤”验,国家电力投资集团有限公司(以下简称“国家电投”)各区域公司员工坚守一线,以高度的责任感和科技化手段,打响迎峰度夏能源保供攻坚战,全力守护万家清凉与经济社会运转的“能量血脉”。一线鏖战稳发保供:传统能源与新能
北极星储能网获悉,6月25日,同心县桃山150MW/300MWh储能电站项目一标段入围公示。评标委员会推荐的前五名入围单位分别为上海电气电力电子有限公司、北京四方继保自动化股份有限公司、深圳市禾望科技有限公司、苏州汇川技术有限公司、天津瑞源电气有限公司。据招标公告显示,项目招标人为西藏树叶电源
近日,上能电气股份有限公司(以下简称“上能电气”)与土耳其领先的新能源公司ArdeEnerji正式签署框架合作协议。这是上能电气在土耳其市场再一次取得重要突破,也将进一步加速其在欧亚光储市场的战略布局进程。ArdeEnerji作为土耳其本土新能源领域的标杆企业,汇聚了一支拥有十余年行业积淀的专业团队
近日,全球领先的绿色科技企业远景能源宣布与欧洲可再生能源企业KallistaEnergy签署EPC(工程、采购和施工)协议。双方将在法国上法兰西大区(Hauts-de-France)萨勒(Saleux)地区萨勒(Saleux)地区建设一座120MW/240MWh磷酸铁锂(LFP)电池储能项目,这是远景能源在法国落地的首个独立储能项目,也
6月6日,湖北电力现货市场结束416天连续试运行后正式转正,成为国家第二批电力现货市场建设试点中首个实现正式运行的省级市场。湖北也成为全国第6个迈入现货市场正式运行的省份。自2021年纳入电力现货市场建设试点以来,湖北积极构建适应新型电力系统的市场化运行机制。立足“水风光三足鼎立、送受电双
最近《人民日报》通过专访任正非对外释放了重要信号。其中也讲到了,AI竞争的背后,是要有充足的电力、发达的信息网络,而中国有这样的优势。可以说,AI的尽头是算力,算力的尽头是电力,这已成为科技行业的共识。本期「电网深谈」邀请了阿里云能源行业首席架构师黄振、浙江省电力负荷管理中心孙钢、浙
今年6月25日是全国低碳日,主题是“碳路先锋、绿动未来”。近年来,江苏积极践行绿色低碳理念,有效发挥城市、园区、企业等不同主体的主动性和创造性,探索行之有效的经验做法,形成了一批可操作可复制可推广的发展模式和典型经验。现推出江苏绿色低碳发展创新实践企业篇:南京钢铁股份有限公司南钢积
6月25日,宁德时代与浙江省海港投资运营集团有限公司(以下简称“浙江省海港集团”)在宁德签署战略合作协议。双方将聚焦低碳港区与园区建设、船舶电动化、港口机械设备电动化和重卡充换电、仓储物流、电池回收等方面,共同探索并实践港口物流领域的“产业新能源化”发展路径,助力港口智慧绿色转型。
近日,国内首个多智能体协作的省级电网AI调度员“明月”在广东电网公司电力调度控制中心上线,实现了人工智能与电网调度业务深度融合,促进电网调度由“经验驱动型”向“智能决策型”加速转变。“明月,请帮我预测台风期间的电网风险……”在广东电网公司电力调度控制中心,调度员江里舟正在使用调度员
日前,南京市人民政府办公厅印发《南京市工业领域经认定的经营者(AEO)制度试点实施方案》(宁政办规字〔2025〕4号),以“免申即享”+“告知承诺”的方式,在工业领域试点推行经认定的经营者(AEO)分级行政检查制度。经认定,共726家工业企业获工业领域AEO制度首批试点企业资格。本次试点企业范围包
6月26日,中国能建首席专家,数科集团党委书记、董事长,工程研究院党委书记、院长万明忠与国网吉林省电力公司党委书记、董事长周敬东进行座谈,双方围绕新型电力系统、压缩空气储能绿色电站、数字化等方面展开深入交流,并达成广泛共识。万明忠代表数科集团,对国网吉林省电力公司长期以来给予的支持
碳市场是通过市场机制控制和减少温室气体排放、助力实现碳达峰碳中和的重要政策工具。6月25日,在2025年“全国低碳日”主题活动上,南方电网公司宣布启动内部碳市场建设,将逐步开展碳排放数据报送及核查,科学分配碳排放配额,构建抵消机制、内部碳信用机制、交易机制、市场调节机制,上线内部碳市场
指导单位:粤港澳大湾区洗涤商业联合会主办单位:广州加贝斯展览有限公司时间:2026年3月18日-20日地点:澳门威尼斯人金光会展A、B馆前言在全球化和可持续发展的浪潮下,清洁行业已成为城市现代化进程的核心驱动力。中国作为全球清洁产品的生产与出口大国,持续引领技术创新与市场拓展,国际竞争力日益
北极星碳管家网获悉,6月26日,工信部办公厅印发《关于深入推进工业和信息化绿色低碳标准化工作的实施方案》的通知。要点内容提炼如下:总体要求指导思想:以习近平新时代中国特色社会主义思想为指导,深入贯彻党的二十大和相关全会精神,贯彻新发展理念,落实中央经济工作会议和全国新型工业化推进大
在科技发展的浪潮中,无人机技术正以前所未有的速度重塑着众多行业的发展格局。电力领域,无人机正成为电网智能化升级的“标配”。通过无人机、智能算法与数字化平台的深度融合,为电力行业提供安全高效、精准、智能、可扩展的巡检解决方案。无人机巡检正努力实现从“单一巡检工具”到“全流程数智化巡
6月26日,中共中央办公厅国务院办公厅发布《关于全面推进江河保护治理的意见》。其中指出,加快推进西南地区水电基地建设,合理布局、积极有序开发建设抽水蓄能电站,实施小水电站绿色改造提升,推进水风光一体化基地规划建设。全文如下:中共中央办公厅国务院办公厅关于全面推进江河保护治理的意见(2
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!