登录注册
请使用微信扫一扫
关注公众号完成登录
摘要
提出一种基于离线策略的安全强化学习方法,通过离线训练大量配电网历史运行数据,摆脱了传统优化方法对完备且准确模型的依赖。首先,结合配电网络参数信息,建立了基于约束马尔可夫决策过程的有功无功优化模型;其次,基于原始对偶优化法设计了新型安全强化学习方法,该方法在最大化未来折扣奖励的同时最小化成本函数;最后,在配电系统上进行仿真。仿真结果表明:所提方法能够根据配电网实时观测信息,在线生成满足复杂约束条件且具有经济效益的调度策略。
01 强化学习模型
1.1 ADN有功-无功协调调度模型
1.1.1 目标函数
本文从经济性出发,协调控制可投切电容器组(switchable capacitor banks,SCB)、有载调压变压器(on-load tap-changers,OLTC)、微型燃气轮机(micro-gas turbines,MT)、分布式储能系统(distributed energy storage system,DESS),使得ADN在总调度时段T内的运行成本最小。目标函数f为
1.1.2 约束条件
本文所构建优化调度模型的约束条件为潮流约束、节点电压幅值约束、线路传输功率约束、ADN与上级输电网的交互功率约束及各可调设备的运行约束。
1.2 基于CMDP的调度模型
02 基于原始对偶优化的安全强化学习
为求解CMDP的目标函数,本文通过引入拉格朗日乘子λ,将目标函数的不等式约束问题转化为无约束问题。基于原始对偶优化方法,在迭代中依次更新网络参数θ及对偶变量λk。
为求解CMDP模型,本文将原始对偶优化方法与DDPG算法相结合,提出一种基于PD-DDPG的ADN优化方法。
2)更新对偶变量及各项参数,具体可参考文献[20]。
2.1 离线训练流程
03 算例分析
3.1 算例设置
为验证所提安全强化学习方法在ADN有功-无功协调调度上的有效性,本文在修改的IEEE 123节点配电算例上进行验证。其中,节点23、121、42、40、116处接有光伏,装机容量均为100 kW。节点5、60、47、84、76处接有风电机组,装机容量均为100 kW。节点25、95、115处分别接入MT,节点21、57处接有DESS,DESS和MT的设备参数如表1所示。节点77、109处接入SCB,共有4个调节挡位,每档为300 kV·A,动作次数上限为5次。节点0、1之间接入OLTC,共有5个调节挡位;节点68、108之间,节点26、27之间,节点10、15之间分别接入OLTC,各有33个调节挡位;OLTC分接头每天动作上限均为6次,调节范围为–10%~10%。变电站容量上限为5000 kV·A。节点电压幅值约束范围为0.95~1.05 p.u.。总调度周期为24 h,以1 h为一个调度时段。本文算例基于CAISO2018—2020年的数据进行分析,前两年作为训练集,后一年作为测试集。本文工作基于pytorch框架实现,所提方法参数设置如表2所示。算例仿真在Intel(R) Core(TM) i7-11800H处理器2.30 GHz的工作站进行。
表1 DESS和MT设备参数
Table 1 DESS and MT equipment parameters
表2 所提方法参数设置
Table 2Parameter settings of the proposed method
3.2 离线训练表现
不同方法的离线训练和在线测试的平均耗时对比如表3所示。由表3可知,不同方法的在线测试时间均在1 s以内。PD-DDPG的离线训练时间更长,这可能是由于其算法结构复杂造成的。不同方法奖励和成本情况如图1~2所示,其中实线是平均值,阴影部分是波动范围。由图1~2可知,PD-DDPG的成本值接近于0,奖励值仅次于DDPG(ρ=1),但是DDPG(ρ=1)的成本值明显不能满足ADN安全运行。DDPG(ρ=10)、DDPG(ρ=20)的奖励成本值均劣于PD-DDPG方法。上述结果说明,ρ越小,DDPG越注重优化奖励项,而忽视成本项。PD-DDPG的性能最佳,能够在保证ADN安全的同时,最小化ADN日运行成本,避免了对惩罚系数的盲目选定,实现了拉格朗日乘子的自动学习。
表3 不同算法的训练和测试时间
Table 3Training and testing time of different algorithms
图1不同算法奖励值曲线
Fig.1Different algorithm reward value curves
图2不同算法成本值曲线
Fig.2Cost value curves of different algorithms
3.3 在线测试表现
在线决策阶段测试结果如图3~4所示。由图3可知,由于数据驱动方法随机性的存在,不能保证在测试过程中各智能体100%满足约束。PD-DDPG方法在大多测试集下成本值均接近0,能够满足配电系统的安全性。由图4可知,PD-DDPG方法和ρ=1、ρ=10、ρ=20的DDPG方法累计年运行成本分别为357.00万元、358.12万元、485.08万元、500.31万元。总体而言,PD-DDPG方法以最少的违反约束情况和最低的运营成本优于基于惩罚系数的DDPG方法。
图3在线测试成本值分布情况
Fig.3Online test cost value distribution
图4在线测试阶段运行成本
Fig.4Running costs during online testing phase
取测试集中某天数据进行测试,各类可调度资源有功调度结果如图5所示。由图5可知,00:00—04:00和11:00—14:00时段电价处于低谷且总负荷需求较小,MT有功功率减小,并随着可再生能源出力的增加进一步减小出力比例。同时,向上级电网的购电功率增加,DESS进行充电以备后续高峰时段,并就地消纳可再生能源,避免功率倒送。06:00—09:00和17:00—23:00时段电价处于高峰且负荷需求较大,可再生能源出力相对较低,ADN几乎不购电,MT有功出力上升。其中,节点95处的MT由于发电成本低而成为有功出力主力,DESS此时段放电,从而减小ADN运营成本。
图5有功调度结果
Fig.5Active power dispatch results
各类可调度资源的无功调度结果如图6~8所示。由图6可知,在负荷无功需求增多的05:00—10:00时段,MT增大无功补偿;在负荷无功需求减弱的16:00—17:00及23:00时段,节点109处的SCB减小挡位,避免过多的无功补偿造成节点电压升高;结合有功无功出力情况得到各个MT功率因数均在0.8以上。
图6无功调度结果
Fig.6Reactive power scheduling results
图7OLTC和SCB档位变化
Fig.7OLTC and SCB gear change
由图7OLTC和SCB档位变化可知,SCB和OLTC通过调节档位响应无功负荷需求,避免节点电压越限;调度周期内OLTC累积动作次数分别为0、3、4、4次,SCB的累计动作次数分别为0、4次,均在约束范围以内。由图8节点电压分布可知,节点电压在负荷减少时降低,在负荷增大时升高。在无功调压设备的协同动作下,各节点电压大都为0.975~1.000 p.u.,满足本文所建模型中的电压范围约束。
图8 不同节点的电压分布
Fig.8 Voltage distribution at different nodes
综上,经训练过的智能体生成的调度策略,能够根据电价和负荷需求,动态地调整DESS和MT出力,降低运行成本。此外,经无功调节设备的共同作用,改善了ADN电压质量。上述调度方式起到了削峰填谷的作用,减小了可再生能源波动性对ADN的干扰。
04 结语
本文针对ADN有功无功协调调度问题,基于原始对偶优化方法设计了新型DDPG方法,结合算例分析,本文所采用的离线策略算法,通过离线训练大量历史数据,能够在线生成调度结果,提升了电力系统决策效率。与此同时,避免了传统DRL方法对惩罚因子的敏感性,提升了ADN运行安全性。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
北极星售电网获悉,5月9日,甘肃省商务厅发布关于印发《甘肃省深入推进新型工业化暨强工业行动2025年度工作要点》(以下简称《要点》)的通知。《要点》指出,加快能源绿色低碳转型。以传统产业、大数据行业等为重点,大力推广源网荷储一体化、新能源自备电站、智能微电网、增量配电网、绿电聚合等新能
5月14日,中国政府采购网发布通辽市能源局科区开鲁工业园区增量配电网规划评审项目竞争性磋商公告,预算金额为130万元,本合同包不接受联合体投标。通辽市能源局科区开鲁工业园区增量配电网规划评审项目竞争性磋商公告项目概况科区开鲁工业园区增量配电网规划评审项目采购项目的潜在供应商应在内蒙古自
5月12日,在江苏省无锡市长安街道,无锡供电公司客户经理许智力应用国网江苏省电力有限公司智能化校核工具,用时5小时完成了10个台区402块单相电表相位、219块电表分路的挂接关系比对,作业效率比应用前提升超20倍。目前,在该工具的助力下,无锡配电网低压拓扑异常挂接查验已经实现全流程标准化管理。
国家电网有限公司2025年第二季度重点工作研讨班提出,“提升优质服务水平”“全力服务保障经济社会发展全局”。公司围绕中心、服务大局,结合区域发展实际创新供电服务举措,优化电力营商环境,提升供电服务品质,为经济社会平稳运行提供便捷、智能、绿色的供电保障。精准施策赋能京津冀协同发展2025年
5月8日,我国又一条“西电东送”能源大动脉——陇东—山东±800千伏特高压直流工程竣工投产。这项总投资202亿元、输电距离915千米、年输送电量360亿千瓦时的特高压工程建成投运,有力服务山东、甘肃两省和黄河流域高质量发展,带动电工装备制造升级和产业焕新。进入“十四五”规划收官之年,各地加力推
5月13日,广州供电局2025年基于柔性直流技术的配网台区低电压治理技术服务框架招标公告。基于低压柔性直流技术开展广州地区配电台区低电压综合治理,提高广州电网供电质量。辖区包括11个区局,工作内容如下:1、确定台区低电压情况:根据项目确定台区低电压情况,分析问题并制定初步治理和实施方案,并
据第一财经报道,受国际贸易摩擦中加征关税政策影响,算力中心建设成本显著攀升,服务器、冷却系统及电力设备等核心进口硬件面临价格波动、交付周期延长等挑战。近年来,我国"东数西算"战略持续推进算力设施自主化,明确要求扩大国产设备在数据中心的应用规模。双重因素驱动下,算力中心建设的国产化进
按照国家能源局部署要求,近日,山西能源监管办会同地方电力管理部门,对山西地方电力有限公司开展涉网安全专项检查。专项检查通过查阅资料、现场核实、交流座谈等方式,共排查发现5个方面33项问题,并提出监管要求,一是要切实履行涉网安全主体责任,加强风险隐患排查治理,提升应急能力建设,不断提
5月8日,甘肃省甘南藏族自治州临潭县人民政府发布公示了国网临潭县供电公司2025年分布式光伏承载力评估结果。经评估,2025年2季度临潭地区10kv线路负载率超过90%的线路仅一条,为110kV新城变113新化线,评估等级为红色。评估等级为绿色的有9条线路、等级为黄色为有7条。2季度临潭地区10kV变压器可开放
4月27日10时,在国网河北省电力有限公司调度控制中心调度大厅,自动化处专责袁龙查看分布式光伏采集监视平台上的发电实时出力情况,并分析研判出力波动原因。“分布式光伏采集监视平台可实时感知河北南网69万户低压分布式光伏发电出力,数据准确率达99%。”袁龙说。近年来,河北省大力推动光伏发电、风
今年全国两会是在“十四五”规划收官之年召开的重要会议,对于全面建设社会主义现代化国家具有重要意义。今年的政府工作报告提出,“协同推进降碳减污扩绿增长,加快经济社会发展全面绿色转型”,深刻揭示了新型能源体系在经济社会高质量发展中的重要地位。党的十八大以来,习近平总书记提出“四个革命
5月12日从国网新疆电力有限公司获悉,新疆电源装机规模突破2亿千瓦,达到2.01亿千瓦。其中,新能源发电装机容量达到1.12亿千瓦,占比55.72%。在新能源发电装机中,风电装机4952万千瓦,光伏发电装机6286万千瓦。近年来,新疆紧扣打造全国能源资源战略保障基地定位,加快推动新能源发展。截至2024年年底
5月13日,内蒙古电力集团党委书记、董事长张海峰率队赴广东,与南方电网公司董事长、党组书记孟振平进行会谈,就进一步深化战略合作开展交流。孟振平欢迎张海峰一行来访,感谢内蒙古电力集团长期以来对南方电网公司工作的支持,介绍了公司基本情况和工作特点。孟振平表示,双方自签署战略合作协议以来
无锡能源集团聚力加快虚拟电厂功能体系建设,提升虚拟电厂资源聚合规模和运营管理水平。一是加大负荷资源聚合。目前已接入全市光伏、储能、充电桩、楼宇空调、照明设施等资源12121个,总规模400兆瓦,可调负荷近40兆瓦,成为全省规模体量最大的地级市国有虚拟电厂。二是丰富智慧能源场景。持续接入智能
4月27日10时,在国网河北省电力有限公司调度控制中心调度大厅,自动化处专责袁龙查看分布式光伏采集监视平台上的发电实时出力情况,并分析研判出力波动原因。“分布式光伏采集监视平台可实时感知河北南网69万户低压分布式光伏发电出力,数据准确率达99%。”袁龙说。近年来,河北省大力推动光伏发电、风
近年来,国家电网有限公司华北分部瞄准网省协同保障京津唐电网和首都电力安全可靠供应目标,协同国网北京市电力公司、国网天津市电力公司和国网冀北电力有限公司,按照“安全第一、稳妥推进、平稳过渡”工作要求以及“统筹全网、关注分区、协同保障”调整原则,优化网省两级调度在京津唐电网调度运行管
南网总调调度工作评价系统云化升级改造及人工智能辅助与RPA技术融合等4项功能加装招标公告(采购编号:CG0000022002053297)1.招标条件本招标项目南网总调调度工作评价系统云化升级改造及人工智能辅助与RPA技术融合等4项功能加装,招标人为中国南方电网有限责任公司,项目资金已落实,该项目已具备招标
5月6日,国网杭州供电公司“光擎”智脑大模型正式上线。在调度控制中心,方式计划室专职人员沈泽锴打开该公司“电网一张图”的“光擎”页面,输入“江一变1号主变检修,请帮我分析电网风险”指令,“光擎”迅速自主推演了主变检修操作后的拓扑结构,仅用5秒钟,便自动生成了电网风险等级、关联重要敏感
在“双碳”目标与电力市场化改革的双重驱动下,一种无烟囱、无冷却塔,却能调度百万千瓦级资源的“隐形电厂”正在全球崛起——这就是虚拟电厂(VirtualPowerPlant,VPP)。它不生产一度电,却通过算法与数据将零散的分布式光伏、储能、电动汽车乃至空调负荷,编织成一张覆盖全社会的能源互联网。从特斯
北极星储能网获悉,4月30日,河北冀中新能源科技有限公司供电分公司2025年第二批用户侧储能电池设备购置-中标候选人公示,项目规模40MW/80MWh。共有8家企业入围,分别为比亚迪、楚能新能源、天诚同创、国轩高科、新源智储、雄安许继电科、中创新航、阳光电源。第一中标候选人比亚迪报价3920万元,折合
上文中我们讨论了在目录电价时代,由计划主导的用户侧分时电价存在的意义。(相关阅读:分时电价的底层逻辑(一):计划时代的用户侧资源)全社会的自然用电曲线会导致较大的峰谷差,进而影响电力系统的安全稳定运行,而为此要付出的购电成本也将更多,所以需要通过分时价格信号来引导用户做常态化的需
4月29日,河北省发展和改革委员会关于组织开展多元技术路线独立储能试点项目申报工作的通知(冀发改能源[2025]526号)试点项目申报工作以科技赋能促进新型储能高质量发展为目标,组织遴选一批具有发展潜力的重力、钠离子、钒液流、氢储能、固态电池、深地空间等多元储能技术路线或在安全性、大容量、长
5月5日,内蒙古能源局对外披露,截至目前,内蒙古煤炭开采机械化率已达100%,70%的在产煤矿完成了智能化建设,煤矿生产向高效、安全、绿色方向持续迈进。内蒙古能源局相关负责人表示,目前,内蒙古的智能化煤矿数量和产能分别达到209处、10.87亿吨/年,智能化煤矿产能全国第一;281个智能化采掘工作面
5月6日,记者从特来电新能源股份有限公司(以下简称“特来电”)获悉,特来电完成DeepSeek、通义千问大模型的本地部署,并将大模型与充电业务深度结合,成功打造并上线行业首个充电运营AI智能体。特来电相关负责人告诉记者,目前,智能体主要服务于特来电充电站共建合伙人,集成至特来电充电运营平台,
市场交易型虚拟电厂将迎来广阔空间——访电力规划设计总院能源政策与市场研究院院长凡鹏飞近日,国家发展改革委、国家能源局发布《关于加快推进虚拟电厂发展的指导意见》(以下简称《意见》),提出积极推动虚拟电厂因地制宜发展,明确大力支持民营企业参与投资开发。随着国家对虚拟电厂主体经营地位的
5月12日,在江苏省无锡市长安街道,无锡供电公司客户经理许智力应用国网江苏省电力有限公司智能化校核工具,用时5小时完成了10个台区402块单相电表相位、219块电表分路的挂接关系比对,作业效率比应用前提升超20倍。目前,在该工具的助力下,无锡配电网低压拓扑异常挂接查验已经实现全流程标准化管理。
5月8日,浙江电力气象中心完成“浙江-伏羲”强对流气象大模型的训练与部署,并将强对流预警模块接入电力气象防灾减灾平台,正式上线强对流气象大模型。据介绍,“浙江-伏羲”强对流气象大模型可实现1小时1次的预报更新频率,较传统气象预测6小时1次的频率有明显提升。在强对流天气来临前,该模型可提供
近日,国家标准化管理委员会、工业和信息化部联合下达了第二批智能制造标准应用试点项目,中核集团核动力院下属单位中核控制“核设施DCS装备智能制造标准应用试点”项目入选,成为核工业领域全国首个、中核集团首例入围国家智能制造标准应用试点项目。该项目将通过建设数字化控制系统(DCS)装备制造“
北极星储能网获悉,5月14日,智光新型储能产业园竣工仪式在广州智光电气股份有限公司(以下简称智光电气)永和园区圆满举行。智光新型储能产业园是广东省新型储能产业重点建设项目,以“零碳园区+广东省重点实验室+新型储能产业核心示范基地”为目标建设,产业园占地103亩,总建筑面积达15.5万平方米,
国家电网有限公司2025年第二季度重点工作研讨班提出,“提升优质服务水平”“全力服务保障经济社会发展全局”。公司围绕中心、服务大局,结合区域发展实际创新供电服务举措,优化电力营商环境,提升供电服务品质,为经济社会平稳运行提供便捷、智能、绿色的供电保障。精准施策赋能京津冀协同发展2025年
5月13日获悉,第八届数字中国建设峰会期间,国家电网有限公司在智慧能源分论坛上发布《电力“人工智能+”白皮书》,系统阐述了国家电网公司人工智能发展布局、技术体系和创新实践,为电力行业数字化智能化转型提供了重要参考。立足企业级战略视角,坚持需求导向和系统观念,国家电网公司统筹开展“人工
为进一步提升电力市场竞争力,树立数字化时代的电力服务领域新的标杆,最近,国网江苏省电力有限公司召开供电方案智能生成场景建设推进会,会议听取了相关工作专班方案实施、模型建设重点任务推进、场景应用等情况汇报,与会部门和单位作了交流研讨。供电方案智能生成场景建设,是推进营销领域大模型应
据央视新闻报道,当地时间2025年5月10日,为回应印度持续的挑衅行为,巴基斯坦已正式启动代号为“铜墙铁壁”的军事行动,行动期间,巴基斯坦对印度发起了网络攻击,虽然其导致印度约70%的电网陷入瘫痪的结果尚未证实,但是网络攻击的技战术可能带来的巨大影响不容忽视。2019年,委内瑞拉电网连续遭受网
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!