登录注册
请使用微信扫一扫
关注公众号完成登录
摘要
提出一种基于离线策略的安全强化学习方法,通过离线训练大量配电网历史运行数据,摆脱了传统优化方法对完备且准确模型的依赖。首先,结合配电网络参数信息,建立了基于约束马尔可夫决策过程的有功无功优化模型;其次,基于原始对偶优化法设计了新型安全强化学习方法,该方法在最大化未来折扣奖励的同时最小化成本函数;最后,在配电系统上进行仿真。仿真结果表明:所提方法能够根据配电网实时观测信息,在线生成满足复杂约束条件且具有经济效益的调度策略。
01 强化学习模型
1.1 ADN有功-无功协调调度模型
1.1.1 目标函数
本文从经济性出发,协调控制可投切电容器组(switchable capacitor banks,SCB)、有载调压变压器(on-load tap-changers,OLTC)、微型燃气轮机(micro-gas turbines,MT)、分布式储能系统(distributed energy storage system,DESS),使得ADN在总调度时段T内的运行成本最小。目标函数f为
1.1.2 约束条件
本文所构建优化调度模型的约束条件为潮流约束、节点电压幅值约束、线路传输功率约束、ADN与上级输电网的交互功率约束及各可调设备的运行约束。
1.2 基于CMDP的调度模型
02 基于原始对偶优化的安全强化学习
为求解CMDP的目标函数,本文通过引入拉格朗日乘子λ,将目标函数的不等式约束问题转化为无约束问题。基于原始对偶优化方法,在迭代中依次更新网络参数θ及对偶变量λk。
为求解CMDP模型,本文将原始对偶优化方法与DDPG算法相结合,提出一种基于PD-DDPG的ADN优化方法。
2)更新对偶变量及各项参数,具体可参考文献[20]。
2.1 离线训练流程
03 算例分析
3.1 算例设置
为验证所提安全强化学习方法在ADN有功-无功协调调度上的有效性,本文在修改的IEEE 123节点配电算例上进行验证。其中,节点23、121、42、40、116处接有光伏,装机容量均为100 kW。节点5、60、47、84、76处接有风电机组,装机容量均为100 kW。节点25、95、115处分别接入MT,节点21、57处接有DESS,DESS和MT的设备参数如表1所示。节点77、109处接入SCB,共有4个调节挡位,每档为300 kV·A,动作次数上限为5次。节点0、1之间接入OLTC,共有5个调节挡位;节点68、108之间,节点26、27之间,节点10、15之间分别接入OLTC,各有33个调节挡位;OLTC分接头每天动作上限均为6次,调节范围为–10%~10%。变电站容量上限为5000 kV·A。节点电压幅值约束范围为0.95~1.05 p.u.。总调度周期为24 h,以1 h为一个调度时段。本文算例基于CAISO2018—2020年的数据进行分析,前两年作为训练集,后一年作为测试集。本文工作基于pytorch框架实现,所提方法参数设置如表2所示。算例仿真在Intel(R) Core(TM) i7-11800H处理器2.30 GHz的工作站进行。
表1 DESS和MT设备参数
Table 1 DESS and MT equipment parameters
表2 所提方法参数设置
Table 2Parameter settings of the proposed method
3.2 离线训练表现
不同方法的离线训练和在线测试的平均耗时对比如表3所示。由表3可知,不同方法的在线测试时间均在1 s以内。PD-DDPG的离线训练时间更长,这可能是由于其算法结构复杂造成的。不同方法奖励和成本情况如图1~2所示,其中实线是平均值,阴影部分是波动范围。由图1~2可知,PD-DDPG的成本值接近于0,奖励值仅次于DDPG(ρ=1),但是DDPG(ρ=1)的成本值明显不能满足ADN安全运行。DDPG(ρ=10)、DDPG(ρ=20)的奖励成本值均劣于PD-DDPG方法。上述结果说明,ρ越小,DDPG越注重优化奖励项,而忽视成本项。PD-DDPG的性能最佳,能够在保证ADN安全的同时,最小化ADN日运行成本,避免了对惩罚系数的盲目选定,实现了拉格朗日乘子的自动学习。
表3 不同算法的训练和测试时间
Table 3Training and testing time of different algorithms
图1不同算法奖励值曲线
Fig.1Different algorithm reward value curves
图2不同算法成本值曲线
Fig.2Cost value curves of different algorithms
3.3 在线测试表现
在线决策阶段测试结果如图3~4所示。由图3可知,由于数据驱动方法随机性的存在,不能保证在测试过程中各智能体100%满足约束。PD-DDPG方法在大多测试集下成本值均接近0,能够满足配电系统的安全性。由图4可知,PD-DDPG方法和ρ=1、ρ=10、ρ=20的DDPG方法累计年运行成本分别为357.00万元、358.12万元、485.08万元、500.31万元。总体而言,PD-DDPG方法以最少的违反约束情况和最低的运营成本优于基于惩罚系数的DDPG方法。
图3在线测试成本值分布情况
Fig.3Online test cost value distribution
图4在线测试阶段运行成本
Fig.4Running costs during online testing phase
取测试集中某天数据进行测试,各类可调度资源有功调度结果如图5所示。由图5可知,00:00—04:00和11:00—14:00时段电价处于低谷且总负荷需求较小,MT有功功率减小,并随着可再生能源出力的增加进一步减小出力比例。同时,向上级电网的购电功率增加,DESS进行充电以备后续高峰时段,并就地消纳可再生能源,避免功率倒送。06:00—09:00和17:00—23:00时段电价处于高峰且负荷需求较大,可再生能源出力相对较低,ADN几乎不购电,MT有功出力上升。其中,节点95处的MT由于发电成本低而成为有功出力主力,DESS此时段放电,从而减小ADN运营成本。
图5有功调度结果
Fig.5Active power dispatch results
各类可调度资源的无功调度结果如图6~8所示。由图6可知,在负荷无功需求增多的05:00—10:00时段,MT增大无功补偿;在负荷无功需求减弱的16:00—17:00及23:00时段,节点109处的SCB减小挡位,避免过多的无功补偿造成节点电压升高;结合有功无功出力情况得到各个MT功率因数均在0.8以上。
图6无功调度结果
Fig.6Reactive power scheduling results
图7OLTC和SCB档位变化
Fig.7OLTC and SCB gear change
由图7OLTC和SCB档位变化可知,SCB和OLTC通过调节档位响应无功负荷需求,避免节点电压越限;调度周期内OLTC累积动作次数分别为0、3、4、4次,SCB的累计动作次数分别为0、4次,均在约束范围以内。由图8节点电压分布可知,节点电压在负荷减少时降低,在负荷增大时升高。在无功调压设备的协同动作下,各节点电压大都为0.975~1.000 p.u.,满足本文所建模型中的电压范围约束。
图8 不同节点的电压分布
Fig.8 Voltage distribution at different nodes
综上,经训练过的智能体生成的调度策略,能够根据电价和负荷需求,动态地调整DESS和MT出力,降低运行成本。此外,经无功调节设备的共同作用,改善了ADN电压质量。上述调度方式起到了削峰填谷的作用,减小了可再生能源波动性对ADN的干扰。
04 结语
本文针对ADN有功无功协调调度问题,基于原始对偶优化方法设计了新型DDPG方法,结合算例分析,本文所采用的离线策略算法,通过离线训练大量历史数据,能够在线生成调度结果,提升了电力系统决策效率。与此同时,避免了传统DRL方法对惩罚因子的敏感性,提升了ADN运行安全性。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
4月21日,山东省2025年新能源高水平消纳行动方案发布。其中提到,加强网架建设。夯实500千伏省域主网架,加快弥河新建、海口扩建工程建设。加强220千伏市域主网架结构,力争年内尽早投产东营富国至裕民线路等工程。实施配电网高质量发展行动,加大农村电网改造力度。同时,优化调度运行。开展并网运行
截止4月22日,国家电网其各省网分公司等已有14家企业发布2025年招标计划。分别是国网江苏电力、国网宁夏电力、国网山西电力、国网重庆电力、国网河北电力、国网车网技术、国网吉林电力、国网浙江电力、国网黑龙江电力、中国电财、国网信通、国网特高压公司、国网综能、英大传媒集团。在这8家省网公司中
4月19日,国网北京市电力公司创新应用“电网一张图”配网停电研判场景,依托光明电力大模型,在北京通州试点开展“人工智能(AI)+电力”主动抢修服务,精准研判故障原因和影响范围,实现电力抢修服务由接诉即办向未诉先办转变,故障研判效率提高90%以上,抢修时间较过去平均节省20分钟。“电网一张图
北极星储能网获悉,近期,河南省发改委发布《河南省发展和改革委员会关于实施第八批源网荷储一体化项目的通知》。确定工业企业类35个、增量配电网类1个、其他类6个,共3类42个项目纳入第八批实施范围。规模总计420MW,光伏173.77MW,风电246.25MW。本批次项目光伏发电部分应自通知印发之日起6个月内开
日前,河南发改委发布《关于实施第八批源网荷储一体化项目的通知》,明确第八批源网荷储一体化项目名单,规模总计420MW,光伏173.77MW,风电246.25MW。本次共42个项目纳入实施范围,其中,工业企业类35个、增量配电网类1个,其他类6个。本批次项目光伏发电部分应自通知印发之日起6个月内开工建设,风电
日前,河南发改委发布《关于实施第八批源网荷储一体化项目的通知》,明确第八批源网荷储一体化项目名单,规模总计420MW,光伏173.77MW,风电246.25MW。本次共42个项目纳入实施范围,其中,工业企业类35个、增量配电网类1个,其他类6个。本批次项目光伏发电部分应自通知印发之日起6个月内开工建设,风电
北极星储能网获悉,4月21日,杭州鑫蜂维网络科技有限公司同江苏同力日升机械股份有限公司就算电协同领域签订战略合作协议,秉承资源共享、互利共赢、长期稳定的合作原则,共同推进算力中心储能、新型零碳智算园区与人工智能算力技术创新业务的深度协同。通过算电协同有效提升智算数据中心的运营效率和
近日,从国网河北省电力有限公司获悉,该公司通过应用新一代配网工程全过程智慧管理平台实施过程管控,衡水10千伏里韩线整体改造工程提前42天完工。配网建设质量直接关系电网建设成效和民生保障。2023年12月,国网河北电力自主研发的新一代配网工程全过程智慧管理平台上线。今年4月,在深化该平台应用
为进一步推进福建省增量配电业务改革,近日,福建能源监管办主要负责人带队赴江阴工业园区,调研督导增量配电业务改革试点项目建设运营情况。调研组一行实地查看了增量配电园区内220kV盛华变电站及其集控中心,听取了变电站运行管理、线路互联互通等情况介绍,并就增量配电业务改革中电价机制、新能源
4月21日,四川成都供电公司发布提升班组核心能力建设工作实施方案,明确“数智赋能班组建设”等重点举措,拓展人工智能应用场景,实现班组业务在线化、作业移动化、信息透明化,进一步提高班组作业效率。近年来,成都供电公司将加强班组核心能力建设作为强基固本的重要内容,促进数字化成果在班组落地
中共中央办公厅、国务院办公厅近日印发了《关于完善价格治理机制的意见》(以下简称《意见》)。这是继2015年《关于推进价格机制改革的若干意见》后,我国在价格改革领域的又一重要政策文件,旨在进一步深化价格市场化改革,优化价格治理体系。《意见》面向电力行业的价格机制改革部署了一系列重要工作
新型电网运行控制系统赋能电力系统数字化智能化发展为了加快构建清洁低碳、安全充裕、经济高效、供需协同、灵活智能的新型电力系统,更好推动能源生产和消费革命,保障国家能源安全,近年来,国家电网有限公司自主研发了适应高比例新能源接入的新型电网运行控制系统,主要包括大电网电磁暂态仿真、多时
4月21日,山东省2025年新能源高水平消纳行动方案发布。其中提到,加强网架建设。夯实500千伏省域主网架,加快弥河新建、海口扩建工程建设。加强220千伏市域主网架结构,力争年内尽早投产东营富国至裕民线路等工程。实施配电网高质量发展行动,加大农村电网改造力度。同时,优化调度运行。开展并网运行
4月23日,贵州省能源局关于印发《贵州省分布式光伏发电开发建设管理实施细则》的通知(黔能源新〔2025〕23号)。其中指出,电网企业应针对不同类型的分布式光伏发电项目制定差异化接入电网工作制度,合理优化或简化工作流程,及时公布可开放容量、技术标准规范、新能源利用率等信息,提供“一站式”办
柴达木盆地的戈壁“沙海”之中,光热电站、光伏厂区的数万面“定日镜”“光伏板”列成一望无际的“矩阵”追逐日光,“大容量熔盐储罐”“超级充电宝”“绿氢工厂”将吸收的太阳能高效利用、存储转化,数百兆瓦的光热储能发电项目正加速建设......中国“沙戈荒”地区主要位于新疆、内蒙古、青海、甘肃、
截至4月20日,宁夏电力全年累计发电量305.14亿千瓦时,突破300亿千瓦时大关,较去年同期增长1.23%,安全生产持续保持良好态势。今年以来,宁夏电力深入贯彻集团公司“稳中求进、安全为本、创新引领、高质发展”工作方针,按照“天天争发电、时时讲安全、日日谋发展”的要求,紧紧锁定年度发电量目标任
2号机组发电机定子精准就位、1号锅炉水压试验一次达标、5号输煤栈桥全线贯通、1号机组厂用受电完成……开年复工以来,桥头发电公司抢抓施工黄金期,以满弓紧弦之势全速推进火电机组项目建设。春意勃发激人心,春潮翻涌燃斗志。走进项目建设现场,塔吊不停运转,各种机械马力全开,工程车辆穿梭作业,机
2025年,中国分布式能源市场迎来历史性拐点。国家能源局与发改委连发两条“光伏新政”。光伏行业正经历从政策哺育到市场淬炼的剧烈转身。新政叠加新的产业周期,让身处其中的光伏企业充满了变数。这场以市场为名的成人礼,正在重塑百万家光伏企业的生存法则。曾经依靠固定电价托底的盈利模式轰然瓦解,
4月7日,在国网青海西宁供电公司供电服务指挥中心,配网自动化运维人员安晓婷使用青海首个智能配电网调度系统巡检平台,对配网调度系统进行全天候全面的智能监测,确保配网调度系统安全稳定运行。这一成功运用也标志着西宁电网调度系统运维正式迈入智能化新阶段。据了解,配网调度系统是集配电网数据采
近日,东北电力科学研究院牵头开发的辽宁省首个聚合分布式灵活资源的虚拟电厂示范平台正式完成与辽宁省新型电力负荷管理系统的集成对接,实现分布式灵活资源的聚合管控。该平台目前已接入沈阳市和平区、沈河区、铁西区3个区的分布式资源,具备1.23万千瓦最大上调能力和0.48万千瓦最大下调能力。项目前
今年以来,大唐安徽当涂公司坚持省公司“11533”工作思路,以“十百千皖”发展战略为指引,以“五强三新”行动为保障,以“深化改革”和“成本领先”双轮驱动为核心战略,如期实现一季度“满堂红”。该公司一季度发电量18.3亿千瓦时,同比增长8%,利润同比增长73%,超额完成省公司下达利润目标。煤电利
市场主体一头连着经济发展,一头连着民生福祉。作为社会生产力的基本载体,市场主体是经济活动的主要参与者、技术进步的主要推动者、就业机会的主要提供者,作用举足轻重。人才是最活跃的先进生产力,市场的基石则在于培育先进的市场主体。当发电企业开始研究负荷曲线,当售电公司开始重视天气预测,当
4月23日,在上海气候周2025“气候灯塔·新纪元”主题活动上,隆基嘉兴基地作为全球光伏行业首个“灯塔工厂+零碳工厂”的双标杆实践,荣获“上海气候周气候灯塔2025年度制造灯塔典范奖”。隆基绿能浙江基地负责人刘爱军(左二)上台领奖上海气候周以“中国行动、亚洲声音、世界标准”为宗旨,由联合国和
4月22日,大华股份与成都环境投资集团有限公司(以下简称“成都环境集团”)签署战略合作协议。双方将重点围绕资源化、能源化、低碳化、智能化,尤其在水务、固废、新能源领域开展现代化环保装备制造及数智化产品生产和制造的深度合作。成都环境集团党委书记、董事长张雄正,集团副总经理路远,集团总
新型电网运行控制系统赋能电力系统数字化智能化发展为了加快构建清洁低碳、安全充裕、经济高效、供需协同、灵活智能的新型电力系统,更好推动能源生产和消费革命,保障国家能源安全,近年来,国家电网有限公司自主研发了适应高比例新能源接入的新型电网运行控制系统,主要包括大电网电磁暂态仿真、多时
2025年4月21日至23日,第26届中国环博会在上海新国际博览中心成功举办。万容科技,深耕固体废弃物资源化利用领域20年,受邀携城乡废弃物资源循环低碳体系“三岛”模式精彩亮相。凭借技术创新和产业实践的卓越表现,万容科技荣登环保科技TOP100企业榜单,并通过主题演讲和战略合作签约,引发行业高度关
【新闻背景】3月30日,由电站集团提供机电炉辅全套主设备的钱营孜电厂二期扩建项目1×1000MW超超临界二次再热燃煤发电机组顺利通过168小时满负荷试运行。机组各项性能优势显著,值得一提的是,在该项目中,由电站集团自主研发的汽轮机三维数字孪生系统作为“智慧大脑”,充分发挥着智能化优势,实现对
自“双碳”目标提出以来,我国能源电力行业坚决贯彻落实“四个革命、一个合作”能源安全新战略,着力建设新型能源体系,加快构建新型电力系统,切实把能源的饭碗牢牢端在自己手中。三组数字,可见证能源电力行业新质生产力的迸发涌现。超1/2——2025年2月,南方五省区新能源总装机容量突破2亿千瓦,新
作为国家能源战略的核心载体,“西电东送”南通道工程历经三十余年发展,其战略定位已实现三重跨越:从传统能源输送转向低碳枢纽,从区域互补升级为国家能源网络整合,从国内资源配置延伸至国际能源合作;其功能从区域能源电力调配演进为服务“双碳”目标、推动全球能源电力治理系统性工程,成为支撑经
为响应贵州省新能源产业招商引资需求,深化风电全产业链协同发展,4月23日,“好品质可信赖共创未来”贵州新能源产销对接会暨电气风电2025年度供应商交流会于贵阳启幕。会议由贵州省能源局、贵州省工业和信息化厅、黔南州人民政府指导,中国电建贵阳院与电气风电联合主办,聚焦新能源产业协同发展与供
近日,天合富家于广州成功举办2025原装光伏系统招商会。此次招商会聚焦行业新政变化,深度剖析市场趋势,全面展示天合富家的综合实力,吸引众多行业人士与潜在合作伙伴的参与,为分布式光伏产业发展注入新动力。当前,分布式光伏行业正处于关键变革期。《分布式光伏发电开发建设管理办法》明确分类管理
内蒙古东部地区配网供电半径长、末端小分支线路分布广,影响故障判断准确率。国网蒙东电力优化管理模式,创新应用技术手段,实现——4月18日,在蒙东赤峰元宝山区供电公司供电服务指挥中心配网调控室,4名施工人员完成了新建工作站的主机、加密装置和交换机安装工作。“预计6月底,我们将在34个旗(县
2025年4月22日,由北极星太阳能光伏网、北极星储能网联合主办的2025年分布式光储创新论坛在江苏南京正式召开。会上,西安奇点能源股份有限公司工商业用户侧储能江苏区域总经理马良军就工商业储能投资盈利模式、行业发展挑战及长期价值创造进行了深入剖析。马良军指出,目前工商业储能的盈利点已经比较
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!