登录注册
请使用微信扫一扫
关注公众号完成登录
摘要
提出一种基于离线策略的安全强化学习方法,通过离线训练大量配电网历史运行数据,摆脱了传统优化方法对完备且准确模型的依赖。首先,结合配电网络参数信息,建立了基于约束马尔可夫决策过程的有功无功优化模型;其次,基于原始对偶优化法设计了新型安全强化学习方法,该方法在最大化未来折扣奖励的同时最小化成本函数;最后,在配电系统上进行仿真。仿真结果表明:所提方法能够根据配电网实时观测信息,在线生成满足复杂约束条件且具有经济效益的调度策略。
01 强化学习模型
1.1 ADN有功-无功协调调度模型
1.1.1 目标函数
本文从经济性出发,协调控制可投切电容器组(switchable capacitor banks,SCB)、有载调压变压器(on-load tap-changers,OLTC)、微型燃气轮机(micro-gas turbines,MT)、分布式储能系统(distributed energy storage system,DESS),使得ADN在总调度时段T内的运行成本最小。目标函数f为
1.1.2 约束条件
本文所构建优化调度模型的约束条件为潮流约束、节点电压幅值约束、线路传输功率约束、ADN与上级输电网的交互功率约束及各可调设备的运行约束。
1.2 基于CMDP的调度模型
02 基于原始对偶优化的安全强化学习
为求解CMDP的目标函数,本文通过引入拉格朗日乘子λ,将目标函数的不等式约束问题转化为无约束问题。基于原始对偶优化方法,在迭代中依次更新网络参数θ及对偶变量λk。
为求解CMDP模型,本文将原始对偶优化方法与DDPG算法相结合,提出一种基于PD-DDPG的ADN优化方法。
2)更新对偶变量及各项参数,具体可参考文献[20]。
2.1 离线训练流程
03 算例分析
3.1 算例设置
为验证所提安全强化学习方法在ADN有功-无功协调调度上的有效性,本文在修改的IEEE 123节点配电算例上进行验证。其中,节点23、121、42、40、116处接有光伏,装机容量均为100 kW。节点5、60、47、84、76处接有风电机组,装机容量均为100 kW。节点25、95、115处分别接入MT,节点21、57处接有DESS,DESS和MT的设备参数如表1所示。节点77、109处接入SCB,共有4个调节挡位,每档为300 kV·A,动作次数上限为5次。节点0、1之间接入OLTC,共有5个调节挡位;节点68、108之间,节点26、27之间,节点10、15之间分别接入OLTC,各有33个调节挡位;OLTC分接头每天动作上限均为6次,调节范围为–10%~10%。变电站容量上限为5000 kV·A。节点电压幅值约束范围为0.95~1.05 p.u.。总调度周期为24 h,以1 h为一个调度时段。本文算例基于CAISO2018—2020年的数据进行分析,前两年作为训练集,后一年作为测试集。本文工作基于pytorch框架实现,所提方法参数设置如表2所示。算例仿真在Intel(R) Core(TM) i7-11800H处理器2.30 GHz的工作站进行。
表1 DESS和MT设备参数
Table 1 DESS and MT equipment parameters
表2 所提方法参数设置
Table 2Parameter settings of the proposed method
3.2 离线训练表现
不同方法的离线训练和在线测试的平均耗时对比如表3所示。由表3可知,不同方法的在线测试时间均在1 s以内。PD-DDPG的离线训练时间更长,这可能是由于其算法结构复杂造成的。不同方法奖励和成本情况如图1~2所示,其中实线是平均值,阴影部分是波动范围。由图1~2可知,PD-DDPG的成本值接近于0,奖励值仅次于DDPG(ρ=1),但是DDPG(ρ=1)的成本值明显不能满足ADN安全运行。DDPG(ρ=10)、DDPG(ρ=20)的奖励成本值均劣于PD-DDPG方法。上述结果说明,ρ越小,DDPG越注重优化奖励项,而忽视成本项。PD-DDPG的性能最佳,能够在保证ADN安全的同时,最小化ADN日运行成本,避免了对惩罚系数的盲目选定,实现了拉格朗日乘子的自动学习。
表3 不同算法的训练和测试时间
Table 3Training and testing time of different algorithms
图1不同算法奖励值曲线
Fig.1Different algorithm reward value curves
图2不同算法成本值曲线
Fig.2Cost value curves of different algorithms
3.3 在线测试表现
在线决策阶段测试结果如图3~4所示。由图3可知,由于数据驱动方法随机性的存在,不能保证在测试过程中各智能体100%满足约束。PD-DDPG方法在大多测试集下成本值均接近0,能够满足配电系统的安全性。由图4可知,PD-DDPG方法和ρ=1、ρ=10、ρ=20的DDPG方法累计年运行成本分别为357.00万元、358.12万元、485.08万元、500.31万元。总体而言,PD-DDPG方法以最少的违反约束情况和最低的运营成本优于基于惩罚系数的DDPG方法。
图3在线测试成本值分布情况
Fig.3Online test cost value distribution
图4在线测试阶段运行成本
Fig.4Running costs during online testing phase
取测试集中某天数据进行测试,各类可调度资源有功调度结果如图5所示。由图5可知,00:00—04:00和11:00—14:00时段电价处于低谷且总负荷需求较小,MT有功功率减小,并随着可再生能源出力的增加进一步减小出力比例。同时,向上级电网的购电功率增加,DESS进行充电以备后续高峰时段,并就地消纳可再生能源,避免功率倒送。06:00—09:00和17:00—23:00时段电价处于高峰且负荷需求较大,可再生能源出力相对较低,ADN几乎不购电,MT有功出力上升。其中,节点95处的MT由于发电成本低而成为有功出力主力,DESS此时段放电,从而减小ADN运营成本。
图5有功调度结果
Fig.5Active power dispatch results
各类可调度资源的无功调度结果如图6~8所示。由图6可知,在负荷无功需求增多的05:00—10:00时段,MT增大无功补偿;在负荷无功需求减弱的16:00—17:00及23:00时段,节点109处的SCB减小挡位,避免过多的无功补偿造成节点电压升高;结合有功无功出力情况得到各个MT功率因数均在0.8以上。
图6无功调度结果
Fig.6Reactive power scheduling results
图7OLTC和SCB档位变化
Fig.7OLTC and SCB gear change
由图7OLTC和SCB档位变化可知,SCB和OLTC通过调节档位响应无功负荷需求,避免节点电压越限;调度周期内OLTC累积动作次数分别为0、3、4、4次,SCB的累计动作次数分别为0、4次,均在约束范围以内。由图8节点电压分布可知,节点电压在负荷减少时降低,在负荷增大时升高。在无功调压设备的协同动作下,各节点电压大都为0.975~1.000 p.u.,满足本文所建模型中的电压范围约束。
图8 不同节点的电压分布
Fig.8 Voltage distribution at different nodes
综上,经训练过的智能体生成的调度策略,能够根据电价和负荷需求,动态地调整DESS和MT出力,降低运行成本。此外,经无功调节设备的共同作用,改善了ADN电压质量。上述调度方式起到了削峰填谷的作用,减小了可再生能源波动性对ADN的干扰。
04 结语
本文针对ADN有功无功协调调度问题,基于原始对偶优化方法设计了新型DDPG方法,结合算例分析,本文所采用的离线策略算法,通过离线训练大量历史数据,能够在线生成调度结果,提升了电力系统决策效率。与此同时,避免了传统DRL方法对惩罚因子的敏感性,提升了ADN运行安全性。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,云南省人民政府办公厅印发《2025年云南省10件惠企实事》。其中包括提升电力供应稳定性和可靠性,年度目标为应用前沿新技术进行输电线路灾害的监测和预警,提升巡维效率,开展自愈配电网建设,提升供电稳定性,2025年企业客户平均停电时间低于7.5小时/户,供电可靠率不低于99.914%。原文如下:云
4月1日,国家能源局云南监管办公室关于开展用户受电工程“三指定”行为检查工作的通知。其中指出,进一步规范云南用户受电工程市场秩序,督促供电企业持续建立健全“三指定”问题治理长效机制,推进常态治理,切实巩固提升“获得电力”服务水平改革成果,持续优化全省用电营商环境。原文如下:国家能源
4月1日,国网湖南省电力有限公司2025年第一批10千伏及以下城配网项目核准获批。1、为了满足城市电网的负荷发展需求,提高供电能力,同意建设国网湖南省电力有限公司2025年第一批10千伏及以下城配网项目(项目编码:2502-430000-04-01-953115),项目单位为国网湖南省电力有限公司。2、建设地点为株洲、
4月2日,国家发展改革委等部门关于印发《推动热泵行业高质量发展行动方案》的通知(发改环资〔2025〕313号)。其中指出,做好与热泵发展相关的余热资源、地热资源、水资源、土地资源、配电网容量等评估,优化完善相关资源开发利用工作流程,防止对水资源等造成污染和损害,禁止抽取难以更新的地下水用
3月31日,由河北雄安新区管理委员会改革发展局牵头、雄安新区供电公司配合编制的《雄安新区10千伏配电站室土建设计技术规范(DB1331/T112-2025)》,经雄安新区综合执法局批准正式发布实施。该《规范》是针对10千伏配电站室提出的土建专业设计技术规范,标志着雄安新区在配电网建设领域迈出了标准化、
近日,为严格落实国家能源局配电网高质量发展要求,督导晋中、吕梁区域提升配电网运行水平,山西能源监管办组织召开了2025年一季度配网运行分析会。会议肯定了国网吕梁、晋中公司在配电网智能化改造,试点推进光伏柔性控制,偏远地区光储微电网建设等方面取得的成效,分析了配电网建设运行管理中存在的
3月31日,国家能源局云南监管办公室关于开展2025年“频繁停电、低电压”专项整治工作的通知。通知明确,国家能源局云南监管办公室结合12398能源监管热线群众用电诉求和日常监管工作掌握情况,经汇总分析选取2024年度50条10千伏频繁停电线路(附件1)、50个低电压台区(附件2)进行挂牌督办。工作要求:
许昌智能3月28日披露2024年年度报告。2024年,公司实现营业总收入6.3亿元,同比增长7.37%;归母净利润4246.21万元,同比下降8.40%;扣非净利润4014.7万元,同比下降7.12%。许昌智能在年报中表示,公司深耕数字化配电网和微电网,围绕以新能源为主体的新型电力系统、聚焦现代智慧配电网、数字化微电网产
在我国电力工业发展的早期阶段,我国电网建设一直滞后于电源建设,每年用于电网建设的投资仅占电力行业总投资的30%左右。并且,由于对电网建设重要性的认识不够,我国早期仅考虑了输电线路的建设,而较少涉及到供电可靠性、安全性等问题,导致电网建设历史性欠账严重。自2000年以来,我国在电网投资领
3月25日,国网攀枝花市西区供电公司在西区成功完成了西南山区首条全自动馈线自动化(FA)系统测试。据悉,攀枝花地形以山地为主,配电网线路多跨越复杂环境,传统故障排查耗时长、复电效率低,对此国网攀枝花供电公司构建了“智能终端+高速通信+智能研判”的全链条故障处置体系。此次采用的“全自动FA
近日,海南电网公司供电人员在位于海南省琼海市阳江镇的海南500千伏主网架工程项目线路上作业。绿色发展是新时代现代化的鲜明标识。今年《政府工作报告》提出,协同推进降碳减污扩绿增长,加快经济社会发展全面绿色转型。南方电网公司主动融入和服务国家重大战略,紧扣海南“三区一中心”战略定位,坚
4月2日,国家发展改革委等部门关于印发《推动热泵行业高质量发展行动方案》的通知(发改环资〔2025〕313号)。其中指出,做好与热泵发展相关的余热资源、地热资源、水资源、土地资源、配电网容量等评估,优化完善相关资源开发利用工作流程,防止对水资源等造成污染和损害,禁止抽取难以更新的地下水用
为深刻汲取新疆电网“8·3”功率振荡事件教训,加强地方电网涉网安全管理,按照国家能源局工作部署,近期南方能源监管局会同广西壮族自治区能源局分组赴百色、贺州等地对3家地方电网公司及有关并(联)网主体涉网安全管理开展为期一周的现场专项核查。此次专项核查对象涵盖地方电网电力调度控制中心、
3月26日,冀北唐山供电公司自主搭建的调度自动化全景智能管控平台正式投运。该平台可针对电网调度自动化设备开展7×24小时全景监控、多层级动态健康评估,实现了调度自动化运维从被动处置向数字智能防控的转型升级。平台此前已试运行半年时间,唐山供电公司电网调度自动化设备异常发现时间由小时级缩短
3月25日,北京市人民代表大会法制委员会关于《北京市可再生能源开发利用条例(草案二次审议稿)》审议结果的报告。其中关于可再生能源电力消纳提到,促进可再生能源电力消纳是能源绿色低碳转型的关键环节,目前草案二次审议稿从新型电力系统建设、推进储能技术应用、电力消纳责任权重考核等方面作了规
3月25日,河北省发展和改革委员会关于进一步加强我省重要电力用户供用电安全管理工作的通知(冀发改运行[2025]367号)。重要电力用户供电电源应采用多电源、双电源或双回路供电。当任何一路或一路以上电源发生故障时,至少仍有一路电源对保安负荷供电。具体配置要求为:(一)特级重要电力用户应采用多
1988年前后,电力工业体制改革开始,华东电网体制改革作为“政企分开”的试点。1984年,华东三省一市通过征收电力建设资金等方式成为全国集资办电的试点,地方办电积极性提高,华东地区新增发电装机容量和电网规模快速增长。1988年6月,华东电网集资办电的经验和办法被能源部批准,并推广至其他网局、
截至3月20日,国能粤电台山发电有限公司年累计光伏发电量达408.1344万千瓦时,突破400万千瓦时大关,同比增长33.61%,为粤港澳大湾区经济发展和民生用电需求提供了绿色清洁能源。今年以来,该公司全力推动传统煤电业务向绿色低碳领域转型,积极抢占绿色效益电的发电先机,持续加强新能源项目开发,已投
3月19日,人民日报刊发《江苏苏州大规模充换电虚拟电厂投运》。报道指出,目前,苏州已有68座充换电站接入新型电力负荷管理系统,形成可调能力不少于2万千瓦的充换电虚拟电厂,单座充换电站充电功率调节速度可达秒级。也就是说,电网工作人员在线发出指令,新能源汽车充换电站就可以在十几秒内响应,通
3月17日,贵州省拟推荐申报国家能源局第五批能源领域首台(套)重大技术装备项目名单公示。拟择优选取中国南方电网有限责任公司超高压输电公司贵阳局申报的“首套超(特)高压多直流换流站远方集中监控平台”,贵州电网有限责任公司申报的“支撑智慧用电的首套电力指纹标准装置”、“热波成像涂层测厚
近日,经铜陵市发展和改革委员会正式批复,以铜陵公司为主导的铜陵市虚拟电厂管理中心正式挂牌成立。该中心将依托市电力负荷管理重心和省级虚拟电厂平台,统筹服务全市虚拟电厂建设与发展运营。这一举措,标志着该公司在推进能源电力保供、构建新型电力系统、服务新型主体发展方面迈出关键一步。虚拟电
近日,华中能源监管局组织召开2025年华中区域电力安全监管工作会,贯彻落实2025年全国电力安全生产电视电话会议和国家能源局2025年监管工作会议精神,总结2024年辖区电力安全生产工作,分析2025年电网运行方式,研判当前电力安全生产形势,布置2025年电力安全生产重点工作任务。华中能源监管局分管领导
在2025年德国汉诺威工业博览会期间,华为与菲尼克斯电气中国公司签署了合作备忘录,将在工业数智化领域展开全面联合技术创新合作。双方针对工业数智化及智能制造领域ICT技术和OT技术的融合发展,以及双边联合方案创新及行业应用,进行了深入沟通和交流。华为与菲尼克斯签约(中间左:菲尼克斯电气集团执
近日,数智科技公司自主研发的“空天地北斗定位技术”在新街能源智慧基建管理系统实现成功部署。此次技术应用在国内煤炭基建领域完成了“BIM+北斗”技术融合的首次落地,这一突破性进展标志着我国煤炭行业在数字化转型进程中迈出了关键一步。该系统通过创新性地将北斗卫星导航技术与BIM技术深度融合,
“之前从现场确定到最终答复,写一份供电方案需耗费供电员工大量时间,现在使用基于光明电力大模型的AI智能体后,供电方案生成时间从数小时压缩至几分钟,还通过标准化输出减少人为误差,提高了工作效率和准确性。”3月31日,国网甘肃白银供电公司城区分公司业扩报装员王奇说。自DeepSeek爆火以来,国
“分析一下2025年春节期间聊城地区电力客户诉求。”3月19日,山东聊城供电公司供电服务指挥中心工作人员贾凯莉在对话框中,询问该公司自主研发的AI数智员工“供指小研”。不到20秒,“供指小研”就用图表和文字的“双模式”输出了服务质量、客户满意程度、热点诉求等关键数据,客观展示了2025年春节期
4月2日,国家电投集团与华为在深圳签署深化战略合作协议,进一步加强双方在人工智能、数字赋能、战略性新兴产业等方面的合作。协议签署前,国家电投集团党组书记、董事长刘明胜与华为技术有限公司创始人、CEO任正非会面,就企业发展、公司治理、数字化转型与国际业务等方面进行了深入交流。双方表示将
近日,通州区再生能源发电厂“垃圾焚烧数字化智慧化技术”项目通过了专家评价,总体水平国内领先,工程化应用规模国际先进,具备高示范价值和广阔应用前景。该技术由绿色动力集团与阿里云合作开发,通过运用大数据分析、人工智能深度学习等手段,实现精准预测、智能控制等目标,有效降低污染物排放。试
“十五五”推进电力数字化智能化建设研究来源:中能源传媒研究院作者:赵云灏1王大为2龚钢军3陆俊3(1.华北电力大学国家能源发展战略研究院2.国网北京市电力公司电力科学研究院3.华北电力大学电气与电子工程学院)能源产业与数字技术融合发展是新时代推动我国能源产业基础高级化、产业链现代化的重要引
3月31日,南方电网公司企业管理大模型“大瓦特—智周”首批“1+2”示范性场景正式上线,标志着南方电网公司“AI+管理”建设迈出关键一步,以“智周万物、以智驭繁”的理念,推动企业管理全链条智慧化提升。2024年以来,南方电网公司统筹推进“AI+管理”建设,推动人工智能技术与业务管理深度融合,以AI
3月6日,国家能源局关于印发《国家能源局主责国家重点研发计划重点专项管理实施细则(试行)》的通知(国能发科技〔2025〕23号)。其中指出,紧密围绕国家新型能源体系建设重大需求,以实现科技自立自强、引领能源革命为核心,遵循专项实施方案,优化配置能源领域科技资源,持续践行新型举国体制,着力
3月31日,黑龙江省首个新型220千伏智能变电站——绥棱220千伏输变电工程成功投运。工程投运后,打破了绥棱县电网没有220千伏电源点的历史,缩短了66千伏网架供电半径,减轻了周边变电站的供电压力,形成了“双电源+环网”网架结构,显著提升了新能源接入负荷能力。工程自2023年开工建设,总投资1.04亿
春光正好,焕新出发!工程勘测与设计技术飞速发展数智转型需求全面升级道亨软件邀您共探创新前沿服务伙伴,聚力前行4月8日/9日15点,官方视频号直播开启智启春晖——道亨软件2025春季新产品新功能发布会诚邀您参与,共启智能未来!
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!