登录注册
请使用微信扫一扫
关注公众号完成登录
摘要
提出一种基于离线策略的安全强化学习方法,通过离线训练大量配电网历史运行数据,摆脱了传统优化方法对完备且准确模型的依赖。首先,结合配电网络参数信息,建立了基于约束马尔可夫决策过程的有功无功优化模型;其次,基于原始对偶优化法设计了新型安全强化学习方法,该方法在最大化未来折扣奖励的同时最小化成本函数;最后,在配电系统上进行仿真。仿真结果表明:所提方法能够根据配电网实时观测信息,在线生成满足复杂约束条件且具有经济效益的调度策略。
01 强化学习模型
1.1 ADN有功-无功协调调度模型
1.1.1 目标函数
本文从经济性出发,协调控制可投切电容器组(switchable capacitor banks,SCB)、有载调压变压器(on-load tap-changers,OLTC)、微型燃气轮机(micro-gas turbines,MT)、分布式储能系统(distributed energy storage system,DESS),使得ADN在总调度时段T内的运行成本最小。目标函数f为
1.1.2 约束条件
本文所构建优化调度模型的约束条件为潮流约束、节点电压幅值约束、线路传输功率约束、ADN与上级输电网的交互功率约束及各可调设备的运行约束。
1.2 基于CMDP的调度模型
02 基于原始对偶优化的安全强化学习
为求解CMDP的目标函数,本文通过引入拉格朗日乘子λ,将目标函数的不等式约束问题转化为无约束问题。基于原始对偶优化方法,在迭代中依次更新网络参数θ及对偶变量λk。
为求解CMDP模型,本文将原始对偶优化方法与DDPG算法相结合,提出一种基于PD-DDPG的ADN优化方法。
2)更新对偶变量及各项参数,具体可参考文献[20]。
2.1 离线训练流程
03 算例分析
3.1 算例设置
为验证所提安全强化学习方法在ADN有功-无功协调调度上的有效性,本文在修改的IEEE 123节点配电算例上进行验证。其中,节点23、121、42、40、116处接有光伏,装机容量均为100 kW。节点5、60、47、84、76处接有风电机组,装机容量均为100 kW。节点25、95、115处分别接入MT,节点21、57处接有DESS,DESS和MT的设备参数如表1所示。节点77、109处接入SCB,共有4个调节挡位,每档为300 kV·A,动作次数上限为5次。节点0、1之间接入OLTC,共有5个调节挡位;节点68、108之间,节点26、27之间,节点10、15之间分别接入OLTC,各有33个调节挡位;OLTC分接头每天动作上限均为6次,调节范围为–10%~10%。变电站容量上限为5000 kV·A。节点电压幅值约束范围为0.95~1.05 p.u.。总调度周期为24 h,以1 h为一个调度时段。本文算例基于CAISO2018—2020年的数据进行分析,前两年作为训练集,后一年作为测试集。本文工作基于pytorch框架实现,所提方法参数设置如表2所示。算例仿真在Intel(R) Core(TM) i7-11800H处理器2.30 GHz的工作站进行。
表1 DESS和MT设备参数
Table 1 DESS and MT equipment parameters
表2 所提方法参数设置
Table 2Parameter settings of the proposed method
3.2 离线训练表现
不同方法的离线训练和在线测试的平均耗时对比如表3所示。由表3可知,不同方法的在线测试时间均在1 s以内。PD-DDPG的离线训练时间更长,这可能是由于其算法结构复杂造成的。不同方法奖励和成本情况如图1~2所示,其中实线是平均值,阴影部分是波动范围。由图1~2可知,PD-DDPG的成本值接近于0,奖励值仅次于DDPG(ρ=1),但是DDPG(ρ=1)的成本值明显不能满足ADN安全运行。DDPG(ρ=10)、DDPG(ρ=20)的奖励成本值均劣于PD-DDPG方法。上述结果说明,ρ越小,DDPG越注重优化奖励项,而忽视成本项。PD-DDPG的性能最佳,能够在保证ADN安全的同时,最小化ADN日运行成本,避免了对惩罚系数的盲目选定,实现了拉格朗日乘子的自动学习。
表3 不同算法的训练和测试时间
Table 3Training and testing time of different algorithms
图1不同算法奖励值曲线
Fig.1Different algorithm reward value curves
图2不同算法成本值曲线
Fig.2Cost value curves of different algorithms
3.3 在线测试表现
在线决策阶段测试结果如图3~4所示。由图3可知,由于数据驱动方法随机性的存在,不能保证在测试过程中各智能体100%满足约束。PD-DDPG方法在大多测试集下成本值均接近0,能够满足配电系统的安全性。由图4可知,PD-DDPG方法和ρ=1、ρ=10、ρ=20的DDPG方法累计年运行成本分别为357.00万元、358.12万元、485.08万元、500.31万元。总体而言,PD-DDPG方法以最少的违反约束情况和最低的运营成本优于基于惩罚系数的DDPG方法。
图3在线测试成本值分布情况
Fig.3Online test cost value distribution
图4在线测试阶段运行成本
Fig.4Running costs during online testing phase
取测试集中某天数据进行测试,各类可调度资源有功调度结果如图5所示。由图5可知,00:00—04:00和11:00—14:00时段电价处于低谷且总负荷需求较小,MT有功功率减小,并随着可再生能源出力的增加进一步减小出力比例。同时,向上级电网的购电功率增加,DESS进行充电以备后续高峰时段,并就地消纳可再生能源,避免功率倒送。06:00—09:00和17:00—23:00时段电价处于高峰且负荷需求较大,可再生能源出力相对较低,ADN几乎不购电,MT有功出力上升。其中,节点95处的MT由于发电成本低而成为有功出力主力,DESS此时段放电,从而减小ADN运营成本。
图5有功调度结果
Fig.5Active power dispatch results
各类可调度资源的无功调度结果如图6~8所示。由图6可知,在负荷无功需求增多的05:00—10:00时段,MT增大无功补偿;在负荷无功需求减弱的16:00—17:00及23:00时段,节点109处的SCB减小挡位,避免过多的无功补偿造成节点电压升高;结合有功无功出力情况得到各个MT功率因数均在0.8以上。
图6无功调度结果
Fig.6Reactive power scheduling results
图7OLTC和SCB档位变化
Fig.7OLTC and SCB gear change
由图7OLTC和SCB档位变化可知,SCB和OLTC通过调节档位响应无功负荷需求,避免节点电压越限;调度周期内OLTC累积动作次数分别为0、3、4、4次,SCB的累计动作次数分别为0、4次,均在约束范围以内。由图8节点电压分布可知,节点电压在负荷减少时降低,在负荷增大时升高。在无功调压设备的协同动作下,各节点电压大都为0.975~1.000 p.u.,满足本文所建模型中的电压范围约束。
图8 不同节点的电压分布
Fig.8 Voltage distribution at different nodes
综上,经训练过的智能体生成的调度策略,能够根据电价和负荷需求,动态地调整DESS和MT出力,降低运行成本。此外,经无功调节设备的共同作用,改善了ADN电压质量。上述调度方式起到了削峰填谷的作用,减小了可再生能源波动性对ADN的干扰。
04 结语
本文针对ADN有功无功协调调度问题,基于原始对偶优化方法设计了新型DDPG方法,结合算例分析,本文所采用的离线策略算法,通过离线训练大量历史数据,能够在线生成调度结果,提升了电力系统决策效率。与此同时,避免了传统DRL方法对惩罚因子的敏感性,提升了ADN运行安全性。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
2月23日,《中共中央国务院关于进一步深化农村改革扎实推进乡村全面振兴的意见》发布,对当前和今后一个时期“三农”工作作出系统部署。在推动基础设施向农村延伸方面,今年中央一号文件提出“巩固提升农村电力保障水平”。随着自治区农村牧区生产生活电气化程度的持续提高,智慧农牧业设施24小时用电
3月8日,内蒙古自治区能源局发布关于公开征求增量配电网有关政策意见建议的公告。公告指出,鼓励增量配电网接入集中式新能源,按照“自我调峰、自我消纳”原则在增量配电网内消纳,不得向其他电网送电,不得增加自治区级电网调峰压力。原文如下:内蒙古自治区能源局关于公开征求增量配电网有关政策意见
北极星售电网获悉,3月8日,内蒙古自治区能源局发布关于公开征求增量配电网有关政策意见建议的公告。内蒙古自治区能源局起草了《增量配电网管理实施细则(征求意见稿)》《关于促进增量配电网高质量发展的若干措施(征求意见稿)》,现向社会公开征求意见。文件明确,细则所述增量配电网为110千伏及以
北极星售电网获悉,3月13日,国家能源局综合司发布关于修订印发电力业务许可证申请表和告知承诺书的通知。详情如下:国家能源局综合司关于修订印发电力业务许可证申请表和告知承诺书的通知各派出机构:为做好工作衔接,根据《供电营业区划分管理办法》(国家发展改革委2024年第19号令)《增量配电业务
3月3日,国网宁夏石嘴山供电公司在大武口地区成功构建全域配电网数字联络图系统,实现配电网运行状态全景可视化。该创新成果使负荷转供方案审核效率提升85%,为宁夏地区配电网数字化转型提供了示范样板。面对传统配网调度需人工比对多张单线图、耗时长达10分钟且易出错的行业痛点,该公司历时45天完成
3月12日,山东济宁经开区公布2025年3月分布式光伏可开放容量信息表。
2月28日,三明市发展和改革委员会关于印发2025年度市重点项目名单的通知,2025年全市安排重点项目353个(续建项目109个,新建项目244个),总投资1914.3亿元,年度计划投资622.7亿元。其中包括福建省永安抽水蓄能电站项目、220千伏电网项目、35-110千伏电网改造升级工程、10千伏及以下城乡配电网巩固提
3月12日,上海市发展和改革委员会印发《上海市粮仓光伏建设实施方案》(沪粮仓〔2025〕18号)。其中提到,电网企业应优化配电网规划设计运行,提高配电网智能化水平,优化粮仓光伏发电项目并网流程,加强配电网升级改造,确保配套电网与粮仓光伏发电项目同步建成、同步并网,实现应接尽接。同时指出,
目前西藏仍存在部分县级及以上与主网联系薄弱区域,亟需继续加强投资,统筹电网结构加强、构建微电网、差异化改造等措施,补强电网短板,提升供电可靠性。为此,全国人大代表、国网拉萨供电公司城区供电服务中心带电作业保电班副班长扎西尼玛建议,继续加大农网巩固提升工程中央预算内资金支持力度,着
北极星售电网获悉,近日,河南省发改委公布第六批源网荷储一体化项目清单。本次共36个项目纳入实施范围,其中,工业企业类29个、增量配电网类1个,农村地区类6个。通知要求,本批次项目光伏发电部分应自通知印发之日起6个月内开工建设,风电部分应自通知印发之日起6个月内完成核准,自核准之日起12个月
今年的政府工作报告提出,“协同推进降碳减污扩绿增长,加快经济社会发展全面绿色转型”。在“双碳”目标背景下,如何更好发挥能源电力行业作用,加快新型电力系统建设,赋能地方经济社会高质量发展?记者采访了全国人大代表、宁夏回族自治区吴忠市委书记王学军。记者:吴忠市能源资源富集,新能源发电
近日,经铜陵市发展和改革委员会正式批复,以铜陵公司为主导的铜陵市虚拟电厂管理中心正式挂牌成立。该中心将依托市电力负荷管理重心和省级虚拟电厂平台,统筹服务全市虚拟电厂建设与发展运营。这一举措,标志着该公司在推进能源电力保供、构建新型电力系统、服务新型主体发展方面迈出关键一步。虚拟电
近日,华中能源监管局组织召开2025年华中区域电力安全监管工作会,贯彻落实2025年全国电力安全生产电视电话会议和国家能源局2025年监管工作会议精神,总结2024年辖区电力安全生产工作,分析2025年电网运行方式,研判当前电力安全生产形势,布置2025年电力安全生产重点工作任务。华中能源监管局分管领导
国网国际融资租赁有限公司深入贯彻落实国家电网有限公司第四届职工代表大会第五次会议暨2025年工作会议精神,坚持干字当头,锚定建设具有能源电力特色的融资租赁领军企业的发展目标,加快推进内涵式高质量发展,为服务国家战略、服务能源电力高质量发展贡献更大力量。加强党建引领,坚持服务中心工作服
2月21日,南方电网公司召开2025年调度系统专业会议,总结2024年工作,部署今年重点工作。公司党组成员、副总经理王绍武出席会议并讲话,国家能源局南方监管局党组成员、副局长余保东到会指导。会议指出,能源加速转型给电网发展和安全带来新的严峻考验,要准确把握面临的新形势、新要求,在各种风险挑
2月25日,仁怀市人民政府印发仁怀市大面积停电事件应急预案的通知(仁府办函〔2025〕2号)。要求大面积停电事件发生后,电力调度机构合理安排运行方式,控制停电范围;尽快恢复重要输变电设备、电力主干网架运行;在条件具备时,优先恢复重要电力用户、重要城市和重点地区的电力供应。同时,电网企业迅
近日,华东能源监管局召开座谈会,专题听取国家电网华东分部关于华东区域省间网架建设工作思路的汇报。会上,国家电网华东分部详细介绍了“十四五”期间华东区域电网建设的进展情况,对“十五五”期间省间网架建设的形势进行了研判,随着区域经济发展和能源结构转型的不断推进,华东区域电力需求不断攀
当涂发电公司以起跑即冲刺的精神状态,全力以赴抓生产、增效益、谋发展。1月份煤电利用小时数沿江区域排名第二,来煤入厂标单同比下降8%,经营实现连续盈利,实现“开门红”。开局关乎全局,起步决定走势。一月份“开门红”的实现,靠的是“营”的能力,靠的是“赢”的信心,更重要的是思想观念的转变
2月21日,四川省召开全省能源工作会议,明确了2025年能源工作重点和具体目标。其中在电网建设方面,阿坝州将成为关注重点。会议透露,将重点推进阿坝—成都东1000千伏特高压交流工程建设,提速推进攀西特高压交流工程前期工作、力争年内核准开工,积极争取甘孜中、甘孜南和阿坝北等特高压交流加强和延
近日,南方电网电力调度大模型“大瓦特—天璇”基于南网调度云平台,完成DeepSeek-R1本地化部署,充分验证了“大瓦特—天璇”大模型平台能够快速适配、兼容主流开源基座模型,全面兼容国产化AI生态,标志着南方电网“电力调度+AI”深度赋能步伐加快。“大瓦特—天璇”是南方电网2023年底发布的国内首个
近年来,南方电网广东广州供电局持续推进调控一体化目标模式变电站建设,实现调度端对变电站全面独立的远程遥控操作。2024年6月广州供电局调控一体化目标模式变电站达200座,同年12月目标模式变电站突破300座,大幅减轻现场到站操作负担,超大城市电网调度感知和驾驭能力进一步提升。新型调度模式,调
2月5日,国网邯郸供电公司自主研发的新能源负荷预测应用正式上线运行。这一创新成果,标志着该公司在数字化赋能电力系统智能调控方面取得重大突破,为保障邯郸地区电力可靠供应、推动新能源高效利用注入强劲动力。“今日天气好,春节后基础负荷恢复,分布式光伏预计处于满发状态。”国网邯郸供电公司调
近日,哈电集团哈尔滨电机厂有限责任公司重磅发布,国产人工智能大模型DeepSeek本地化部署全面完成并正式投运。这标志着哈电电机在推动AI技术与产业发展深度融合取得关键性突破,在“数转”与“智造”高质量发展进程中迈出人工智能应用的重要一步。“十四五”期间,哈电电机以全面建设“数字哈电”为总
通算规模突破3万节点,智算规模超3000P发布千亿级NLP大模型,上线5个以上垂直领域大模型年内形成基本覆盖公司全业务域的电力知识库打造人工智能综合示范区,分批次完成53个“大瓦特”揭榜挂帅场景建设在电算协同、电鸿物联、人工智能、可信数据空间等方面推进行业、产业上下游交流合作近日,南方电网召
一场引领数字储能技术革新、重构智慧能源价值链条的行业盛会即将启幕!弘正储能将于3月20日在上海隆重召开数字化系统COSMOS2.0发布暨2025智储生态大会,诚邀全球能源领域同仁共襄盛举。本次发布会由弘正储能(上海)能源科技有限公司主办,届时,政府领导、储能行业权威专家及合作伙伴将亲临现场,共同
3月5日,贵州电网公司召开“大瓦特”示范应用场景“管理萃取”项目建设启动会,旨在通过引入先进的推理大模型技术,加速企业智能化转型进程。据悉,“管理萃取”项目围绕“机器代人、智慧助脑、全景透明、一提一增”的数字化转型要求,精准把握核心需求,建立敏捷开发机制,充分挖掘和提炼企业内部的管
“我们需要挖掘匹配不同应用场景之间的通用技术,提升模型应用效能,确保人工智能大模型在设备管理、配电运维、客户服务等多个业务领域中真正发挥作用。”3月3日,在国网湖北省电力有限公司电力科学研究院,国网湖北电力人工智能特战队成员易忱与同事们正围绕光明电力大模型应用场景开展技术研讨。近年
3月3日,国网宁夏石嘴山供电公司在大武口地区成功构建全域配电网数字联络图系统,实现配电网运行状态全景可视化。该创新成果使负荷转供方案审核效率提升85%,为宁夏地区配电网数字化转型提供了示范样板。面对传统配网调度需人工比对多张单线图、耗时长达10分钟且易出错的行业痛点,该公司历时45天完成
中核四0四是我国首批建设的核工业66“五厂三矿”之一,为“两弹”研制做出了不可磨灭的历史性贡献,被誉为中国核城。面对核工业发展难得的机遇期,立足中核集团新时代“三位一体”奋斗目标,中核四0四如何拥抱数字化转型发展,涵养人才发展生态,深化“产学研用月”99吊融合,做做好工业文化遗产的保护
近日,远光软件旗下企业管理大模型——远光智言,正式通过中国信息通信研究院(以下简称“中国信通院”)大模型基础能力完备性测评,成为国内首批通过该项权威认证的企业级大模型解决方案之一。中国信通院构建的“大模型基础能力完备性”测评体系,旨在通过科学的方法与标准,全方位、多维度地对大模型
3月11日,全国政协常委、中国民间商会副会长、正泰集团董事长南存辉到访中国华电集团,与中国华电集团有限公司董事长、党组书记江毅举行会谈。双方围绕深化绿色能源产业合作,推动新能源高质量发展有关事宜深入交流。正泰集团董事、正泰新能源董事长陆川等参加会谈。江毅对南存辉一行在全国两会闭幕之
为推动浙江电力市场数字化监管工作持续深化,促进数字化监管成效巩固提升,近日,浙江能源监管办组织召开数字化监管工作推进会议,办有关负责同志,交易中心、调控中心和省电力公司营销、财务部门负责人参加会议。会议讨论了《浙江能源监管办2025年浙江电力市场数字化监管工作实施方案》,明确数字化监
2月27日,中国华电召开2025年“AI+”行动专题会。集团公司董事长、党组书记江毅出席会议并讲话强调,要深入学习贯彻习近平总书记关于新一代人工智能发展重要论述,坚决落实党中央、国务院决策部署,立足服务国家战略,全力推动公司融入国家算力布局,加快高质量场景落地,全力塑造产业新优势、培育发展
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!