登录注册
请使用微信扫一扫
关注公众号完成登录
摘要
提出一种基于离线策略的安全强化学习方法,通过离线训练大量配电网历史运行数据,摆脱了传统优化方法对完备且准确模型的依赖。首先,结合配电网络参数信息,建立了基于约束马尔可夫决策过程的有功无功优化模型;其次,基于原始对偶优化法设计了新型安全强化学习方法,该方法在最大化未来折扣奖励的同时最小化成本函数;最后,在配电系统上进行仿真。仿真结果表明:所提方法能够根据配电网实时观测信息,在线生成满足复杂约束条件且具有经济效益的调度策略。
01 强化学习模型
1.1 ADN有功-无功协调调度模型
1.1.1 目标函数
本文从经济性出发,协调控制可投切电容器组(switchable capacitor banks,SCB)、有载调压变压器(on-load tap-changers,OLTC)、微型燃气轮机(micro-gas turbines,MT)、分布式储能系统(distributed energy storage system,DESS),使得ADN在总调度时段T内的运行成本最小。目标函数f为
1.1.2 约束条件
本文所构建优化调度模型的约束条件为潮流约束、节点电压幅值约束、线路传输功率约束、ADN与上级输电网的交互功率约束及各可调设备的运行约束。
1.2 基于CMDP的调度模型
02 基于原始对偶优化的安全强化学习
为求解CMDP的目标函数,本文通过引入拉格朗日乘子λ,将目标函数的不等式约束问题转化为无约束问题。基于原始对偶优化方法,在迭代中依次更新网络参数θ及对偶变量λk。
为求解CMDP模型,本文将原始对偶优化方法与DDPG算法相结合,提出一种基于PD-DDPG的ADN优化方法。
2)更新对偶变量及各项参数,具体可参考文献[20]。
2.1 离线训练流程
03 算例分析
3.1 算例设置
为验证所提安全强化学习方法在ADN有功-无功协调调度上的有效性,本文在修改的IEEE 123节点配电算例上进行验证。其中,节点23、121、42、40、116处接有光伏,装机容量均为100 kW。节点5、60、47、84、76处接有风电机组,装机容量均为100 kW。节点25、95、115处分别接入MT,节点21、57处接有DESS,DESS和MT的设备参数如表1所示。节点77、109处接入SCB,共有4个调节挡位,每档为300 kV·A,动作次数上限为5次。节点0、1之间接入OLTC,共有5个调节挡位;节点68、108之间,节点26、27之间,节点10、15之间分别接入OLTC,各有33个调节挡位;OLTC分接头每天动作上限均为6次,调节范围为–10%~10%。变电站容量上限为5000 kV·A。节点电压幅值约束范围为0.95~1.05 p.u.。总调度周期为24 h,以1 h为一个调度时段。本文算例基于CAISO2018—2020年的数据进行分析,前两年作为训练集,后一年作为测试集。本文工作基于pytorch框架实现,所提方法参数设置如表2所示。算例仿真在Intel(R) Core(TM) i7-11800H处理器2.30 GHz的工作站进行。
表1 DESS和MT设备参数
Table 1 DESS and MT equipment parameters
表2 所提方法参数设置
Table 2Parameter settings of the proposed method
3.2 离线训练表现
不同方法的离线训练和在线测试的平均耗时对比如表3所示。由表3可知,不同方法的在线测试时间均在1 s以内。PD-DDPG的离线训练时间更长,这可能是由于其算法结构复杂造成的。不同方法奖励和成本情况如图1~2所示,其中实线是平均值,阴影部分是波动范围。由图1~2可知,PD-DDPG的成本值接近于0,奖励值仅次于DDPG(ρ=1),但是DDPG(ρ=1)的成本值明显不能满足ADN安全运行。DDPG(ρ=10)、DDPG(ρ=20)的奖励成本值均劣于PD-DDPG方法。上述结果说明,ρ越小,DDPG越注重优化奖励项,而忽视成本项。PD-DDPG的性能最佳,能够在保证ADN安全的同时,最小化ADN日运行成本,避免了对惩罚系数的盲目选定,实现了拉格朗日乘子的自动学习。
表3 不同算法的训练和测试时间
Table 3Training and testing time of different algorithms
图1不同算法奖励值曲线
Fig.1Different algorithm reward value curves
图2不同算法成本值曲线
Fig.2Cost value curves of different algorithms
3.3 在线测试表现
在线决策阶段测试结果如图3~4所示。由图3可知,由于数据驱动方法随机性的存在,不能保证在测试过程中各智能体100%满足约束。PD-DDPG方法在大多测试集下成本值均接近0,能够满足配电系统的安全性。由图4可知,PD-DDPG方法和ρ=1、ρ=10、ρ=20的DDPG方法累计年运行成本分别为357.00万元、358.12万元、485.08万元、500.31万元。总体而言,PD-DDPG方法以最少的违反约束情况和最低的运营成本优于基于惩罚系数的DDPG方法。
图3在线测试成本值分布情况
Fig.3Online test cost value distribution
图4在线测试阶段运行成本
Fig.4Running costs during online testing phase
取测试集中某天数据进行测试,各类可调度资源有功调度结果如图5所示。由图5可知,00:00—04:00和11:00—14:00时段电价处于低谷且总负荷需求较小,MT有功功率减小,并随着可再生能源出力的增加进一步减小出力比例。同时,向上级电网的购电功率增加,DESS进行充电以备后续高峰时段,并就地消纳可再生能源,避免功率倒送。06:00—09:00和17:00—23:00时段电价处于高峰且负荷需求较大,可再生能源出力相对较低,ADN几乎不购电,MT有功出力上升。其中,节点95处的MT由于发电成本低而成为有功出力主力,DESS此时段放电,从而减小ADN运营成本。
图5有功调度结果
Fig.5Active power dispatch results
各类可调度资源的无功调度结果如图6~8所示。由图6可知,在负荷无功需求增多的05:00—10:00时段,MT增大无功补偿;在负荷无功需求减弱的16:00—17:00及23:00时段,节点109处的SCB减小挡位,避免过多的无功补偿造成节点电压升高;结合有功无功出力情况得到各个MT功率因数均在0.8以上。
图6无功调度结果
Fig.6Reactive power scheduling results
图7OLTC和SCB档位变化
Fig.7OLTC and SCB gear change
由图7OLTC和SCB档位变化可知,SCB和OLTC通过调节档位响应无功负荷需求,避免节点电压越限;调度周期内OLTC累积动作次数分别为0、3、4、4次,SCB的累计动作次数分别为0、4次,均在约束范围以内。由图8节点电压分布可知,节点电压在负荷减少时降低,在负荷增大时升高。在无功调压设备的协同动作下,各节点电压大都为0.975~1.000 p.u.,满足本文所建模型中的电压范围约束。
图8 不同节点的电压分布
Fig.8 Voltage distribution at different nodes
综上,经训练过的智能体生成的调度策略,能够根据电价和负荷需求,动态地调整DESS和MT出力,降低运行成本。此外,经无功调节设备的共同作用,改善了ADN电压质量。上述调度方式起到了削峰填谷的作用,减小了可再生能源波动性对ADN的干扰。
04 结语
本文针对ADN有功无功协调调度问题,基于原始对偶优化方法设计了新型DDPG方法,结合算例分析,本文所采用的离线策略算法,通过离线训练大量历史数据,能够在线生成调度结果,提升了电力系统决策效率。与此同时,避免了传统DRL方法对惩罚因子的敏感性,提升了ADN运行安全性。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
国网河南省电力公司认真落实国家电网有限公司第四届职工代表大会第五次会议暨2025年工作会议精神,锚定“大而强”目标,牢固树立“从严管理、和谐共赢、创新发展”工作理念,大力弘扬“马上就办、真抓实干”工作作风,狠抓党的建设、安全生产、电网转型、发展提质、改革创新“五大重点”,守牢“保”的
2月20日至21日,国家标准《城市配电网规划设计标准(送审稿)》审查会议在广州召开。来自住房和城乡建设部、中电联标准化管理中心、南方电网公司的代表,有关单位的专家以及编制组全体成员参加会议,南方电网公司战略规划部主持会议。城市配电网规划设计标准是近年来南方电网公司牵头编制的首个规划领域
——广州电力设计院创新驱动电网机械化施工侧记2024年11月,南方电网成功举办了2024年电网工程机械化施工设计比武比赛,广州电力设计院精心创作的“输、变、配”4个机械化设计方案作品从164个方案作品中脱颖而出,斩获了比赛一、二、三等奖。为全面贯彻党的二十大和二十届二中、三中全会精神,落实《质
2月25日,重庆市北供电公司首次应用无人机机巢开展配网架空线路无人机远程自主巡检,实现农网线路巡检自动化、智能化,有效提高线路巡检效率。春节前夕,市北供电公司无人机管控班已完成农网适航区所有重载运行线路的无人机红外测温工作。为进一步加强对线路运行情况的监测和巡查,该公司输电运检中心
2月21日,从国网甘肃省电力公司2025年配农网工程开复工动员会获悉,2024年,国网甘肃电力供区城中村、老旧小区低电压、重过载问题实现动态清零。城中村、老旧小区的供电可靠性和用电安全问题对客户用电体验至关重要。城中村及老旧小区存在多重用电隐患:房线矛盾导致线缆密布,表箱破损易引发漏电风险
近日从中国电力科学研究院有限公司获悉,截至2月19日,新一代配电网多环网系统保护和自愈装置在电网投运数量已达3000套,新型配电网高可靠保护技术正为居民安全稳定用电提供支撑。随着新能源电源的规模化接入以及用电负荷愈发密集,配电网供电路径规划和建设日益多元化,配电网拓扑结构由单向辐射型简
2月25日,广东电力通信科技有限公司2025年第一批配网通信建设项目EPC总承包框架采购招标,预计采购金额3.37亿元。广东电力通信科技有限公司在广东地区建设新型电力系统示范区配网通信网,满足电网及上下游企业用户各类业务需求。公司计划构建“全覆盖、泛在化、大带宽、高可靠、技术先进”的配电通信网
2月22日,国网河南省电力公司物资质量检测中心员工应用该公司自主研发的物资质量数字化管控平台,即时获取该公司12家物资检测中心新一批配电网物资检测数据及检测报告。2024年以来,国网河南电力开展物资质量监督管理再提升专项行动,通过提升物资检测能力、优化检测方式、强化监督考核等举措,提升配
在冀北,非遗是文化根脉的呼吸,传统工艺中往往藏着祖辈的执着:一炉火候、一味卤汤、一道錾痕,都是文化写给土地的故事。而今,这些故事里有了新的注脚,电网的纵横、电流的嗡鸣、电器的多元,正为非遗传承按下“快进键”。希冀公众号全新专栏——非遗探“电”局,带你探一度电如何让传统工艺跳出“博
2月18日,南方区域首个覆盖全省乡镇层级的分布式光伏管理工具——分布式光伏可开放容量公布平台在云南省能源局官网正式上线。云南省内居民、工商业用户可在线上查询所属区域的电网承载能力,便于将自建光伏项目发出的电能并网出售。该平台由云南电网公司开发,通过实时发布电网可接入容量、动态预警消
固定资产投资1750亿元,南方电网经营区域内非化石能源电量占比达52%、新能源装机达2.3亿千瓦、可再生能源发电利用率达97.5%……在南方电网公司2025年战略规划专业会上,一系列振奋人心的预期目标重磅发布。为实现这些预期目标,公司发布了今年战略规划重点工作。加快落实国家重大发展战略作为能源电力
国网国际融资租赁有限公司深入贯彻落实国家电网有限公司第四届职工代表大会第五次会议暨2025年工作会议精神,坚持干字当头,锚定建设具有能源电力特色的融资租赁领军企业的发展目标,加快推进内涵式高质量发展,为服务国家战略、服务能源电力高质量发展贡献更大力量。加强党建引领,坚持服务中心工作服
2月21日,南方电网公司召开2025年调度系统专业会议,总结2024年工作,部署今年重点工作。公司党组成员、副总经理王绍武出席会议并讲话,国家能源局南方监管局党组成员、副局长余保东到会指导。会议指出,能源加速转型给电网发展和安全带来新的严峻考验,要准确把握面临的新形势、新要求,在各种风险挑
2月25日,仁怀市人民政府印发仁怀市大面积停电事件应急预案的通知(仁府办函〔2025〕2号)。要求大面积停电事件发生后,电力调度机构合理安排运行方式,控制停电范围;尽快恢复重要输变电设备、电力主干网架运行;在条件具备时,优先恢复重要电力用户、重要城市和重点地区的电力供应。同时,电网企业迅
近日,华东能源监管局召开座谈会,专题听取国家电网华东分部关于华东区域省间网架建设工作思路的汇报。会上,国家电网华东分部详细介绍了“十四五”期间华东区域电网建设的进展情况,对“十五五”期间省间网架建设的形势进行了研判,随着区域经济发展和能源结构转型的不断推进,华东区域电力需求不断攀
当涂发电公司以起跑即冲刺的精神状态,全力以赴抓生产、增效益、谋发展。1月份煤电利用小时数沿江区域排名第二,来煤入厂标单同比下降8%,经营实现连续盈利,实现“开门红”。开局关乎全局,起步决定走势。一月份“开门红”的实现,靠的是“营”的能力,靠的是“赢”的信心,更重要的是思想观念的转变
2月21日,四川省召开全省能源工作会议,明确了2025年能源工作重点和具体目标。其中在电网建设方面,阿坝州将成为关注重点。会议透露,将重点推进阿坝—成都东1000千伏特高压交流工程建设,提速推进攀西特高压交流工程前期工作、力争年内核准开工,积极争取甘孜中、甘孜南和阿坝北等特高压交流加强和延
近日,南方电网电力调度大模型“大瓦特—天璇”基于南网调度云平台,完成DeepSeek-R1本地化部署,充分验证了“大瓦特—天璇”大模型平台能够快速适配、兼容主流开源基座模型,全面兼容国产化AI生态,标志着南方电网“电力调度+AI”深度赋能步伐加快。“大瓦特—天璇”是南方电网2023年底发布的国内首个
近年来,南方电网广东广州供电局持续推进调控一体化目标模式变电站建设,实现调度端对变电站全面独立的远程遥控操作。2024年6月广州供电局调控一体化目标模式变电站达200座,同年12月目标模式变电站突破300座,大幅减轻现场到站操作负担,超大城市电网调度感知和驾驭能力进一步提升。新型调度模式,调
2月5日,国网邯郸供电公司自主研发的新能源负荷预测应用正式上线运行。这一创新成果,标志着该公司在数字化赋能电力系统智能调控方面取得重大突破,为保障邯郸地区电力可靠供应、推动新能源高效利用注入强劲动力。“今日天气好,春节后基础负荷恢复,分布式光伏预计处于满发状态。”国网邯郸供电公司调
2月7日,记者从浙江省能源大数据中心获悉,截至2025年1月,浙江省光伏装机容量达到4727.48万千瓦,占浙江省全社会装机总量的31.12%,为浙江能源结构低碳绿色转型提供了大量的清洁动力。光伏新能源的高比例接入,也在2025年春节期间孕育出了一种新的负荷曲线形态——“鸭子曲线”。25年春节浙江电网典型
2月5日,2024年南方电网人工智能科技有限公司智能调度事业部第四批技术服务项目采购招标。招标范围:标的1:1、梳理与细化数据安全防护体系内容;2、敏感数据发现技术细化与验证3、数据去敏感化技术细化与验证4、数据追溯技术细化与验证5、数据标记技术细化与验证6、数据交互监测技术细化与验证7、敏感
2月28日,四川组织申报工业和信息化部算力强基揭榜行动项目。详情如下:关于组织申报工业和信息化部算力强基揭榜行动项目的通知各市(州)经济和信息化局、大数据产业主管部门,有关单位:根据《工业和信息化部办公厅关于组织开展算力强基揭榜行动的通知》(工信厅通信函〔2025〕55号)要求,为夯实算
近日,为贯彻落实《国务院关于印发〈深入实施以人为本的新型城镇化战略五年行动计划〉的通知》《中共中央办公厅、国务院办公厅〈关于推进新型城市基础设施建设打造韧性城市的意见〉》要求,各地市相继发布“深入实施以人为本的新型城镇化战略五年行动计划实施方案”,旨在通过提升城市基础设施建设水平
2月27日,福建省工业和信息化厅信息化推进处发来表扬信,对国能(泉州)热电有限公司2024年在推动数字化转型工作中取得的成果给予充分肯定。来信表示,国能(泉州)热电有限公司积极响应国家创新驱动发展战略,推动科技创新和产业创新深度融合,培育发展新质生产力。2024年,该公司申报的“5G+AI及UWB
眼下,在广西南宁,广西电网公司依托国家重点研发计划项目“百兆瓦时级钠离子电池储能技术”示范工程开展的钠离子电池储能电站项目正在扩容升级。“我们按6月底建成目标倒排工期,现已完成项目规划、工程初设等前期工作,正在通过建模仿真与平台实测相结合的方式,对技术方案的可行性、有效性和安全性
随着国产深度推理大模型DeepSeek的横空出世,人工智能(AI)浪潮以不可阻挡之势席卷各行各业。为充分发挥AI工具赋能作用,近日“三桶油”纷纷牵手DeepSeek。此举不仅为石油企业智能化转型提供了强有力的技术支撑,还将为我国人工智能技术在工业领域的落地应用提供有益探索,助力行业技术革新与效率提升
——广州电力设计院创新驱动电网机械化施工侧记2024年11月,南方电网成功举办了2024年电网工程机械化施工设计比武比赛,广州电力设计院精心创作的“输、变、配”4个机械化设计方案作品从164个方案作品中脱颖而出,斩获了比赛一、二、三等奖。为全面贯彻党的二十大和二十届二中、三中全会精神,落实《质
日前,华电陕西公司成功在“数智管控一张图”系统中嵌入DeepSeek(R1-14b模型),实现了系统中AI体系的升级换代,全面提升了“数智管控一张图”系统的信息共享和业务协同能力,推动了区域能源管控的高效化和智能化。该公司以《“人工智能+”专项行动方案》为指引,在“数智管控一张图”系统建设初期部
·54%的机构在数据驱动型业务方面达到成熟或先进水平。尽管如此,获得并掌握正确的数据对于推动降碳工作仍至关重要·降碳和资源效率取决于特定的数据类型·数字化技术的进步推动了基础设施的可持续化发展,但仍存在巨大的开发潜力·人工智能(AI)被列为对降碳和资源效率最具影响力的数字化技术西门子智
2月25日,内蒙古电力集团召开2025年度数字化工作会,深入贯彻落实集团公司“两会”精神,总结2024年数字化工作情况,分析面临的形势和存在的不足,安排2025年重点工作任务,动员全体干部职工聚焦集团公司中国企业200强企业目标,不断巩固深化转型质效,持续提升运营保障能力,全力完成“十四五”工作任
为有效解决分布式光伏剩余可开放容量不透明问题,助力分布式光伏高质量发展,云南能源监管办围绕电网公平开放政策要求,持续督导电网企业加大资源投入、加快梳理测算、加紧研发上线,公平无歧视提供电网接入能力查询服务。2月18日,云南分布式光伏可开放容量公布平台上线运行,实现全省乡镇级分布式光
当能源巨擘插上AI之翼一场改变未来的革命正在发生!2月15日华能完成DeepSeek系列模型本地化部署华能满血版DeepSeek模型正式投入使用瓦特(能源)与比特(数字)组队强强联手🔥🔥这波跨界不仅赢麻了🔥🔥更点燃了未来能源的无限可能!能源央企+顶尖AI=会碰撞出怎样的火花带你去看看华能+DeepSeek现在
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!