登录注册
请使用微信扫一扫
关注公众号完成登录
摘要
提出一种基于离线策略的安全强化学习方法,通过离线训练大量配电网历史运行数据,摆脱了传统优化方法对完备且准确模型的依赖。首先,结合配电网络参数信息,建立了基于约束马尔可夫决策过程的有功无功优化模型;其次,基于原始对偶优化法设计了新型安全强化学习方法,该方法在最大化未来折扣奖励的同时最小化成本函数;最后,在配电系统上进行仿真。仿真结果表明:所提方法能够根据配电网实时观测信息,在线生成满足复杂约束条件且具有经济效益的调度策略。
01 强化学习模型
1.1 ADN有功-无功协调调度模型
1.1.1 目标函数
本文从经济性出发,协调控制可投切电容器组(switchable capacitor banks,SCB)、有载调压变压器(on-load tap-changers,OLTC)、微型燃气轮机(micro-gas turbines,MT)、分布式储能系统(distributed energy storage system,DESS),使得ADN在总调度时段T内的运行成本最小。目标函数f为
1.1.2 约束条件
本文所构建优化调度模型的约束条件为潮流约束、节点电压幅值约束、线路传输功率约束、ADN与上级输电网的交互功率约束及各可调设备的运行约束。
1.2 基于CMDP的调度模型
02 基于原始对偶优化的安全强化学习
为求解CMDP的目标函数,本文通过引入拉格朗日乘子λ,将目标函数的不等式约束问题转化为无约束问题。基于原始对偶优化方法,在迭代中依次更新网络参数θ及对偶变量λk。
为求解CMDP模型,本文将原始对偶优化方法与DDPG算法相结合,提出一种基于PD-DDPG的ADN优化方法。
2)更新对偶变量及各项参数,具体可参考文献[20]。
2.1 离线训练流程
03 算例分析
3.1 算例设置
为验证所提安全强化学习方法在ADN有功-无功协调调度上的有效性,本文在修改的IEEE 123节点配电算例上进行验证。其中,节点23、121、42、40、116处接有光伏,装机容量均为100 kW。节点5、60、47、84、76处接有风电机组,装机容量均为100 kW。节点25、95、115处分别接入MT,节点21、57处接有DESS,DESS和MT的设备参数如表1所示。节点77、109处接入SCB,共有4个调节挡位,每档为300 kV·A,动作次数上限为5次。节点0、1之间接入OLTC,共有5个调节挡位;节点68、108之间,节点26、27之间,节点10、15之间分别接入OLTC,各有33个调节挡位;OLTC分接头每天动作上限均为6次,调节范围为–10%~10%。变电站容量上限为5000 kV·A。节点电压幅值约束范围为0.95~1.05 p.u.。总调度周期为24 h,以1 h为一个调度时段。本文算例基于CAISO2018—2020年的数据进行分析,前两年作为训练集,后一年作为测试集。本文工作基于pytorch框架实现,所提方法参数设置如表2所示。算例仿真在Intel(R) Core(TM) i7-11800H处理器2.30 GHz的工作站进行。
表1 DESS和MT设备参数
Table 1 DESS and MT equipment parameters
表2 所提方法参数设置
Table 2Parameter settings of the proposed method
3.2 离线训练表现
不同方法的离线训练和在线测试的平均耗时对比如表3所示。由表3可知,不同方法的在线测试时间均在1 s以内。PD-DDPG的离线训练时间更长,这可能是由于其算法结构复杂造成的。不同方法奖励和成本情况如图1~2所示,其中实线是平均值,阴影部分是波动范围。由图1~2可知,PD-DDPG的成本值接近于0,奖励值仅次于DDPG(ρ=1),但是DDPG(ρ=1)的成本值明显不能满足ADN安全运行。DDPG(ρ=10)、DDPG(ρ=20)的奖励成本值均劣于PD-DDPG方法。上述结果说明,ρ越小,DDPG越注重优化奖励项,而忽视成本项。PD-DDPG的性能最佳,能够在保证ADN安全的同时,最小化ADN日运行成本,避免了对惩罚系数的盲目选定,实现了拉格朗日乘子的自动学习。
表3 不同算法的训练和测试时间
Table 3Training and testing time of different algorithms
图1不同算法奖励值曲线
Fig.1Different algorithm reward value curves
图2不同算法成本值曲线
Fig.2Cost value curves of different algorithms
3.3 在线测试表现
在线决策阶段测试结果如图3~4所示。由图3可知,由于数据驱动方法随机性的存在,不能保证在测试过程中各智能体100%满足约束。PD-DDPG方法在大多测试集下成本值均接近0,能够满足配电系统的安全性。由图4可知,PD-DDPG方法和ρ=1、ρ=10、ρ=20的DDPG方法累计年运行成本分别为357.00万元、358.12万元、485.08万元、500.31万元。总体而言,PD-DDPG方法以最少的违反约束情况和最低的运营成本优于基于惩罚系数的DDPG方法。
图3在线测试成本值分布情况
Fig.3Online test cost value distribution
图4在线测试阶段运行成本
Fig.4Running costs during online testing phase
取测试集中某天数据进行测试,各类可调度资源有功调度结果如图5所示。由图5可知,00:00—04:00和11:00—14:00时段电价处于低谷且总负荷需求较小,MT有功功率减小,并随着可再生能源出力的增加进一步减小出力比例。同时,向上级电网的购电功率增加,DESS进行充电以备后续高峰时段,并就地消纳可再生能源,避免功率倒送。06:00—09:00和17:00—23:00时段电价处于高峰且负荷需求较大,可再生能源出力相对较低,ADN几乎不购电,MT有功出力上升。其中,节点95处的MT由于发电成本低而成为有功出力主力,DESS此时段放电,从而减小ADN运营成本。
图5有功调度结果
Fig.5Active power dispatch results
各类可调度资源的无功调度结果如图6~8所示。由图6可知,在负荷无功需求增多的05:00—10:00时段,MT增大无功补偿;在负荷无功需求减弱的16:00—17:00及23:00时段,节点109处的SCB减小挡位,避免过多的无功补偿造成节点电压升高;结合有功无功出力情况得到各个MT功率因数均在0.8以上。
图6无功调度结果
Fig.6Reactive power scheduling results
图7OLTC和SCB档位变化
Fig.7OLTC and SCB gear change
由图7OLTC和SCB档位变化可知,SCB和OLTC通过调节档位响应无功负荷需求,避免节点电压越限;调度周期内OLTC累积动作次数分别为0、3、4、4次,SCB的累计动作次数分别为0、4次,均在约束范围以内。由图8节点电压分布可知,节点电压在负荷减少时降低,在负荷增大时升高。在无功调压设备的协同动作下,各节点电压大都为0.975~1.000 p.u.,满足本文所建模型中的电压范围约束。
图8 不同节点的电压分布
Fig.8 Voltage distribution at different nodes
综上,经训练过的智能体生成的调度策略,能够根据电价和负荷需求,动态地调整DESS和MT出力,降低运行成本。此外,经无功调节设备的共同作用,改善了ADN电压质量。上述调度方式起到了削峰填谷的作用,减小了可再生能源波动性对ADN的干扰。
04 结语
本文针对ADN有功无功协调调度问题,基于原始对偶优化方法设计了新型DDPG方法,结合算例分析,本文所采用的离线策略算法,通过离线训练大量历史数据,能够在线生成调度结果,提升了电力系统决策效率。与此同时,避免了传统DRL方法对惩罚因子的敏感性,提升了ADN运行安全性。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
6月4日,陕西发改委发布关于再次公开征求《关于调整分时电价政策有关事项的通知(征求意见稿)》意见的公告。意见稿指出,中午10:00~14:00之间,光伏大发时间,为低谷电价,在平段电价基础上,下浮70%。原文如下:关于再次公开征求《关于调整分时电价政策有关事项的通知(征求意见稿)》意见的公告为充
6月5日,国新办举行新闻发布会,介绍“深化提升‘获得电力’服务水平全面打造现代化用电营商环境”有关情况。有记者提问“当前供电服务还存在一些薄弱的区域和环节,比如农村偏远地区、孤岛等供电末梢,这些都是供电服务的堵点难点所在。请问,电网企业将采取哪些措施解决这类问题?”,中国南方电网有
6月5日,国新办举行新闻发布会,介绍“深化提升‘获得电力’服务水平全面打造现代化用电营商环境”有关情况。国家能源局副局长宋宏坤在回答记者提问时表示,近年来,中国可再生能源总体保持了高速度发展、高比例利用、高质量消纳的良好态势,为保障电力供应、促进能源转型发挥了重要作用。截至今年4月
6月1日开始实行的江苏省分时电价新政在工商储行业掀起轩然大波,新政中工商业用户分时电价浮动计价范围,从“到户电价”缩减到“用户购电价”,尽管浮动比例提高,但到户电价峰/谷、平/谷价差缩小。同时,多省调整分时电价的信号越来越明显,依赖峰谷套利单一收益模式的工商储项目投资回报周期延长。如
北极星售电网获悉,6月5日,山东省能源局发布关于公布《2025年度山东省能源领域新技术、新产品、新设备推荐目录》(以下简称《目录》)的通知。《目录》包括,虚拟电厂资源聚合互动调控平台,虚拟电厂资源聚合互动调控平台通过信息通信技术(ICT)、智能控制算法与市场机制创新,将分散的分布式能源资
5月29日,鹤壁首座车载移动变电站在国网鹤壁供电公司淇滨110千伏变电站投运。该变电站的投运增强了鹤壁电网迎峰度夏期间的供电可靠性,为全省电力应急保障体系建设提供了新的技术支撑。据介绍,车载移动变电站项目总投资1928万元,全部采用模块化装配式设计,核心设备包括50兆伏安主变压器、110千伏主
6月5日,国新办举行新闻发布会,介绍“深化提升‘获得电力’服务水平全面打造现代化用电营商环境”有关情况。国家电网有限公司总经理庞骁刚在回答“在加强企业用电服务保障、助力企业降低用电成本方面,国家电网有哪些具体举措”提问时指出,下一步,我们将积极服务国家产业发展战略,重点从三个方面强
2025年5月30日,国家发展改革委、国家能源局联合印发《关于有序推动绿电直连发展有关事项的通知》(发改能源〔2025〕650号)。这是我国首份绿电直连政策法规,旨在探索创新新能源生产和消费融合发展模式,促进新能源就近就地消纳,更好满足企业绿色用能需求。在国际碳贸易壁垒下,绿电直连政策是我国应
6月5日,国务院新闻办举行新闻发布会,介绍《关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见》有关情况并答记者问,国家能源局副局长宋宏坤、国家电网有限公司总经理庞骁刚、中国南方电网有限责任公司总经理钱朝阳、国家能源局市场监管司司长郝瑞锋等出席会议。文字实录如下:国家
北极星售电网获悉,6月4日,陕西省发展和改革委员会发布关于再次公开征求《关于调整分时电价政策有关事项的通知(征求意见稿)》意见的公告。对于峰谷时段,文件明确:(一)由电网企业代理购电的工商业用电及农业生产用电分时电价每日分为高峰、平段、低谷三个时段。高峰时段为16:00-23:00,低谷时段
6月5日,国务院新闻办举行新闻发布会,国家能源局副局长宋宏坤表示,为提升电力系统对新能源消纳能力采取了一系列有力措施:一是统筹推进网源协调发展。有序推进大型清洁能源基地以及跨省区输电工程核准建设,推动一批满足可再生能源接入的电网主网架工程及时纳入规划,督促电网企业优化接网流程,为可
为贯彻落实党中央、国务院关于加快绿色低碳发展和构建新型电力系统的决策部署,国家发展改革委、国家能源局近日发布《关于有序推动绿电直连发展有关事项的通知》,培育绿色制造国际竞争优势,提升新能源就近消纳能力。当前,我国绿电直连仍处于探索阶段,江苏等省份已经开始针对电池企业展开实践,全国
随着近期云南多个新型储能电站密集投产,云南省新型储能装机于5月31日突破400万千瓦,达到465.5万千瓦,超额实现“十四五”规划目标。其中,集中共享储能达435.5万千瓦、占新型储能总装机比例达93.5%,且主要以锂电池技术为主。近年来,随着“双碳”目标与“两型”建设加速推进,云南省聚焦“三个定位
6月5日,汉中市发改委发布汉中市电力高质量发展实施意见(草稿),文件指出,鼓励屋顶分布式项目开发,推动工商业屋顶分布式光伏发展,支持优先采用“自发自用”建设模式,鼓励分布式光伏项目配置储能设施,减小公共电网运行压力。住房城乡建设、发展改革、自然资源、财政、机关事务管理等部门,应当共
近日,国家电投集团一批新能源项目并网,它们如同跃动的音符,在祖国大地的四面八方奏响绿色发展的交响乐,从大漠戈壁到东海之滨、从高原山麓到平原沃野,国家电投集团以奋进为笔、以创新为墨,不断推动绿色能源高质量发展。内蒙古公司兴安盟突泉县445兆瓦风电项目并网5月30日,内蒙古公司兴安盟突泉县
北极星售电网获悉,近日,陕西省汉中市发展和改革委员会发布《汉中市电力高质量发展实施意见(草稿)》,其中提到,县级以上人民政府及其有关部门应当因地制宜推动储蓄、火电、水电等多种电源与新能源发电协同运营,有序发展多能互补项目;健全多能源发电协同调度机制,统筹优化调峰电源运行,保障新能
近日国家电投集团一批新能源项目并网它们如同跃动的音符在祖国大地的四面八方奏响绿色发展的交响乐从大漠戈壁到东海之滨从高原山麓到平原沃野国家电投集团以奋进为笔、以创新为墨不断推动绿色能源高质量发展内蒙古公司兴安盟突泉县445兆瓦风电项目并网5月30日,内蒙古公司兴安盟突泉县445兆瓦风电项目
截至5月29日,安徽公司年累计发电量达200.45亿千瓦时,突破200亿千瓦时大关,其中火力发电195亿千瓦时,新能源发电5.45亿千瓦时。面对安徽省电力市场长周期试运行新形势,该公司加快转型发展步伐,加大“两个联营”落实力度,大力发展新能源,新能源装机容量同比增加61.32%;并相继实施630兆瓦、330兆
为贯彻落实国家能源局《2025年能源工作指导意见》关于“统筹推进新型电力系统建设,推进虚拟电厂高质量发展”的要求,经省发展改革委、省能源局、浙江能源监管办同意,浙江电力市场管理委员会发布了《浙江省虚拟电厂运营管理实施细则(试行)》(以下简称“细则”),对虚拟电厂主体注册、能力认证、变
为保障端午节期间电网安全稳定运行,满足人民群众节日用电需求,大唐安徽当涂发电公司提前部署、周密安排,通过“强化设备运维、优化燃料储备、落实应急值守”等多项举措,圆满完成端午节保电工作。值班值守“不断链”。节日期间,该公司值守领导和关键岗位24小时值班制度,运行人员加密监盘频次,实时
近期,多座储能电站获最新进展,北极星储能网特将2025年5月26日-2025年5月30日期间发布的储能项目动态整理如下:我国首个大型锂钠混合储能站投产5月25日,我国首个大型锂钠混合储能站——南方电网宝池储能站在文山壮族苗族自治州丘北县正式投产。宝池储能站属于国家新型储能试点示范项目,也是云南省首
近日,国家发改委、国家能源局印发《关于有序推动绿电直连发展有关事项的通知》。政策直指单一利用公用电网方式下的高比例新能源消纳困境和碳壁垒,提出“主网和微网协同发展”的思想,同时带动发电、用能和电网体系的结构性变革,将对我国能源体制、市场规则和企业角色带来全方位转变。政策背景:促进
目前,华能集团共5家上市公司,分别是:华能国际、内蒙华电、华能水电、新能泰山、长城证券。一、华能国际华能国际是中国最大的上市发电公司之一,截至2024年底,华能国际发电装机超1.45亿千瓦,其中风电装机1810.9万千瓦、太阳能装机1983.6万千瓦、水电装机37万千瓦、天然气发电装机1350.8万千瓦、生
在推进新能源占比不断提升的新型电力系统构建进程中,煤电正经历着历史性的角色嬗变。今年,国家发展改革委、国家能源局联合印发《新一代煤电升级专项行动实施方案(2025#x2014;2027年)》(以下简称《实施方案》),新一代煤电升级专项行动正式启动,旨在推动传统煤电向“清洁降碳、安全可靠、高效调
随着环卫作业智能化浪潮逐步深入,宇通环卫始终坚持为客户提供更优质的数字化管理方案。2024年初推出的安睿通管理工具,凭借车辆实时监控、轨迹回放、上装作业分析、维修保养提醒、驾驶评分等实用功能,已成为众多客户日常管车、用车、养车的智能助手。安睿通的推出,承袭了宇通智慧环卫多年来在数字化
6月5日,汉中市发改委发布汉中市电力高质量发展实施意见(草稿),文件指出,鼓励屋顶分布式项目开发,推动工商业屋顶分布式光伏发展,支持优先采用“自发自用”建设模式,鼓励分布式光伏项目配置储能设施,减小公共电网运行压力。住房城乡建设、发展改革、自然资源、财政、机关事务管理等部门,应当共
6月5日,国新办举行新闻发布会,介绍“深化提升‘获得电力’服务水平全面打造现代化用电营商环境”有关情况。国家能源局副局长宋宏坤在回答记者提问时表示,近年来,中国可再生能源总体保持了高速度发展、高比例利用、高质量消纳的良好态势,为保障电力供应、促进能源转型发挥了重要作用。截至今年4月
6月1日,国网浙江省电力有限公司在营销2.0中上线电费智能核算应用,该公司在电费核算数智化转型升级方面迈出重要一步。随着新型电力系统和全国统一电力市场建设步伐加快,电费结算业务呈现结算主体多元、结算规则复杂、数据处理量大等特点,传统的电费核算模式面临挑战。电费智能核算应用采用“大模型+
近期,为贯彻落实国家能源局关于建设全国统一电力市场、推动市场监管公平统一的重要精神,东北能源监管局部署加快推进电力市场数字化监管平台建设工作,旨在通过数字化监管手段,规范电力市场秩序,保障东北区域电力市场公平有序运行。一是发布监管通知,筑牢市场规范基石。印发《关于进一步加强数字化
北京正在加快建设国际绿色经济标杆城市,而城市副中心通州将成为重要承载地和示范区。近日,市发展改革委、城市副中心管委会、通州区政府联合印发《北京城市副中心促进绿色经济发展实施方案》。方案提出,全力推动绿色经济发展,通过打造国际绿色经济标杆城市、建设国家绿色发展示范区等措施,着力培育
近日,江苏无锡市发展改革委公布了无锡市培育建设零碳园区名单,无锡高新区(新吴区)共有3个园区入选,入选总数居无锡市各板块第一。零碳园区是指在园区范围内,通过能源结构优化、能效提升、碳减排碳回收等多种手段和措施,实现碳排放与碳吸收达到平衡,最终实现净零碳排放。建设零碳园区,是落实国
近日,生态环境部发布的2025年绿色低碳典型案例征集活动获选名单中,沈阳市老虎冲循环经济产业园作为园区类代表入选,成为东北地区唯一入选国家绿色低碳典型案例的园区。该园区由沈阳新基静脉产业园有限公司申报,隶属于沈阳城投集团沈阳新基发展有限公司,致力于推动区域绿色低碳发展。老虎冲循环经济
近日,国网冀北经研院受邀参与由中国水利电力质量管理协会主办的数字化质量创新成果交流活动,并发布《输变电工程变更签证智慧管理体系建设与实践》创新成果,展现数字化转型实力。此次交流活动聚焦数字技术与水利电力业务的深度融合,该成果依托数字化技术,搭建起以电子化变更签证应用平台为核心的输
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!