登录注册
请使用微信扫一扫
关注公众号完成登录
摘要
提出一种基于离线策略的安全强化学习方法,通过离线训练大量配电网历史运行数据,摆脱了传统优化方法对完备且准确模型的依赖。首先,结合配电网络参数信息,建立了基于约束马尔可夫决策过程的有功无功优化模型;其次,基于原始对偶优化法设计了新型安全强化学习方法,该方法在最大化未来折扣奖励的同时最小化成本函数;最后,在配电系统上进行仿真。仿真结果表明:所提方法能够根据配电网实时观测信息,在线生成满足复杂约束条件且具有经济效益的调度策略。
01 强化学习模型
1.1 ADN有功-无功协调调度模型
1.1.1 目标函数
本文从经济性出发,协调控制可投切电容器组(switchable capacitor banks,SCB)、有载调压变压器(on-load tap-changers,OLTC)、微型燃气轮机(micro-gas turbines,MT)、分布式储能系统(distributed energy storage system,DESS),使得ADN在总调度时段T内的运行成本最小。目标函数f为
1.1.2 约束条件
本文所构建优化调度模型的约束条件为潮流约束、节点电压幅值约束、线路传输功率约束、ADN与上级输电网的交互功率约束及各可调设备的运行约束。
1.2 基于CMDP的调度模型
02 基于原始对偶优化的安全强化学习
为求解CMDP的目标函数,本文通过引入拉格朗日乘子λ,将目标函数的不等式约束问题转化为无约束问题。基于原始对偶优化方法,在迭代中依次更新网络参数θ及对偶变量λk。
为求解CMDP模型,本文将原始对偶优化方法与DDPG算法相结合,提出一种基于PD-DDPG的ADN优化方法。
2)更新对偶变量及各项参数,具体可参考文献[20]。
2.1 离线训练流程
03 算例分析
3.1 算例设置
为验证所提安全强化学习方法在ADN有功-无功协调调度上的有效性,本文在修改的IEEE 123节点配电算例上进行验证。其中,节点23、121、42、40、116处接有光伏,装机容量均为100 kW。节点5、60、47、84、76处接有风电机组,装机容量均为100 kW。节点25、95、115处分别接入MT,节点21、57处接有DESS,DESS和MT的设备参数如表1所示。节点77、109处接入SCB,共有4个调节挡位,每档为300 kV·A,动作次数上限为5次。节点0、1之间接入OLTC,共有5个调节挡位;节点68、108之间,节点26、27之间,节点10、15之间分别接入OLTC,各有33个调节挡位;OLTC分接头每天动作上限均为6次,调节范围为–10%~10%。变电站容量上限为5000 kV·A。节点电压幅值约束范围为0.95~1.05 p.u.。总调度周期为24 h,以1 h为一个调度时段。本文算例基于CAISO2018—2020年的数据进行分析,前两年作为训练集,后一年作为测试集。本文工作基于pytorch框架实现,所提方法参数设置如表2所示。算例仿真在Intel(R) Core(TM) i7-11800H处理器2.30 GHz的工作站进行。
表1 DESS和MT设备参数
Table 1 DESS and MT equipment parameters
表2 所提方法参数设置
Table 2Parameter settings of the proposed method
3.2 离线训练表现
不同方法的离线训练和在线测试的平均耗时对比如表3所示。由表3可知,不同方法的在线测试时间均在1 s以内。PD-DDPG的离线训练时间更长,这可能是由于其算法结构复杂造成的。不同方法奖励和成本情况如图1~2所示,其中实线是平均值,阴影部分是波动范围。由图1~2可知,PD-DDPG的成本值接近于0,奖励值仅次于DDPG(ρ=1),但是DDPG(ρ=1)的成本值明显不能满足ADN安全运行。DDPG(ρ=10)、DDPG(ρ=20)的奖励成本值均劣于PD-DDPG方法。上述结果说明,ρ越小,DDPG越注重优化奖励项,而忽视成本项。PD-DDPG的性能最佳,能够在保证ADN安全的同时,最小化ADN日运行成本,避免了对惩罚系数的盲目选定,实现了拉格朗日乘子的自动学习。
表3 不同算法的训练和测试时间
Table 3Training and testing time of different algorithms
图1不同算法奖励值曲线
Fig.1Different algorithm reward value curves
图2不同算法成本值曲线
Fig.2Cost value curves of different algorithms
3.3 在线测试表现
在线决策阶段测试结果如图3~4所示。由图3可知,由于数据驱动方法随机性的存在,不能保证在测试过程中各智能体100%满足约束。PD-DDPG方法在大多测试集下成本值均接近0,能够满足配电系统的安全性。由图4可知,PD-DDPG方法和ρ=1、ρ=10、ρ=20的DDPG方法累计年运行成本分别为357.00万元、358.12万元、485.08万元、500.31万元。总体而言,PD-DDPG方法以最少的违反约束情况和最低的运营成本优于基于惩罚系数的DDPG方法。
图3在线测试成本值分布情况
Fig.3Online test cost value distribution
图4在线测试阶段运行成本
Fig.4Running costs during online testing phase
取测试集中某天数据进行测试,各类可调度资源有功调度结果如图5所示。由图5可知,00:00—04:00和11:00—14:00时段电价处于低谷且总负荷需求较小,MT有功功率减小,并随着可再生能源出力的增加进一步减小出力比例。同时,向上级电网的购电功率增加,DESS进行充电以备后续高峰时段,并就地消纳可再生能源,避免功率倒送。06:00—09:00和17:00—23:00时段电价处于高峰且负荷需求较大,可再生能源出力相对较低,ADN几乎不购电,MT有功出力上升。其中,节点95处的MT由于发电成本低而成为有功出力主力,DESS此时段放电,从而减小ADN运营成本。
图5有功调度结果
Fig.5Active power dispatch results
各类可调度资源的无功调度结果如图6~8所示。由图6可知,在负荷无功需求增多的05:00—10:00时段,MT增大无功补偿;在负荷无功需求减弱的16:00—17:00及23:00时段,节点109处的SCB减小挡位,避免过多的无功补偿造成节点电压升高;结合有功无功出力情况得到各个MT功率因数均在0.8以上。
图6无功调度结果
Fig.6Reactive power scheduling results
图7OLTC和SCB档位变化
Fig.7OLTC and SCB gear change
由图7OLTC和SCB档位变化可知,SCB和OLTC通过调节档位响应无功负荷需求,避免节点电压越限;调度周期内OLTC累积动作次数分别为0、3、4、4次,SCB的累计动作次数分别为0、4次,均在约束范围以内。由图8节点电压分布可知,节点电压在负荷减少时降低,在负荷增大时升高。在无功调压设备的协同动作下,各节点电压大都为0.975~1.000 p.u.,满足本文所建模型中的电压范围约束。
图8 不同节点的电压分布
Fig.8 Voltage distribution at different nodes
综上,经训练过的智能体生成的调度策略,能够根据电价和负荷需求,动态地调整DESS和MT出力,降低运行成本。此外,经无功调节设备的共同作用,改善了ADN电压质量。上述调度方式起到了削峰填谷的作用,减小了可再生能源波动性对ADN的干扰。
04 结语
本文针对ADN有功无功协调调度问题,基于原始对偶优化方法设计了新型DDPG方法,结合算例分析,本文所采用的离线策略算法,通过离线训练大量历史数据,能够在线生成调度结果,提升了电力系统决策效率。与此同时,避免了传统DRL方法对惩罚因子的敏感性,提升了ADN运行安全性。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
车网互动是指电动汽车通过充电桩与电网进行能量双向互动,本质是用户使用电动汽车参与电力系统需求侧响应从而创造系统调节价值并获得一定经济补偿。按照功率流向划分,车网互动可以细分为单向功率互动和双向功率互动。单向功率互动也称作有序充电或智能充电,是指通过分时电价机制引导电动汽车调整充电
北极星输配电网获悉,近日,四川省南充市生市态环境局拟对南充潆华220千伏输变电工程等4个项目环境影响评价文件作出审批意见。公示期为2025年5月23日至2025年5月29日(共5个工作日)。项目名称:南充潆华220千伏输变电工程建设地点:四川省南充市南部县、西充县、顺庆区建设单位:国网四川省电力公司南
北极星售电网获悉,5月23日,山东省能源局发布关于《2025年度山东省能源领域新技术、新产品、新设备推荐目录》的公示。目录包括:虚拟电厂资源聚合互动调控平台:虚拟电厂资源聚合互动调控平台通过信息通信技术(ICT)、智能控制算法与市场机制创新,将分散的分布式能源资源(如光伏、储能、柔性负荷等
5月19日上午,在浙江杭州余杭区良渚街道良祥路沿线,浙江大有集团余杭分部顺利完成10千伏九年H372线龙舌嘴分线8号杆带电断引线作业,为后续老旧开关更换及线路整治工作打下坚实基础。此次作业采用绝缘杆作业法,在保障沿线用户持续供电的前提下,进一步提升区域电网运行可靠性。据悉,该线路承担着良渚
北极星输配电网获悉,近日南京市首个公共机构全场景微电网项目正式投运。据悉,该项目实施地点为江宁开发区管委会。在管委会户外,南京市首个光储充放一体化场站已经建成,站内设置了4台V2G充放电一体充电桩,用来开展车网互动实用运营模式验证。在管委会大楼内,新能源项目覆盖总面积约3810平方米,总
北极星储能网讯:2025年5月20日,河南能源监管办主要负责同志带队赴国网河南综合能源公司调研。调研组观摩了综合能源“零碳”展厅,与公司领导班子成员就促进企业降本增效、助推新能源高质量发展等事宜进行座谈交流。河南能源监管办主要负责同志对河南综能公司积极融入能源转型发展大局,充分发挥技术
北极星储能网讯:5月17日,中国电工技术协会发布《台区低压侧分布式储能系统规划技术导则(征求意见稿)》。其中提出,储能系统应具备削峰填谷、无功补偿、功率支撑及应急响应等功能,以适应台区内负荷的特性和波动需求。文件规定了台区低压侧分布式储能系统的规划配置技术要求,内容涵盖储能系统的选
近日,网上国网公布甘肃省分布式光伏2025年2季度接入配电网可开放容量。根据文件,2025年第二季度分布式光伏可接入共计8829MW。其中,兰州市、酒泉市可开发容量达GW级,兰州市可开发容量最高,约3.6GW。
“抽水蓄能+”打造能源转型的超级调节器——“抽水蓄能电站发展与展望”专题研讨会观察全球可再生能源装机规模正持续攀升。2024年全球可再生能源新增装机容量约5.85亿千瓦,占全部电力新增装机的92.5%。然而,风电、光伏的波动性和间歇性对电力系统稳定性提出严峻挑战。在5月20日国际大坝委员会第28届
5月12日,经过近半个月的集中研发,国网内蒙古东部电力有限公司正式上线供电服务资源调度管控系统电力保供(预警)专项监测功能。电力保供(预警)专项监测功能界面包括线路全线、分支、台区、用户以及农排用户、电采暖用户、高危及重要用户、敏感用户的当前停电数量、已复电数量和停电总数展示;线路
5月21日,崇左市各县区、乡镇分布式光伏接入电网承载能力评估信息(2025年5月)公布。崇左市各县区、乡镇分布式光伏接入电网承载能力评估信息(2025年5月)尊敬的用户:根据《国家能源局综合司关于印发开展分布式光伏接入电网承载力及提升措施评估试点工作的通知》(国能综通新能〔2023〕74号)及《DL/T2
5月22日,重庆市发展和改革委员会印发《推动经济社会发展全面绿色转型行动计划(2025—2027年)》的通知。三年行动计划指出:1、推动传统产业“智改数转绿色化”转型。推动钢铁、有色、石化、化工、建材、造纸、印染等行业实施节能降碳改造升级,深入推进“绿效码”应用,推进存量低效数据中心节能降碳
截至4月底,广东新能源装机容量达7328万千瓦,占全省总装机的32%,超越煤电成为省内装机容量最大的电源类型。新能源装机占比持续提升,为广东区域能源结构转型注入强劲动力。今年以来,广东新能源发展迅猛,分布式光伏装机容量快速增长。在国家相关政策驱动下,4月分布式装机创下单月增加446万千瓦的历
5月15日,国内首个城市电网调度场景大模型“天璇—灵曦”(以下简称“灵曦”)在深圳发布,实现AI赋能城市电网调、监、控核心业务,标志着深圳电网在调度人工智能技术应用领域取得重大突破。灵曦基于南方电网“大瓦特—天璇”电力调度大模型底座搭建,创新性地实现了城市电网监视、控制和计算的智能化升
北极星售电网获悉,5月22日,重庆市发展和改革委员会印发《推动经济社会发展全面绿色转型行动计划(2025—2027年)》(以下简称《计划》)的通知。《计划》指出,坚持集中式与分布式并举,持续推进“千乡万村驭风行动”和“百万千瓦屋顶分布式光伏”建设,统筹有序推动风能、太阳能开发利用。在保障能
北极星电力网获悉,重庆市发改委5月22日正式印发《推动经济社会发展全面绿色转型行动计划(2025—2027年)》指出:统筹提升能源安全供应能力。夯实市内电源基础,加快推动两江燃机二期等天然气发电、合川双槐三期煤电项目,加快云阳建全、丰都栗子湾、奉节菜籽坝抽水蓄能电站建设。全力推进外电入渝工
5月22日,重庆市发展和改革委员会印发《推动经济社会发展全面绿色转型行动计划(2025—2027年)》。文件提出,健全以治水治气为牵引的“九治”生态治理体系。打好治水攻坚战,加快污水收集处理设施新建改扩建进度,全域全面消除黑臭水体。打好治气攻坚战,严格控制PM2.5浓度。加强土壤污染源头防控,协
5月18日,在湖北省咸宁市咸安区10千伏王洪线抢修作业现场,抢修人员在咸宁咸安区供电公司县调调度员的指挥下,仅用25分钟便排除了故障。2024年7月起,国网湖北省电力有限公司在咸宁试点开展了县(配)调管理提升工作。2024年8月至今年4月,咸宁供电公司配电网线路故障平均复电时长同比下降45.46%,故障
近日,云南省调新一代电网运行控制系统(以下简称“新OCS系统”)顺利投入正式运行,进一步提升复杂大电网实时调控能力。云南电网作为世界上运行特性最复杂的异步送端大电网,“五高”特性显著,电力安全稳定运行和可靠供应形式严峻。为此,云南省调与南瑞继保强强联手,共同打造支撑高比例新能源消纳
北极星储能网讯:5月16日,上海市发改委印发《上海市新型电力系统调节能力奖励资金管理办法》,据实际放电量给予奖励。符合政策要求的项目可按首年申报标准连续3年获得奖励,每千瓦时储能容量的年电量奖励上限600kWh。独立储能0.35元/kWh,用户侧0.2元/kWh,奖励期3年。虚拟电厂资源聚合平台按调节能力
5月15日,在国家电网公司分布式电源和微电网控制实验室,一排排机柜不眠不休地闪烁着灯光,百纳秒级的超高精度实时仿真计算正在快速运行着,这是中国电科院配电专业技术团队研发的世界首套有源配电网CPS仿真平台。我国城乡配电网跨越五个电压等级(220-110-35-10-0.4千伏),接入了大量分布式电源,有
5月16日,陕西省能源局局长何钟带队赴国网陕西省电力有限公司调研座谈,对接“十五五”电网规划编制及电力设施电能保护条例修编工作,协商推进汉滨抽蓄等重点项目前期工作。座谈会详细交流了安康汉滨抽蓄项目可研阶段的有关问题,协商后续推进举措;明确修编《陕西省电力设施和电能保护条例》,完善后
5月22日,第七届中国西部国际投资贸易洽谈会在重庆开幕,中国华电总经理、董事、党组副书记叶向东应邀出席开幕式,并参加重庆市委、市政府有关领导集体会见活动。在渝期间,叶向东到华电重庆燃机公司调研,详细了解项目建设、安全生产、质量管控等情况,听取重庆公司汇报,对重庆区域企业高质量发展成
在素有“南楚极地”、“百越襟喉”之称的湖南通道县,一座座白色的巨型风机伫立在蜿蜒起伏的山脊上,与群山间错落有致的侗族古村落交相辉映,绘就一幅传统与现代交织的绝美画卷。千日无故障“机王”的诞生地——中核汇能彭莫山风电场便坐落于此。中核汇能彭莫山风电场总装机容量100兆瓦,安装了14台单
5月20日,国能(泉州)热电有限公司“入炉煤智能化采样”升级改造项目圆满完成,两套智能化采样设备正式投入常态化运行。此次改造严格遵循入炉采样装置技术规范,以全自动采样、智能封装、无人值守为核心,实现采样效率与精度的双重突破。该公司组织项目团队提前谋划,为入炉煤采样智能化升级制定了周
编者按:5月20日,2025年世界计量日中国主场活动在广州举办。本次活动以“计量顺时代之需,应民生之盼”为主题,由国家市场监管总局主办,广东省市场监管局、南方电网公司承办。自有电网起,便有了电能计量。在我国,电能计量表发展先后历经了感应式电能表、机电一体式电能表、电子式电能表等阶段,电
5月22日,重庆市发展和改革委员会印发《推动经济社会发展全面绿色转型行动计划(2025—2027年)》的通知。三年行动计划指出:1、推动传统产业“智改数转绿色化”转型。推动钢铁、有色、石化、化工、建材、造纸、印染等行业实施节能降碳改造升级,深入推进“绿效码”应用,推进存量低效数据中心节能降碳
2025年5月22日,思格新能源“智慧光储充系统量产基地项目”于江苏省南通市苏锡通科技产业园区正式开工,标志着思格在提升先进产能、完善全球产业布局的战略路径上迈出了关键一步。此次项目的启动,不仅展现了思格新能源以技术创新推动全球能源转型的坚定信念,也为南通当地绿色制造升级注入了全新动能
北极星储能网获悉,5月19日,北京经开区印发《北京经济技术开发区促进绿色低碳高质量发展若干措施》,其中提出:针对市场需求端应用新技术时了解不足、渠道不畅等情况,着重在新型储能、碳中和、碳足迹及循环利用等方面,初步构建路演、推广和试点的应用体系。持续推进分布式光伏规模化发展,新建工业
世界能源理事会是一家独立的国际能源机构,目标是让能源帮助人们过上更好生活的同时,也让我们拥有一个健康的地球。中国国家电网有限公司是世界能源理事会的长期战略合作伙伴。在2025能源电力转型国际论坛举办期间,记者采访了世界能源理事会秘书长兼首席执行官威尔金森。记者:您认为,目前世界能源转
5月22日凌晨至23日,湖北省出现大范围大雨到暴雨天气,其中武汉、荆州、孝感等局地降下大暴雨。国网湖北省电力有限公司第一时间启动应急响应机制,加强运维值守及监测,迅速调集人员物资,全力应对强降雨。截至目前,湖北电网整体运行平稳。国网湖北电力强化220千伏熊家嘴变电站等39座历史水淹变电站的
“南阳4320兆瓦分布式新能源已部署完毕,商丘3412兆瓦分布式新能源已部署完毕!”5月19日,国网河南省电力公司电力科学研究院(以下简称“国网河南电科院”)技术人员正在国家电网仿真计算数据平台上深入开展分布式新能源典型参数建模工作。该院电网安全专项攻坚工作已取得阶段性成果。近期,西班牙、
5月19日至22日,2025能源电力转型国际论坛期间,中国国家电网有限公司与国外能源电力企业、相关国际组织等举行外事会见活动。公司董事长张智刚先后会见国际可再生能源署总干事卡梅拉、希腊国家电网公司董事长兼首席执行官马努萨基斯、巴基斯坦国家输电公司董事会主席乔杜里、特大电网运行者组织秘书长
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!