登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
编者按
光伏(photovoltaic,PV)在主动配电网(active distribution network,ADN)中比重的提升可能引发严重的电压越限问题。此外,由于配电线路阻抗大,有功、无功功率之间存在较强的耦合关系。因此考虑经济性和安全性,需要同时优化ADN中的有功及无功资源。
《中国电力》2024年第3期刊发了焦昊等人撰写的《基于安全强化学习的主动配电网有功-无功协调优化调度》一文。文章提出一种基于离线策略的安全强化学习方法来解决ADN有功-无功协调优化问题。首先,基于ADN拓扑结构、线路和设备参数等信息构建约束马尔可夫决策过程(constrained markov decision process,CMDP)。在马尔可夫决策过程(markov decision process,MDP)的基础上添加了成本函数,规避了MDP模型难以处理约束的弊端;其次,以深度确定性策略梯度算法(deep deterministic policy gradient,DDPG)为基础提出基于原始对偶的安全强化学习方法(primal dual DDPG,PD-DDPG);最后,结合ADN海量历史样本数据进行离线训练,获得ADN最优有功无功优化调度策略。所提方法能够满足配电网络运行约束,具有更高的安全性。
摘要
提出一种基于离线策略的安全强化学习方法,通过离线训练大量配电网历史运行数据,摆脱了传统优化方法对完备且准确模型的依赖。首先,结合配电网络参数信息,建立了基于约束马尔可夫决策过程的有功无功优化模型;其次,基于原始对偶优化法设计了新型安全强化学习方法,该方法在最大化未来折扣奖励的同时最小化成本函数;最后,在配电系统上进行仿真。仿真结果表明:所提方法能够根据配电网实时观测信息,在线生成满足复杂约束条件且具有经济效益的调度策略。
01 强化学习模型
1.1 ADN有功-无功协调调度模型
1.1.1 目标函数
本文从经济性出发,协调控制可投切电容器组(switchable capacitor banks,SCB)、有载调压变压器(on-load tap-changers,OLTC)、微型燃气轮机(micro-gas turbines,MT)、分布式储能系统(distributed energy storage system,DESS),使得ADN在总调度时段T内的运行成本最小。目标函数f为
1.1.2 约束条件
本文所构建优化调度模型的约束条件为潮流约束、节点电压幅值约束、线路传输功率约束、ADN与上级输电网的交互功率约束及各可调设备的运行约束。
1.2 基于CMDP的调度模型
02 基于原始对偶优化的安全强化学习
为求解CMDP的目标函数,本文通过引入拉格朗日乘子λ,将目标函数的不等式约束问题转化为无约束问题。基于原始对偶优化方法,在迭代中依次更新网络参数θ及对偶变量λk。
为求解CMDP模型,本文将原始对偶优化方法与DDPG算法相结合,提出一种基于PD-DDPG的ADN优化方法。
2)更新对偶变量及各项参数,具体可参考文献[20]。
2.1 离线训练流程
03 算例分析
3.1 算例设置
为验证所提安全强化学习方法在ADN有功-无功协调调度上的有效性,本文在修改的IEEE 123节点配电算例上进行验证。其中,节点23、121、42、40、116处接有光伏,装机容量均为100 kW。节点5、60、47、84、76处接有风电机组,装机容量均为100 kW。节点25、95、115处分别接入MT,节点21、57处接有DESS,DESS和MT的设备参数如表1所示。节点77、109处接入SCB,共有4个调节挡位,每档为300 kV·A,动作次数上限为5次。节点0、1之间接入OLTC,共有5个调节挡位;节点68、108之间,节点26、27之间,节点10、15之间分别接入OLTC,各有33个调节挡位;OLTC分接头每天动作上限均为6次,调节范围为–10%~10%。变电站容量上限为5000 kV·A。节点电压幅值约束范围为0.95~1.05 p.u.。总调度周期为24 h,以1 h为一个调度时段。本文算例基于CAISO2018—2020年的数据进行分析,前两年作为训练集,后一年作为测试集。本文工作基于pytorch框架实现,所提方法参数设置如表2所示。算例仿真在Intel(R) Core(TM) i7-11800H处理器2.30 GHz的工作站进行。
表1 DESS和MT设备参数
Table 1 DESS and MT equipment parameters
表2 所提方法参数设置
Table 2Parameter settings of the proposed method
3.2 离线训练表现
不同方法的离线训练和在线测试的平均耗时对比如表3所示。由表3可知,不同方法的在线测试时间均在1 s以内。PD-DDPG的离线训练时间更长,这可能是由于其算法结构复杂造成的。不同方法奖励和成本情况如图1~2所示,其中实线是平均值,阴影部分是波动范围。由图1~2可知,PD-DDPG的成本值接近于0,奖励值仅次于DDPG(ρ=1),但是DDPG(ρ=1)的成本值明显不能满足ADN安全运行。DDPG(ρ=10)、DDPG(ρ=20)的奖励成本值均劣于PD-DDPG方法。上述结果说明,ρ越小,DDPG越注重优化奖励项,而忽视成本项。PD-DDPG的性能最佳,能够在保证ADN安全的同时,最小化ADN日运行成本,避免了对惩罚系数的盲目选定,实现了拉格朗日乘子的自动学习。
表3 不同算法的训练和测试时间
Table 3Training and testing time of different algorithms
图1不同算法奖励值曲线
Fig.1Different algorithm reward value curves
图2不同算法成本值曲线
Fig.2Cost value curves of different algorithms
3.3 在线测试表现
在线决策阶段测试结果如图3~4所示。由图3可知,由于数据驱动方法随机性的存在,不能保证在测试过程中各智能体100%满足约束。PD-DDPG方法在大多测试集下成本值均接近0,能够满足配电系统的安全性。由图4可知,PD-DDPG方法和ρ=1、ρ=10、ρ=20的DDPG方法累计年运行成本分别为357.00万元、358.12万元、485.08万元、500.31万元。总体而言,PD-DDPG方法以最少的违反约束情况和最低的运营成本优于基于惩罚系数的DDPG方法。
图3在线测试成本值分布情况
Fig.3Online test cost value distribution
图4在线测试阶段运行成本
Fig.4Running costs during online testing phase
取测试集中某天数据进行测试,各类可调度资源有功调度结果如图5所示。由图5可知,00:00—04:00和11:00—14:00时段电价处于低谷且总负荷需求较小,MT有功功率减小,并随着可再生能源出力的增加进一步减小出力比例。同时,向上级电网的购电功率增加,DESS进行充电以备后续高峰时段,并就地消纳可再生能源,避免功率倒送。06:00—09:00和17:00—23:00时段电价处于高峰且负荷需求较大,可再生能源出力相对较低,ADN几乎不购电,MT有功出力上升。其中,节点95处的MT由于发电成本低而成为有功出力主力,DESS此时段放电,从而减小ADN运营成本。
图5有功调度结果
Fig.5Active power dispatch results
各类可调度资源的无功调度结果如图6~8所示。由图6可知,在负荷无功需求增多的05:00—10:00时段,MT增大无功补偿;在负荷无功需求减弱的16:00—17:00及23:00时段,节点109处的SCB减小挡位,避免过多的无功补偿造成节点电压升高;结合有功无功出力情况得到各个MT功率因数均在0.8以上。
图6无功调度结果
Fig.6Reactive power scheduling results
图7OLTC和SCB档位变化
Fig.7OLTC and SCB gear change
由图7OLTC和SCB档位变化可知,SCB和OLTC通过调节档位响应无功负荷需求,避免节点电压越限;调度周期内OLTC累积动作次数分别为0、3、4、4次,SCB的累计动作次数分别为0、4次,均在约束范围以内。由图8节点电压分布可知,节点电压在负荷减少时降低,在负荷增大时升高。在无功调压设备的协同动作下,各节点电压大都为0.975~1.000 p.u.,满足本文所建模型中的电压范围约束。
图8 不同节点的电压分布
Fig.8 Voltage distribution at different nodes
综上,经训练过的智能体生成的调度策略,能够根据电价和负荷需求,动态地调整DESS和MT出力,降低运行成本。此外,经无功调节设备的共同作用,改善了ADN电压质量。上述调度方式起到了削峰填谷的作用,减小了可再生能源波动性对ADN的干扰。
04 结语
本文针对ADN有功无功协调调度问题,基于原始对偶优化方法设计了新型DDPG方法,结合算例分析,本文所采用的离线策略算法,通过离线训练大量历史数据,能够在线生成调度结果,提升了电力系统决策效率。与此同时,避免了传统DRL方法对惩罚因子的敏感性,提升了ADN运行安全性。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
7月24日11时,国网福建省电力有限公司发布台风二级、暴雨三级预警,全面落实防抗今年第3号台风“格美”各项措施。目前,国网福建电力共集结抢修队伍659支、抢修人员9771人,随时做好供电保障准备。国网福建电力应用“137”防汛抗台风保供电应急模式,落实各项防台风、暴雨应急准备措施。全面组织电网设
国网江苏泰州供电公司配网停电计划专职倪新春日前在向该公司自主研发的中低压停电计划自助平衡功能模块录入停电计划时,收到系统预警提示:“该项停电计划与6月27日临近线路存在重复停电风险。”他随即与相关负责人沟通调整,避免了485户低压用户重复停电。迎峰度夏期间,生产生活用电量激增,电网稳定
近日,走进曲靖经济技术开发区南海子工业园区220千伏科技城变电站,你会看到一幅热火朝天景象图。主变预试定检、开关柜预试定检、保护装置定检、二次回路检查等,每个区域都有一群电力工人在忙碌。这是云网能源曲靖公司全面开展预试定检工作的一幕。定检现场,企业安全生产负责人介绍:“设备预试定检
220千伏科技城变电站4号主变第5次冲击正常,投运成功!”7月23日凌晨1点6分,在位于曲靖经开区南海子工业园区的220千伏科技城变电站内,伴着变压器的“嗡嗡”蜂鸣声,新增的4号主变完成第5次冲击冲击合闸后送电成功,一二次设备运行正常,标志着整个增容工程项目全面竣工并投入运行。作为南海子工业园
日前,国际电工委员会(IEC)正式发布关于智能传感技术的白皮书《未来电网智能传感技术》。该白皮书由我国专家牵头,深入探讨了数字电网的发展趋势和技术路线,构建了未来数字电网传感技术的国际标准框架,涵盖发电、输电、变电、配电、用电、碳排放以及一二次设备融合等多个关键领域,为微型智能传感
公司2023年社会责任实践报告正式揭晓是我们对过去一年深耕电力事业践行社会责任的全面总结这份报告记录了过去一年公司在经济、社会和环境等方面为利益相关方创造的价值下面让我们用一图共同回顾
7月23日,国家能源局发布智能电网国家科技重大专项2024年度公开项目申报指南,其中提到,根据智能电网国家科技重大专项实施方案的部署,现将2024年度公开项目申报指南予以公布,拟安排中央财政资金约5.6亿元(战略前沿技术类0.2亿元、重大技术装备类3.6亿元、重大示范验证类1.8亿元)。其中还提到,申
日前,山西运城供电公司采用不停电方式完成平陆县10千伏529城镇线环网柜更换工作,在提升配电网供电可靠性的同时,保证了1840户居民和商户的正常用电。随着气温升高,国网山西省电力公司以提升供电能力和供电可靠性为目标,持续推进配电网建设与改造,优先完成一批涉及民生用电的配电网建设与改造项目
7月18日,在福建南安市10千伏紫山线,泉州供电公司巡检人员通过基于北斗高精度定位的“i国网”客户端闽电运检数据采录应用,校准更新了配电网设备坐标数据。年初以来,国网信息通信产业集团有限公司协同国网福建省电力有限公司在泉州建成电力北斗综合示范区。这是国网信通产业集团首次在配电网领域开展
7月15日16时04分,云南电网公司红河供电局值班调度员在配网自动化系统中输入指令后,远程实现了10千伏豹子窝线与10千伏林果线合环转电,原本需要6名运维人员驾驶2辆车赶赴现场耗时1小时的操作,现在通过配网自动化系统的程序化操作,在电脑前仅用1分钟就能完成多个开关的有序分合控制,操作效率提升98%
7月19日,国网天津经研院规划评审中心完成10千伏及以下配电网建设改造标准物料目录修订。为服务国际领先型城市配电网建设,提升配电网建设标准化水平,规划评审中心人员发挥专业优势,充分支撑公司设备部,在以《国网天津市电力公司关于下发10千伏及以下配电网建设改造标准物料目录(2022版)的通知》
今夏用电高峰来临,“虚拟电厂”这一概念被越来越多的人提及,各地与虚拟电厂相关的政策也密集出台。虚拟电厂正飞速照进现实。它究竟是什么?能带来什么?和普通人有关系吗?(来源:电联新媒作者:陈丽莎)不建厂房、不冒烟的电厂“虚拟电厂”这个概念,最早于1997年在国外首次提出,2016年被引进国内
百米矿井下,采煤机滚筒飞速旋转;能源运输大通道上,一辆辆运煤列车呼啸而过;蔚蓝色海面上,巨大的风机布阵排列;高山峡谷间,水电站巍然而立……当前,正值迎峰度夏关键期,能源行业多措并举,加大能源保供力度,“电”亮夏日清凉。富煤、缺油、少气的资源禀赋,决定了煤电仍是我国电力供应的主力电
7月25日,国家发展改革委向社会公开征求《电力监控系统安全防护规定》(公开征求意见稿)意见,其中指出,电力监控系统专用安全产品应当采用统一的技术路线。意见稿明确,国家电力调度控制中心牵头,中国南方电网电力调度控制中心,国网华北、华东、华中、东北、西北等区域电力调度机构和主要电力企业
近日,青海省清洁能源和绿色算力调度中心上线。该中心是青海省委省政府授权建设、由国网青海省电力公司在青海省智慧双碳大数据中心平台基础上升级打造的全省统一的清洁能源和绿色算力调度中心,将推动省内算力产业绿色低碳发展,提升太阳能、风能等可再生能源利用水平。推进绿色电力向绿色算力转化,是
7月22日晚,省发展改革委主任黄东红,省发改委党组成员、省能源局局长汤吉鸿赴国网湖南省电力有限公司调研湖南新型电力系统创新中心并组织召开迎峰度夏电力保供会商会议。黄东红指出,新型电力系统是“双碳”目标的关键载体和新型能源体系的重要支撑。湖南新型电力系统创新中心是全国首个系统展示新型
7月15日16时04分,云南电网公司红河供电局值班调度员在配网自动化系统中输入指令后,远程实现了10千伏豹子窝线与10千伏林果线合环转电,原本需要6名运维人员驾驶2辆车赶赴现场耗时1小时的操作,现在通过配网自动化系统的程序化操作,在电脑前仅用1分钟就能完成多个开关的有序分合控制,操作效率提升98%
7月15日至18日,党的二十届三中全会在北京召开。此次全会是在新时代新征程上,中国共产党坚定不移高举改革开放旗帜、紧紧围绕推进中国式现代化进一步全面深化改革召开的一次十分重要的会议。学习好贯彻好全会精神是当前和今后一个时期全党全国的一项重大政治任务。7月19日,国家电网有限公司党组理论学
日前,随着气温的逐渐攀升和社会经济活动的日益活跃,电力需求迎来了高峰,国网甘肃电力负荷管理中心积极履行职责,扛稳电力保供首要责任,保障全省电力的稳定供应。在电力电量平衡监测方面,甘肃电力负荷管理中心充分利用大数据手段,每日密切跟踪电力生产、供应和消费数据,全面评估全省电力供需形势
电力小知识光伏电是怎么进入电网的?
7月3日至4日,国家电网有限公司总经理、党组副书记庞骁刚赴国网华北分部、国网北京市电力公司、国网冀北电力有限公司检查电力安全保障工作,看望慰问一线干部员工。公司副总工程师兼设备部主任王国春、副总工程师兼华北分部主任王风雷,公司相关部门及单位负责人参加活动。庞骁刚先后来到华北分部电力
北极星电力软件网获悉,7月2日,四川宜宾市市长廖文彬实地调研虚拟电厂推进情况。在宜宾市新能源产业有限公司调研虚拟电厂建设情况时,廖文彬指出,宜宾虚拟电厂建设取得重要进展,但与先进城市相比仍有不小差距。仍需要进一步完善顶层规划设计,加快打造能源监测控制指挥系统,增强城市对电力资源的精
近日,由国网河北电科院技术团队研发的火电机组一次调频智能控制系统正式投入使用。该系统从信号源优化设计、调频能力考核评估、控制决策协同优化三个技术层面入手,可实现一次调频智能分析、智能优化和智能决策,有效提高火电机组调频支撑能力,助力电力系统稳定运行。随着新能源及电力电子设备接入系
今夏用电高峰来临,“虚拟电厂”这一概念被越来越多的人提及,各地与虚拟电厂相关的政策也密集出台。虚拟电厂正飞速照进现实。它究竟是什么?能带来什么?和普通人有关系吗?(来源:电联新媒作者:陈丽莎)不建厂房、不冒烟的电厂“虚拟电厂”这个概念,最早于1997年在国外首次提出,2016年被引进国内
数字时代背景下,企业信息化管理从业务型向分析型转变,亟待建设高效的数据分析平台,把管理者从繁杂的事务性工作中释放出来,将关注重点放在分析决策上,从而催生了对高端智能化分析产品的旺盛需求。远光软件深耕数据分析领域多年,凭借对业务需求的积累及可视化分析的经验总结,致力于打造面向企业或
7月24日,西安市人民政府办公厅关于印发支持工业企业“小升规”若干措施的通知(市政办发〔2024〕32号),其中提到,对暂未直接参与电力市场交易的规模以上工业企业,由电网企业向发电企业代理购电,保障企业用电需求。同时还指出,引导“小升规”企业与本地头部企业加强协作配套,促进其产品、技术融
7月24日,陕西西安印发促进互联网和软件信息服务业发展实施方案(市政办发〔2024〕33号)推动科大讯飞、华为等企业以及西安电子科技大学等高校研发的星火、盘古、秦岭遥感岛等大模型落地开放,提供面向遥感、电网、交通、能源、制造、教育等行业解决方案。原文如下:西安市人民政府办公厅关于印发促进
智能算力快速发展对电力供需的影响及建议(来源:中能传媒研究院作者:岳昊武冰清)(国网冀北电力有限公司经济技术研究院)自2022年11月美国人工智能实验室公司(OpenAI)发布智能聊天机器人ChatGPT以来,全世界对人工智能的关注持续升温。我国的云计算和人工智能科技公司迅速跟进,文本、图像等多媒
7月19日,经过近三个月的试运行,国网河北省电力有限公司通过挖掘企业中台数据,自主研发的电动汽车充电设施规划关键技术及决策支持平台投入应用。该平台汇聚12万台充电桩全量数据,可用于提升存量充电设施效能,超前分析新能源汽车充电负荷对电网运行的影响。国网河北电力电动汽车充电设施规划关键技
近日,青海省清洁能源和绿色算力调度中心上线。该中心是青海省委省政府授权建设、由国网青海省电力公司在青海省智慧双碳大数据中心平台基础上升级打造的全省统一的清洁能源和绿色算力调度中心,将推动省内算力产业绿色低碳发展,提升太阳能、风能等可再生能源利用水平。推进绿色电力向绿色算力转化,是
践行国家“双碳”战略,助力企业绿色低碳转型发展。7月20日,全国首个企业电-碳-金融服务中心在位于湖北武汉的中碳登大厦正式成立。各类企业在绿色低碳转型发展过程中有了“政策帮手”“控排帮手”“收益帮手”。该服务中心也将助力全社会真正享受到“减碳有收益”,最终实现“双碳”目标、绿色发展。7
7月18日获悉,山东济南供电公司已于近日完成历城区供电公司机场西路仓库改造升级工作,建成投运首个县级“自动型”电力物资终端仓库。机场西路仓库占地面积约1400平方米,分为无人领料区、自动货架区、拆叠盘区等10个区域,配有巷道堆垛机、链式输送机、自动导引运输车等智能设备,实现了物资组盘、上
7月22日,湖北武汉气象台发布高温橙色预警,局部地区气温达39摄氏度,用电需求激增。在位于主城核心区的220千伏宗关变电站,武汉供电公司输电电缆运检分公司运检班班长何志军和同事巡检位于地下隧道的变电站出线。为保障高温大负荷下电缆设备安全运行,进入7月份,武汉供电公司针对50条在运电缆隧道开
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!