登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
摘要
在电力现货市场下,为实现售电商长期收益最大化,提出采用强化学习的需求响应动态优化方案。首先建立售电商和用户的需求响应模型,通过建立用户舒适成本函数的前后联系,构建出售电商动态优化收益函数;利用用户的需求响应收益函数确定其响应负荷,并将售电商当前需求响应的收益函数转化为立即奖励函数;然后采用BP神经网络构建强化学习的Q函数,采用迭代方法训练BP神经网络直到Q函数收敛。最后,通过1个售电商和5个工业用户的仿真算例结果表明所提方法的有效性。
(来源:电网技术 作者:冯小峰1, 谢添阔2, 高赐威3, 林国营1, 陈亮1, 卢世祥1)
1.广东电网有限责任公司 计量中心,广东省 广州市 510080
2.华北电力大学 电力工程系,河北省 保定市 071003
3.东南大学 电气工程学院,江苏省 南京市 210096
冯小峰(1984),男,博士,通信作者,主要研究方向为电力市场需求响应,电力系统优化与控制,E-mail:ucihqtep@163.com;
谢添阔(1995),男,硕士研究生,主要研究方向为电力市场需求响应,E-mail:1963228605@qq.com;
高赐威(1977),男,教授,博士生导师,主要研究方向为电动汽车接入电网、电力规划、电力市场、需求侧管理及电力安全等,E-mail:ciwei.gao@126.com。
基金项目:中国南方电网有限责任公司科技项目(GDKJXM20161607); Project Supported by Science and Technology Foundation of China Southern Power Grid Company Limited (GDKJXM20161607);
0 引言
《中共中央国务院关于进一步深化电力体制改革的若干意见(中发〔2015〕9号)》开启的新一轮电改,其核心目标:使市场在资源配置中起到决定性作用。2018年10月,南方(以广东起步)电力现货市场相关文件的发布,开启了电力现货市场的试运行。
在电力现货市场中,除了长协购电和月度竞价购电外,售电商还需要从现货市场购电。在运营过程中,随着供需紧张关系的变化,现货市场的价格也会随之波动。而售电商卖给用户的电价通常是固定的,当售电商在现货市场购电的价格高于其售电价格,为了减少损失,售电商有动力发布需求响应。同时售电商向其代理用户的发布需求响应,减小峰谷差,也有利于提高其向发电厂购电时的议价能力。
国内外对需求响应的运行机制、调节手段、框架结构等进行了很多研究。文献[1]对智能电网环境下需求响应的机理和建模进行了分析。文献[2]从需求响应概念、激励手段、收益评定等方面对国内外的研究成果进行归纳与总结。文献[3]从运行机制、调控手段、负荷潜力等方面重点研究了将需求响应
应用于辅助服务市场的相关问题。文献[4]对国内外综合需求响应的概念、框架结构、模型、市场运行机制以及关键技术问题等进行了研究和总结。
在需求响应过程中,用户的响应行为的确定非常重要,国内外对不同类型用户的需求响应行为进行了很多研究。文献[5]针对温控负荷,使用基于成本-效益分析的方法确定用户在中长期需求响应过程中的响应行为。文献[6]建立了温控负荷设备的预测模型,以减少需求响应期间的信息传输量。文
献[7]研究了基于用户报量不报价的需求响应方式,分析了用户响应行为机理,并基于此建立了发电计划优化模型,仿真结果验证了该模式和方法的有效性。文献[8]建立了直接负荷控制模型,实现了清洁能源消纳的目标。文献[9]研究了电网中用户的电力调度问题,通过为用户提供一种电力调度策略,以实现用户的收益与舒适度之间的期望权衡。文
献[10]主要介绍了用户对售电公司和用电合同的选择方式,研究了考虑可中断负荷的售电公司营销策略制定方法。文献[11]针对激励型需求响应,建立了用户侧响应模型,用于制定微电网的负荷削减策略。文献[12]基于节点电价,构建了两阶段负荷需求响应模型,对需求响应策略进行了研究,实现了部分用户负荷由高电价节点转移到低电价节点的过程。
国内外对需求响应过程中多方主体互动用电时策略制定方法开展了大量的研究。文献[13]针对电网中的售电商和用户建立了一种分层系统模型,以售电商的利益最大化为目标,求解售电商与用户的Stackelberg博弈均衡解,结果表明,存在一个最优的售电商数量,可以使得其整体利润最大化。文献[14]为了降低峰值,将用户负荷转移与分布式发电的使用相结合,开发了两种算法,算例结果表明将这两种需求响应方式相结合可以有效节省成本。文献[15]基于综合需求响应和博弈方法,设计了一种两阶段优化调度策略,对博弈模型进行了求解。文献[16]研究了多个售电公司间的非合作博弈和用户间的演化博弈,并使用分布式算法实现了售电公司与用户间的两级博弈,仿真结果表明该方案能够显著减少峰值负荷。文献[17]提出了一种实时定价方案,每个用户对售电商发布的价格做出反应并最大化其收益,售电商根据预测的用户反应设计实时价格以最大化其利润,在售电商方面,开发了基于模拟退火的价格控制算法来解决非凸价格优化问题,结果表明所提出的实时定价方案能有效削减峰值,降低售电商成本,提高用户收益。文献[18]基于消费者心理学原理和需求响应不确定性规律,设计了一套激励型和价格型需求响应与常规资源和新能源等在不同时间尺度上优化配置的方案,建立了日前—日内时间尺度下的源荷互动决策模型。文献[19]针对激励型需求响应,建立了基于模型预测控制的多时间尺度家庭能量管理模型,以用户净支付和用电负荷波动最低为目标,设计了一系列的用电策略。文献[20]建立了电网公司、新增实体与用户之间的三方博弈模型,并求解其纳什均衡解,具有一定的可行性。文献[21]针对多个微电网运营商参与配电侧市场交易的问题,提出了一种双层优化方法,并基于完全信息下的动态博弈方法,确定市场的纳什均衡点。文献[22]研究了多种用户价格机制下的售电公司参与市场竞价购电的策略问题。
在制定各主体的需求响应策略时,已有的研究往往只考虑了发布需求响应时的收益最大化,而忽略了当次需求响应行为,对后续需求响应的影响。在实际的需求响应中,售电商的历史发布价格,会影响用户的舒适成本感知。本文从该角度出发,计及售电商的决策对用户舒适成本的长期影响,建立不同主体多时间尺度的需求响应优化模型,以离线学习在线使用的架构,结合强化学习算法求解优化策略,并使用基于神经网络构建强化学习算法,解决了状态和动作空间过大导致的维数灾问题。
1 基于强化学习的用户与售电商需求响应模型
1.1 用户与售电商需求响应模型
在需求响应过程中,用户与售电商两个主体的决策,在时间尺度上表现不一。其中,售电商作为需求响应的主导方,以追求长期收益最大化为目标;用户以追求当次需求响应自身利益最大化为目标。造成这种差别的原因是:1)售电商与用户对需求响应的重视程度不同。需求响应是售电商为了减小自身损失而发起,其获得的收益远高于单个用户的收益,因此售电商对需求响应更加重视,单个用户由于对信息了解不全,且收益较低,只能被动接受售电商制定的策略,因此对需求响应的重视程度偏低。2)售电商与用户对需求响应的掌控能力不同。售电商是需求响应的主导者,全面了解电价、用户负荷等信息,能在考虑到用户决策的前提下,决定需求响应发布的时间和价格;用户作为跟随者,处于被动的地位,单个用户的响应行为难以影响售电商的整体决策,只能在主导者制定决策的基础上选择最佳策略,因此只能追求短期收益的最大化。
售电商通过寻求最优的补贴价格ptrprt,以最大化自身参与需求响应的长期收益,可以表示为如下的动态优化问题求解。
在求解最优补贴价格的动态优化问题中,售电商为了最大化长期收益,在考虑短期利润的同时,还需要考虑补贴价格对后续需求响应过程中,用户的舒适成本产生的影响,从而影响后续的用户响应负荷。即当次的售电商的补贴价格,除了影响当次的售电商收益,也会影响后续的用户响应行为,从而影响后续的售电商的收益。强化学习算法适合求解这种前后时间状态耦合的动态优化问题。下面将对强化学习进行简介。
1.2 强化学习简介
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
4月2日,国家能源局印发《关于促进新型储能并网和调度运用的通知》(国能发科技规〔2024〕26号)(以下简称“26号文”),旨在规范新型储能并网接入,推动新型储能高效调度运用,促进新型储能行业高质量发展。在技术日趋成熟、装机规模迅速增长的同时,新型储能仍面临利用率较低的问题。随着新能源快速发
近日,河北电力交易中心发布河北南网新能源参与省间电力现货市场入市名单(截至2024年5月16日),新增1家新能源发电企业入市,入市容量100MW。详情如下:
近日,河北电力交易中心发布河北南网新能源参与省间电力现货市场入市名单(截至2024年5月16日),新增1家新能源发电企业入市,入市容量100MW。详情如下:
北极星售电网获悉,5月15日,国务院新闻办举行“推动高质量发展”系列主题新闻发布会,围绕“坚持高质量发展硬道理推动山西深化全方位转型”,山西省有关负责同志介绍了相关情况。据山西省委副书记、省长金湘军介绍,山西充分激发经营主体的内生动力和创新活力,以政府效能的提升促进经营主体效益的提
北极星售电网获悉,5月13日,陕西省发展和改革委员会发布关于开展陕西电力现货市场第三次结算试运行工作的通知,文件显示,结合陕西省电力现货市场建设实际,拟于5月14日至6月14日开展陕西电力现货市场第三次结算试运行,现印发《陕西电力现货市场第三次结算试运行工作方案》。本次结算试运行开展省内
2024年5月9日——今天,落基山研究所发布最新报告《2024电力市场化改革与电价体系洞察:面向市场参与者的十大趋势》。自2015年新一轮“电改”启动以来,落基山研究所一直致力于跟踪电力市场化改革进程,并从去年起推出面向市场主体的年度电力市场系列洞察报告。在加快构建新型电力系统、建设全国统一电
日前,新能源放开95%消纳红线的消息不胫而走,引起有关各方强烈关注。据媒体报道,市场流传一份机构调研报告预测,在大力度推动新能源发展背景下,电网公司大概率放开95%的消纳红线,以接入更多的新能源。(来源:电联新媒作者:管永生)一石激起千层浪。敏感的资本市场用光伏板块股票大涨表明了态度。
为备战即将开展的京津唐区域电力现货交易,不断提升电力现货业务能力,5月9日上午,公司在办公楼五层培训室组织开展了《电力现货市场及应对策略》专题培训。本次培训由公司市场营销部陈应贤进行授课,公司党委书记、董事长于沛东,党委副书记、总经理李智华,副总经理江鸿泽,公司中层干部及相关部门员
近年来,随着更多新能源入市参与交易,在新能源大发时段,经常出现0电价或负电价情况。在今年的“五一”劳动节期间,山西、广东、山东三地出现了电力现货市场0电价甚至是负电价情况。(来源:北极星售电网作者:梦梵)“澡盆”曲线频现5月1-3日,山东实时市场发电侧连续三天在午间9点-15点间出现负电价
近日,内蒙古备调电力现货系统现场验收会议在呼和浩特隆重召开,此次会议的成功召开标志着内蒙古备调电力现货系统正式上线运行。内蒙古电力集团此次验收通过的备调电力现货系统采用业内首创的“异构双活、交叉互备”建设模式,实现了全业务“可调可控可切换”,在国内首次实现了现货系统按“数据级功能
签订的电力中长期合约还能改价?近日,湖北省电力现货市场第二轮长周期结算试运行方案正式下发,文件明确适时启动中长期与现货价格联动机制,即已经签订的各小时中长期合同价格按一定比例与该时段现货价格联动,联动比例以“L”代替,并未明确。某行业从事人员表示:“这已经是发电企业全力争取后的结
PART.01本周市场综述市场供需趋势市场供需趋势,本周网供电量环比上周上升7.0%;水电上网电量环比上周上升17.6%;火电上网电量环比下降18.6%;新能源上网电量环比上周变化幅度不大;外购电量环比上周上升37.06%;留川电量环比上周上升7.6%,外送电量环比上周下降33.2%。综合来看,本周各项指标的趋势表
日前,湖南电力交易中心受理了2家售电公司的注册申请,并对售电公司提交的市场准入材料进行了完整性校核,现予以公示,详情如下:
5月13日,重庆电力交易中心发布2024年第六批售电公司注册公示,重庆电力交易中心有限公司受理四川绿电能源有限公司1家的注册申请,并对提交的申请材料进行了完整性核验,现将企业基本情况予以公示。详情如下:售电公司注册公示(2024年第六批)各市场主体:按照《国家发展改革委国家能源局关于印发售电
5月13日,四川电力交易中心发布《关于第2024-11批售电公司注册信息的公示》。详情如下:
5月9日,四川电力交易中心发布《关于第2024-10批售电公司注册信息的公示》。详情如下:
北极星售电网获悉,近日,广东电力交易中心发布关于2024年4月售电公司注册公示的通知,2024年4月广东电力交易中心有限责任公司受理通过了3家售电公司的注册申请,以及云能时代科技有限公司对2024年2月注册公示期间收到异议完成整改后的再次注册申请,相关市场准入材料已进行完整性校核。详情如下:
北极星售电网获悉,近日,陕西电力交易中心发布关于公示受理注册售电公司相关信息的公告,陕西电力交易中心有限公司受理了河南潞泓售电服务有限公司等2家售电公司提交的注册申请,并对相关申请材料进行了完整性校验,现予以公示。详情如下:陕西电力交易中心有限公司关于公示受理注册售电公司相关信息
北极星售电网获悉,近日,冀北电力交易中心发布关于受理入市的售电公司公示相关信息的公告,冀北电力交易中心有限公司受理了三峡新能源尚义风电有限公司的注册申请;受理其他省份交易中心推送至冀北业务范围新增的河北洪庆能源管理有限公司等2家公司的注册申请。详情如下:冀北电力交易中心有限公司关
北极星售电网获悉,近日,陕西电力交易中心发布关于公示受理注册售电公司相关信息的公告,陕西电力交易中心有限公司受理了河南潞泓售电服务有限公司等2家售电公司提交的注册申请,并对相关申请材料进行了完整性校验,现予以公示。详情如下:
北极星售电网获悉,4月25日,重庆电力交易中心发布关于售电公司注册公告(2024年第五批),重庆电力交易中心有限公司对广西瑞亿新电气科技有限公司1家售电公司的注册申请材料进行了公示。现公示期满无异议,有关公司注册手续予以生效。详情如下:重庆电力交易中心有限公司关于售电公司注册公告(2024年
北极星售电网获悉,重庆电力交易中心发布售电公司注册公示(2024年第四批),详情如下:售电公司注册公告(2024年第四批)按照《售电公司管理办法》(发改体改规〔2021〕1595号)等文件精神,重庆电力交易中心有限公司对重庆同创新业电力有限公司、重庆万安新能源有限公司共2家售电公司的注册申请材料
5月14日,国家发展改革委、国家能源局《电力市场运行基本规则》(以下简称《基本规则》)正式出台。由此,我国建设全国统一电力市场“1+N”基础规则体系中的“1”终于落地。自2015年新一轮电力体制改革启动以来,我国电力市场建设稳步有序推进,市场化交易电量比重大幅提升。2021年11月召开的中央全面
监管修订就像巨舰换装“新雷达”。近日,国家发展改革委印发了《电力市场监管办法》(以下简称”新版《办法》”)。旧版《电力市场监管办法》(简称“旧版《办法》”)自2005年颁布以来,已实施近20年,在构建全国统一电力市场体系的过程中,新版《办法》首次修订,成为市场改革的关键里程碑。这一修订
《电力市场监管办法》(以下简称“办法”)的修订与印发,标志着中国电力市场在法规体系和监管结构上迈出了重要一步。此次修订不仅反映了我国电力市场化改革的深入推进,还体现了全国统一电力市场建设的加快步伐。随着电力体制改革和新能源快速发展,传统电力市场已无法满足日益复杂的市场需求和变化,
增量配电业务改革是我国新一轮电力体制改革推出的重大举措,湖南能源监管办高度重视增量配电业务改革工作,积极推动增量配网企业依法依规开展经营。湖南部分增量配电试点项目在实践中摸索经营,开展配售电一体化服务,推出综合能源服务项目,在探索能源消纳、能源利用、能源服务等新模式中发挥了积极作
编者按:能源是工业的粮食、国民经济的命脉。党的十八大以来,习近平总书记提出“四个革命、一个合作”能源安全新战略,为我国新时代能源高质量发展指明了方向道路。深化电力体制改革,是事关我国能源安全和经济社会发展全局的一项紧迫任务。2024年,恰逢“四个革命、一个合作”能源安全新战略提出十周
4月28日,国家能源局新疆监管办公室召开新疆区域2024年第一次电力调度交易与市场秩序厂网联席会议,系统总结2023年新疆电力市场工作,深入分析当前面临的新形势新要求,安排部署2024年电力市场重点工作,为新疆电力行业低碳、绿色、高质量发展奠定基础。国家能源局新疆监管办公室、新疆自治区发展改革
在中国,虚拟电厂作为电力体制改革下的新产物,一方面根植于传统的电力体制与电力系统,顺应原有的运行惯性才能发展;另一方面,作为新型电力系统的全新部分,自然被各类新老玩家(学术名称:利益相关方,Stakeholder)所追逐、所争夺,去满足各利益主体的诉求。它并不是看上去的“聚合负荷侧资源,参
【我们将按照国家构建新型电力系统的相关精神,持续深化电力市场改革,围绕“完善市场机制、统一规则体系、扩大市场范围”的远景目标,从完善市场规则、健全调控机制、强化风险防范、严格市场监管、培育新型主体等方面着手,推动电力市场向更加成熟、更加稳定、更加开放方向发展。】——山西省能源局总
书接上回(电改导火索——二滩弃水),《西部大开发决策回顾》一书中描述了关于“二滩弃水”与电力体制改革的关系:二滩水电站电送不出去,既有电网瓶颈的问题,也有电力体制上的原因。时任国家主席江泽民提出要想办法解决二滩电力送出问题,且必须对现行电力体制进行改革。(来源:微信公众号“售电星
3月18日,国家发展改革委公布《全额保障性收购可再生能源电量监管办法》,可再生能源在“价”于2021年迎来翻天覆地的变化后,“量”上也很有可能迎来巨大改变,这是整个电力市场改革潮流对于行业的影响。那么,作为更上游的新能源经济性评估工作,有必要未雨绸缪,以动态评估(现货市场仿真)取代过去
习近平总书记在中共中央政治局第十二次集体学习时强调,能源安全事关经济社会发展全局。积极发展清洁能源,推动经济社会绿色低碳转型,已经成为国际社会应对全球气候变化的普遍共识。我们要顺势而为、乘势而上,以更大力度推动我国新能源高质量发展,为中国式现代化建设提供安全可靠的能源保障,为共建
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!