登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
摘要
在电力现货市场下,为实现售电商长期收益最大化,提出采用强化学习的需求响应动态优化方案。首先建立售电商和用户的需求响应模型,通过建立用户舒适成本函数的前后联系,构建出售电商动态优化收益函数;利用用户的需求响应收益函数确定其响应负荷,并将售电商当前需求响应的收益函数转化为立即奖励函数;然后采用BP神经网络构建强化学习的Q函数,采用迭代方法训练BP神经网络直到Q函数收敛。最后,通过1个售电商和5个工业用户的仿真算例结果表明所提方法的有效性。
(来源:电网技术 作者:冯小峰1, 谢添阔2, 高赐威3, 林国营1, 陈亮1, 卢世祥1)
1.广东电网有限责任公司 计量中心,广东省 广州市 510080
2.华北电力大学 电力工程系,河北省 保定市 071003
3.东南大学 电气工程学院,江苏省 南京市 210096
冯小峰(1984),男,博士,通信作者,主要研究方向为电力市场需求响应,电力系统优化与控制,E-mail:ucihqtep@163.com;
谢添阔(1995),男,硕士研究生,主要研究方向为电力市场需求响应,E-mail:1963228605@qq.com;
高赐威(1977),男,教授,博士生导师,主要研究方向为电动汽车接入电网、电力规划、电力市场、需求侧管理及电力安全等,E-mail:ciwei.gao@126.com。
基金项目:中国南方电网有限责任公司科技项目(GDKJXM20161607); Project Supported by Science and Technology Foundation of China Southern Power Grid Company Limited (GDKJXM20161607);
0 引言
《中共中央国务院关于进一步深化电力体制改革的若干意见(中发〔2015〕9号)》开启的新一轮电改,其核心目标:使市场在资源配置中起到决定性作用。2018年10月,南方(以广东起步)电力现货市场相关文件的发布,开启了电力现货市场的试运行。
在电力现货市场中,除了长协购电和月度竞价购电外,售电商还需要从现货市场购电。在运营过程中,随着供需紧张关系的变化,现货市场的价格也会随之波动。而售电商卖给用户的电价通常是固定的,当售电商在现货市场购电的价格高于其售电价格,为了减少损失,售电商有动力发布需求响应。同时售电商向其代理用户的发布需求响应,减小峰谷差,也有利于提高其向发电厂购电时的议价能力。
国内外对需求响应的运行机制、调节手段、框架结构等进行了很多研究。文献[1]对智能电网环境下需求响应的机理和建模进行了分析。文献[2]从需求响应概念、激励手段、收益评定等方面对国内外的研究成果进行归纳与总结。文献[3]从运行机制、调控手段、负荷潜力等方面重点研究了将需求响应
应用于辅助服务市场的相关问题。文献[4]对国内外综合需求响应的概念、框架结构、模型、市场运行机制以及关键技术问题等进行了研究和总结。
在需求响应过程中,用户的响应行为的确定非常重要,国内外对不同类型用户的需求响应行为进行了很多研究。文献[5]针对温控负荷,使用基于成本-效益分析的方法确定用户在中长期需求响应过程中的响应行为。文献[6]建立了温控负荷设备的预测模型,以减少需求响应期间的信息传输量。文
献[7]研究了基于用户报量不报价的需求响应方式,分析了用户响应行为机理,并基于此建立了发电计划优化模型,仿真结果验证了该模式和方法的有效性。文献[8]建立了直接负荷控制模型,实现了清洁能源消纳的目标。文献[9]研究了电网中用户的电力调度问题,通过为用户提供一种电力调度策略,以实现用户的收益与舒适度之间的期望权衡。文
献[10]主要介绍了用户对售电公司和用电合同的选择方式,研究了考虑可中断负荷的售电公司营销策略制定方法。文献[11]针对激励型需求响应,建立了用户侧响应模型,用于制定微电网的负荷削减策略。文献[12]基于节点电价,构建了两阶段负荷需求响应模型,对需求响应策略进行了研究,实现了部分用户负荷由高电价节点转移到低电价节点的过程。
国内外对需求响应过程中多方主体互动用电时策略制定方法开展了大量的研究。文献[13]针对电网中的售电商和用户建立了一种分层系统模型,以售电商的利益最大化为目标,求解售电商与用户的Stackelberg博弈均衡解,结果表明,存在一个最优的售电商数量,可以使得其整体利润最大化。文献[14]为了降低峰值,将用户负荷转移与分布式发电的使用相结合,开发了两种算法,算例结果表明将这两种需求响应方式相结合可以有效节省成本。文献[15]基于综合需求响应和博弈方法,设计了一种两阶段优化调度策略,对博弈模型进行了求解。文献[16]研究了多个售电公司间的非合作博弈和用户间的演化博弈,并使用分布式算法实现了售电公司与用户间的两级博弈,仿真结果表明该方案能够显著减少峰值负荷。文献[17]提出了一种实时定价方案,每个用户对售电商发布的价格做出反应并最大化其收益,售电商根据预测的用户反应设计实时价格以最大化其利润,在售电商方面,开发了基于模拟退火的价格控制算法来解决非凸价格优化问题,结果表明所提出的实时定价方案能有效削减峰值,降低售电商成本,提高用户收益。文献[18]基于消费者心理学原理和需求响应不确定性规律,设计了一套激励型和价格型需求响应与常规资源和新能源等在不同时间尺度上优化配置的方案,建立了日前—日内时间尺度下的源荷互动决策模型。文献[19]针对激励型需求响应,建立了基于模型预测控制的多时间尺度家庭能量管理模型,以用户净支付和用电负荷波动最低为目标,设计了一系列的用电策略。文献[20]建立了电网公司、新增实体与用户之间的三方博弈模型,并求解其纳什均衡解,具有一定的可行性。文献[21]针对多个微电网运营商参与配电侧市场交易的问题,提出了一种双层优化方法,并基于完全信息下的动态博弈方法,确定市场的纳什均衡点。文献[22]研究了多种用户价格机制下的售电公司参与市场竞价购电的策略问题。
在制定各主体的需求响应策略时,已有的研究往往只考虑了发布需求响应时的收益最大化,而忽略了当次需求响应行为,对后续需求响应的影响。在实际的需求响应中,售电商的历史发布价格,会影响用户的舒适成本感知。本文从该角度出发,计及售电商的决策对用户舒适成本的长期影响,建立不同主体多时间尺度的需求响应优化模型,以离线学习在线使用的架构,结合强化学习算法求解优化策略,并使用基于神经网络构建强化学习算法,解决了状态和动作空间过大导致的维数灾问题。
1 基于强化学习的用户与售电商需求响应模型
1.1 用户与售电商需求响应模型
在需求响应过程中,用户与售电商两个主体的决策,在时间尺度上表现不一。其中,售电商作为需求响应的主导方,以追求长期收益最大化为目标;用户以追求当次需求响应自身利益最大化为目标。造成这种差别的原因是:1)售电商与用户对需求响应的重视程度不同。需求响应是售电商为了减小自身损失而发起,其获得的收益远高于单个用户的收益,因此售电商对需求响应更加重视,单个用户由于对信息了解不全,且收益较低,只能被动接受售电商制定的策略,因此对需求响应的重视程度偏低。2)售电商与用户对需求响应的掌控能力不同。售电商是需求响应的主导者,全面了解电价、用户负荷等信息,能在考虑到用户决策的前提下,决定需求响应发布的时间和价格;用户作为跟随者,处于被动的地位,单个用户的响应行为难以影响售电商的整体决策,只能在主导者制定决策的基础上选择最佳策略,因此只能追求短期收益的最大化。
售电商通过寻求最优的补贴价格ptrprt,以最大化自身参与需求响应的长期收益,可以表示为如下的动态优化问题求解。
在求解最优补贴价格的动态优化问题中,售电商为了最大化长期收益,在考虑短期利润的同时,还需要考虑补贴价格对后续需求响应过程中,用户的舒适成本产生的影响,从而影响后续的用户响应负荷。即当次的售电商的补贴价格,除了影响当次的售电商收益,也会影响后续的用户响应行为,从而影响后续的售电商的收益。强化学习算法适合求解这种前后时间状态耦合的动态优化问题。下面将对强化学习进行简介。
1.2 强化学习简介
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
2023年末,山西、广东两省电力现货市场陆续转入正式运行,这一事件标志着我国的电力市场建设进入了新时期。在电力市场运行的过程中,电力现货价格和中长期市场价格在引导供需、促进资源优化配置方面起到关键作用,也与市场交易主体的切身利益息息相关。因而,诸如影响电力现货价格和中长期市场价格的因
4月29日,2024年一季度南方区域(广西)电力现货市场结算试运行总结会顺利召开,广西电网公司、广西电力交易中心、广西中调及15家市场主体代表参加会议,国家能源局南方监管局、自治区能源局相关负责同志出席会议。会上,广西中调、广西电力交易中心分别从现货运行及结算等方面做了详细的总结和分析。
一、专栏概况针对全国统一电力市场建设过程中出现的市场机制设计、市场组织方法、市场出清技术、价格形成机制等问题,《中国电力》编辑部邀请中国电科院冯树海教高、清华大学钟海旺副教授、四川大学刘友波教授、重庆大学杨知方教授、香港理工大学林伟研究员作为特约主编组织策划了“全国统一电力市场发
北极星售电网获悉,陕西电力交易中心发布关于征求《陕西省电力现货市场第三次结算试运行工作方案》意见建议的通知。其中包含陕西电力市场计量管理实施细则(第三次结算试运行)中提出,关口电能计量设备管理以电网企业、发电企业、拥有配电网运营权的售电公司管理为基础,以统一归口管理为原则开展。电
北极星售电网获悉,陕西电力交易中心发布关于征求《陕西省电力现货市场第三次结算试运行工作方案》意见建议的通知。其中包含陕西省电力调频辅助服务市场交易实施细则(第三次结算试运行)中提出,市场交易组织采用日前报价、日前预出清、日内出清实时调用的模式。调频服务提供者在日前申报发电单元调频
北极星售电网获悉,4月29日,安徽电力交易中心发布《安徽电力现货市场2024年第一次整月结算试运行工作方案》,其中提到,本次结算试运行期间,出清结果执行、实际结算。本次结算试运行时间2024年5月1日-5月31日,其中竞价日:4月30日开始,运行日的前一个法定工作日组织日前市场竞价(其中周五申报未来
北极星售电网获悉,陕西电力交易中心发布关于征求《陕西省电力现货市场第三次结算试运行工作方案》意见建议的通知。其中包含陕西省电力市场结算实施细则(第三次结算试运行)中提出,中长期市场根据中长期合约的分解电量,按照合约约定价格进行结算。现货市场结算时,对于发电企业,采用机组所在节点电
广东电力现货市场进阶之路
编者按:能源是工业的粮食、国民经济的命脉。党的十八大以来,习近平总书记提出“四个革命、一个合作”能源安全新战略,为我国新时代能源高质量发展指明了方向道路。深化电力体制改革,是事关我国能源安全和经济社会发展全局的一项紧迫任务。2024年,恰逢“四个革命、一个合作”能源安全新战略提出十周
北极星售电网获悉,陕西电力交易中心发布关于征求《陕西省电力现货市场第三次结算试运行工作方案》意见建议的通知。其中包含陕西省电力现货市场交易实施细则中提出,日前现货市场交易采取“发电侧报量报价或报量不报价、用户侧报量不报价”的模式按日进行组织。2)参与市场的发电企业以“报量报价”或
北极星售电网获悉,近日,陕西电力交易中心发布陕西电力市场工作日连续开市及标准能量块交易实施细则(2024年试行版),工作日连续开市按分时交易和非分时交易两种模式分别开展。具备24时计量条件且参加现货分时结算的电量按分时交易模式开展,其他电量按非分时模式开展。分时交易模式:标的日电量分解
北极星售电网获悉,近日,陕西电力交易中心发布关于公示受理注册售电公司相关信息的公告,陕西电力交易中心有限公司受理了河南潞泓售电服务有限公司等2家售电公司提交的注册申请,并对相关申请材料进行了完整性校验,现予以公示。详情如下:陕西电力交易中心有限公司关于公示受理注册售电公司相关信息
北极星售电网获悉,近日,冀北电力交易中心发布关于受理入市的售电公司公示相关信息的公告,冀北电力交易中心有限公司受理了三峡新能源尚义风电有限公司的注册申请;受理其他省份交易中心推送至冀北业务范围新增的河北洪庆能源管理有限公司等2家公司的注册申请。详情如下:冀北电力交易中心有限公司关
北极星售电网获悉,近日,陕西电力交易中心发布关于公示受理注册售电公司相关信息的公告,陕西电力交易中心有限公司受理了河南潞泓售电服务有限公司等2家售电公司提交的注册申请,并对相关申请材料进行了完整性校验,现予以公示。详情如下:
北极星售电网获悉,4月25日,重庆电力交易中心发布关于售电公司注册公告(2024年第五批),重庆电力交易中心有限公司对广西瑞亿新电气科技有限公司1家售电公司的注册申请材料进行了公示。现公示期满无异议,有关公司注册手续予以生效。详情如下:重庆电力交易中心有限公司关于售电公司注册公告(2024年
北极星售电网获悉,重庆电力交易中心发布售电公司注册公示(2024年第四批),详情如下:售电公司注册公告(2024年第四批)按照《售电公司管理办法》(发改体改规〔2021〕1595号)等文件精神,重庆电力交易中心有限公司对重庆同创新业电力有限公司、重庆万安新能源有限公司共2家售电公司的注册申请材料
北极星售电网获悉,重庆电力交易中心发布售电公司注册公示(2024年第五批),详情如下:各市场主体:按照《国家发展改革委国家能源局关于印发售电公司管理办法的通知》(发改体改规〔2021〕1595号)等文件精神,重庆电力交易中心有限公司受理重庆帕瓦电力安装工程有限公司、云能时代科技有限公司,共2
一季度以来,东北公司大连开热分公司共计签订46份电力市场化售电代理协议,累计协议电量7.8462亿千瓦时,经辽宁省国网公司审核,成功与电力用户捆绑、备案并参与辽宁省交易中心组织的电力市场化中长期交易,该公司以“满格”工作状态多维发力开启冲刺模式,蓄力造势跑好开局“第一棒”,实现“开门红”
4月17日,四川电力交易中心发布《关于第2024-8批售电公司注册信息的公示》。详情如下:
北极星售电网获悉,近日,山东电力交易中心发布第八十三批售电公司注册公示结果,详情如下:山东电力交易中心有限公司关于发布第八十三批售电公司注册公示结果的公告相关市场主体:山东电力交易中心于2024年3月15日至2024年4月14日对济南蓝天热电有限公司等3家售电公司的注册申请材料进行了公示。公示
4月11日,浙江中石化新能源科技有限公司完成电力交易市场首次挂牌,正式吹响售电业务发展的“开门号角”。浙江中石化新能源科技有限公司将继续全力打造“售电+”组合业务结构,加强顶层设计和全局统筹,持续探索售电服务模式、积极开拓售电市场,通过电力交易打造好新能源全链路的纽带,加快向“油气氢
北极星售电网获悉,近日,浙江电力交易中心公示受理注册的售电公司杭州律能科技有限公司相关信息的公告,详情如下:浙江电力交易中心有限公司关于公示受理注册的售电公司杭州律能科技有限公司相关信息的公告浙江电力交易中心有限公司2024-04-1018:59浙江按照国家发改委、国家能源局《售电公司管理办法
编者按:能源是工业的粮食、国民经济的命脉。党的十八大以来,习近平总书记提出“四个革命、一个合作”能源安全新战略,为我国新时代能源高质量发展指明了方向道路。深化电力体制改革,是事关我国能源安全和经济社会发展全局的一项紧迫任务。2024年,恰逢“四个革命、一个合作”能源安全新战略提出十周
4月28日,国家能源局新疆监管办公室召开新疆区域2024年第一次电力调度交易与市场秩序厂网联席会议,系统总结2023年新疆电力市场工作,深入分析当前面临的新形势新要求,安排部署2024年电力市场重点工作,为新疆电力行业低碳、绿色、高质量发展奠定基础。国家能源局新疆监管办公室、新疆自治区发展改革
在中国,虚拟电厂作为电力体制改革下的新产物,一方面根植于传统的电力体制与电力系统,顺应原有的运行惯性才能发展;另一方面,作为新型电力系统的全新部分,自然被各类新老玩家(学术名称:利益相关方,Stakeholder)所追逐、所争夺,去满足各利益主体的诉求。它并不是看上去的“聚合负荷侧资源,参
【我们将按照国家构建新型电力系统的相关精神,持续深化电力市场改革,围绕“完善市场机制、统一规则体系、扩大市场范围”的远景目标,从完善市场规则、健全调控机制、强化风险防范、严格市场监管、培育新型主体等方面着手,推动电力市场向更加成熟、更加稳定、更加开放方向发展。】——山西省能源局总
书接上回(电改导火索——二滩弃水),《西部大开发决策回顾》一书中描述了关于“二滩弃水”与电力体制改革的关系:二滩水电站电送不出去,既有电网瓶颈的问题,也有电力体制上的原因。时任国家主席江泽民提出要想办法解决二滩电力送出问题,且必须对现行电力体制进行改革。(来源:微信公众号“售电星
3月18日,国家发展改革委公布《全额保障性收购可再生能源电量监管办法》,可再生能源在“价”于2021年迎来翻天覆地的变化后,“量”上也很有可能迎来巨大改变,这是整个电力市场改革潮流对于行业的影响。那么,作为更上游的新能源经济性评估工作,有必要未雨绸缪,以动态评估(现货市场仿真)取代过去
习近平总书记在中共中央政治局第十二次集体学习时强调,能源安全事关经济社会发展全局。积极发展清洁能源,推动经济社会绿色低碳转型,已经成为国际社会应对全球气候变化的普遍共识。我们要顺势而为、乘势而上,以更大力度推动我国新能源高质量发展,为中国式现代化建设提供安全可靠的能源保障,为共建
中共中央国务院《关于进一步深化电力体制改革的若干意见》(中发〔2015〕9号)(以下简称“9号文”)对推进新一轮电力体制改革作出了总体部署,提出以用户市场化购电为核心的总体思路,用户对市场化购电的满意度、方便程度,从某种意义上讲是衡量这一轮改革成绩的重要标尺。但是9年来,用户对市场化购
作为新一轮电力体制改革的重点,售电侧改革自“电改9号文”及其配套文件实施以来,成效显著,售电业务渐次放开,零售市场建设取得了长足发展,售电主体不断进入,多元竞争主体格局初步形成,市场活力和资源配置效率明显提升。然而,与批发市场建设的改革进程相比,零售市场的发展尚处在初级阶段,仍面
2015年3月15日新一轮电力体制机制改革启动至今,已经历九年有余。本轮电改以批发侧市场化价格形成机制改革为主线,逢山开路、遇水架桥,形成了有别于诸多传统价格、运行政策的改革政策谱系。2015年以来,特别是2017年电力现货市场试点工作开展以来,电力市场建设取得了长足的进步,广东、山西、山东、
编者按4月1日,《电能质量管理办法(暂行)》(以下简称《办法》)正式施行。随着电力体制改革不断深化,能源电力转型升级持续深入,新型电力系统构建积极推进,“源-网-荷-储”侧特性发生巨大改变,出现了许多影响电能质量问题的新因素。同时,产业转型升级和人民生活水平的提升都对电能质量提出了更
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!