登录注册
请使用微信扫一扫
关注公众号完成登录
2.2 大数据平台算法业务并行化实现方式
目前已有文献提出了基于Map-Reduce模型的数据挖掘算法并行化方法[8-11],但是Map-Reduce对聚类等迭代计算会消耗大量资源,算法效率不高,并且需要对分布式集群底层具有一定了解,编程设计学习门槛高。针对以上问题,智能配用电大数据应用系统采用Spark内存并行计算框架,克服了Hadoop对迭代运算适用性差的缺点,并且提供了R语言与Apache Spark交互的接口SparkR,可通过R实现对Spark分布式计算引擎的调用,使得SparkR可以充分利用分布式集群的计算资源,高效处理TB级别的数据[22]。
首先,先在GB级别的小样本数据上,使用统计分析常用的R语言编写节电分析程序,以测试算法的有效性及可行性。测试完成后,将单机R语言程序移植到大数据平台上。如图6所示,算法移植主要从以下几个方面进行改进:
1)分布式数据的读取:和传统数据库结构不同,大数据平台上的数据以分布式的形式分别存储在不同的存储节点上。在R程序中,将原有的
图6 单机版本R程序的移植Fig. 6 Migration of single-machine version R programs
MySQL语句调整为大数据平台Hive组件提供的类SQL语句,实现对分布式数据的读取访问。
2)数据挖掘算法及分析业务的并行化:算法并行是指对某一算法从原理上进行并行化改进,以获得较大的效率提升。例如聚类、降维等算法,并行化后能显著降低算法的复杂度,对分析海量数据尤为必要。R程序通过调用SparkMLlib并行算法库,实现所用聚类等算法的并行化。机器学习与数据挖掘算法库MLlib中内置了通用的分类、回归、聚类、协同过滤、降维等分布式数据挖掘算法,且Spark底层对这些算法进行了深度优化,计算效率极
高[23]。具体的,首先通过SparkR接口将待分析数据转化为分布式数据框,以分布式形式载入Spark内存并行计算框架中,然后调用MLlib组件接口,即可自动实现并行计算。经实测,在服务器集群上对TB级别的数据进行所述聚类、降维分析能保证耗时在1 h以内,大大提高了程序的计算效率,同时SparkR与MLlib组件的结合让研究人员无需重新学习SCALA等编程语言,不必了解分布式集群底层架构,即可实现预期效果。
如果某些业务之间既没有交叉,也没有流程上的先后关系,这些业务之间就是可并行的,如对每个用户计算用电特性指标、开展能效评估等,把可并行的业务分别分配到不同的计算节点进行计算被称为业务并行。本文所述节电分析流程中,具体的并行化改进如图7所示。
3)分析结果的分布式存储:算法在每次计算后都会产生大量的计算结果数据,同样要以分布式形式保存在集群中。由于在分析结果可视化阶段涉及到大量数据的并发读取,为适应计算结果数据频繁读取及不断写入的要求,将分析结果存储在HBase中,和传统关系型数据库相比,HBase是一种高性能分布式数据库,具有易于扩展、支持海量
图7 数据挖掘算法及分析业务的并行化Fig. 7 Parallel data mining algorithm and analysis service
数据存储及高并发读取的优势。
3 节电分析数据交互及可视化
智能电网的特征是“自动化、信息化、互动化”[11],数据的可视化及交互是实现互动化的主要手段。在大数据环境下,节电分析结果也具有显著的大数据特征,全面、简洁、直观、准确地反映节电分析结果内涵及价值,是数据交互及可视化的关键。
3.1 数据展示结构
目前电力系统中所用到的可视化形式大多基于VTK、Java 3D、Open GL等图形组件。这些应用以客户端/服务器(client/server,C/S)为主要架构,采用面向对象和面向组件的编程方法[24-26]。C/S架构的可视化及交互服务需要在每台客户端上配置可视化环境,安装应用服务,少量部署尚可,但节电分析结果除面向专业人员外,还将面向海量电力用户,在这种应用环境下C/S架构不够灵活轻量。随着以智能手机为代表的移动端设备的兴起,Web技术因为其轻量、灵活、强大、即开即用、无平台移植问题等优势获得了广泛应用。将Web技术用于节电分析服务,用户通过浏览器即可控制分析过程、访问分析结果,且不受平台限制,便于后续向海量电力用户提供特色化的节电服务。智能配用电大数据应用系统在数据交互及可视化方面采用基于Web的SSM(Spring Spring MVC MyBatis)整合框架,在前端网页设计方面采用了HTML5语言,通过EChart、D3等JavaScript图表库实现了数据图表的交互,可视化由数据驱动,图例丰富,功能强大,支持数据拖拽重计算,数据区域漫游等高级功能。
3.2 节电分析可视化功能模块
节电分析可视化效果如图8所示。图中图表均为我国某地区配用电实际数据分析结果,左侧是算法参数设置部分,右侧从宏观到微观展示了行业节电概览、用电群体细分、群体内用户节电潜力走势、单用户节电分析等大数据分析结果。其中参数设置页面用于设置分析时段、聚类等算法参数,点击计算按钮则调用集群中的SparkR程序对所选行业进行分析,计算完成后将分析结果写入HBase数据库中,并在历史计算结果中添加一条记录以便查看。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
北极星储能网讯:近日,江苏省发改委发布了《关于征求优化工商业分时电价结构促进新能源消纳支持经济社会发展有关政策意见通知》,其中拉大了峰谷电价上下浮动比例,同时取消早高峰时段、新增了午间低谷时段。文件提出,鼓励工商业用户通过配置储能(蓄能)装置、开展综合能源管理等方式,主动减少高峰时
中共中央办公厅、国务院办公厅近日印发了《关于完善价格治理机制的意见》(以下简称《意见》)。这是继2015年《关于推进价格机制改革的若干意见》后,我国在价格改革领域的又一重要政策文件,旨在进一步深化价格市场化改革,优化价格治理体系。《意见》面向电力行业的价格机制改革部署了一系列重要工作
4月21日,山东省能源局印发山东省2025年新能源高水平消纳行动方案。文件明确,2025年,完成煤电灵活性改造2000万千瓦左右,建成新型储能300万千瓦,全省新能源利用率保持较高水平。重点任务方面,新能源结构优化行动:1.加快发展风电。快速提升风电装机规模,减少电力系统调节压力。海上风电建成华能半
文/赵云灏作者供职于华北电力大学国家能源发展战略研究院崔正湃姚冬作者供职于国网冀北电力有限公司推动新能源参与电力市场成为完善全国电力统一大市场,支撑新能源高质量发展的重要路径。2024年7月24日,国家发展改革委、国家能源局印发《电力中长期交易基本规则—绿色电力交易专章》(发改能源〔2024
北极星售电网获悉,4月15日,新疆电力交易中心发布关于2025年4月第二批电力用户市场注销的公示。按照《国家能源局关于印发电力市场信息披露基本规则的通知》(国能发监管〔2024〕9号)和《新疆电力市场电力用户注册服务指南》有关规定,现将2025年4月第二批市场注销电力用户名单进行公示,公示时间:20
北极星售电网获悉,4月20日,国家能源局新疆监管办发布关于公开征求《新疆电力辅助服务市场运营规则(征求意见稿)》意见的通知。文件明确,本规则适用于新疆电力辅助服务市场交易,新疆电力辅助服务市场所有成员必须遵守本规则。新疆电力辅助服务市场主体具体指新疆省调直调、参与疆内电力电量平衡,
北极星售电网获悉,4月20日,国家能源局新疆监管办发布关于公开征求《新疆电力中长期交易实施细则部分条款修订稿》意见的通知。文件明确,《新疆电力中长期交易实施细则》(新监能市场〔2022〕93号)第一章第四条修改为:规则所称电力中长期交易主要是指符合注册基本条件的发电企业、售电企业、电力用
经常有朋友讨论,未来5-10年,中国的虚拟电厂能否成为一个万亿级别的大市场,这里做个简单的讨论,部分数据可能不准确,仅供参考。本文讨论的是相对狭义的虚拟电厂,也就是[2025]357号文里定义的,以分布式电源、储能、负荷资源聚合,参与电力市场和电力系统平衡。(来源:微信公众号“鱼眼看电改”作
136号文件就市场体系、结算机制、政策协同三方面为新能源上网电价市场化改革、促进新能源企业高质量发展提供了机制保障。136号文件以“价格市场形成、责任公平承担、区分存量增量、政策统筹协调”为总体思路,推动新能源公平参与市场交易,建立新能源可持续发展价格结算机制,完善电力市场体系。截至20
北极星售电网获悉,青海电力交易中心发布2025年3月电力用户注册注销情况。本月新注册生效电力用户19家,1家(青海邦捷酒店有限责任公司)电网代理购电1.5倍用户转为零售用户。累计注册生效批发电力用户22家,零售电力用户367家。电网代理购电1.5倍用户4家。
自2024年7月,哈密绿电绿证交易服务站在中心营业厅正式挂牌成立以来,这个占地不足200平方米的服务站,便肩负起推动区域能源结构转型、撬动新能源产业升级的重要使命。作为西北重要的新能源基地,哈密正通过绿电绿证交易机制的创新实践,在戈壁滩上书写着绿色发展的新篇章。截至今年4月15日,服务站累
4月21日,昌黎县人民政府发布多个海上光伏试点项目征地补偿安置方案的通知,共涉及4个海光项目,分别为国电电力昌黎50万千瓦海上光伏试点项目、华电昌黎500MW海上光伏试点项目、国华投资秦皇岛昌黎500MW海上光伏试点项目、中电建秦皇岛昌黎30万千瓦海上光伏试点项目,项目规模共计1.8GW。根据文件,四
北极星储能网获悉,4月22日,特变电工发布公告,公司控股公司新能源公司二级子公司盱眙鑫特公司投资建设天泉湖300MW光伏复合项目,总投资14.88亿元。项目建设容量为300MW,包括300MW光伏电站、220kV升压站、30MW/60MWh储能系统等。公告显示,根据可行性研究报告,该项目年有效利用小时数为1,205.11h,
北极星售电网获悉,4月21日,四川甘孜州经济和信息化局发布关于公开征求《甘孜州留存电量用户侧激励管理暂行办法(征求意见稿)》意见建议的公告。文件明确,建立以度电税收、度电产值、计划执行率及吸纳就业为核心的效益评价体系,对综合效益突出的企业实施年度电量奖励和月度交易优先安排,促进留存
北极星储能网讯:近日,江苏省发改委发布了《关于征求优化工商业分时电价结构促进新能源消纳支持经济社会发展有关政策意见通知》,其中拉大了峰谷电价上下浮动比例,同时取消早高峰时段、新增了午间低谷时段。文件提出,鼓励工商业用户通过配置储能(蓄能)装置、开展综合能源管理等方式,主动减少高峰时
中共中央办公厅、国务院办公厅近日印发了《关于完善价格治理机制的意见》(以下简称《意见》)。这是继2015年《关于推进价格机制改革的若干意见》后,我国在价格改革领域的又一重要政策文件,旨在进一步深化价格市场化改革,优化价格治理体系。《意见》面向电力行业的价格机制改革部署了一系列重要工作
近年来,新疆依托丰富的新能源资源,加快建设“沙戈荒”大型风电光伏基地。在广袤的新疆大地上,戈壁荒漠源源不断汇聚绿色动能,新能源及储能等新兴产业正蓬勃发展。2024年年底,新疆新能源发电装机规模在西北地区省份中率先突破1亿千瓦,达到1.003亿千瓦。新能源电源大规模并网给电网调峰和系统安全稳
4月21日,山东省能源局印发山东省2025年新能源高水平消纳行动方案。文件明确,2025年,完成煤电灵活性改造2000万千瓦左右,建成新型储能300万千瓦,全省新能源利用率保持较高水平。重点任务方面,新能源结构优化行动:1.加快发展风电。快速提升风电装机规模,减少电力系统调节压力。海上风电建成华能半
“十四五”期间,我国光伏投资开发狂飙突进。2021-2024四年时间里,光伏新增装机规模达到636.33GW,是此前十数年累计装机规模的2.5倍。在装机规模大幅攀升的同时,光伏投资商阵营也出现多轮转换,从2024年各企业风光装机数据中,可以看到哪些新变化?最新装机数据五大发电集团曾是光伏项目开发主力,尤
北极星售电网获悉,4月21日,山东省能源局发布山东省2025年新能源高水平消纳行动方案。文件明确,2025年,完成煤电灵活性改造2000万千瓦左右,建成新型储能300万千瓦,全省新能源利用率保持较高水平。文件提出,大力推动源网荷储一体化试点。支持采用就地就近消纳、绿电交易、虚拟电厂、分布式自发自用
文/赵云灏作者供职于华北电力大学国家能源发展战略研究院崔正湃姚冬作者供职于国网冀北电力有限公司推动新能源参与电力市场成为完善全国电力统一大市场,支撑新能源高质量发展的重要路径。2024年7月24日,国家发展改革委、国家能源局印发《电力中长期交易基本规则—绿色电力交易专章》(发改能源〔2024
2015年电改9号文出台开启的新一轮电力体制改革已历经十年,处于改革潮头的南方区域从独具特色的省级市场发展为创新融合的区域市场,走过了一条破冰、融合、发展的电力市场化改革之路。正可谓前事不忘后事之师,让我们重温十年改革历程,总结经验教训,在新的历史起点再出发。(来源:电联新媒作者:梁
北极星售电网获悉,4月21日,宁夏电力交易中心发布关于公示售电公司注销的公告。宁夏太阳山京智综合能源(售电)有限公司因连续3年未在任一行政区域开展售电业务,现强制注销在宁夏电力交易中心交易平台的市场注册。现将企业名单予以公示,公示期满注销自动生效。公示期为2025年4月21日至2025年5月6日,
淮河能源4月21日公告称,公司拟通过发行股份及支付现金的方式购买控股股东淮南矿业持有的淮河能源电力集团89.30%股权,交易价格为116.94亿元。本次交易构成重大资产重组。公司主营业务包括火力发电业务、售电业务、铁路运输业务、配煤业务。标的公司主营业务与上市公司高度重合,存在较大的协同空间。
2025年开年,“人工智能+”浪潮席卷全国,科技创新成为浙江高质量发展的核心动能。作为国家电网的“排头兵”,国网浙江电力正以“数字浙电”为引擎,以光明大模型为抓手,加速布局“人工智能+电力”战略。今起,浙电e家将在「e思享」专栏推出“电力+人工智能”系列深度报道,聚焦前沿技术应用、未来电
北极星售电网获悉,4月14日,广西壮族自治区人民政府发布关于印发《美丽广西建设三年行动计划(2025—2027年)》(以下简称《计划》)的通知。《计划》指出,加快构建新型能源体系。建设源网荷储一体化试点,完善煤炭油气产供储销体系,积极安全有序推动白龙核电一期项目建设,开展柳城北页岩气区块开
北极星售电网获悉,近日,全国首个地市级绿证绿电碳业务服务中心在浙江杭州揭牌成立。该中心由杭州市发改委批复同意,依托国网杭州供电公司和国网(杭州)综合能源服务有限公司组建和实体化运营。据了解,近些年,杭州鼓励新上项目、存量高耗能项目、外向型企业通过购买绿证提升可再生能源消费比例。20
北极星售电网获悉,4月21日,四川甘孜州经济和信息化局发布关于公开征求《甘孜州留存电量用户侧激励管理暂行办法(征求意见稿)》意见建议的公告。文件明确,建立以度电税收、度电产值、计划执行率及吸纳就业为核心的效益评价体系,对综合效益突出的企业实施年度电量奖励和月度交易优先安排,促进留存
近年来,新疆依托丰富的新能源资源,加快建设“沙戈荒”大型风电光伏基地。在广袤的新疆大地上,戈壁荒漠源源不断汇聚绿色动能,新能源及储能等新兴产业正蓬勃发展。2024年年底,新疆新能源发电装机规模在西北地区省份中率先突破1亿千瓦,达到1.003亿千瓦。新能源电源大规模并网给电网调峰和系统安全稳
4月14日12时32分,上海风光新能源发电功率首次超400万千瓦,达410.3万千瓦。近年来,上海加快推进城市低碳转型,风光新能源发电占比不断提升。去年7月28日,上海风光新能源发电功率首次超过300万千瓦。截至今年3月底,上海风光新能源发电装机容量达550万千瓦,占全市总装机容量的20.4%,其中分布式光伏
记者21日从国网浙江省电力有限公司了解到,截至3月底,浙江省内光伏装机突破5000万千瓦大关,达到5071.25万千瓦,较2024年同期增加1474.29万千瓦,增长41%,占电源总装机近三分之一。随着装机规模增长,光伏出力也创新高。数据显示,4月15日,浙江光伏最大出力达到3436万千瓦,创历史新高,占当日最大
能源是国民经济的命脉。2025年一季度,在“双碳”目标和能源安全新战略引领下,我国能源保供扎实有力,产业结构持续优化。记者调研发现,国家能源行业转型升级浪潮下,越来越多民营企业逐“绿”而行,在加速布局能源领域中开辟发展新空间。阳春三月,湖北大冶。特变电工集团自主研发的±800千伏特高压
北极星售电网获悉,4月21日,山东省能源局发布山东省2025年新能源高水平消纳行动方案。文件明确,2025年,完成煤电灵活性改造2000万千瓦左右,建成新型储能300万千瓦,全省新能源利用率保持较高水平。文件提出,大力推动源网荷储一体化试点。支持采用就地就近消纳、绿电交易、虚拟电厂、分布式自发自用
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!