登录注册
请使用微信扫一扫
关注公众号完成登录
2.2 大数据平台算法业务并行化实现方式
目前已有文献提出了基于Map-Reduce模型的数据挖掘算法并行化方法[8-11],但是Map-Reduce对聚类等迭代计算会消耗大量资源,算法效率不高,并且需要对分布式集群底层具有一定了解,编程设计学习门槛高。针对以上问题,智能配用电大数据应用系统采用Spark内存并行计算框架,克服了Hadoop对迭代运算适用性差的缺点,并且提供了R语言与Apache Spark交互的接口SparkR,可通过R实现对Spark分布式计算引擎的调用,使得SparkR可以充分利用分布式集群的计算资源,高效处理TB级别的数据[22]。
首先,先在GB级别的小样本数据上,使用统计分析常用的R语言编写节电分析程序,以测试算法的有效性及可行性。测试完成后,将单机R语言程序移植到大数据平台上。如图6所示,算法移植主要从以下几个方面进行改进:
1)分布式数据的读取:和传统数据库结构不同,大数据平台上的数据以分布式的形式分别存储在不同的存储节点上。在R程序中,将原有的
图6 单机版本R程序的移植Fig. 6 Migration of single-machine version R programs
MySQL语句调整为大数据平台Hive组件提供的类SQL语句,实现对分布式数据的读取访问。
2)数据挖掘算法及分析业务的并行化:算法并行是指对某一算法从原理上进行并行化改进,以获得较大的效率提升。例如聚类、降维等算法,并行化后能显著降低算法的复杂度,对分析海量数据尤为必要。R程序通过调用SparkMLlib并行算法库,实现所用聚类等算法的并行化。机器学习与数据挖掘算法库MLlib中内置了通用的分类、回归、聚类、协同过滤、降维等分布式数据挖掘算法,且Spark底层对这些算法进行了深度优化,计算效率极
高[23]。具体的,首先通过SparkR接口将待分析数据转化为分布式数据框,以分布式形式载入Spark内存并行计算框架中,然后调用MLlib组件接口,即可自动实现并行计算。经实测,在服务器集群上对TB级别的数据进行所述聚类、降维分析能保证耗时在1 h以内,大大提高了程序的计算效率,同时SparkR与MLlib组件的结合让研究人员无需重新学习SCALA等编程语言,不必了解分布式集群底层架构,即可实现预期效果。
如果某些业务之间既没有交叉,也没有流程上的先后关系,这些业务之间就是可并行的,如对每个用户计算用电特性指标、开展能效评估等,把可并行的业务分别分配到不同的计算节点进行计算被称为业务并行。本文所述节电分析流程中,具体的并行化改进如图7所示。
3)分析结果的分布式存储:算法在每次计算后都会产生大量的计算结果数据,同样要以分布式形式保存在集群中。由于在分析结果可视化阶段涉及到大量数据的并发读取,为适应计算结果数据频繁读取及不断写入的要求,将分析结果存储在HBase中,和传统关系型数据库相比,HBase是一种高性能分布式数据库,具有易于扩展、支持海量
图7 数据挖掘算法及分析业务的并行化Fig. 7 Parallel data mining algorithm and analysis service
数据存储及高并发读取的优势。
3 节电分析数据交互及可视化
智能电网的特征是“自动化、信息化、互动化”[11],数据的可视化及交互是实现互动化的主要手段。在大数据环境下,节电分析结果也具有显著的大数据特征,全面、简洁、直观、准确地反映节电分析结果内涵及价值,是数据交互及可视化的关键。
3.1 数据展示结构
目前电力系统中所用到的可视化形式大多基于VTK、Java 3D、Open GL等图形组件。这些应用以客户端/服务器(client/server,C/S)为主要架构,采用面向对象和面向组件的编程方法[24-26]。C/S架构的可视化及交互服务需要在每台客户端上配置可视化环境,安装应用服务,少量部署尚可,但节电分析结果除面向专业人员外,还将面向海量电力用户,在这种应用环境下C/S架构不够灵活轻量。随着以智能手机为代表的移动端设备的兴起,Web技术因为其轻量、灵活、强大、即开即用、无平台移植问题等优势获得了广泛应用。将Web技术用于节电分析服务,用户通过浏览器即可控制分析过程、访问分析结果,且不受平台限制,便于后续向海量电力用户提供特色化的节电服务。智能配用电大数据应用系统在数据交互及可视化方面采用基于Web的SSM(Spring Spring MVC MyBatis)整合框架,在前端网页设计方面采用了HTML5语言,通过EChart、D3等JavaScript图表库实现了数据图表的交互,可视化由数据驱动,图例丰富,功能强大,支持数据拖拽重计算,数据区域漫游等高级功能。
3.2 节电分析可视化功能模块
节电分析可视化效果如图8所示。图中图表均为我国某地区配用电实际数据分析结果,左侧是算法参数设置部分,右侧从宏观到微观展示了行业节电概览、用电群体细分、群体内用户节电潜力走势、单用户节电分析等大数据分析结果。其中参数设置页面用于设置分析时段、聚类等算法参数,点击计算按钮则调用集群中的SparkR程序对所选行业进行分析,计算完成后将分析结果写入HBase数据库中,并在历史计算结果中添加一条记录以便查看。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
5月13日,绥宁县人民政府办公室关于印发《绥宁县分布式光伏发电项目建设管理实施细则(试行)》的通知,通知指出,分布式光伏发电项目(设施)应符合城市建设规划、建筑风貌管控以及文明建设要求,并符合区域配电网接入现状及未来规划。传统村落、历史文化名镇、名村、街区的核心保护区、建设控制地带
北极星售电网获悉,5月13日,甘肃政府新闻办召开新闻发布会,国网甘肃省电力公司介绍服务电力市场和新能源发展有关情况。其中提到,在服务电力市场化交易方面,持续深化电力市场改革。在省委、省政府以及省发展改革委、省工信厅等部门的指导下,支撑配合建成了适应新能源高占比的“一核五维”电力市场
2025年5月15日,随着蒙西电网首单跨经营区绿电外送交易正式执行,广袤草原的风能光能跨越1000公里,化作汩汩绿电流入京津城市电网。此次由北京交易中心市场交易二部与内蒙古电力交易公司协同完成的创新实践,有效畅通跨经营区的绿电市场机制,对于促进全国跨区域能源优化以及全国统一电力市场构建具有
“中国绿证:畅行中国走向世界——绿证走进粤港澳大湾区”活动12日在深圳举行,现场举行了全球绿色电力消费倡议(RE100)全面认可中国绿证宣布仪式,并达成绿证绿电交易意向400亿千瓦时。据介绍,近两年来,中国已构建起全范围覆盖、全周期闭环、全过程透明、全环节高效的绿证制度体系,绿证代表绿色电力
5月12日,绿证市场高质量发展政策宣介会在广东深圳召开。国家能源局党组成员、副局长万劲松出席会议并讲话。万劲松指出,绿证既是可再生能源绿色电力的“身份证”,也是企业能源转型、主动承担社会责任的“承诺书”,既是应对国际贸易壁垒的“通行证”,也是企业增加绿色收益、提升形象和产品竞争力的
北极星储能网获悉,5月9日,国网江苏发布关于江苏最新分时电价的解读,其中以南京某酒店为例,选择执行分时政策,要是配置9兆瓦/18兆瓦电池储能,每天一充一放,每年就能节约电费约367万元。江苏工商业的用电户主们注意啦!最近,江苏省发展改革委发布了一个超重磅消息,工商业分时电价出新政了。这次
北极星售电网获悉,河南电力交易中心公示4月电力用户(用电户号)退出名单,河南电力交易中心会同电力营销部门近日对电力交易平台注册的电力用户信息进行了核查。现将截至2025年4月30日,已在电力营销部门改变工商业用电类别、销户、过户,但未在交易平台退出的电力用户(用电户号)名单予以公示。公示
北极星售电网获悉,5月12日,青海电力市场管理委员会发布关于征求《青海电力市场成员自律管理办法(征求意见稿)》意见建议的通知,适用于参与青海电力市场交易的各类市场成员,包括但不限于电网企业(含增量配电网企业)、发电企业、售电企业,电力用户、新型经营主体,市场运营机构(电力交易机构、
5月12日,绿证市场高质量发展政策宣介会在广东深圳召开。国家能源局党组成员、副局长万劲松出席会议并讲话。万劲松指出,绿证既是可再生能源绿色电力的“身份证”,也是企业能源转型、主动承担社会责任的“承诺书”,既是应对国际贸易壁垒的“通行证”,也是企业增加绿色收益、提升形象和产品竞争力的
一、市场成员情况截至2025年4月底,内蒙古电力多边市场主体数量达到3459家,其中发电企业579家,电力用户2758家,售电公司122家。发电企业中,火电企业69家,风电企业221家,光伏企业260家,一体化项目2家,13家独立储能,13家六类市场化项目;发电企业参与市场容量:火电4047.5万千瓦,风电2851.826万
北极星售电网获悉,近日,宁夏电力交易中心发布关于签订《宁夏电力市场成员自律公约》的通知。文件明确,公约的适用范围涵盖所有参与宁夏电力市场的主体,包括但不限于发电企业、售电企业、电力用户以及新型经营主体(新型储能企业、负荷聚合商、虚拟电厂等);同时,也包括电力交易机构、电力调度机构
面向新型电力系统开展电力规划,应对“不确定性”是其中的关键命题。高比例新能源、高比例电力电子设备的“双高”特性,叠加用户侧用电结构变化和大量新型负荷的崛起,源荷双侧不可预测性显著增强,传统“源随荷动”的平衡模式难以适用,电力系统安全韧性面临的挑战在“十四五”期间已逐步显现,“十五
北极星电力网获悉,近日,31家火电上市公司公布2025年一季报。受电价及煤价变动的影响,多家出现增利不增收的状况。仅有6家实现营收及净利润双增长,分别是京能电力、深圳能源、福能股份、华银电力、甘肃能源、郴电国际。其中华银电力表现亮眼,一季度净利润同比增长894.61%。内蒙华电、湖北能源、长源
5月12日,省公司召开5月份工作例会暨经济运行分析会。大唐安徽当涂公司第一时间学习贯彻落实会议精神,要求各部门迅速行动起来,利用部门例会、班前会等多种方式,扎实学习会议精神,落实落细会议工作思路和各项工作部署,为冲刺“双过半”任务目标奠定坚实基础。公司党委书记、执行董事王存军主持会议
北极星售电网获悉,日前,广东广州市政府常务会议审议通过《广州市推动智能网联新能源汽车产业发展三年行动计划》,在政策支持方面,将推进V2G峰谷上网电价改革试点,完善车网互动聚合参与需求响应机制;在基础设施建设上,会加强智能有序充电设施的推广与试点建设。未来三年,广州市每年针对车网互动
上文中,我们分析了在电价计划时代和市场化时代,哪些工商业用户该去执行政府发布的分时电价政策。(来源:微信公众号“黄师傅说电”)计划时代要看负荷调整潜力,有些地区全部工商业用户都要执行,而有些地区的一般工商业用户依然维持可选状态。而在市场化时代,因为电力现货市场的开放使得在批发侧有
一季度,全社会用电量累计23846亿千瓦时,同比增长2.5%,在政策与需求双轮驱动下,电力行业持续向上生长。Wind数据统计显示,A股电力板块74只个股中,26只获资本市场“国家队”持有,最新持仓市值529.5亿元,从其持股路径看,或为被“低估”的行业黑马。“国家队”一季度增持6股民营企业占得1席资本市
北极星售电网获悉,5月14日,广东省发展改革委发布关于新能源汽车向电网放电上网电价问题的批复。文件明确,新能源汽车向电网放电上网电价采用峰平谷电价方式,具体按照每千瓦时0.453元乘以峰平谷比例系数确定。其中执行时段和峰平谷比例系数等参照《广东省发展改革委关于进一步完善我省峰谷分时电价政
5月13日,集团公司副总经理、党组成员赵晓东在集团公司总部会见华阳集团副总经理、党委常委曹怀建一行,双方就进一步深化合作交换了意见。赵晓东对曹怀建一行来访表示欢迎,并简要介绍了集团公司整体发展情况,今年以来煤机电量电价及电煤采购情况。赵晓东指出,中国华电与华阳集团煤炭购销合作基础良
北极星售电网获悉,5月13日,甘肃政府新闻办召开新闻发布会,国网甘肃省电力公司介绍服务电力市场和新能源发展有关情况。其中提到,在服务电力市场化交易方面,持续深化电力市场改革。在省委、省政府以及省发展改革委、省工信厅等部门的指导下,支撑配合建成了适应新能源高占比的“一核五维”电力市场
澳大利亚能源市场运营商(简称AEMO)公布数据显示,2025年第一季度,澳南部各州电力批发价格大幅上涨。创纪录的电力需求叠加煤电停摆与水电短缺等多重因素,凸显出澳煤炭发电转型面临的挑战。AEMO指出,一季度全国平均电力批发价格同比上涨9%,但各州之间差异显著。其中,塔斯马尼亚州电价飙升67%;南
北极星售电网获悉,5月13日,上海电力交易中心发布2025年4月上海电网煤电容量电费相关结果公示。根据《国家发展改革委国家能源局关于建立煤电容量电价机制的通知》(发改价格〔2023〕1501号)、《国家能源局综合司关于明确煤电容量电价适用范围有关事项的暂行通知》(国能综通电力〔2023〕141号)和《
北极星电力网获悉,近日,31家火电上市公司公布2025年一季报。受电价及煤价变动的影响,多家出现增利不增收的状况。仅有6家实现营收及净利润双增长,分别是京能电力、深圳能源、福能股份、华银电力、甘肃能源、郴电国际。其中华银电力表现亮眼,一季度净利润同比增长894.61%。内蒙华电、湖北能源、长源
北极星售电网获悉,日前,广东广州市政府常务会议审议通过《广州市推动智能网联新能源汽车产业发展三年行动计划》,在政策支持方面,将推进V2G峰谷上网电价改革试点,完善车网互动聚合参与需求响应机制;在基础设施建设上,会加强智能有序充电设施的推广与试点建设。未来三年,广州市每年针对车网互动
上文中,我们分析了在电价计划时代和市场化时代,哪些工商业用户该去执行政府发布的分时电价政策。(来源:微信公众号“黄师傅说电”)计划时代要看负荷调整潜力,有些地区全部工商业用户都要执行,而有些地区的一般工商业用户依然维持可选状态。而在市场化时代,因为电力现货市场的开放使得在批发侧有
北极星售电网获悉,5月14日,国务院办公厅发布关于印发《国务院2025年度立法工作计划》的通知。文件明确,在推动高质量发展、构建高水平社会主义市场经济体制方面,预备提请全国人大常委会审议电信法草案、消费税法草案、税收征收管理法修订草案、商业银行法修订草案、保险法修订草案、计量法修订草案
北极星售电网获悉,5月14日,广东省发展改革委发布关于新能源汽车向电网放电上网电价问题的批复。文件明确,新能源汽车向电网放电上网电价采用峰平谷电价方式,具体按照每千瓦时0.453元乘以峰平谷比例系数确定。其中执行时段和峰平谷比例系数等参照《广东省发展改革委关于进一步完善我省峰谷分时电价政
北极星售电网获悉,5月13日,甘肃政府新闻办召开新闻发布会,国网甘肃省电力公司介绍服务电力市场和新能源发展有关情况。其中提到,在服务电力市场化交易方面,持续深化电力市场改革。在省委、省政府以及省发展改革委、省工信厅等部门的指导下,支撑配合建成了适应新能源高占比的“一核五维”电力市场
近日,三峡新能源挂牌转让长垣市云明新能源科技有限公司50%股权,该公司为三峡新能源与北京清云能源集团各自持股50%,股权结构如下图所示。公司成立于2019年12月,位于河南省新乡市长垣市,经营范围包含:新能源科技领域内的技术开发、技术咨询、技术转让;风力发电项目、光伏发电项目的开发、建设;风
北极星售电网获悉,5月13日,广东电力交易中心公布第一百一十一批列入售电公司目录企业名单。2025年4月10日至2025年5月9日,广东电力交易中心有限责任公司(以下简称“交易中心”)对23家售电公司市场准入申请材料进行了公示。公示期间,交易中心受理了群众以实名书面形式对其中19家售电公司准入申请材料
北极星售电网获悉,5月13日,上海电力交易中心发布关于公示售电公司市场注销的公告。上海复顺电力工程设备有限公司由于企业自身原因,自愿申请注销在上海电力交易中心交易平台的市场注册。按照《售电公司管理办法》(发改体改规〔2021〕1595号)和《售电公司市场注册及运营服务规范指引》(京电交市〔2
北极星售电网获悉,5月13日,上海电力交易中心发布2025年4月上海电网煤电容量电费相关结果公示。根据《国家发展改革委国家能源局关于建立煤电容量电价机制的通知》(发改价格〔2023〕1501号)、《国家能源局综合司关于明确煤电容量电价适用范围有关事项的暂行通知》(国能综通电力〔2023〕141号)和《
北极星售电网获悉,近日,天津、河北、宁夏、蒙东、甘肃等地电力交易中心公示受理注册的售电公司相关信息,合计7家售电公司。详情如下:天津电力交易中心关于公示受理注册的售电公司相关信息的公告按照国家发展改革委国家能源局《售电公司管理办法》(发改体改规〔2021〕1595号)的要求,天津电力交易
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!