登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2.1 平台整体结构
智能配用电大数据应用系统按数据流向可分为数据来源、数据管理、数据分析、数据展示4部分。平台结合了目前大数据2大主流框架Hadoop与Spark优势,使用Hadoop分布式文件管理系统HDFS及Map-Reduce技术存储多源数据,并建立了NoSQL类型的Hive数据库管理数据。使用内存并行化计算框架Spark内置的SparkR、MLLib组件,能满足实现各类分析算法的并行化要求。使用基于HTML5语言的Web页面展示数据分析结果,并通过EChart、D3等多款JavaScript插件实现数据可视化及动态交互。平台整体结构如图5所示。
2.2 大数据平台算法业务并行化实现方式
目前已有文献提出了基于Map-Reduce模型的数据挖掘算法并行化方法[8-11],但是Map-Reduce对聚类等迭代计算会消耗大量资源,算法效率不高,并且需要对分布式集群底层具有一定了解,编程设计学习门槛高。针对以上问题,智能配用电大数据应用系统采用Spark内存并行计算框架,克服了Hadoop对迭代运算适用性差的缺点,并且提供了R语言与Apache Spark交互的接口SparkR,可通过R实现对Spark分布式计算引擎的调用,使得SparkR可以充分利用分布式集群的计算资源,高效处理TB级别的数据[22]。
首先,先在GB级别的小样本数据上,使用统计分析常用的R语言编写节电分析程序,以测试算法的有效性及可行性。测试完成后,将单机R语言程序移植到大数据平台上。如图6所示,算法移植主要从以下几个方面进行改进：
1）分布式数据的读取：和传统数据库结构不同,大数据平台上的数据以分布式的形式分别存储在不同的存储节点上。在R程序中,将原有的
图6 单机版本R程序的移植Fig. 6 Migration of single-machine version R programs
MySQL语句调整为大数据平台Hive组件提供的类SQL语句,实现对分布式数据的读取访问。
2）数据挖掘算法及分析业务的并行化：算法并行是指对某一算法从原理上进行并行化改进,以获得较大的效率提升。例如聚类、降维等算法,并行化后能显著降低算法的复杂度,对分析海量数据尤为必要。R程序通过调用SparkMLlib并行算法库,实现所用聚类等算法的并行化。机器学习与数据挖掘算法库MLlib中内置了通用的分类、回归、聚类、协同过滤、降维等分布式数据挖掘算法,且Spark底层对这些算法进行了深度优化,计算效率极
高[23]。具体的,首先通过SparkR接口将待分析数据转化为分布式数据框,以分布式形式载入Spark内存并行计算框架中,然后调用MLlib组件接口,即可自动实现并行计算。经实测,在服务器集群上对TB级别的数据进行所述聚类、降维分析能保证耗时在1 h以内,大大提高了程序的计算效率,同时SparkR与MLlib组件的结合让研究人员无需重新学习SCALA等编程语言,不必了解分布式集群底层架构,即可实现预期效果。
如果某些业务之间既没有交叉,也没有流程上的先后关系,这些业务之间就是可并行的,如对每个用户计算用电特性指标、开展能效评估等,把可并行的业务分别分配到不同的计算节点进行计算被称为业务并行。本文所述节电分析流程中,具体的并行化改进如图7所示。
3）分析结果的分布式存储：算法在每次计算后都会产生大量的计算结果数据,同样要以分布式形式保存在集群中。由于在分析结果可视化阶段涉及到大量数据的并发读取,为适应计算结果数据频繁读取及不断写入的要求,将分析结果存储在HBase中,和传统关系型数据库相比,HBase是一种高性能分布式数据库,具有易于扩展、支持海量
图7 数据挖掘算法及分析业务的并行化Fig. 7 Parallel data mining algorithm and analysis service
数据存储及高并发读取的优势。
3 节电分析数据交互及可视化
智能电网的特征是“自动化、信息化、互动化”[11],数据的可视化及交互是实现互动化的主要手段。在大数据环境下,节电分析结果也具有显著的大数据特征,全面、简洁、直观、准确地反映节电分析结果内涵及价值,是数据交互及可视化的关键。
3.1 数据展示结构
目前电力系统中所用到的可视化形式大多基于VTK、Java 3D、Open GL等图形组件。这些应用以客户端/服务器(client/server,C/S)为主要架构,采用面向对象和面向组件的编程方法[24-26]。C/S架构的可视化及交互服务需要在每台客户端上配置可视化环境,安装应用服务,少量部署尚可,但节电分析结果除面向专业人员外,还将面向海量电力用户,在这种应用环境下C/S架构不够灵活轻量。随着以智能手机为代表的移动端设备的兴起,Web技术因为其轻量、灵活、强大、即开即用、无平台移植问题等优势获得了广泛应用。将Web技术用于节电分析服务,用户通过浏览器即可控制分析过程、访问分析结果,且不受平台限制,便于后续向海量电力用户提供特色化的节电服务。智能配用电大数据应用系统在数据交互及可视化方面采用基于Web的SSM(Spring Spring MVC MyBatis)整合框架,在前端网页设计方面采用了HTML5语言,通过EChart、D3等JavaScript图表库实现了数据图表的交互,可视化由数据驱动,图例丰富,功能强大,支持数据拖拽重计算,数据区域漫游等高级功能。
3.2 节电分析可视化功能模块
节电分析可视化效果如图8所示。图中图表均为我国某地区配用电实际数据分析结果,左侧是算法参数设置部分,右侧从宏观到微观展示了行业节电概览、用电群体细分、群体内用户节电潜力走势、单用户节电分析等大数据分析结果。其中参数设置页面用于设置分析时段、聚类等算法参数,点击计算按钮则调用集群中的SparkR程序对所选行业进行分析,计算完成后将分析结果写入HBase数据库中,并在历史计算结果中添加一条记录以便查看。
特别声明：北极星转载其他网站内容，出于传递更多信息而非盈利之目的，同时并不代表赞成其观点或证实其描述，内容仅供参考。版权归原作者所有，若有侵权，请联系我们删除。
凡来源注明北极星*网的内容为北极星原创，转载需获授权。
构建全国统一大市场是党中央、国务院立足新发展阶段、贯彻新发展理念、服务新发展格局的重大战略部署。习近平总书记强调，“构建新发展格局，迫切需要加快建设高效规范、公平竞争、充分开放的全国统一大市场”。作为全国统一大市场建设在电力领域的生动实践，全国统一电力市场体系将在2025年实现初步建
北极星售电网获悉，7月14日，湖北电力交易中心发布关于公示第一批市场化电力用户失效用电单元的公告。湖北电力交易中心拟对荆门市峰火台生态农业股份有限公司等158家经营主体的193个用电单元进行失效处理，失效原因包括在电网企业已经办理销户、过户、电价改类等业务，但未在交易平台同步办理注册信息
7月14日，甘肃发改委员发布甘肃省关于建立发电侧容量电价机制的通知（征求意见稿）。通知指出，本机制适用于不同类型机组，考虑到风电、光伏在用电高峰时段提供可靠电力供应的能力有限，抽水蓄能电站尚处于建设初期，实施范围暂包括合规在运的公用煤电机组、电网侧新型储能，均不含直流配套电源。容量
7月14日，浙江诸暨市发展和改革局发布《诸暨市分布式光伏发电项目建设管理细则（征求意见稿）》公开征求意见的公告。公告指出，在项目勘察时发现以下情况，屋顶不宜安装光伏系统：①使用寿命已经超过25年的老旧小区建筑；②屋面（包括瓦片、瓦片承重结构、屋面平台）已经年久失修，存在结构等安全风险
7月14日，甘肃省发改委发布关于公开征求《甘肃省深化新能源上网电价市场化改革促进新能源高质量发展实施方案（征求意见稿）》意见的公告。文件规定了存量项目和增量项目的电量规模、机制电价和执行期限以及竞价实施细则。存量项目（2025年6月1日以前投产）（1）纳入机制的电量规模为154亿千瓦时。（2）
我国自2022年发布《关于加快建设全国统一电力市场体系的指导意见》（发改体改〔2022〕118号）以来，在构建全国统一电力市场体系的总体要求下，电力行业加速市场化转型，体制机制不断创新，电力资源正逐步实现全国范围内的高效流动与优化配置。近日，国家发展改革委、国家能源局正式批复《跨电网经营区
2024年，全国各电力交易中心累计组织完成市场交易电量61795.7亿千瓦时，各省份市场化交易电量与售电公司数量之比平均为6.86亿千瓦时/家[1]。在全国5个转入现货正式运行的省份中，甘肃、山东、山西三省虽然市场化电量规模较大，但售电公司间竞争尤为激烈，平均每家售电公司分摊市场化交易电量分别为3.73
云南奔腾的江河之水、广西的好“风光”化身为电能，穿越山河，点亮上海外滩的夜色、驱动浙江轰鸣的生产线、保障安徽实验室的精密仪器用电；广东富余的电能送入福建，变为寻常人家的空调凉风。这场千里奔赴，源于一场电力“全国购”。近日，我国规模最大跨经营区市场化电力交易落地。在北京电力交易中心
北极星售电网获悉，7月14日，甘肃省发展和改革委员会发布关于公开征求《甘肃省深化新能源上网电价市场化改革促进新能源高质量发展实施方案（征求意见稿）》意见的公告。《甘肃省深化新能源上网电价市场化改革促进新能源高质量发展实施方案（征求意见稿）》提到，省内集中式光伏、集中式风电、分布式光
近日，国家发展改革委、国家能源局联合批复国家电网、南方电网制定的《跨电网经营区常态化电力交易机制方案》，这一方案的出台标志着我国电力资源跨省跨区流动的“任督二脉”正式打通。想象一下，你住在A省，但你用的电可能来自B省甚至更远的地方。这就是跨电网经营区电力交易的魅力所在#x2014;#x2014;
北极星售电网获悉，7月14日，甘肃省发展和改革委员会发布关于公开征求《甘肃省关于建立发电侧容量电价机制的通知（征求意见稿）》意见的公告。文件明确，本机制适用于不同类型机组，考虑到风电、光伏在用电高峰时段提供可靠电力供应的能力有限，抽水蓄能电站尚处于建设初期，实施范围暂包括合规在运的
罗马尼亚能源监管机构已免除储能资源从电网充电的相关费用。这一举措由负责监管该国能源行业的国家能源监管局（ANRE）于本周早些时候（7月8日）宣布。根据《方法规范令》（OrderontheMethodologicalNorms），从电网充电并回馈至电网的储能资源，可豁免支付部分规制电价。此外文件明确，此举主要目标是
7月16日，华能国际发布2025年上半年上网电量完成情况公告。根据公告，2025年第二季度，华能国际中国境内各运行电厂按合并报表口径完成上网电量990.49亿千瓦时，同比上升1.44%；2025年上半年，华能国际中国境内各运行电厂按合并报表口径完成上网电量2,056.83亿千瓦时，同比下降2.37%；2025年上半年，华
北极星电力网获悉，华能国际7月15日发布2025年上半年上网电量完成情况公告。2025年第二季度，华能国际中国境内各运行电厂按合并报表口径完成上网电量990.49亿千瓦时，同比上升1.44%；2025年上半年，公司中国境内各运行电厂按合并报表口径完成上网电量2,056.83亿千瓦时，同比下降2.37%；2025年上半年，
北极星电力网获悉，7月15日，华能国际公告称，2025年第二季度，公司中国境内各运行电厂按合并报表口径完成上网电量990.49亿千瓦时，同比上升1.44%；2025年上半年，公司中国境内各运行电厂按合并报表口径完成上网电量2,056.83亿千瓦时，同比下降2.37%；2025年上半年，公司中国境内各运行电厂平均上网结
北极星储能网获悉，7月15日，山东能源监管办积极主动推动新能源市场化改革政策稳步落地。原文如下：山东能源监管办积极主动推动新能源市场化改革政策稳步落地2025年1月国家发展改革委、国家能源局《关于深化新能源上网电价市场化改革促进新能源高质量发展的通知》(发改价格〔2025〕136号)1印发后，山东
北极星售电网获悉，7月15日，海南电力交易中心发布关于征求《海南省增量新能源项目可持续发展价格结算机制竞价实施细则》（公开征求意见稿）等两个细则意见的通知。《海南省新能源可持续发展价格结算机制差价结算实施细则》（公开征求意见稿）提到，本细则适用于海南省行政区域内2025年6月1日前投产的
北极星售电网获悉，7月15日，贵州省能源局发布关于拟下达2025年可再生能源电价附加补助地方资金预算的公示，涉及金额83万元。详情如下：关于拟下达2025年可再生能源电价附加补助地方资金预算的公示根据《财政部关于提前下达2025年可再生能源电价附加补助地方资金预算的通知》(财建〔2025〕133号)文件要
北极星售电网获悉，7月15日，海南电力交易中心发布关于征求《海南省增量新能源项目可持续发展价格结算机制竞价实施细则》（公开征求意见稿）等两个细则意见的通知。其中，海南省增量新能源项目可持续发展价格结算机制竞价实施细则（公开征求意见稿）提到，鼓励新能源项目积极参与竞价，在合理范围内自
7月的浙江热浪袭人，电网负荷曲线持续攀升。7月4日，浙江全省最高用电负荷达12173万千瓦，冲破1.2亿千瓦大关的时间较去年提前了整整15天，杭州、绍兴等地电网负荷更是刷新历史纪录。据浙江省能源局预测，今夏浙江午峰和晚峰最高负荷将分别达到1.33亿千瓦和1.17亿千瓦，同比增长7.8%，电力保供面临“用
7月14日，围场公司组织塞罕坝共产党员服务队来到承德天源铸造材料有限公司开展安全用电上门服务，对用电设备、用电情况进行了全方位了解和安全检查，并向企业管理人员进行了电力设备安全用电技术和电力设备维护指导，确保企业夏季高温雷雨天气下安全可靠用电。“供电公司的工作人员来到我们企业，对我
2021年12月，国家能源局印发《电力辅助服务管理办法》（国能发监管规〔2021〕61号），首次提出增设爬坡和转动惯量辅助服务新品种。2024年3月，《山东电力爬坡辅助服务市场交易规则（试行）》开始执行，标志着国内首个爬坡辅助服务市场在山东电网启动运行，爬坡辅助服务的价值开始得到量化补偿，这对于
北极星售电网获悉，截至6月底，甘肃省电源总装机容量达10976.48万千瓦，其中，新能源装机突破7200万千瓦，在全省电源总装机中的占比达到65.64%，新能源作为电源主体地位进一步凸显。据了解，2025年1至6月，国网甘肃省电力公司已服务全省768.8万千瓦新能源并网，完成年度并网目标的51%。
2025年上半年，国网甘肃电力已服务全省768.8万千瓦新能源并网。截至6月底，甘肃省电源总装机容量达10976.48万千瓦，其中，新能源装机突破7200万千瓦，装机占比65.64%，新能源装机主体地位进一步凸显。甘肃电力外送电量331.5亿千瓦时，同比增长34.6%。今年以来，国网甘肃电力统筹发展和安全、保供和转型
北极星储能网获悉，7月15日，中节能太阳能披露，公司投资建设的光伏发电项目之前按照地方的要求配置储能设施的比例，项目规模不同配置也不完全相同，配储比例主要为10%-20%，储能充放电主要为1小时、2小时、4小时等配置。结合当前政策和电力市场改革方向，虽然配备储能实施已经不再是硬性的要求，但配
北极星售电网获悉，7月15日上午，内蒙古乌兰察布数据中心低碳算力基地源网荷储一体化项目正式投运。据悉，该项目采用“源网荷储”一体化模式，通过风光发电、智能输电、并网直供和储能调峰等系统协同运行，实现了清洁能源与数据中心的直接供能对接。项目投运后，年用电量21.9亿千瓦时，其中年均可消纳
7月15日，山东电力交易中心公示2025年第十三批（总第一百一十五批）受理注册售电公司相关信息。按照《国家发展改革委国家能源局关于印发售电公司管理办法的通知》（发改体改规〔2021〕1595号）要求，山东电力交易中心受理了山东尚优佳电力科技有限公司等12家售电公司的注册申请，并对其提交的注册材料
近日，陕西省出现大范围持续高温天气，带动用电负荷快速增长。继7月14日全省用电负荷突破历史极值后，7月15日17时25分，陕西电网用电负荷达到4371万千瓦，今夏第二次创历史新高，较前一日增长3.0%。同日，西安、咸阳、宝鸡、渭南和西咸新区电网用电负荷也接连创历史新高，其中西安电网最大负荷达到1306
在河北省怀来县，一座大数据产业基地已然成型。科技感十足的园区内，密集部署的服务器为京津冀的互联网、金融、医疗等企业提供了安全高效的数据存储与计算能力保障。“园区供电设备已验收合格，具备送电条件，服务器随时可以启动。”5月23日，在位于怀来县的阿里云计算数据中心110千伏用户变电站内，张
记者7月14日从国网宁夏电力有限公司获悉，今年上半年，宁夏新能源统调发电量达到367.59亿千瓦时，新能源发电量占比34.66%，同比增加4.5个百分点。与此同时，宁夏储能保持快速增长，111.5万千瓦/287万千瓦时储能电站并网，通过储能充电增发新能源电量16.2亿千瓦时，提升新能源利用率4个百分点。据介绍，
北极星售电网获悉，7月15日，海南电力交易中心发布关于征求《海南省增量新能源项目可持续发展价格结算机制竞价实施细则》（公开征求意见稿）等两个细则意见的通知。《海南省新能源可持续发展价格结算机制差价结算实施细则》（公开征求意见稿）提到，本细则适用于海南省行政区域内2025年6月1日前投产的
北极星售电网获悉，7月15日，贵州省能源局发布关于拟下达2025年可再生能源电价附加补助地方资金预算的公示，涉及金额83万元。详情如下：关于拟下达2025年可再生能源电价附加补助地方资金预算的公示根据《财政部关于提前下达2025年可再生能源电价附加补助地方资金预算的通知》(财建〔2025〕133号)文件要
北极星售电网获悉，7月15日，海南电力交易中心发布关于征求《海南省增量新能源项目可持续发展价格结算机制竞价实施细则》（公开征求意见稿）等两个细则意见的通知。其中，海南省增量新能源项目可持续发展价格结算机制竞价实施细则（公开征求意见稿）提到，鼓励新能源项目积极参与竞价，在合理范围内自
请使用微信扫一扫
关注公众号完成登录
| 姓名： | |
| 性别： | |
| 出生日期： | |
| 邮箱： | |
| 所在地区： | |
| 行业类别： | |
| 工作经验： | |
| 学历： | |
| 公司名称： | |
| 任职岗位： |
我们将会第一时间为您推送相关内容！
扫码下载APP
扫码关注公众号北京火山动力网络技术有限公司
北京市朝阳区世通国际大厦C座12层
广告合作：李女士 13810252521
李女士 17701038212
合作投稿：陈女士 13693626116
会展合作：齐女士 13381061157
会员咨询：李先生 17718308761
法务邮箱：fw@bjxmail.com
京ICP证080169号京ICP备09003304号-2
京公网安备11010502034458号电子公告服务专项备案
广播电视节目制作经营许可证 (京) 字第13229号出版物经营许可证新出发京批字第直200384号人力资源服务许可证1101052014340号
Copyright © 2025 Bjx.com.cn All Rights Reserved. 北京火山动力网络技术有限公司 版权所有