登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2 电力大数据平台的总体架构
Apache基金会开源技术通用的大数据平台整体架构具有较好的通用性,适用于电力企业大数据的规划,其主要思想是利用基于Hadoop文件系统(Hadoopdistributed file system,HDFS)的分布式文件处理系统作为大数据的存储框架,利用基于MapReduce的分布式计算技术作为大数据的处理框架。
以分布式文件处理技术为基础,使PB、ZB级的数据存储成为可能;以分布式计算技术为基础,使得PB、ZB级数据的查询分析成为可能。另外该框架中还包含商业智能应用、传统的数据仓库、大数据访问框架、大数据调度框架、网络层、操作系统、服务器、备份和恢复、数据管理等模块。
大数据存储框架和大数据处理框架通常构建在通用的服务器、操作系统或者虚拟机上,使得该架构所需的硬件具有低成本和高扩展性的特点,标准的普通服务器或者PC机即可成为基于该架构的终端构成单元。
大数据存储框架和大数据处理框架之上是通过网络层连接的大数据访问框架,该访问框架包含并行计算机编程语言Pig、数据仓库工具Hive、开源数据传递工具Sqoop 等子模块。
大数据调度框架包含基于列存储的开源非关系型数据库Hbase、数据序列化格式与传输工具Avro、日志收集系统Flume、分布式锁设施ZooKeeper等模块。
大数据调度框架实现了对大数据的组织与调度,为数据分析提供了必要条件。在大数据调度框架之上是企业级商业智能应用系统,可以开展查询、分析、统计、报表等高级应用[17]。大数据的管理、安全和备份恢复框架帮助进行大数据的治理和保护[17]。
该框架几乎涵盖了大数据技术的所有环节,值得指出的是,通过该访问框架不仅可以实现对分布式文件存储系统的访问,而且通过大数据连接器和开源数据传递工具Sqoop可以实现对传统数据仓库的访问。
大数据的处理流程可以定义为在合适工具的辅助下,对广泛异构的数据源进行抽取和集成,按照统一的标准对结果进行存储,利用恰当的数据分析技术对存储的数据进行分析,达到从中提取出有价值的知识的目的,并用合适的方式将结果展现给终端用户[8]。
对电力企业来讲,电力大数据的基本处理流程与传统数据处理流程并无太大差异,主要区别在于:电力大数据需要处理大量、非结构的数据,所以在各个环节都可以采用MapReduce等方式进行并行处理[14]。
图3所述的电力大数据平台总体架构,应与电力系统中来源丰富的数据流结合,催生具体的产业应用。电力系统是一种高维非线性的复杂系统,其内部的数据流包含电力流、信息流、业务流、故障流、气象流等不同的数据流向。
图4描述了在电力系统总体平台架构之上的电力企业商业应用与电力系统内部数据流的可能结合点,包括发、输、变、配、用、调等环节的负荷控制系统、管理信息系统、监测控制和数据采集系统、电能计量系统、风电光伏功率预测系统、电力设备在线监测系统等。
对这些电力系统的子信息源而言,一方面可以单独应用大数据技术,提升其产业价值,例如电力设备在线监测系统本身就是一个大数据系统,另一方面可以融合不同的子信息源,在更高的层面上构件大数据平台,例如融合电能计量系统、SCADA系统、MIS系统、负荷控制系统,可以构建基于大数据平台的网损分析系统,实现网损的自动统计与分析。
基于该网损分析大数据平台,还可开展基于自动网损统计的用户窃电行为挖掘,实现更深层次的应用。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
5月14日-16日,科林电气以“桩点生活·储就未来”为主题,携智能充电桩全系列产品、工商业光储充一体化解决方案及零碳住宅光储充一体化解决方案,盛装亮相上海国际充换电与光储充展览会(以下简称“CPSE2025”),全方位展示公司在新能源领域的技术创新与场景化应用成果。聚焦用户需求,智能充电桩产品
4月28日,西班牙电网突发重大故障。这一事件不仅是欧洲近年来最严重的停电事故,更为全球能源转型中的电网安全敲响了警钟。西班牙作为可再生能源发展的先锋,其电网暴露出的脆弱性折射出新能源高渗透率下的系统性挑战,也为中国乃至全球的能源转型发出了警示。可再生能源“成长痛”的全球共性西葡大停
5月14日,内蒙古电力集团与广东电网公司在广州签署《“振兴东北央地百对企业协作行动”结对合作协议》。集团公司党委书记、董事长张海峰,广东电网公司党委书记、董事长杨松楠出席签约仪式,并就进一步深化合作进行交流座谈。张海峰对广东电网公司长期以来对内蒙古电力集团的支持与帮助表示感谢,并介
随着国家发改委、能源局联合发布的《关于深化新能源上网电价市场化改革促进新能源高质量发展的通知》(发改价格〔2025〕136号)正式落地,新能源行业迎来从“固定电价依赖”向“市场化竞争”的全面转型,面对既不保量也不保价的新市场,电站投资建设势必朝着集约化、高质量化方向发展,也将催生模式多
5月10日,由华北电力大学牵头,联合中国华电集团有限公司、新疆大学及哈萨克斯坦阿拉木图电力工程与通信大学共同发起的“中国—中亚能源电力创新联盟”(以下简称“联盟”)在华北电力大学举行签约仪式。这一联盟的成立将为中国与中亚国家能源电力领域的合作开启新篇章。华北电力大学党委书记汪庆华,
当千万辆新能源车在城市穿梭,成为千万个“移动充电宝”,“万亿之城”常州也迎来了又一次绽放——今年4月,国家发展改革委、国家能源局等四部门联合发布我国首批车网互动规模化应用试点名单,包含9个试点城市和30个试点项目。常州作为江苏唯一一个试点城市在列。01新能源产业的“佛罗里达”在美国佛罗
5月9日,上海浦东新区对夏叶斐委员提出的《关于加快新能源汽车充电桩建设的建议》提案做出答复。其中指出,目前,公共充电场站市场竞争激励,充电价格稳中有降。为鼓励专用充电设施向社会开放共享,市级财政也对专用充电设施充电量给予补贴,并将补贴上限提高。原文如下:对浦东新区政协七届四次会议第
北极星储能网获悉,4月,广东深圳南山区印发《深圳市南山区新能源汽车充换电设施管理办法(征求意见稿)》,其中提到:新建新能源汽车充换电设施应具备有序充电功能和接入虚拟电厂能力,鼓励存量充换电设施升级改造,示范建设光储超充和车网互动项目,促进新能源汽车、充换电设施与智能电网间的能量和
2025年5月7日至9日,全球最具影响力的光伏与储能专业展览交易会IntersolarEurope2025在德国慕尼黑隆重举行。展会期间,思格新能源展台捷报频传,连续完成多项重磅战略签约,累计签约储能规模超过1.2GWh,合作范围覆盖芬兰、丹麦、荷兰、保加利亚、西班牙、瑞典、英国、德国等多个国家。本次集中签约的
4月30日,第八届数字中国峰会在福州市海峡国际会展中心召开。国网石家庄供电公司自主开发的“电力数据服务大气污染防治”数字化应用场景,以及配合公司数字化部打造的“电力看水资源管理(以电折水)”数字化应用场景受邀参展,吸引了众多关注。“电力数据服务大气污染防治”数字化应用场景深度挖掘电
5月9日,南方电网基于全电磁暂态仿真的新能源并网主动支撑大系统仿真研究招标。南方五省区新能源渗透率不断提升,而新能源大量采用了电力电子设备,电力系统惯量水平持续降低,对系统频率安全造成了严重威胁。新能源中大量电力电子设备动作复杂且快速,设备故障前后系统特征变化较大,其电磁暂态过程对
“五一”假期期间,在河北省永清县圆通速递北方总部基地二期项目内,30条全自动分拣线高速运转。恰逢换季与出行游玩高峰期,消费者频繁网购服装、出行装备等商品,这几日,圆通速递北方总部基地的日均操作量高达550万件。“自去年底全自动分拣线投产以来,我们快递的日处理能力提升至1000万件,产能和
导语自数据被列为第五大生产要素以来,国家高度重视数据要素市场发展,近年来密集出台政策法规,对培育数据要素市场作出系列部署,并组建国家数据局,统筹推进数据要素市场化配置改革。各地方、各行业多措并举,推进数据要素流通市场活跃度显著提升,数据要素市场规模达到千亿级。电力行业是一个高价值
日前,《安徽省产品碳足迹标识认证试点工作方案》印发。《方案》提出,2025年全省10个以上锂电池和光伏产品获得产品碳足迹标识认证,到2027年全省50个以上锂电池和光伏产品获得产品碳足迹标识认证,形成5个以上典型案例,降低锂电池、光伏产品全生命周期碳排放,推动产业绿色低碳转型。全文如下:安徽
日前,安徽省市场监督管理局、省生态环境厅、省发展和改革委员会、省工业和信息化厅联合印发《安徽省产品碳足迹标识认证试点工作方案》(以下简称《方案》),启动锂电池、光伏产品碳足迹标识认证试点。《方案》明确,试点工作将分阶段推进,到2025年底完成10个以上锂电池、光伏产品碳足迹标识认证,同
当前,我国算力产业规模保持高速增长,对电力供应与保障提出了新挑战,进而有观点认为“算力的尽头是电力”。在算力与电力协同优化发展的大趋势下,电力该如何更好赋能算力?数据中心是算力的主要物理载体,伴随着图形处理器芯片功率的不断提高,数据中心用电需求持续增长,成为“耗能大户”。近年来,
记者4月15日从南方电网广西电网公司获悉,随着220千伏浦北壮岭风电场工程项目12号风机顺利并入广西主电网,广西发电装机容量突破1亿千瓦大关,达1.00004亿千瓦。所有电源类型中,新能源装机规模达4523.8万千瓦,占比45.7%。广西电网电力大数据显示,“十四五”以来,广西新能源装机年均增速超41%,逐步
3月13日,甘肃平凉供电公司米祥仁绿电绿证服务站揭牌成立。这是国网甘肃省电力公司首个绿电绿证“一站式”服务站。平凉供电公司按照“双碳宣传窗口和服务接口、绿色零碳示范”的定位,在米祥仁供电所建设绿电绿证服务站。米祥仁绿电绿证服务站作为连接政府、企业、市场的桥梁,重点开展绿电绿证政策咨
近日,甘肃白银供电公司线损监测人员贾启亮通过该公司自主研发的“台区线损X值分析法”微应用监测台区运行情况时,发现月亮湾台区配电变压器线损率异常。他通过一体化电量与线损管理系统中的“台区售电量”模块核对该台区供售电量数据,看到该台区存在居民用电异常情况,立即通知供电员工赶赴现场进行
为应对日益严峻的环境挑战,国网江苏省电力有限公司积极探索创新转型之路,最近,在南京市鼓楼区政府科技创新推进会上,国网江苏电力信息公司与云境商务智能研究院签订合作协议,共同推进电力环保监测平台的升级完善,这一通过跨行业合作方式,展现出了令人瞩目的创新精神与社会责任担当。国网江苏电力
南方电网广西电网公司22日介绍,2024年,广西壮族自治区基本建成3100个新时代农业农村电气化村,重点打造了27个精品卓越村和45个精品优质村,推动县域农村绿色发展。推动农村“绿电+产业”融合发展今年春节前夕,苏坤雄从广东回到家乡——梧州市长洲区泗洲村,发现了不少惊喜。家乡从不通公路的独岛,
江苏无锡的水域面积占全太湖的26%,人口占太湖流域总人口的4.67%。多年来,无锡始终坚持大力推进太湖治理,取得明显成效。聚焦太湖治理的治污、防污、控污等环节,无锡供电公司挖掘电力数据价值,构建图像识别模型,积极参与太湖治理,辅助地方生态环境部门科学决策。2月6日,美丽无锡建设大会暨新一轮
5月10日,湖北公司汉川电厂四期扩建工程7号机组发电机定子吊装就位,顺利完成此项工程里程碑节点。该项目是集团公司重点规划项目,设计建设两台100万千瓦超超临界二次再热火电机组,可实现废热再利用、废水零排放的环保目标。项目计划于2025年年底实现双投,将进一步增强西电东送通道上的电源支撑,提
刚刚过去的今年第一季度,智利、洪都拉斯、巴拿马、古巴、阿根廷等美洲国家相继发生多起全国性大停电事故,对当地经济社会秩序造成严重冲击。随着我国跨省区乃至跨国输电工程建设不断推进,电力系统互联规模逐步增大,新能源占比不断提升,筑牢电力安全防线势在必行。美洲地区停电事故特点跨国电网建设
4月28日,欧洲伊比利亚半岛发生大规模停电事故。在全球能源转型持续深入推进的背景下,该事件究竟是偶然现象,还是带有某种阶段性的必然?现代电网具有天然的脆弱性作为现代社会最重要的能源基础设施之一,电网的安全稳定运行关乎国计民生,实为“国之大者”。但现代电网已经发展为由物理电力和信息通
4月28日,西班牙电网突发重大故障。这一事件不仅是欧洲近年来最严重的停电事故,更为全球能源转型中的电网安全敲响了警钟。西班牙作为可再生能源发展的先锋,其电网暴露出的脆弱性折射出新能源高渗透率下的系统性挑战,也为中国乃至全球的能源转型发出了警示。可再生能源“成长痛”的全球共性西葡大停
北极星售电网获悉,5月13日,安徽电力交易中心发布关于征求《安徽中长期交易安全校核规范》意见的通知,本规范适用于安徽省内发电主体开展的年度(多年)、月(多月)、月内(旬、周、多日)等各类型省内及跨省区中长期市场交易。其中提到,坚持“分时段校核”原则,针对发电企业的各类交易24点发电曲
5月9日,由西安热工院总承包的陕西省首个“超级电容+锂电池”混合储能火储联调项目在华能铜川照金煤电有限公司建成投运,为提升陕西电网运行稳定性提供了创新解决方案,标志着陕西省在火电灵活性改造与新型储能技术融合应用领域迈出了关键一步。作为西安热工院建设的第6套超级电容储能项目,本项目采用
5月13日获悉,第八届数字中国建设峰会期间,国家电网有限公司在智慧能源分论坛上发布《电力“人工智能+”白皮书》,系统阐述了国家电网公司人工智能发展布局、技术体系和创新实践,为电力行业数字化智能化转型提供了重要参考。立足企业级战略视角,坚持需求导向和系统观念,国家电网公司统筹开展“人工
北极星售电网获悉,5月14日,宁夏回族自治区市场监管厅发布关于征求《构网型电化学储能系统接入电力系统技术规范(征求意见稿)》等5项地方标准意见建议的通知,面向社会公开征求意见,征求意见时间为30天(5月14日至6月13日)。其中《虚拟电厂并网运行技术规范》规定了虚拟电厂功能要求、性能要求、数
5月13日,广州供电局2025年基于柔性直流技术的配网台区低电压治理技术服务框架招标公告。基于低压柔性直流技术开展广州地区配电台区低电压综合治理,提高广州电网供电质量。辖区包括11个区局,工作内容如下:1、确定台区低电压情况:根据项目确定台区低电压情况,分析问题并制定初步治理和实施方案,并
5月12日从国网新疆电力有限公司获悉,新疆电源装机规模突破2亿千瓦,达到2.01亿千瓦。其中,新能源发电装机容量达到1.12亿千瓦,占比55.72%。在新能源发电装机中,风电装机4952万千瓦,光伏发电装机6286万千瓦。近年来,新疆紧扣打造全国能源资源战略保障基地定位,加快推动新能源发展。截至2024年年底
为全面加快湖南电力市场建设,近日,湖南开展了电力现货与调频辅助服务首次联合调电试运行。根据工作安排,湖南能源监管办与地方政府有关部门联合印发调电试运行工作方案,组织电力调度机构提前开展系统功能测试和市场规则培训宣贯等工作。此次调电试运行为期7天,全省燃煤火电机组、集中式新能源场站
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!