登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2 电力大数据平台的总体架构
Apache基金会开源技术通用的大数据平台整体架构具有较好的通用性,适用于电力企业大数据的规划,其主要思想是利用基于Hadoop文件系统(Hadoopdistributed file system,HDFS)的分布式文件处理系统作为大数据的存储框架,利用基于MapReduce的分布式计算技术作为大数据的处理框架。
以分布式文件处理技术为基础,使PB、ZB级的数据存储成为可能;以分布式计算技术为基础,使得PB、ZB级数据的查询分析成为可能。另外该框架中还包含商业智能应用、传统的数据仓库、大数据访问框架、大数据调度框架、网络层、操作系统、服务器、备份和恢复、数据管理等模块。
大数据存储框架和大数据处理框架通常构建在通用的服务器、操作系统或者虚拟机上,使得该架构所需的硬件具有低成本和高扩展性的特点,标准的普通服务器或者PC机即可成为基于该架构的终端构成单元。
大数据存储框架和大数据处理框架之上是通过网络层连接的大数据访问框架,该访问框架包含并行计算机编程语言Pig、数据仓库工具Hive、开源数据传递工具Sqoop 等子模块。
大数据调度框架包含基于列存储的开源非关系型数据库Hbase、数据序列化格式与传输工具Avro、日志收集系统Flume、分布式锁设施ZooKeeper等模块。
大数据调度框架实现了对大数据的组织与调度,为数据分析提供了必要条件。在大数据调度框架之上是企业级商业智能应用系统,可以开展查询、分析、统计、报表等高级应用[17]。大数据的管理、安全和备份恢复框架帮助进行大数据的治理和保护[17]。
该框架几乎涵盖了大数据技术的所有环节,值得指出的是,通过该访问框架不仅可以实现对分布式文件存储系统的访问,而且通过大数据连接器和开源数据传递工具Sqoop可以实现对传统数据仓库的访问。
大数据的处理流程可以定义为在合适工具的辅助下,对广泛异构的数据源进行抽取和集成,按照统一的标准对结果进行存储,利用恰当的数据分析技术对存储的数据进行分析,达到从中提取出有价值的知识的目的,并用合适的方式将结果展现给终端用户[8]。
对电力企业来讲,电力大数据的基本处理流程与传统数据处理流程并无太大差异,主要区别在于:电力大数据需要处理大量、非结构的数据,所以在各个环节都可以采用MapReduce等方式进行并行处理[14]。
图3所述的电力大数据平台总体架构,应与电力系统中来源丰富的数据流结合,催生具体的产业应用。电力系统是一种高维非线性的复杂系统,其内部的数据流包含电力流、信息流、业务流、故障流、气象流等不同的数据流向。
图4描述了在电力系统总体平台架构之上的电力企业商业应用与电力系统内部数据流的可能结合点,包括发、输、变、配、用、调等环节的负荷控制系统、管理信息系统、监测控制和数据采集系统、电能计量系统、风电光伏功率预测系统、电力设备在线监测系统等。
对这些电力系统的子信息源而言,一方面可以单独应用大数据技术,提升其产业价值,例如电力设备在线监测系统本身就是一个大数据系统,另一方面可以融合不同的子信息源,在更高的层面上构件大数据平台,例如融合电能计量系统、SCADA系统、MIS系统、负荷控制系统,可以构建基于大数据平台的网损分析系统,实现网损的自动统计与分析。
基于该网损分析大数据平台,还可开展基于自动网损统计的用户窃电行为挖掘,实现更深层次的应用。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
最近《人民日报》通过专访任正非对外释放了重要信号。其中也讲到了,AI竞争的背后,是要有充足的电力、发达的信息网络,而中国有这样的优势。可以说,AI的尽头是算力,算力的尽头是电力,这已成为科技行业的共识。本期「电网深谈」邀请了阿里云能源行业首席架构师黄振、浙江省电力负荷管理中心孙钢、浙
编者按微电网作为分布式可再生能源发电领域内新兴的前沿技术,已成为一种安全可靠的集成分布式电源及负荷的小型电力系统。近年来,随着分布式电源大量接入,微电网系统惯量不断降低,特别是在孤岛微电网中,由于缺少大电网的支撑,在面对扰动时,系统抗扰能力和频率稳定性显著下降,因此需要调整自身控
日前,南京市人民政府办公厅印发《南京市工业领域经认定的经营者(AEO)制度试点实施方案》(宁政办规字〔2025〕4号),以“免申即享”+“告知承诺”的方式,在工业领域试点推行经认定的经营者(AEO)分级行政检查制度。经认定,共726家工业企业获工业领域AEO制度首批试点企业资格。本次试点企业范围包
2005年前后,SmartGrid概念出现,欧美的SmartGrid选择了配网智能化、微电网、分布式电源、虚拟电厂的路径。中国的SmartGrid更强调集中投资,集中管理,特高压+风光大基地。路径没有对错,中国和欧美选择了当时各自合适的发展路线。时过境迁,新型电力系统的挑战,不仅来自“双高”,也就是高比例可再生
6月24日,国家能源局山东监管办公室发布关于征求《山东省新能源和新型并网主体涉网安全能力提升工作方案》意见的函。方案指出,纳入涉网安全管理范围的新能源和新型并网主体(以下简称并网主体)包括并入电网的各类集中式风电、集中式光伏、分散式风电、分布式光伏、新型储能、虚拟电厂、分布式智能电
粤港澳大湾区公共算力服务平台正式启动、韶关数投华为联合创新实验室等一批科创平台上线或揭牌、涵盖AI应用等领域的30余个重磅项目签约落地……6月13日,第四届粤港澳大湾区(广东)算力产业大会暨第三届中国算力网大会在广东韶关隆重举行。作为全国十大算力集群之一,全国一体化算力网络粤港澳大湾区
北极星储能网获悉,6月24日,林洋能源在投资者互动平台上表示,截至目前,公司已使用自有资金通过集中竞价交易方式实施了三期回购股份方案,累计使用资金约5.6亿元,回购了82,870,581股股份。2024年3月21日,公司控股股东华虹电子基于对公司未来持续稳定发展的坚定信心及对公司长期投资价值的认可,发
北极星售电网获悉,6月24日,国家能源局山东监管办发布关于征求《山东省新能源和新型并网主体涉网安全能力提升工作方案》意见的函。文件提出,强化虚拟电厂运行管理。纳入涉网安全管理范围的虚拟电厂应接受电力调度机构统一调度,按月向电力调度机构提交可调节资源清单和变更申请,月内原则上不得随意
AI赋能电力产业:变革、挑战与对策中国海油集团能源经济研究院韩广忠王建明近年来,人工智能(AI)技术正以前所未有的速度改变着各行各业,全球电力产业无疑成为获得益处与遭受冲击最为明显的领域之一。从能源生产、输配到消费管理,AI正在全方位推动产业升级,促进数字化转型,并为实现低碳发展和可持
能源与产业协同转型推进中国式现代化全球能源互联网发展合作组织副秘书长周原冰在全面推进中国式现代化的新征程上,能源与产业转型升级已成为落实“双碳”目标、实现高质量发展、打造国际竞争新优势的关键抓手。今年是“十四五”规划收官之年,也是“十五五”规划谋篇布局之年,值此承前启后的关键节点
近日,国家重点研发计划“用户侧燃料电池微网集成与主动支撑电网关键技术”项目示范工程在广州国际氢能产业园正式开工建设。该项目由广东电网公司广州供电局牵头,预计将在2026年建成国内规模最大“向上支撑电网、向下服务用户”氢热电高效联供燃料电池微网,热电联供综合效率超90%,达国际领先水平。
12日,位于江苏徐州市下辖邳州市的国能邳州生物发电有限公司厂区内,硕大的抓斗循环往复,将干燥的秸秆投放到传输带上,源源不断地传送到焚烧炉内。这些秸秆焚烧后变成清洁电能,并入电网后输送到千家万户。“我们厂已经形成了成熟的秸秆收、储、运、用体系,一年大概能消耗小麦、玉米、稻草的秸秆30万
试论新型电力系统构建的核心特征和基本特征中国能源建设集团投资有限公司总经济师徐进新型电力系统是在确保我国能源战略转型和“双碳”目标实现的大背景下构建的现代化电力体系,是关系到我国经济发展、能源安全、环境保护和社会福祉的关键举措。国家能源局已明确新型电力系统“三步走”发展路径,即以
6月11日,甘肃省发改委发布《甘肃省完善碳排放统计核算体系工作方案》的通知。方案提出,到2025年,全面建立省级碳排放年报、快报制度,探索建立市州级碳排放统计核算方法,发布一批行业企业碳排放核算标准和产品碳足迹标准,初步建立产品碳足迹管理体系,重点行业温室气体排放因子和特色产品碳足迹因
北极星售电网获悉,6月11日,甘肃省发展和改革委员会发布关于印发《甘肃省完善碳排放统计核算体系工作方案》(以下简称《方案》)的通知。《方案》指出,发挥行业主管部门及行业协会作用,以电力、钢铁、有色、建材、石化、化工等工业行业和城乡建设、交通运输等领域为重点,根据行业特点和管理需要,
近日,山西省科学技术厅公布山西省重点研发计划立项项目名单,共有103个项目获批立项。其中,国网山西省电力公司牵头承担的3项科研攻关项目成功入选。此次获批立项的项目分别为“考虑智能温控技术的低碳智慧园区用能策略与评价方法研究”“多模态电力大数据智能计算及场景大模型推理平台技术攻关和应用
近日,国网浙江省电力有限公司发布外贸电力景气指数,以用电数据反映浙江外贸企业经营情况,为浙江应对外贸形势变化提供数据支撑。外贸电力景气指数反映范围覆盖浙江全省2万多家规上外贸型制造企业,包括整体指数、特征指数和感应指数,分别监测全口径规上外贸型制造企业出口交货值、用电量等数据,反
从广西电力交易中心获悉,2025年,广西陆上集中式新能源发电企业全电量参与中长期市场化交易,标志着以市场化方式建设新型电力系统迈出关键步伐。截至目前,广西已有262家新能源发电企业完成注册并开展交易,累计成交新能源电量402.16亿千瓦时。据了解,今年1月底,国家发展改革委、国家能源局联合印发
北极星售电网获悉,截至目前,广西已有262家新能源发电企业完成注册并开展交易,累计成交新能源电量402.16亿千瓦时。广西已实现陆上集中式新能源发电企业全电量参与中长期市场化交易,标志着以市场化方式建设新型电力系统迈出关键步伐。据广西电网电力大数据:今年1-4月,广西新能源新增装机容量445.8
“五一”假期期间,在河北省永清县圆通速递北方总部基地二期项目内,30条全自动分拣线高速运转。恰逢换季与出行游玩高峰期,消费者频繁网购服装、出行装备等商品,这几日,圆通速递北方总部基地的日均操作量高达550万件。“自去年底全自动分拣线投产以来,我们快递的日处理能力提升至1000万件,产能和
导语自数据被列为第五大生产要素以来,国家高度重视数据要素市场发展,近年来密集出台政策法规,对培育数据要素市场作出系列部署,并组建国家数据局,统筹推进数据要素市场化配置改革。各地方、各行业多措并举,推进数据要素流通市场活跃度显著提升,数据要素市场规模达到千亿级。电力行业是一个高价值
日前,《安徽省产品碳足迹标识认证试点工作方案》印发。《方案》提出,2025年全省10个以上锂电池和光伏产品获得产品碳足迹标识认证,到2027年全省50个以上锂电池和光伏产品获得产品碳足迹标识认证,形成5个以上典型案例,降低锂电池、光伏产品全生命周期碳排放,推动产业绿色低碳转型。全文如下:安徽
在祖国北疆,内蒙古乌兰察布广袤的大地上,成片的光伏板如蓝色海洋泛起涟漪。不远处,一排近百米高的风电机组擎天而立,勾勒出一幅壮美的绿色画卷。四个月前,蒙西电力现货市场转入正式运行。作为全国首个实现新能源全电量入市的现货市场,蒙西地区以“发用双侧全电量参与”“日前预出清+实时市场”等
近日,国内首个多智能体协作的省级电网AI调度员“明月”在广东电网公司电力调度控制中心上线,实现了人工智能与电网调度业务深度融合,促进电网调度由“经验驱动型”向“智能决策型”加速转变。“明月,请帮我预测台风期间的电网风险……”在广东电网公司电力调度控制中心,调度员江里舟正在使用调度员
编者按微电网作为分布式可再生能源发电领域内新兴的前沿技术,已成为一种安全可靠的集成分布式电源及负荷的小型电力系统。近年来,随着分布式电源大量接入,微电网系统惯量不断降低,特别是在孤岛微电网中,由于缺少大电网的支撑,在面对扰动时,系统抗扰能力和频率稳定性显著下降,因此需要调整自身控
6月26日,兰州新区大电网稳定提升改造工程(秦川片区330千伏电力专线)核与辐射环境影响评价文件审批意见公示。工程建设地点位于兰州新区秦川园区,工程由兰州新区东金硅业项目终期330千伏电力专线工程、兰州新区宏彬及格瑞芬终期330千伏电力专线工程组成,其中兰州新区东金硅业项目终期330千伏电力专
近日,安徽亳州市发展和改革委员会、国网安徽省电力有限公司亳州供电公司发布关于印发2025年亳州电网迎峰度夏电力负荷管理方案的通知。2025年迎峰度夏期间,亳州电网预计最大负荷约340万千瓦,同比增长11.66%(2024迎峰度夏年最大304.5万千瓦)。亳州市大中型企业少,峰期居民负荷占比65%以上,可调控
6月26日,宁波前湾新区经济和信息化局印发《2025年宁波前湾新区迎峰度夏电力保供方案》。其中提到,根据省电力公司预测,今夏全省全社会最高负荷约1.33亿千瓦,最大用电缺口800万千瓦,新区约占1/100,即最大缺口8-10万千瓦。方案中明确移峰填谷方案安排:1.方案安排2025年新区移峰填谷方案共安排移峰
近日,为进一步提升北京市度夏电力防汛应急响应组织与处置能力,在国网北京市电力公司开展了2025年北京电网防汛抢险保供电应急演练。本次演练设置了山洪灾害应急处置、防汛重要客户应急供电、内涝情况下民生供电服务保障、电网设备应急抢修4个典型场景,采取“桌面推演+实景演练”相结合方式,针对度夏
入夏以来,电网负荷节节攀升,面对严峻的“烤”验,6月24日,国网承德县供电公司以“绿色希冀”品牌理念为指引,周密部署,迅速行动,组织运维人员全面开展高温天气下的设备特巡工作,以高度的责任感和使命感,为广大群众撑起可靠用电的“保护伞”。自“安全生产月”活动启动以来,该公司紧扣“人人讲
编者按电容式电压互感器(capacitorvoltagetransformer,CVT)广泛应用于110kV及以上电压等级变电站,是监测电力系统运行电压的重要设备。目前高压CVT已安装完善的在线监测系统,可实时获取CVT的电容量、介损、局部放电、温度、二次输出电压等多参量信息。这些多参量信息数据广泛应用于CVT运行过程中渗
6月20日,国务院国资委召开中央企业迎峰度夏能源电力保供工作推进会。国务院国资委党委委员、副主任袁野出席会议并讲话,18家中央能源保供企业有关负责同志参加会议,国家电网、南方电网、中国华电、中国三峡集团、国家能源集团等5家企业现场汇报了保供工作情况。会议要求,各中央企业要深入学习贯彻习
安全是一切工作的基础,是发展之基、立企之本。国网新疆电力有限公司深入学习贯彻习近平总书记关于安全生产的重要论述和重要指示批示精神,全面落实新疆维吾尔自治区和国家电网有限公司安全生产工作部署,扎实开展安全生产治本攻坚三年行动,以“时时放心不下”的责任感、“安全一失万无”的危机感,不
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!