登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2.3数据处理技术
智能电网大数据的应用类型多,需要根据不同的业务需求采用不同的数据处理技术。根据大数据的数据特征和计算需求,大数据处理技术分流处理、批处理、内存计算、图计算等。
2.3.1 流处理
流处理的处理模式将数据视为流,源源不断的数据组成了数据流,当新的数据到来时就立刻处理并返回所需的结果。数据流本身具有持续达到、速度快且规模巨大等特点,因此通常不会对所有的数据进行永久化存储,而且数据环境处在不断的变化之中,系统很难准确掌握整个数据的全貌。目前广泛应用的流处理系统有Twitter Storm和Yahoo S4。
Storm是分布式实时计算系统,主要用于流数据处理,可以简单、高效、可靠地处理大量的数据流。它能够处理源源不断流进来的信息,处理之后将结果写入到某个存储中去。Storm的优点是全内存计算,因为内存寻址速度是硬盘的百万倍以上,所以Storm的速度较快。Storm弥补了Hadoop批处理所不能满足的实时要求,经常用于实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。
2.3.2 批处理
Google公司在2004年提出的Map-Reduce是最具代表性的批处理模式。Map-Reduce是一个使用简易的软件框架,用于大规模数据集的并行运算,主要用来进行大规模离线数据分析。基于它实现的应用程序能够运行在由数千个商用机器组成的大型集群上,并以一种可靠容错的并行处理大规模数据集。Map-Reduce的核心思想是将问题分而治之,并把计算推到数据所在的服务器,有效地避免数据传输过程中产生的大量通信开销。
Map-Reduce的优点主要有2个方面:①不仅能用于处理大规模数据,而且能将很多繁琐的细节隐藏起来,如自动并行化、负荷均衡和灾备管理等,这将极大简化开发工作;②伸缩性非常好,集群能够方便的扩展。而Map-Reduce的不足是其不适应实时应用的需求,只能进行大规模离线数据分析。
2.3.3 内存计算
随着内存价格的不断下降,服务器配置的内存容量不断增大,用内存计算来完成大规模数据处理成为可能。与Hadoop Map-Reduce批处理相比,内存计算能够提供高性能的大数据分析处理能力。内存计算是一种体系结构上的解决方法,它可以和各种不同的计算模式相结合,包括批处理、流处理、图计算等。比如Spark是分布式内存计算的一个典型并行计算框架,Spark基于Map-Reduce算法实现的分布式计算,拥有Hadoop Map-Reduce所具有的优点;但不同于Map-Reduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark具有更好的性能,适用于数据挖掘与机器学习等需要迭代的Map-Reduce的算法。
智能电网大数据应用根据业务特点和对处理响应的时间来选择数据处理的方式,针对电网安全在线分析、电网运行监控等业务,数据实时性要求高、需要作出迅速响应,可以采用流处理内存计算;而对于用户用电行为分析等业务,实时性和响应时间要求低,可以采用批处理方式。综合以上分析,数据处理方式对比见表2。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,南方能源大数据中心与南方电网大湾区数字产业基地顺利投产,标志着南方电网公司基本建成“3+1+X”架构的绿色节能新型数据基础设施。南方能源大数据中心位于全国一体化算力网络国家枢纽节点贵州(贵安)枢纽,首期规划建成两栋机楼及一栋运检楼,承载约2000架10千瓦机柜,定位南方电网公司双活生
日前,南方能源大数据中心与南方电网大湾区数字产业基地分别在贵州贵阳、广东惠州投产,标志着南方电网公司基本建成“3+1+X”架构的绿色节能新型数据基础设施,有力展示公司主动融入国家“东数西算”工程建设,加快数字化转型和数字电网建设,加快向数字电网运营商、能源产业价值链整合商、能源生态系
问:您常年从事汽车相关教学工作,对新能源汽车行业的发展较为关注。随着新能源汽车越来越普及,我国充电基础设施也在快速发展,您对此有何看法?杨金龙:近年来,我国新能源汽车行业发展迅猛,充电基础设施建设也取得了令人瞩目的成绩。在我所生活的浙江省杭州市桐庐县,无论是旅游景区还是公共停车场
国家电网有限公司大数据中心深入贯彻落实国家电网有限公司第四届职工代表大会第五次会议暨2025年工作会议精神,牢牢把握“强化企业级统筹”“深化数字赋能赋效”“强化人工智能应用”“加强自主运维”四个方面要求,激活数据要素价值,全力支撑健全完善数字化工作体系、构建新型电力系统、发展新质生产
近日,四川能源监管办发布2024年度煤电机组大数据监管情况通报。通报指出,四川燃煤发电持续发挥“关键少数”重要作用,煤电兜底保障基础不断夯实,顶峰保供能力进一步发挥,企业经营情况进一步改善。全年枯水期完成发电量335.03亿千瓦时,提供了四川主网三分之一以上电量。2024年四川燃煤火电机组平均
2月17日,山东淄博供电公司电力气象智慧预警大数据应用平台上线。该平台深度融合电力数据和气象数据,增强了电力气象灾害的主动预警能力,为淄博电网防灾减灾、安全稳定运行提供保障。强风、雷暴等恶劣天气容易影响电网设备安全运行。为此,淄博供电公司与山东省电力气象技术创新中心联合组建攻坚团队
近日,福建龙岩供电公司发布龙岩市开工生产分析报告。此报告基于多维度与海量数据统计分析,详细呈现了各行业的生产经营变化情况,为政府精准制定政策、推动经济稳健复苏提供了数据支撑。该公司广泛收集企业开工生产相关数据,通过设定复工及达产指数,量化评估企业开工水平及达到正常生产用能水平情况
近日,福建龙岩供电公司发布龙岩市开工生产分析报告。此报告基于多维度与海量数据统计分析,详细呈现了各行业的生产经营变化情况,为政府精准制定政策、推动经济稳健复苏提供了数据支撑。该公司广泛收集企业开工生产相关数据,通过设定复工及达产指数,量化评估企业开工水平及达到正常生产用能水平情况
近日,由国网湖南省电力有限公司牵头,中国南方电网有限责任公司、中国长江三峡集团有限公司、华中科技大学、湖南大学和华为技术有限公司等共同编写的水电物联网国际标准IEEEStd2413.3-2024《水电能源物联网导则》正式获批发布。据介绍,在水电能源物联网领域,尤其是在水利水电工程中,数据壁垒易导致
2025年春节,浙江的大街小巷满是烟火与欢笑,当古镇的红灯笼与现代化都市的霓虹一同点亮新春夜空,你是否想过,这背后的用电数据是怎样的经济密码?它们串联起千家万户的团圆,映射出产业发展的新态势。现在,就跟着小e,看看2025年春节浙江用电数据藏着哪些惊喜。刚刚过去的春节(1月28日-2月4日),
正月初九,尽管春节假期已经结束了,但过年的热闹劲儿还未完全消散。2024年12月,中国春节成功列入《人类非物质文化遗产代表作名录》,紧接着,我们迎来了意义非凡的第一个“非遗版”春节。办年货作为春节里必不可少的仪式,承载着我们对新年的期待与祝福。当年轻一代逐渐接过年货采购的接力棒,又是什
春风拂过黔贵大地,万物复苏;号角响彻苗岭山川,万象更新。3月17日至18日,习近平总书记在贵州考察时强调,贵州要认真落实党中央关于西部大开发和长江经济带发展的战略部署,坚持以高质量发展统揽全局,以进一步全面深化改革开放为动力,坚定信心、苦干实干,稳中求进、善作善成,在中国式现代化进程
中国式现代化和美丽中国在保障能源电力安全-经济-低碳供应、培育新质生产力打造现代能源产业体系等方面对能源电力行业提出了更高要求。面向“十五五”和中长期,源侧生产力结构性变化和荷侧形态多元化对电力系统的影响逐步从量变向质变过渡,电网发展环境面临重大改变,面对当前新能源大发展、电力保供
3月21日,辽宁省工信厅组织开展2025年5G工厂名录项目及优秀案例遴选工作。项目申报主体为制造业、采矿业、电力、港口等重点领域企业,在辽宁省内注册,具备独立法人资格。包括但不限于省级5G工厂,省级“5G+工业互联网”融合应用先导区内5G应用重点企业。原文如下:关于组织开展2025年5G工厂名录项目及
3月21日,辽宁工信厅发布组织开展辽宁省算力强基揭榜行动的通知。任务内容包括算力电力协同应用:揭榜任务:研发基于算力调度技术与能源大模型的多云异构算电协同管理平台,构建基于数据驱动的算力集群用电负荷特性模型、基于计算任务的时空转移特性的能源大模型,推动算力预测与调度技术在智算中心应
日前,河北省农业农村厅、国网河北省电力有限公司、国网冀北电力有限公司联合印发了《河北省2025年电力惠农十项措施》,明确提出贯彻落实2025年中央一号文件要求,按照河北省委、省政府2025年“三农”工作部署,深化政企联动,全面推动农业农村现代化,推进乡村全面振兴,今年计划高质量完成1000个乡村
东风醒芳草,沃野千里处处春。又是一年春耕春播好时节,亦是一年谋划、发力乡村振兴工作的重要节点。乡村振兴,“国之大者”,民之关切。国家电网公司贯彻落实2025年全国两会及中央一号文件精神,发布《2025年助力乡村振兴工作要点》,为推进乡村全面振兴、服务农业强国建设作贡献。这份2025电“靓”乡
算力电力协同发展既是国家电力与算力政策的方向指引,也是电力与算力系统建设的大势所趋。从当前算力电力的发展现状来看,构建全国一体化算力网需要坚强的电力支撑,建设新型电力系统也需要灵活算力的多维助力,因此有必要从电力系统与算力系统的规划、建设着手,从设施、运行、市场与商业模式等多个维
当前,算力电力协同发展不仅面临着用能成本、规划匹配、供需协调、建设时序等重点问题,还要应对电力市场参与、算力应用场景等落地实践的推动压力。强化协同技术的落地应用与试点示范强化算力以及算力电力协同方面的先进技术示范应用,引导和推动算力产业自身的能效提升。芯片层面,我国目前在GPU芯片
发展数字经济是把握新一轮科技革命和产业变革新机遇的战略选择,而算力和电力正是数字经济蓬勃发展的两大关键基础支撑。算力和电力协同发展,既是算力产业高质量发展的必由之路,同时又通过算力赋能电力系统,实现源网荷储协调互动、电力负荷精准预测与调度,提升系统运行效率和对新能源的消纳能力。国
近日,甘肃白银供电公司线损监测人员贾启亮通过该公司自主研发的“台区线损X值分析法”微应用监测台区运行情况时,发现月亮湾台区配电变压器线损率异常。他通过一体化电量与线损管理系统中的“台区售电量”模块核对该台区供售电量数据,看到该台区存在居民用电异常情况,立即通知供电员工赶赴现场进行
3月17日,国网浙江省电力有限公司人工智能实训基地正式启用。该实训基地位于国网浙江电力培训中心内,占地面积约420平方米,单次可容纳54人同时开展实训。基地内设置了平台实训区与仿真验证区,具备人工智能模型开发、训练调优、场景评测等实训功能。据介绍,人工智能实训基地将紧跟国网浙江电力业务需
近日,由中国电力科学研究院有限公司牵头研制的六氟化硫/氮气混合气体(以下简称混合气体)在线监测装置通过专家现场验证。据介绍,混合气体在线监测装置自2022年底开始在平顶山110千伏舞钢寺坡变电站运行,是同类装置在变电站现场的首次应用。数据显示,应用该装置后变电站混合气体组合电器等电力设备
“大家仔细巡视,及时处理通道内易燃物,不放过任何微小隐患。”2月9日,在贵州省安顺市西秀区鸡场乡摆夺村,贵州电网公司安顺供电局输电管理一所巡检人员采取“人巡+机巡”的方式,对线路开展特巡,清理防火通道周边枯草,防患于未“燃”,确保线路安全运行。贵州山地众多,植被丰厚,进入春季,受气
2月13日,广东电网公司2025年框架招标(无线电缆护层环流在线监测系统)招标公告。本次招标含无线电缆护层环流在线监测系统共1个物资品类,预计需求金额1900万元。详情如下:广东电网公司2025年框架招标(无线电缆护层环流在线监测系统)招标公告(项目编号:CG0300022001993043)1.招标条件本招标项目
“今天核查的烧损风险电能表,其烧损风险等级与模型判定的结果一致。”2024年12月31日,国网河北省电力有限公司营销服务中心烧损电能表研究项目负责人王毅在核查现场向上级汇报。经过验证,国网河北电力电能表烧损风险在线监测模型研判准确率超过90%,为防范电能表烧损提供了可靠的技术支撑。为加强用
国网宁夏电力有限公司2024年第二次新增物资公开招标采购推荐的中标候选人公示(招标编号:GWWZ-NX-2924Z6)
海南电网有限责任公司2024年第三批物资类公开竞争性谈判采购项目成交结果公告(采购编号:CG0700062001871167)
“你方大型吊车作业已进入特高压线路保护区范围,并处于线路下方,对线路安全运行构成严重威胁,请立即停止作业,与线路设备保持足够距离……”12月6日10时15分,在位于浙江湖州的±800千伏金塘线下方的一处水利工程施工现场,湖州供电公司运维人员与施工人员沟通,告知特高压线路保护区施工作业风险,
国网新疆电力有限公司2024年第五次物资公开招标采购项目推荐的中标候选人公示(招标编号:302405)
11月19日,湖北武汉供电公司总承包建设的武汉庆云110千伏“零碳”变电站投运。该变电站位于武汉市东湖新技术开发区,全寿命周期内预计减少二氧化碳排放约3.4万吨。与常规变电站不同的是,该站采用天然酯变压器、气体绝缘全封闭组合电器等环保电气设备,通过变电站全寿命周期碳排放分析控制碳排放关键环
中国南方电网有限责任公司(以下简称南方电网)不断深化科研体制改革,对所属二级单位南方电网科学研究院有限责任公司(以下简称南网科研院)进行全方位改革,充分发挥其作为南方电网中央研究院在科技创新、产业控制、安全支撑中的战略牵引作用。2021年以来,南网科研院研发投入强度稳定在35%以上,特
11月19日,浙江省首座新型数字化智能变电站——110千伏雷东变电站正式送电投运。作为国家电网新型数字化智能变电站试点之一,雷东变电站区别于常规变电站,创新采用二次在线监测技术和二次回路智能标签系统。其通过构建变电站二次系统数字孪生模型,实现了全站信息的三维可视化查询,不仅全面提高了智
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!