登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2.3.2 批处理
Google公司在2004年提出的Map-Reduce是最具代表性的批处理模式。Map-Reduce是一个使用简易的软件框架,用于大规模数据集的并行运算,主要用来进行大规模离线数据分析。基于它实现的应用程序能够运行在由数千个商用机器组成的大型集群上,并以一种可靠容错的并行处理大规模数据集。Map-Reduce的核心思想是将问题分而治之,并把计算推到数据所在的服务器,有效地避免数据传输过程中产生的大量通信开销。
Map-Reduce的优点主要有2个方面:①不仅能用于处理大规模数据,而且能将很多繁琐的细节隐藏起来,如自动并行化、负荷均衡和灾备管理等,这将极大简化开发工作;②伸缩性非常好,集群能够方便的扩展。而Map-Reduce的不足是其不适应实时应用的需求,只能进行大规模离线数据分析。
2.3.3 内存计算
随着内存价格的不断下降,服务器配置的内存容量不断增大,用内存计算来完成大规模数据处理成为可能。与Hadoop Map-Reduce批处理相比,内存计算能够提供高性能的大数据分析处理能力。内存计算是一种体系结构上的解决方法,它可以和各种不同的计算模式相结合,包括批处理、流处理、图计算等。比如Spark是分布式内存计算的一个典型并行计算框架,Spark基于Map-Reduce算法实现的分布式计算,拥有Hadoop Map-Reduce所具有的优点;但不同于Map-Reduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark具有更好的性能,适用于数据挖掘与机器学习等需要迭代的Map-Reduce的算法。
智能电网大数据应用根据业务特点和对处理响应的时间来选择数据处理的方式,针对电网安全在线分析、电网运行监控等业务,数据实时性要求高、需要作出迅速响应,可以采用流处理内存计算;而对于用户用电行为分析等业务,实时性和响应时间要求低,可以采用批处理方式。综合以上分析,数据处理方式对比见表2。
2.4数据分析技术
数据分析是智能电网大数据处理的核心,由于大数据的海量、复杂多样、变化快等特性,大数据环境下的传统小数据分析算法很多已不再适用,需要采用新的数据分析方法或对现有数据分析方法进行改进。
数据挖掘方法主要有分类、关联分析、聚类、异常检测、回归分析等,其中每一类包括众多的算法。分类包括支持向量机、决策树、贝叶斯、神经网络等技术;关联分析包括Apriori、FP-growth等算法;聚类分析分为划分法、层次法、密度法、图论法、模型法等,具体算法如k-means 算法、K-MEDOIDS算法、Clara算法、Clarans算法、SOM神经网络、FCM聚类算法等;异常检测包括基于统计、距离、偏差、密度等方法。在智能电网应用中需要对现有的算法进行优化和并行化改进,实现分布式处理。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
5月8日,河北发布进一步优化算力布局推动人工智能产业创新发展的意见(冀政办字〔2024〕34号),其中提到,在靠近用户侧、网络边缘侧,按需建设单体规模较小、存算一体的边缘计算中心,支撑智能工厂、轨道交通、智慧医疗、智能电网、车联网、金融交易等实时性要求高、极低时延类业务需求。同时还提到,
5月8日,江苏南京发布推动大规模设备更新和消费品以旧换新实施方案(宁政发〔2024〕36号),其中指出,持续推动南京电网配电网和农村电网设备线路改造和智能化升级。同时,锚定“5G+工业互联网”、先进电网和高效储能、高效节能环保装备、再制造等领域,运用“揭榜挂帅”“赛马”等机制,开展共性关键
4月26日,金冠股份发布2023年年报,报告期内,公司实现营业收入11.69亿元,与去年同期相当;实现归属于上市公司股东净利润2550.62万元,同比下降47.45%。报告期内,公司获取订单总额为16.70亿元,同比增长11.8%。报告期内,公司获取订单总额为16.70亿元,同比增长11.8%。金冠电气提到,公司主营业务主
4月24日,天津市人民政府印发天津市推动大规模设备更新和消费品以旧换新实施方案(津政发〔2024〕7号),其中提到,持续推进老旧变电设备和输配电线路改造,推动电网设施数字化、智能化升级。同时,推动能源装备更新和技术改造。支持运行服役期满发电机组实施设备更新,加快现役煤电机组节能改造和灵活
近日,国家能源局新疆监管办公室召开2024年新疆电网运行方式汇报分析会议,总结2023年新疆电网运行情况,全面梳理分析系统运行特性及面临的安全风险,研究有效控制和化解电力系统主要安全风险的措施,深入研讨新疆电力安全保供和绿色低碳转型的有效途径,为2024年电力安全生产、稳定供应和进一步扩大新
近日,安徽省发展改革委启动省级未来产业先导区创建工作,其中包含低碳能源领域。重点方向包括围绕可再生能源与核能、能源清洁高效利用、智慧综合能源等重点领域开展技术攻关及应用,重点突破新型高效太阳能电池、氢能制备及储运、燃料电池及关键部件、低成本碳捕集利用与封存等关键核心技术,促进工业
随着《十四五发展规划》等政策的推进,各行业国产化进程迅猛发展。智慧电网作为新型能源体系建设的重要支撑,更是当仁不让;各设备公司全网匹配,要求做到全国产化。金升阳作为技术引领型企业积极响应政策,关注用户所需,依托产研实力,为电力行业各细分领域提供更可靠、更高效的一站式电源解决方案为
随着《十四五发展规划》等政策的推进,各行业国产化进程迅猛发展。智慧电网作为新型能源体系建设的重要支撑,更是当仁不让;各设备公司全网匹配,要求做到全国产化。金升阳作为技术引领型企业积极响应政策,关注用户所需,依托产研实力,为电力行业各细分领域提供更可靠、更高效的一站式电源解决方案为
4月12日,2024年江宁区“向人民汇报”活动——区工信局专场举行。在深度访谈环节,区工信局就培育新质生产力、打造智能电网产业、高端装备制造业等进行发言。目前,江宁已建成智能电网、新能源(智能网联)汽车、新一代信息技术、高端智能装备等4个千亿级产业集群。作为江宁制造的一张靓丽名片,智能电
4月8日上午,中国电科院南京科研基地建设项目主体工程在江宁开发区开工,标志着这一省重大项目进入全面建设阶段,也为江宁开发区聚力打造世界级智能电网产业集群注入了强劲动力。区长黄成文、江宁开发区管委会主任王爱军、副区长周强、江宁开发区管委会副主任陈志海,中国电力科学研究院有限公司总经理
4月10日,江苏昆山印发推进绿色低碳产业高质量发展的若干政策措施(试行)(昆政办发〔2024〕25号)。其中提到,对按要求接入昆山智慧能源管理平台的重点用能单位给予每家1万元奖励。在电网保供能力许可的范围内,对采用绿电绿证交易等方式实现绿色电力占年用电量50%及以上的企业,在实施电力负荷管理
5月5日,山东淄博供电公司依托自主研发的“电力宝”综合性大数据分析工具,统计分析近期十强产业、游客出行、供电保障等方面的电力大数据情况,依据分析结果撰写电量分析报告,并报送给政府相关部门,服务城市建设及产业发展。电力大数据能够综合反映经济社会发展状况和各行业生产经营状况,为做好供电
4月29日,山西对《山西省数据工作管理办法》(征求意见稿)公开征求意见。其中提到,山西省人民政府工业和信息化、能源等部门应当推进工业、能源数字化,加强工业互联网、能源数字化建设,围绕煤炭、电力、焦化、煤化工、钢铁、装备制造等传统优势产业,加快推动研发设计、生产制造、经营管理、市场服
在数字经济时代,全社会数据总量呈爆发式增长,支撑海量数据存储计算的数据中心和算力网络逐步成为支撑各行业数字化转型的重要新型基础设施。数据中心在创造经济价值的同时,其能耗也逐渐成为全社会关注的焦点。数据中心节能降耗是大势所趋。国网河北省电力有限公司充分发挥电力数据价值,积极探索服务
近日,国家发展改革委办公厅、国家数据局综合司印发《数字经济2024年工作要点》(以下简称《工作要点》),对2024年数字经济重点工作作出部署。为全面贯彻落实党的二十大和二十届二中全会精神,按照中央经济工作会议和全国两会部署,支持数字经济高质量发展,深入实施推进《“十四五”数字经济发展规划
乌兰察布市源荷互动绿色大数据中心示范项目位于察右后旗境内,于2月27日启动,是一座100兆瓦分散式风电项目,该项目可降低电网多次升降压和长距离输送的电能损失,具有良好的社会综合经济效益。截至4月23日,项目20台风机吊装、集电线路放线都已完成,升压站设备基础完成80%。
4月18日,在河北省昌黎县朱各庄镇下庄村的农田里,几十台播种机来回穿梭,将种子埋入土中。种植户们启动水泵,通过滴灌管道浇水。当天,冀北昌黎县供电公司朱各庄镇供电所员工王伟和孙奉江来到下庄村,巡检排灌变压器及10千伏灌溉用电线路。下庄村有农田7300多亩,主要种植玉米、花生、白薯等农作物。
国家电网有限公司高质量发展工作会议暨2024年第二季度工作会议提出,坚持问题导向和系统观念,推动公司高质量发展和电网高质量发展。数字化智能化是电网高质量发展的支点,要聚焦应用赋能,聚焦新型电力系统建设,聚焦人工智能创新应用,发挥好数据要素价值。国家电网有限公司大数据中心认真贯彻落实会
4月7日,陕西省发展和改革委员会印发《陕西省培育千亿级化工材料产业创新集群行动计划》,其中提到,加强源头减碳、过程减碳、终端固碳,创建10个以上示范性绿色化工园区、绿色工厂,开展绿色化工产品认证,推进化工材料产业绿色制造体系不断完善。二是提升产业数字化智能化水平。并且,加快5G、大数据
4月8日,记者从国网浙江电力获悉,该公司打造的“浙江省新能源e平台”上线运行。这一平台全量接入了浙江省风、光、水、生物质能等全品类新能源数据,能够动态监测分析全省新能源装机发电情况,解构全省各品类新能源运行趋势,助力浙江新能源消纳与高质量发展。“浙江省新能源e平台”主要包含一屏总览、
据国网浙江省电力有限公司4月8日消息,当日“浙江省新能源e平台”正式上线运行。该平台全量接入了浙江省风、光、水、生物质能等全品类新能源数据,能够动态监测分析该省新能源装机发电情况,解构各品类新能源运行趋势,助力浙江新能源消纳与高质量发展。据了解,“浙江省新能源e平台”主要包含一屏总览
4月2日,国网天津经研院规划评审中心支撑数字化部完成“基于能源电力大数据的天津碳排放监测及运营服务科技示范工程”工作方案的编制。该工程是国家电网公司首批新型电力系统原创技术策源地科技示范工程,将充分释放电力大数据价值,在多源能源数据汇聚融合、碳监测标准建设、碳核算体系构建、新兴业务
5月14日,经研院组织开展新型电力系统及光伏逆变器涉网标准交流研讨会。研讨会邀请了华为智能光伏高级产品经理张超与华为智能光伏并网管理专家程鑫做交流。本次研讨会首先由华为张超做《光伏逆变器涉网标准及电网友好技术》宣讲,程鑫做《新型电力系统的演进、挑战和光储解决方案》宣讲。介绍了华为逆
全面推动电力体制改革事关国计民生,是适应经济社会绿色转型新形势的重要举措。近期,《电力市场监管办法》(以下简称《办法》)正式印发,将于今年6月1日起施行。随着能源结构低碳转型的持续深入,新型电力系统的安全性、可靠性和实时性正面临着更多挑战,构建统一、开放、竞争、有序的电力市场环境尤为
在全球能源转型的大背景下,智能配电网技术作为新型电力系统的核心组成部分,正逐渐成为推动能源革命的重要力量。2024年5月9日,东南大学电气工程学院的汤奕教授在北极星电力网举办的第四届智能配电网建设研讨会上,就“智慧低碳目标下的智能配电网技术”这一主题进行了分享与探讨。相关阅读:打造新型
在5月14日湖南省政府与国家电网有限公司举行的工作会谈中,湖南省委副书记、省长毛伟明表示,当前,湖南省电网整体供电能力达4400万千瓦以上,较5年前提高了1600万千瓦,全省能源供需由阶段性紧张转为紧平衡,近三年来首次实现全年没有限电。毛伟明对国家电网公司长期以来给予湖南发展的关心支持表示感
5月16日,从国网浙江电力获悉,由该公司牵头研发的国际标准《基于联邦学习的电力视觉检测系统要求和框架》(Requirementsandframeworkofvisualinspectionsystembasedonfederatedmachinelearninginsmartgrid)正式在国际电信联盟(ITU)获批立项。这是世界首个获批立项的电力联邦学习国际标准,将有效助推
最近,位于盐城东台经济开发区内的江苏电网首个新能源集控中心——国华江苏新能源集控中心正式投运,这个“智慧大脑”将总装机容量171万千瓦的新型综合能源基地,标志着盐城供电公司推进示范项目先行先试,营造一流电力营商环境,协同实施电靓美丽乡村行动,更好地推动绿色低碳发展示范区建设。我们知
建设统一电力市场体系是新时代加快完善社会主义市场经济体制的重要内容。党的二十大报告强调要“构建全国统一大市场,深化要素市场化改革,建设高标准市场体系”。2022年1月,国家能源局印发《关于加快建设全国统一电力市场体系的指导意见》,对全国统一电力市场体系建设提出了明确的目标要求、时间节
5月15日,陕西新型电力系统规划研究课题征集承担单位。承担单位应于2024年8月31日前完成研究课题的成果初稿,提交陕西省发展和改革委员会组织评审。(一)研究内容。开展“双碳”背景下陕西中远期电力需求预测分析;研究陕西中远期合理的电源结构;系统论证中远期陕西外送支撑能力,并开展多直流接入的
北极星输配电网获悉,日前,温州市经信局与省工业和信息化研究院组成联合课题组,编制完成的《温州市电气产业高质量发展规划》(以下简称《发展规划》)已出台。该《发展规划》确立了温州电气产业发展的未来思路:以进一步提升质量效益和国际竞争力为导向,抢抓新型电力系统构建和国产替代重大机遇,强
在“双碳”目标的指引下,新能源装机呈现出显著的增长趋势,入网比例迅速攀升,在我国能源结构中的重要地位日益凸显。然而,新能源发电固有的间歇性与波动性等难点,对电网的稳定运行构成了不小的挑战。储能技术作为供给侧侧与需求侧之间的“缓冲带”,能够有效平缓新能源发电的曲线波动,进而增强能源
5月14日,国家数据局发布2024年研究课题入选公告,共12个议题,包括“十五五”时期数据事业发展现状及形势挑战、数据赋能推动培育新质生产力作用机理研究、“十五五”时期我国数字产业集群建设研究等。原文如下:国家数据局2024年研究课题入选公告2024年4月15日,我局公开发布《国家数据局2024年研究课
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!