登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2.3.2 批处理
Google公司在2004年提出的Map-Reduce是最具代表性的批处理模式。Map-Reduce是一个使用简易的软件框架,用于大规模数据集的并行运算,主要用来进行大规模离线数据分析。基于它实现的应用程序能够运行在由数千个商用机器组成的大型集群上,并以一种可靠容错的并行处理大规模数据集。Map-Reduce的核心思想是将问题分而治之,并把计算推到数据所在的服务器,有效地避免数据传输过程中产生的大量通信开销。
Map-Reduce的优点主要有2个方面:①不仅能用于处理大规模数据,而且能将很多繁琐的细节隐藏起来,如自动并行化、负荷均衡和灾备管理等,这将极大简化开发工作;②伸缩性非常好,集群能够方便的扩展。而Map-Reduce的不足是其不适应实时应用的需求,只能进行大规模离线数据分析。
2.3.3 内存计算
随着内存价格的不断下降,服务器配置的内存容量不断增大,用内存计算来完成大规模数据处理成为可能。与Hadoop Map-Reduce批处理相比,内存计算能够提供高性能的大数据分析处理能力。内存计算是一种体系结构上的解决方法,它可以和各种不同的计算模式相结合,包括批处理、流处理、图计算等。比如Spark是分布式内存计算的一个典型并行计算框架,Spark基于Map-Reduce算法实现的分布式计算,拥有Hadoop Map-Reduce所具有的优点;但不同于Map-Reduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark具有更好的性能,适用于数据挖掘与机器学习等需要迭代的Map-Reduce的算法。
智能电网大数据应用根据业务特点和对处理响应的时间来选择数据处理的方式,针对电网安全在线分析、电网运行监控等业务,数据实时性要求高、需要作出迅速响应,可以采用流处理内存计算;而对于用户用电行为分析等业务,实时性和响应时间要求低,可以采用批处理方式。综合以上分析,数据处理方式对比见表2。
2.4数据分析技术
数据分析是智能电网大数据处理的核心,由于大数据的海量、复杂多样、变化快等特性,大数据环境下的传统小数据分析算法很多已不再适用,需要采用新的数据分析方法或对现有数据分析方法进行改进。
数据挖掘方法主要有分类、关联分析、聚类、异常检测、回归分析等,其中每一类包括众多的算法。分类包括支持向量机、决策树、贝叶斯、神经网络等技术;关联分析包括Apriori、FP-growth等算法;聚类分析分为划分法、层次法、密度法、图论法、模型法等,具体算法如k-means 算法、K-MEDOIDS算法、Clara算法、Clarans算法、SOM神经网络、FCM聚类算法等;异常检测包括基于统计、距离、偏差、密度等方法。在智能电网应用中需要对现有的算法进行优化和并行化改进,实现分布式处理。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
2005年前后,SmartGrid概念出现,欧美的SmartGrid选择了配网智能化、微电网、分布式电源、虚拟电厂的路径。中国的SmartGrid更强调集中投资,集中管理,特高压+风光大基地。路径没有对错,中国和欧美选择了当时各自合适的发展路线。时过境迁,新型电力系统的挑战,不仅来自“双高”,也就是高比例可再生
6月24日,国家能源局山东监管办公室发布关于征求《山东省新能源和新型并网主体涉网安全能力提升工作方案》意见的函。方案指出,纳入涉网安全管理范围的新能源和新型并网主体(以下简称并网主体)包括并入电网的各类集中式风电、集中式光伏、分散式风电、分布式光伏、新型储能、虚拟电厂、分布式智能电
粤港澳大湾区公共算力服务平台正式启动、韶关数投华为联合创新实验室等一批科创平台上线或揭牌、涵盖AI应用等领域的30余个重磅项目签约落地……6月13日,第四届粤港澳大湾区(广东)算力产业大会暨第三届中国算力网大会在广东韶关隆重举行。作为全国十大算力集群之一,全国一体化算力网络粤港澳大湾区
北极星储能网获悉,6月24日,林洋能源在投资者互动平台上表示,截至目前,公司已使用自有资金通过集中竞价交易方式实施了三期回购股份方案,累计使用资金约5.6亿元,回购了82,870,581股股份。2024年3月21日,公司控股股东华虹电子基于对公司未来持续稳定发展的坚定信心及对公司长期投资价值的认可,发
北极星售电网获悉,6月24日,国家能源局山东监管办发布关于征求《山东省新能源和新型并网主体涉网安全能力提升工作方案》意见的函。文件提出,强化虚拟电厂运行管理。纳入涉网安全管理范围的虚拟电厂应接受电力调度机构统一调度,按月向电力调度机构提交可调节资源清单和变更申请,月内原则上不得随意
AI赋能电力产业:变革、挑战与对策中国海油集团能源经济研究院韩广忠王建明近年来,人工智能(AI)技术正以前所未有的速度改变着各行各业,全球电力产业无疑成为获得益处与遭受冲击最为明显的领域之一。从能源生产、输配到消费管理,AI正在全方位推动产业升级,促进数字化转型,并为实现低碳发展和可持
能源与产业协同转型推进中国式现代化全球能源互联网发展合作组织副秘书长周原冰在全面推进中国式现代化的新征程上,能源与产业转型升级已成为落实“双碳”目标、实现高质量发展、打造国际竞争新优势的关键抓手。今年是“十四五”规划收官之年,也是“十五五”规划谋篇布局之年,值此承前启后的关键节点
近日,国家重点研发计划“用户侧燃料电池微网集成与主动支撑电网关键技术”项目示范工程在广州国际氢能产业园正式开工建设。该项目由广东电网公司广州供电局牵头,预计将在2026年建成国内规模最大“向上支撑电网、向下服务用户”氢热电高效联供燃料电池微网,热电联供综合效率超90%,达国际领先水平。
6月23日,2025年全国节能宣传周首日,记者了解到,随着2024年实现全年度生产办公场所100%绿色用电,南方电网公司成为首家生产办公全绿电的央企。广州电力交易中心提供的绿色电力消费核算清单显示,南方电网公司2024年全面使用绿色电力后,全年等效减少了二氧化碳排放超110万吨,社会和生态效益显著。近
AI大模型时代,我国提出开展“人工智能+”行动,AI智能体(Agent)被认为是“人工智能+”赋能各行各业应用落地的关键。生成式AI的发展是划时代的,堪比50年前个人电脑的出现和30年前互联网的出现,未来10年从个人生活方式到社会经济的方方面面,都会被颠覆或者重构。2025年政府工作报告明确提出持续推
引言冀北电网具有得天独厚的风、光资源优势,在这里新能源建设正全速推进。2025年6月最新数据表明,冀北新能源总装机已突破8000万千瓦,达8167.4万千瓦。新能源装机占比超75.8%,居全国首位。冀北电网已成为全国新能源发展的“排头兵”和“风向标”。面对高比例新能源接入导致的系统惯量降低与电压失稳
近日,菲律宾三大数据中心——HIVE菲律宾融合智算中心、ConvergeCaloocan数据中心、及Converge&NAVERCloud联合数据中心分阶段相继投入运营。算力中心全域电力管家正泰,作为核心电力系统承建方,为三大项目提供了关键支撑。菲律宾作为共建“一带一路”的重要节点和RCEP成员国,近年来数字经济蓬勃发展
日前,安阳市生态环境局印发《安阳市“无废城市”建设实施方案(2025—2027年)》(征求意见稿)。文件提出,到2027年底,安阳市“无废城市”制度、市场、技术、监管体系基本完善,主要指标达到省内先进水平,减污降碳协同增效作用初显;安阳市固体废物智慧监管信息平台上线运营,实现五大领域固体废物
北极星售电网获悉,近日,江苏省宜兴市首个虚拟电厂运营平台进入试运行阶段。该平台由宜兴市大数据发展有限公司和无锡市能源集团有限公司联合打造。据悉,此次宜兴市上线试运行的虚拟电厂运营平台,是通过现代信息通信技术和系统集成控制手段,以现有充电桩、分布式光伏、储能等电力设施为基础,整合分
北极星售电网获悉,6月25日,浙江省发展和改革委员会发布省发展改革委关于省十四届人大三次会议舟40号建议的答复。就建议省发改委、省经信厅、省大数据局等部门,统筹全省数据中心发展需求和新能源资源禀赋,支持普陀建设双循环多能互补绿色算力中心试点项目,并争取进入国家算力大通道。同时,支持普
随着互联网、大数据、人工智能等数字技术的发展和应用,推动社会经济以更细颗粒度的数据形式呈现,数据在软科学研究中发挥的作用也越来越大,为数据挖掘等提供了海量的样本数据,这使得建立基于数据驱动的研究范式成为可能,促使软科学研究范式由以往依靠专家驱动为主向数据驱动转变,更加强调运用数字
6月19日,安顺市大数据发展管理局发布安顺市建设数字经济创新区2025年工作要点,文件指出,开展算电协同试点。深化算电协同,探索用电扶持,切实加强与省内电力企业对接,积极探索绿电直供有效途径,推动绿电上网和源网荷储就地消纳,帮助算力企业降低用电成本。原文如下:安顺市建设数字经济创新区202
2025年6月25日,广州汽车集团股份有限公司与广州市公共交通集团有限公司战略合作协议签订仪式在广汽集团番禺总部举行。此次签约是双方深化合作的新起点,标志着双方在公共交通领域开启了协同创新、融合发展的新篇章。广汽集团董事长、总经理冯兴亚,广州公交集团董事长覃海宁,广汽集团副总经理高锐,
2025开年以来,国家发改委与能源局连发两道政策“组合拳”,深刻改写储能行业的发展逻辑。2月出台的“136号文”明确不得将储能配置作为新能源项目核准的前置条件,终结了持续8年的“强制配储”模式,4月落地的“394号文”明确要求2025年底前基本实现电力现货市场全覆盖。即将到来的电力市场格局变化,
在全球气候变化日益严峻的背景下,国家主席习近平于2020年在联合国大会上宣布了我国的“3060”目标,明确了碳达峰、碳中和(“双碳”)目标的内涵、基本路径和重点任务,“双碳”工作正式上升到国家战略层面。作为实现这一目标的基础性工作,碳排放核算体系的构建和完善尤为重要。碳排放核算是碳管理、
位于呼和浩特市南20余公里的和林格尔新区,是国家“东数西算”工程八大枢纽、十大数据中心集群之一,也是国家大数据综合试验区的核心区。记者采访获悉,截至目前,新区46个数据中心项目总算力规模达9.1万P,其中智能算力规模达8.6万P。当地通过“风—光—储”一体化清洁能源供电方式为算力中心提供“绿
6月24日,世界经济论坛第十六届新领军者年会(夏季达沃斯论坛)在天津举行。隆基绿能创始人、中央研究院院长、CTO李振国出席论坛,他指出,中国光伏产业正以技术创新与低碳实践引领全球绿色发展。在“能源转型现状如何”圆桌对话中,李振国与ACWA电力公司创始人兼董事长穆罕默德阿布纳扬,埃及规划和经
6月26日,长江电力副董事长、党委书记何红心,总经理、党委副书记刘海波一行在北京拜访国家电力调度控制中心主任、党委副书记董昱。双方围绕深化能源保供协作机制、推动能源绿色低碳转型、加强新型电力系统建设等方面进行座谈交流。董昱充分肯定了长江电力为保障国家能源安全作出的积极贡献。董昱表示
确保全国统一电力市场建设初步建成目标务期必成中国电力报评论员加快建设全国统一大市场,是党中央重大决策部署,全国统一电力市场是重中之重。国家能源局6月23日召开全国统一电力市场建设推进会,强调要凝聚共识、形成合力,确保“2025年初步建成全国统一电力市场”的目标按期完成。这一部署凸显了国
2005年前后,SmartGrid概念出现,欧美的SmartGrid选择了配网智能化、微电网、分布式电源、虚拟电厂的路径。中国的SmartGrid更强调集中投资,集中管理,特高压+风光大基地。路径没有对错,中国和欧美选择了当时各自合适的发展路线。时过境迁,新型电力系统的挑战,不仅来自“双高”,也就是高比例可再生
准确把握有利条件和战略任务加快构建新发展格局国家发展改革委党组面对国际国内形势深刻复杂变化,习近平总书记高瞻远瞩、审时度势提出构建以国内大循环为主体、国内国际双循环相互促进的新发展格局,并作出系列重要论述。习近平总书记关于构建新发展格局的重要论述高屋建瓴、思想深邃、博大精深,是习
北极星售电网获悉,6月25日,山东烟台市发展改革委发布第144322号:关于“高质量推进烟台实施绿色低碳转型”建议的答复。答复提出,能源结构优化方面。一是打造清洁能源示范高地,全国首个大规模近海桩基固定式海上光伏项目成功并网发电,实现山东海上光伏发电零突破,4大核电基地建设梯次推进,222万
北极星储能网获悉,6月13日,新疆自治区发展改革委与国网新疆电力有限公司联合印发《关于提高新能源发展韧性加快构建新型电力系统的通知》(新发改能源〔2025〕327号),其中明确提出:在调峰辅助服务补偿上限由0.7元/千瓦时下调至0.262元/千瓦时的基础上,新疆电力现货市场结算试运行期间,电力调峰市
当前,国网新源集团有限公司管理抽水蓄能电站69座,装机容量8818万千瓦(运行34座4267万千瓦、在建35座4551万千瓦),管理调频水电厂6座495.4万千瓦,正处于提质开发、批量建设、高频运营的高度叠加期。在建工程规模大、建设周期长、高风险作业多、地质条件复杂。国网新源集团坚持问题导向、系统观念,
国网信息通信产业集团有限公司深入学习贯彻习近平总书记关于安全生产、能源保供的重要论述和重要指示批示精神,全面落实国家电网有限公司安全生产工作部署,秉持“大道至简、实干为要”管理理念,弘扬“风清气正、担当作为”优良作风,立足职责定位,聚焦新型电力系统建设和电网高质量发展,持之以恒建
习近平总书记指出,统筹发展和安全,任何时候都必须紧紧抓在手上。国网湖北省电力有限公司坚决贯彻习近平总书记关于安全生产、能源保供的重要论述和重要指示批示精神,全面落实国家电网有限公司党组决策部署,以安全生产治本攻坚三年行动为主线,聚力重大风险隐患清仓见底、安全稳定保供水平跃升,在统
为贯彻落实国家发展改革委、国家能源局《关于深化新能源上网电价市场化改革促进新能源高质量发展的通知》(发改价格〔2025〕136号)文件精神,加快构建新型电力系统,充分发挥市场在资源配置中的决定性作用,推动新能源高质量发展,制定《深化蒙西电网新能源上网电价市场化改革实施方案》(内发改价费
北极星售电网获悉,近日,新疆自治区发展改革委会同国网新疆电力有限公司印发了《关于提高新能源发展韧性加快构建新型电力系统的通知》(新发改能源〔2025〕327号,以下简称《通知》)。《通知》明确了2025年新疆新能源的发展目标:力争2025年新增并网新能源装机5000万千瓦,“十五五”期间每年新增并
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!