登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2.1数据集成技术
智能电网大数据具有分散性、多样性和复杂性等特征,这些特征给大数据处理带来极大的挑战。要想处理智能电网大数据,首先就需要对众多数据源的数据进行集成,通过数据抽取、转换、剔除、修正等处理,建立正确、完整、一致、完备、有效的智能电网大数据。目前通常采用的数据集成模型包括数据联邦、基于中间件模型和数据仓库等。
ETL是企业数据集成的主要解决方案。ETL指Extract、Transform、Load,即抽取、转换、加载。数据抽取是从源数据源系统抽取目的数据源系统需要的数据;数据转换是将从源数据源获取的数据按照业务需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工;数据加载是将转换后的数据加载到目的数据源。ETL过程中的主要环节就是数据抽取、数据转换和加工、数据加载。为了实现这些功能,各个ETL工具一般会进行一些功能上的扩充,例如工作流、调度引擎、规则引擎、脚本支持、统计信息等。
数据集成是智能电网大数据应用的关键环节。智能电网大数据集成涉及众多各类型的应用系统,这些系统类型和特征复杂,在实时性要求、数据规模、数据类型等方面存在较大的差异,在智能电网大数据集成中需要综合考虑各种因素,在集成技术上单一技术可能很难实现,需要结合多种技术来实现智能电网大数据的集成。
2.2数据存储技术
在智能电网大数据中,绝大多数数据为结构化数据,同时也存在文本、图像、音频、视频等非结构化或半结构化数据。对非结构化数据可采用分布式文件系统进行存储,对结构松散无模式的半结构化数据可采用分布式数据库,对海量的结构化数据可采用传统关系型数据库系统或分布式并行数据库。
2.2.1 分布式文件系统
分布式文件系统适合存储海量的非结构化数据,将数据存储在物理上分散的多个存储节点上,对这些节点的资源进行统一管理和分配,并向用户提供文件系统访问接口,主要解决本地文件系统在文件大小、文件数量、打开文件数等方面的限制问题。
Hadoop是大数据的一个解决方案,可以实现大数据的存储、分析和管理[9]。HDFS (Hadoop Distributed File System)是一个分布式文件系统,它是开源项目Hadoop的家族成员。HDFS将大规模数据分割为大小为64兆字节的数据块,存储在多个数据节点组成的分布式集群中,当数据规模增加时,只需要在集群中增加更多的数据节点,具有很强的可扩展性;同时每个数据块会在不同的节点中存储多个副本,具有高容错性;由于数据是分布存储的,具有高吞吐量的数据访问能力。
2.2.2 分布式数据库
大数据环境下对数据的存储、管理、查询和分析需要采用新的技术,传统的数据库在数据存储规模、吞吐量、以及数据类型和支撑应用等存在瓶颈。分布式数据库由于具有很好的扩展性和协同性,在大规模数据存储和管理中得到广泛的应用。目前主要有键值存储系统、文档数据库、图数据库等。
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,它不同于一般的有模式的关系型数据库,HBase存储的数据表是无模式的,特别适合结构复杂多样的半结构化数据存储。HBase利用HDFS作为其文件存储系统,可利用Map-Reduce技术来处理HBase中的海量数据。
2.2.3 关系型数据库系统
智能电网中很大一部分数据是结构化数据,针对一些数据和业务应用,传统关系型数据库可能更适合,因此在大数据环境下,传统关系型数据库也具有一定的应用。基于传统数据库如Oracle等构建数据仓库,开展智能电网业务的分析挖掘。
智能电网大数据结构复杂、种类繁多,其数据存储需要根据数据的特点选用适合的数据存储方式。数据管理也是智能电网大数据的重要功能,从整体上对存储在不同系统上的数据进行统一管理,并提供数据索引和查询功能。综合以上分析,数据存储对比见表1。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,国能日新自研「旷冥」大模型完成了自正式发布以来的首次迭代升级,迎来了「旷冥」2.0版本。本次升级,除了对模型稳定性和整体性能进行优化,更是在技术层面全效升级。首先在大模型技术方面,创新采用了多维度patching注意力机制架构,并显式嵌入了平流、对流方程,构建物理驱动的深度神经网络模
当地时间5月7日,2025年德国慕尼黑光伏储能展览会(IntersolarEurope)在慕尼黑新国际展览中心盛大启幕。作为全球太阳能领域规模最大的顶级盛会,此次展会吸引了超3000家国际企业参展。首航新能源再启海外追光之旅,携重磅新品及全场景智慧光储解决方案闪耀亮相展会,与来自全球同行伙伴及客户共同探索全
“五一”假期期间,在河北省永清县圆通速递北方总部基地二期项目内,30条全自动分拣线高速运转。恰逢换季与出行游玩高峰期,消费者频繁网购服装、出行装备等商品,这几日,圆通速递北方总部基地的日均操作量高达550万件。“自去年底全自动分拣线投产以来,我们快递的日处理能力提升至1000万件,产能和
近日,国能日新自研「旷冥」大模型完成了自正式发布以来的首次迭代升级,迎来了「旷冥」2.0版本。本次升级,除了对模型稳定性和整体性能进行优化,更是在技术层面全效升级。首先在大模型技术方面,创新采用了多维度patching注意力机制架构,并显式嵌入了平流、对流方程,构建物理驱动的深度神经网络模
5月7日,赤峰市市场监督管理局发布《关于征集2025年国家、自治区标准化试点项目的通知》,通知指出,此次申报包含碳排放领域,在重点企业及园区开展碳排放管理体系、产品碳足迹、低碳、零碳园区标准化试点,探索节能降碳的标准化实施路径。内容如下:一、申报原则(一)公开自愿:试点项目面向社会公开
北极星储能网获悉,5月7日,内蒙古自治区工业和信息化厅发布关于征集2025年度工业和信息化领域节能降碳技术装备的通知,征集范围包括高效储能、工业绿色微电网等可再生能源消纳技术。原文如下:关于征集2025年度工业和信息化领域节能降碳技术装备的通知各盟市工业和信息化局,有关科研单位院所、行业协
北极星售电网获悉,4月30日,浙江电力市场管理委员会印发《浙江省虚拟电厂运营管理细则(试行)》,首次系统规范虚拟电厂主体注册、能力认证、变更退出等运营管理全流程,《细则》共11章49条内容,明确了虚拟电厂的定义、准入条件、运营规则及责任分工,构建了涵盖注册接入、能力认证、市场交易、保供
今年“五一”假期期间(5月1~5日),国家电网智慧车联网平台充电量超1.24亿千瓦时,同比增长超20%。其中,高速公路充电量超3771万千瓦时,同比增长超29%;5月1日单日充电服务次数超119万次,创新高。截至5月6日,该平台累计注册用户数超4600万户。为保障“五一”假期期间新能源汽车车主便捷出行,国网
2025年4月,内蒙古电力集团售电量277.23亿千瓦时,同比增长11.95%;区内售电量241.68亿千瓦时,同比增长10.67%;外送电量35.55亿千瓦时,同比增长21.51%,9家盟市供电公司售电量全部实现正增长。售电量与外送电量增速双超10%背后,是各部门和各单位将售电量做为第一指标,紧紧围绕“稳存量、拓增量、挖
《2025年能源工作指导意见》提出“统筹推进新型电力系统建设,推进虚拟电厂高质量发展”。4月30日,浙江电力市场管理委员会印发《浙江省虚拟电厂运营管理细则(试行)》(以下简称《细则》),首次系统规范虚拟电厂主体注册、能力认证、变更退出等运营管理全流程,旨在推动浙江虚拟电厂实现规范化、规
4月30日,《浙江省虚拟电厂运营管理细则(试行)》(以下简称《细则》)正式印发,首次系统明确虚拟电厂从“注册接入-能力认证-运行管理-交易管理-保供管理-退出管理”的全流程闭环管理要求,并依托新型电力负荷管理系统实现资源“可观、可测、可调、可控”,推动虚拟电厂健康运营,助力新型电力系统高
4月30日,第八届数字中国峰会在福州市海峡国际会展中心召开。国网石家庄供电公司自主开发的“电力数据服务大气污染防治”数字化应用场景,以及配合公司数字化部打造的“电力看水资源管理(以电折水)”数字化应用场景受邀参展,吸引了众多关注。“电力数据服务大气污染防治”数字化应用场景深度挖掘电
5月8—9日,由中国电力企业联合会主办的第二届电力行业科技创新大会在广州成功举办。大会以“创新驱动发展智能引领未来”为主题,全面贯彻党的二十大和二十届二中、三中全会精神,落实党中央、国务院关于科技创新工作的决策部署,汇聚行业智慧,科学研判电力行业发展新趋势,共商科技创新突破新路径,
5月9日,南方电网基于全电磁暂态仿真的新能源并网主动支撑大系统仿真研究招标。南方五省区新能源渗透率不断提升,而新能源大量采用了电力电子设备,电力系统惯量水平持续降低,对系统频率安全造成了严重威胁。新能源中大量电力电子设备动作复杂且快速,设备故障前后系统特征变化较大,其电磁暂态过程对
4月28日,内蒙古电力集团迎来巴彦淖尔供电公司与巴运集团正式签署电动汽车充电战略合作协议,标志着内蒙古电力集团首个集团化充电服务项目成功落地。这一创新合作不仅填补了内蒙古电力集团在电动汽车集中充电服务领域的空白,更为行业提供了“供电+增值服务”的全新样板。该项目依托巴彦淖尔供电公司95
随着欧洲能源转型进程加速和极端天气频发,区域内电网稳定性问题日益突出。当地时间4月28日中午,西班牙和葡萄牙突发大规模停电事故,导致交通、通信、医疗等关键领域陷入混乱,影响范围波及超过5000万民众,周边法国、意大利等国亦受影响。此次停电事件再次暴露了欧洲电网的脆弱性,同时更暴露出欧洲
日前,国家发展改革委、国家能源局发布《关于加快推进虚拟电厂发展的指导意见》,明确提出“加快提升虚拟电厂的发展规模和水平”“坚持开放包容,健全支持虚拟电厂发展的政策和市场体系”。什么是虚拟电厂?虚拟电厂是基于电力系统架构,运用现代信息通信、系统集成控制等技术,聚合分布式电源、可调节
当地时间5月7日,备受瞩目的IntersolarEurope2025在德国慕尼黑新国际会展中心盛大启幕。在本次汇聚全球顶尖能源企业的行业盛会上,林洋能源携创新成果惊艳亮相,通过全场景智慧能源解决方案的立体化展示,向世界展现中国企业在能源转型中的技术实力与战略担当。面对欧洲能源转型需求,林洋能源通过技术
5月7日,珠海高新区关于征集2025年珠海高新区黑科技产品的通知。要求符合珠海高新区“3+3+1”现代化产业体系发展方向。(半导体与集成电路、信创产业、人工智能与机器人三大前沿产业链,生物医药与医疗器械、新能源与智能电网、数字经济三大特色产业集群,以及人工智能、低空经济、生命健康等1个未来产
“五一”假期期间,在河北省永清县圆通速递北方总部基地二期项目内,30条全自动分拣线高速运转。恰逢换季与出行游玩高峰期,消费者频繁网购服装、出行装备等商品,这几日,圆通速递北方总部基地的日均操作量高达550万件。“自去年底全自动分拣线投产以来,我们快递的日处理能力提升至1000万件,产能和
4月27日,国网冀北信通公司发布数网魔方平台,实现从“技术依赖”向“业务自主”的跨越,形成数字电网新场景积木式搭建新模式。冀北信通此次创新打造的数网魔方平台,以电网一张图标准服务为基础,打造了“标准化组件+敏捷运营”双引擎的电网数字场景建设应用平台。依托电网资源业务中台和量测数据中心
4月27日至29日,第十六届中国国际核电工业展览会在北京国家会议中心举行。国家电投集团国核自仪在此间发布和睿全系列产品,标志着“和睿”品牌布局三大平台、八大产品体系战略已迈入成熟化产业应用全新阶段。随着中国核能安全发展、创新发展的步伐不断加快,核电技术服务核心能力得到持续增强。本次发
日前,丹江口城镇污水处理厂2024年年鉴公布。2024年葛洲坝集团丹江口中和水质净化有限公司、北京桑德丹江口颐源水务有限公司、北京碧水源丹江口润水源水务有限公司负责的16座污水处理厂生产运行稳定,无任何安全事故发生,完成了污水处理厂出水稳定达标排放的任务。生活污水集中收集率达到99%,丹江口
北极星售电网获悉,5月9日,贵州省能源局发布关于公开征求《贵州省电力需求响应交易方案(2025年版)(征求意见稿)》意见的通知,本方案所指电力需求响应为削峰、填谷类需求响应,全省或局部范围出现电力供需平衡缺口,视情况启动。邀约型削峰响应补偿价格上限为2.0元/千瓦时。邀约型填谷响应补偿标准
日前,深圳能源集团发布宝安能源生态园一、二、三期(含餐厨项目)两年期(2025.06.01-2027.05.31)日常维护检修项目招标公告,投标截止时间为2025年5月21日。主要内容如下:项目名称:宝安能源生态园一、二、三期(含餐厨项目)两年期2025.06.01-2027.05.31)日常维护检修项目招标代理人:深圳能源集
5月7日,普陀山生活污水处理设施改扩建工程(重新招标)招标公告发布。该项目在原厂北侧新建污水处理厂一座,处理能力7000吨/日,总建筑面积1371.84平方米,包含组合房、进出水在线监测用房和反硝化滤池等。招标人为舟山市普陀山环卫管理服务有限公司,招标控制价6901.8851万元,接受联合体投标。详情如
北极星储能网讯:近日,浙江省宁波市能源局发布了《宁波市电化学储能项目建设运行管理工作指南(试行)》。其中指出,电化学储能电站(设施)应按国家有关规定办理工程质量监督手续。用户侧电化学储能电站(设施)在公共连接点的电压偏差、电压波动和闪变、谐波等电能质量指标应满足国家相关标准要求。
“验收完毕,所有例检工作及缺陷处理核查无误,检修工作结束。”5月4日下午,随着工作负责人武斌与当值值班长李晓杰全面验收后,山西1000千伏特高压长治站完成年度大规模综合“体检”。“晋东南—南阳—荆门”特高压交流试验示范工程起于山西晋东南(长治)站,于2009年1月6日投运,是我国第一条特高压交
日前,安徽临泉县污水处理厂改扩建工程招标公告发布。该项目扩建临泉县污水处理厂,扩建处理规模3万立方米/天。污水处理系统工程建设内容:粗格栅及污水提升泵房、细格栅及旋流沉砂池、反应沉淀一体化组合生化池、高效沉淀池、反硝化深床滤池、接触消毒池、污泥浓缩脱水机房、污泥池及调理池、配电间及
4月29日,国电南瑞发布2024年年报。公司全年实现营业收入574.17亿元,较上年同期增长11.15%,实现归属于上市公司股东的净利润76.10亿元,较上年同期增长6.06%,基本每股收益0.95元。报告提到,报告期内抢抓特高压、抽水蓄能发展机遇,中标甘肃-浙江等特高压、辽宁大雅河等抽水蓄能工程。新一代调控中标
近期,全球贸易格局重塑。浙江政企抱团形成合力,既应对短期问题,也谋划长期转型。作为经济“血脉”的电力系统,通过加强电力数据监测分析,为各地政府制定政策、企业优化生产策略提供科学支撑。在“世界超市”义乌,当地供电公司通过电力数据每日监测企业生产动态,结合企业对美依赖度形成多维分析模
近期,我国南方地区进入汛期,广西、广东分别于4月1日、4月15日全面进入汛期。4月18日以来,南方多地遭遇强降雨过程,广东、广西、贵州等地部分区域降雨量较大,伴有强对流天气,给电网安全运行和电力供应带来挑战。南方电网公司累计投入万余人、应急发电车94台、应急发电机54台开展抢修复电和保供电工
4月21日,湖南岳阳供电公司变电检修人员在220千伏奇岭变电站成功投运DF6908避雷器在线监测装置。采用带电作业方式安装该装置仅需10分钟。该装置可实现避雷器在线监测,提升电网避雷器智能化运维水平。该装置由太阳能供电,维护次数少、检测精度高,能够每天自动进行避雷器泄漏电流数据实时采样,并形成
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!