登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2.1数据集成技术
智能电网大数据具有分散性、多样性和复杂性等特征,这些特征给大数据处理带来极大的挑战。要想处理智能电网大数据,首先就需要对众多数据源的数据进行集成,通过数据抽取、转换、剔除、修正等处理,建立正确、完整、一致、完备、有效的智能电网大数据。目前通常采用的数据集成模型包括数据联邦、基于中间件模型和数据仓库等。
ETL是企业数据集成的主要解决方案。ETL指Extract、Transform、Load,即抽取、转换、加载。数据抽取是从源数据源系统抽取目的数据源系统需要的数据;数据转换是将从源数据源获取的数据按照业务需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工;数据加载是将转换后的数据加载到目的数据源。ETL过程中的主要环节就是数据抽取、数据转换和加工、数据加载。为了实现这些功能,各个ETL工具一般会进行一些功能上的扩充,例如工作流、调度引擎、规则引擎、脚本支持、统计信息等。
数据集成是智能电网大数据应用的关键环节。智能电网大数据集成涉及众多各类型的应用系统,这些系统类型和特征复杂,在实时性要求、数据规模、数据类型等方面存在较大的差异,在智能电网大数据集成中需要综合考虑各种因素,在集成技术上单一技术可能很难实现,需要结合多种技术来实现智能电网大数据的集成。
2.2数据存储技术
在智能电网大数据中,绝大多数数据为结构化数据,同时也存在文本、图像、音频、视频等非结构化或半结构化数据。对非结构化数据可采用分布式文件系统进行存储,对结构松散无模式的半结构化数据可采用分布式数据库,对海量的结构化数据可采用传统关系型数据库系统或分布式并行数据库。
2.2.1 分布式文件系统
分布式文件系统适合存储海量的非结构化数据,将数据存储在物理上分散的多个存储节点上,对这些节点的资源进行统一管理和分配,并向用户提供文件系统访问接口,主要解决本地文件系统在文件大小、文件数量、打开文件数等方面的限制问题。
Hadoop是大数据的一个解决方案,可以实现大数据的存储、分析和管理[9]。HDFS (Hadoop Distributed File System)是一个分布式文件系统,它是开源项目Hadoop的家族成员。HDFS将大规模数据分割为大小为64兆字节的数据块,存储在多个数据节点组成的分布式集群中,当数据规模增加时,只需要在集群中增加更多的数据节点,具有很强的可扩展性;同时每个数据块会在不同的节点中存储多个副本,具有高容错性;由于数据是分布存储的,具有高吞吐量的数据访问能力。
2.2.2 分布式数据库
大数据环境下对数据的存储、管理、查询和分析需要采用新的技术,传统的数据库在数据存储规模、吞吐量、以及数据类型和支撑应用等存在瓶颈。分布式数据库由于具有很好的扩展性和协同性,在大规模数据存储和管理中得到广泛的应用。目前主要有键值存储系统、文档数据库、图数据库等。
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,它不同于一般的有模式的关系型数据库,HBase存储的数据表是无模式的,特别适合结构复杂多样的半结构化数据存储。HBase利用HDFS作为其文件存储系统,可利用Map-Reduce技术来处理HBase中的海量数据。
2.2.3 关系型数据库系统
智能电网中很大一部分数据是结构化数据,针对一些数据和业务应用,传统关系型数据库可能更适合,因此在大数据环境下,传统关系型数据库也具有一定的应用。基于传统数据库如Oracle等构建数据仓库,开展智能电网业务的分析挖掘。
智能电网大数据结构复杂、种类繁多,其数据存储需要根据数据的特点选用适合的数据存储方式。数据管理也是智能电网大数据的重要功能,从整体上对存储在不同系统上的数据进行统一管理,并提供数据索引和查询功能。综合以上分析,数据存储对比见表1。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
7月18日,国务院新闻办公室举行新闻发布会,介绍2025年上半年工业和信息化发展情况。工业和信息化部总工程师谢少锋,部新闻发言人、运行监测协调局局长陶青,部信息通信发展司司长谢存出席发布会,介绍相关情况并回答记者提问。上半年工业和信息化事业发展态势良好新型工业化加快推进工业和信息化部总
受持续高温天气影响,重庆市用电需求激增。记者从国网重庆市电力公司获悉,截至7月17日中午,重庆电网负荷攀升至2852万千瓦,创历史新高。面对严峻的保供形势,国网重庆市电力公司全力确保电网安全稳定运行和电力可靠供应。公司实施24小时不间断监控,依托电力大数据提前分析负荷特性,结合气象信息开
7月11日,贵安供电局在新区供电辖区全面启动工业园区、居民小区“一户一表”改造项目,全力打造全国首个“零转供电”示范区。2024年,贵安供电局在全省率先出台《工业园区供电抄表到户升级改造实施方案》,在贵安综合保税区率先推行企业装表到户,实现从“一园一表”到“一企一表”的升级突破,助力园
2025年11月24-26日,深圳会展中心(福田)将迎来三场国家级环境领域盛会——第三届深圳国际生态环境监测产业博览会(EMIE2025)、深圳国际水务科技博览会(IWTE2025)、国际(深圳)环境技术交流与转移博览会(环交会),三展首次同期同地举办,形成“技术研发-应用落地-国际转移”全产业链闭环,为全球生态环境
近日,海辰储能厦门总部基地工厂与重庆基地工厂双双入选2025年度先进级智能工厂榜单。这一殊荣不仅是对两座工厂在制造高端化、智能化、绿色化发展成果的权威认可,更标志着海辰储能以“智造”为引擎,持续夯实储能新质生产力根基,助力新型储能制造业高质量发展。双厂入选,海辰储能以数智化重构制造竞
近期,国家连续发布《关于深化新能源上网电价市场化改革促进新能源高质量发展的通知》(发改价格〔2025〕136号文)(以下简称136号文)、《电力辅助服务市场基本规则》(发改能源规〔2025〕411号)、《关于全面加快电力现货市场建设工作的通知》(发改办体改〔2025〕394号)(以下简称394号文)等系列政
500多家展商800个展位30,000平米展出面积35,000名专业观众一、展会概况深入贯彻落实习近平总书记关于水旱灾害防御和水利基础设施建设的重要指示批示精神,着力推动解决农业小型水利设施老化、塘坝淤塞严重、水渠不畅等问题,提高农业抵御与自然灾害和综合生产能力,全面推进乡村振兴、加快农业水利强省
日前,辽宁省人民政府办公厅关于印发《辽宁省促进人工智能创新发展实施方案》的通知,通知指出,发挥辽宁城市群和产业集群优势,因地制宜打造智慧产业园区,建设地市级人工智能赋能中心。鞍山、本溪、辽阳、盘锦、葫芦岛等市围绕智慧钢铁、智慧矿山、数智油田、智慧化工等打造应用场景示范;阜新、铁岭
北极星售电网获悉,7月15日,河南省发展和改革委员会发布关于印发《河南省深化智慧城市发展推进城市全域数字化转型实施方案(2025—2027年)》(以下简称《方案》)的通知。《方案》指出,加强重点行业和区域碳排放监测分析,提升省能源大数据中心功能,支持建立多方参与的碳普惠机制,探索个人企业碳
北极星售电网获悉,7月16日,江苏南通市政府办公室关于印发南通市加快推进生产性服务业高质量发展行动方案(2025—2027年)的通知。文件明确,探索低碳节能服务发展路径。积极引进国内外权威认证组织在通设立分支(合作)机构,提供“一站式”涉碳类认证和咨询服务,推动重点产品碳足迹的国际衔接互认
记者16日从南方电网贵州电网公司获悉,今年1至6月,贵州绿电交易电量43.36亿千瓦时,同比增长224%,参与绿电交易的电力用户达703家,同比增长了7倍。近年来,贵州加快构建新型综合能源基地,有序发展风电、光伏等新能源产业,努力构建清洁低碳、安全高效的现代化能源体系。截至2025年6月底,贵州电网统
广东灵活调节能力现状及提升路径分析——《新型电力系统下广东灵活调节能力分析及提升举措》摘编王雪辰/整理(中能传媒能源安全新战略研究院)在构建新型电力系统进程中,电力系统的运行特性发生了根本性的变化。新能源大规模接入电网,导致电力系统的灵活调节需求急剧攀升,传统电力系统的灵活调节能
7月16-20日,以“链接世界、共创未来”为主题,由中国贸促会主办的第三届中国国际供应链促进博览会在北京盛大召开。75个国家和地区651家企业和机构参展,集中展示各链条上中下游关键环节的新技术、新产品、新服务,亨通携电力、通信、新材料领域全链路产品矩阵精彩亮相本次展会。在电力领域,亨通此次
7月11日,贵安供电局在新区供电辖区全面启动工业园区、居民小区“一户一表”改造项目,全力打造全国首个“零转供电”示范区。2024年,贵安供电局在全省率先出台《工业园区供电抄表到户升级改造实施方案》,在贵安综合保税区率先推行企业装表到户,实现从“一园一表”到“一企一表”的升级突破,助力园
近日,国网宁波杭湾供电分公司顺利完成最后一条双回路线路的上线工作。至此,宁波前湾新区城区配电线路“全自动FA”实现100%覆盖,标志着配电网故障处置正式迈入“秒级自愈”时代。据悉,全自愈智能电网是指电网系统具备自主诊断、隔离故障并快速恢复供电的能力。通过先进的FA系统,电网可在故障发生时
7月9日,市场监管总局、工业和信息化部发布了关于印发《计量支撑产业新质生产力发展行动方案(2025—2030年)》的通知,其中提到,面向太阳能、风能、核能、氢能、海洋能、生物质能、地热能等领域,围绕关键核心技术装备自主化发展、能源生产储运基础设施建设、储能系统及相关装备研究及产业化等方向计
北极星售电网获悉,7月9日,市场监管总局、工业和信息化部发布了关于印发《计量支撑产业新质生产力发展行动方案(2025—2030年)》的通知(国市监计量发〔2025〕59号),其中提到,面向太阳能、风能、核能、氢能、海洋能、生物质能、地热能等领域,围绕关键核心技术装备自主化发展、能源生产储运基础设
自2024年7月组建以来,国网电力工程研究院有限公司持续深化科技体制机制改革,开展技术攻关,推动产学研用一体发展。牵头获批国家电网有限公司山区基础施工和舞动研究“任务制”项目、抗冰防舞框架项目,锻造重大工程建设和电网安全运行核心技术;在特高压工程建设环保水保管理中全面推广电力遥感技术
7月的浙江热浪袭人,电网负荷曲线持续攀升。7月4日,浙江全省最高用电负荷达12173万千瓦,冲破1.2亿千瓦大关的时间较去年提前了整整15天,杭州、绍兴等地电网负荷更是刷新历史纪录。据浙江省能源局预测,今夏浙江午峰和晚峰最高负荷将分别达到1.33亿千瓦和1.17亿千瓦,同比增长7.8%,电力保供面临“用
7月10日,青岛市人民政府印发《青岛市加快经济社会发展全面绿色转型实施方案》。文件提出,积极稳妥发展非化石能源。积极布局海洋新能源,在青岛西海岸新区、即墨区海域集中开发海上风电,加快深远海海上风电项目和即墨区海上光伏项目建设,谋划储备远海漂浮式光伏项目,力争2030年建成千万千瓦级海上
受持续高温天气影响,7月7日,位于广东横琴粤澳深度合作区的综合能源区域、科学城、粤澳合作中医药科技产业园区的用电负荷出现较大波动。得益于近期投产的全国首个基于混频调制技术的紧凑化经济型多端柔性交流配电互联工程,该区域多回20千伏配电线路自动启用互相调剂负荷功能,在短短30秒内,负荷已控
北极星售电网获悉,7月10日,山东青岛市人民政府发布关于印发《青岛市加快经济社会发展全面绿色转型实施方案》(以下简称《方案》)的通知。《方案》指出,加快构建新型电力系统。统筹本地电网结构优化和互联输电通道建设,推进琅琊、寨里等500千伏骨干电网工程。加快微电网、虚拟电厂、源网荷储一体化
7月14日,浙江省常山县人民政府印发《加快发展新质生产力全力推进新型工业化的若干政策意见》的通知。通知指出,支持企业改造提升,对技改项目按新设备投资额给予不同比例的一次性补助,最高限额1000万元。坚持绿色安全发展,首次评为国家级绿色工厂、绿色供应链、绿色设计产品的企业,分别给予50万元
记者7月16日从国网四川省电力公司获悉,受持续高温晴热天气影响,四川电网用电负荷快速攀升。7月16日21时25分,四川电网最高用电负荷达到7224万千瓦,首次突破7000万千瓦大关,创下历史新高。入夏以来,四川多地遭遇持续高温天气,居民制冷负荷显著增加,带动全省用电负荷不断攀升。为保障电力可靠供应
“针对海上风机叶片状态监测需求,土星视界产品团队克服海上噪声多变环境的挑战,解决‘密封保护vs声音采集’的矛盾,率先在行业内发布‘风翼卫士-海风版’产品,可通过声纹监测早期发现叶片缺陷,持续实现‘保障叶片裂而不断’的行业承诺。”——南京土星视界科技有限公司创始人兼CEO陈双辉7月2日,由
7月15日,山东沂源高新技术产业园发展有限公司第三污水处理厂项目招标公告。该项目处理规模为4万立方米/天,占地约93.726亩,主要建设第三污水处理厂厂区及配套设施(含综合楼、门卫污泥脱水车间、臭氧制备间、机修间、MBR综合车间、中水回用泵房及水质在线监测室,建筑面积4631.03平方米);购置回转式
为进一步落实迎峰度夏能源保供工作要求,压实电力企业保供责任,7月11日,西北能源监管局对近期发生机组非计划停运的两家发电企业进行了监管约谈。西北能源监管局听取了被约谈企业关于发电机组非停事件经过、处置情况、暴露的深层次问题和下一步整改措施。约谈强调,当前正处于迎峰度夏能源保供的关键
7月11日,黑龙江巴彦县生活垃圾焚烧发电项目主体建安工程招标公告发布,详情如下:巴彦县生活垃圾焚烧发电项目主体建安工程招标公告招标编号:FJ0112G2506050010011.招标条件本招标项目已由黑龙江省发改和改革委员会以黑发改新能源[2022]779号文件批复,项目资金已到位,建设资金来自20%企业自有,80%
近日,美丽北仑建设工作领导小组办公室印发《北仑区2025年空气质量持续改善行动方案》的通知,方案提出,强化煤炭总量控制。严格落实《宁波市煤炭消费减量替代工作方案》,重点削减非电力行业用煤。深入实施煤电机组“三改联动”,对5000吨标煤以上的重点用能企业实施化石能源消费预算管理。全区原则上
北极星储能网获悉,7月8日,湖南省发改委发布对省十四届人大三次会议0799号建议的答复,提到,推广新能源汽车应用。全省纯电动公共汽电车占比97.48%,新增公交车新能源占比100%,新能源公交推广比例全国领先,纯电动巡游出租车占比55.3%。充电基础设施逐步完善。累计建成充电桩33.61万个,高速公路服务
随着风电迈向“更高、更大、更远”,混凝土+钢结构组合的“混塔”方案成为高塔大型风机的主流选择。但必须警惕,混塔结构作为新兴设计,尚缺乏大规模、长周期运行验证,尤其是塔基与过渡段连接部位,长期受风振、沉降、温差影响,极易出现:⚠锚索张力失衡⚠塔筒结构错动变形⚠塔筒螺栓松动与晃动加剧
7月7日,东方电气旗下阿勒泰东津新能源有限公司发布东方电气布尔津100万千瓦风电项目储能系统EPC总承包招标公告。项目位于新疆维吾尔自治区阿勒泰地区布尔津县境内,东方电气布尔津风电项目计划装机规模1000MW,在布尔津县风电项目内,项目配置25%/4h储能系统,储能规模250MW/1GWh。东方电气布尔津100
7月7日,东方电气集团旗下木垒东吉新能源有限公司发布了东方电气木垒100万千瓦科技创新实验风场项目储能系统EPC总承包招标公告。项目位于新疆维吾尔自治区昌吉州木垒县境内,总承包范围为:本工程储能系统全部勘察、设计工作,包括但不限于土建、电气等所有专业;投标人提供储能厂区的全部设备(含抽检
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!