登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2.1数据集成技术
智能电网大数据具有分散性、多样性和复杂性等特征,这些特征给大数据处理带来极大的挑战。要想处理智能电网大数据,首先就需要对众多数据源的数据进行集成,通过数据抽取、转换、剔除、修正等处理,建立正确、完整、一致、完备、有效的智能电网大数据。目前通常采用的数据集成模型包括数据联邦、基于中间件模型和数据仓库等。
ETL是企业数据集成的主要解决方案。ETL指Extract、Transform、Load,即抽取、转换、加载。数据抽取是从源数据源系统抽取目的数据源系统需要的数据;数据转换是将从源数据源获取的数据按照业务需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工;数据加载是将转换后的数据加载到目的数据源。ETL过程中的主要环节就是数据抽取、数据转换和加工、数据加载。为了实现这些功能,各个ETL工具一般会进行一些功能上的扩充,例如工作流、调度引擎、规则引擎、脚本支持、统计信息等。
数据集成是智能电网大数据应用的关键环节。智能电网大数据集成涉及众多各类型的应用系统,这些系统类型和特征复杂,在实时性要求、数据规模、数据类型等方面存在较大的差异,在智能电网大数据集成中需要综合考虑各种因素,在集成技术上单一技术可能很难实现,需要结合多种技术来实现智能电网大数据的集成。
2.2数据存储技术
在智能电网大数据中,绝大多数数据为结构化数据,同时也存在文本、图像、音频、视频等非结构化或半结构化数据。对非结构化数据可采用分布式文件系统进行存储,对结构松散无模式的半结构化数据可采用分布式数据库,对海量的结构化数据可采用传统关系型数据库系统或分布式并行数据库。
2.2.1 分布式文件系统
分布式文件系统适合存储海量的非结构化数据,将数据存储在物理上分散的多个存储节点上,对这些节点的资源进行统一管理和分配,并向用户提供文件系统访问接口,主要解决本地文件系统在文件大小、文件数量、打开文件数等方面的限制问题。
Hadoop是大数据的一个解决方案,可以实现大数据的存储、分析和管理[9]。HDFS (Hadoop Distributed File System)是一个分布式文件系统,它是开源项目Hadoop的家族成员。HDFS将大规模数据分割为大小为64兆字节的数据块,存储在多个数据节点组成的分布式集群中,当数据规模增加时,只需要在集群中增加更多的数据节点,具有很强的可扩展性;同时每个数据块会在不同的节点中存储多个副本,具有高容错性;由于数据是分布存储的,具有高吞吐量的数据访问能力。
2.2.2 分布式数据库
大数据环境下对数据的存储、管理、查询和分析需要采用新的技术,传统的数据库在数据存储规模、吞吐量、以及数据类型和支撑应用等存在瓶颈。分布式数据库由于具有很好的扩展性和协同性,在大规模数据存储和管理中得到广泛的应用。目前主要有键值存储系统、文档数据库、图数据库等。
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,它不同于一般的有模式的关系型数据库,HBase存储的数据表是无模式的,特别适合结构复杂多样的半结构化数据存储。HBase利用HDFS作为其文件存储系统,可利用Map-Reduce技术来处理HBase中的海量数据。
2.2.3 关系型数据库系统
智能电网中很大一部分数据是结构化数据,针对一些数据和业务应用,传统关系型数据库可能更适合,因此在大数据环境下,传统关系型数据库也具有一定的应用。基于传统数据库如Oracle等构建数据仓库,开展智能电网业务的分析挖掘。
智能电网大数据结构复杂、种类繁多,其数据存储需要根据数据的特点选用适合的数据存储方式。数据管理也是智能电网大数据的重要功能,从整体上对存储在不同系统上的数据进行统一管理,并提供数据索引和查询功能。综合以上分析,数据存储对比见表1。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
6月5日,宁夏银川市人民政府办公室关于印发《银川高新区高质量发展实施方案(2025—2027年)》的通知。文件指出,积极招引动力电池、风机叶片、光伏组件等“新三样”及算力服务器等拆解回收利用项目,鼓励发展“互联网+回收”模式,强化全链条数字化监管,推进循环经济产业与合规化、标准化服务体系深
在推进新能源占比不断提升的新型电力系统构建进程中,煤电正经历着历史性的角色嬗变。今年,国家发展改革委、国家能源局联合印发《新一代煤电升级专项行动实施方案(2025#x2014;2027年)》(以下简称《实施方案》),新一代煤电升级专项行动正式启动,旨在推动传统煤电向“清洁降碳、安全可靠、高效调
北极星电力网获悉,五大发电“旗舰”上市公司——华能国际、华电国际、大唐发电、国电电力、中国电力2024年报,披露了未来的发展战略及经营计划。整理如下:华能国际》》》》》一、发展战略华能国际全面贯彻“创新、协调、绿色、开放、共享”的新发展理念,坚持以质量效益为中心,统筹能源安全和绿色发
近日,《广东省促进海洋经济高质量发展条例》已由广东省第十四届人民代表大会常务委员会第十八次会议于2025年5月28日通过,现予公布,自2025年7月1日起施行。文件指出,省、地级以上市人民政府能源等有关主管部门应当加大海洋油气资源勘探开发力度,推进液化天然气等接收及储气设施、配套码头和配套外
为贯彻落实国家能源局《2025年能源工作指导意见》关于“统筹推进新型电力系统建设,推进虚拟电厂高质量发展”的要求,经省发展改革委、省能源局、浙江能源监管办同意,浙江电力市场管理委员会发布了《浙江省虚拟电厂运营管理实施细则(试行)》(以下简称“细则”),对虚拟电厂主体注册、能力认证、变
6月3日,国家发展改革委国家能源局发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定提升措施,促进配电网与分布式新能源协调发展。
北极星售电网获悉,6月3日,国家发展改革委发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见(发改能源规〔2025〕624号)。文件明确,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定
6月3日,国家能源局关于进一步深化电力业务资质许可管理更好服务新型电力系统建设的实施意见发布。文件提到,优化资质许可管理制度。支持电力领域新模式、新业态创新发展,除另有规定外,原则上将分布式光伏、分散式风电、新型储能、智能微电网等新型经营主体纳入电力业务许可豁免范围。合理压减承装(
北极星售电网获悉,6月3日,国家能源局发布关于进一步深化电力业务资质许可管理更好服务新型电力系统建设的实施意见。文件明确,优化资质许可管理制度。支持电力领域新模式、新业态创新发展,除另有规定外,原则上将分布式光伏、分散式风电、新型储能、智能微电网等新型经营主体纳入电力业务许可豁免范
编者按“双碳”战略的实施加速了分布式能源在配电网中的接入,导致配电网运行特性发生深刻变化。同时,分布式能源的不确定性削弱了配电网的实时可观性,难以精准监测其运行状态,由此引发的过载、过压和供电质量下降等问题已严重威胁配电网的安全性和稳定性。传统配电网状态估计方法依赖全面、精确的量
一场“智”与“能”的双向奔赴回顾历史,整个人类文明进程始终与能源开发利用紧密相关。如今,能源发展进入资源、环境、气候三重约束期,急需沿着清洁低碳方向进行转型。与此同时,人工智能技术正在蓬勃兴起,加速赋智于千行百业,“‘人工智能+’行动”的字眼更是连续两年见诸全国两会政府工作报告,A
北极星售电网获悉,6月6日,河北省发展和改革委员会发布关于促进能源领域民营经济发展若干细化举措的通知。文件提出,支持民营企业积极投资智能微电网。深化分布式智能电网规划建设、运行控制、运营模式等与大电网责权划分的研究探索,支持民营企业投资建设分布式智能电网,与电网企业创新形成合作共赢
北极星储能网获悉,6月6日,阳泉市能源局印发《阳泉市能源领域碳达峰实施方案》,提到,鼓励大数据中心、电动汽车充(换)电站、虚拟电厂运营商以及储能运营商作为市场主体参与用户侧储能项目建设。积极构建多层次智能电力系统调度体系,提高电网调度智能化水平。到2025年,全市实现快速灵活的需求侧响
6月5日,银川市人民政府关于印发《苏银产业园高质量发展实施方案(2025-2027年)》的通知,通知指出,聚焦硅基、碳基材料,高性能纤维材料等领域,依托20GW异质结单晶材料智慧工厂等项目,加速布局新一代异质结专用切片、电池、组件、钙钛矿等光伏材料产业。原文如下:银川市人民政府办公室关于印发《苏
随着近期云南多个新型储能电站密集投产,云南省新型储能装机于5月31日突破400万千瓦,达到465.5万千瓦,超额实现“十四五”规划目标。其中,集中共享储能达435.5万千瓦、占新型储能总装机比例达93.5%,且主要以锂电池技术为主。近年来,随着“双碳”目标与“两型”建设加速推进,云南省聚焦“三个定位
6月5日,汉中市发改委发布汉中市电力高质量发展实施意见(草稿),文件指出,鼓励屋顶分布式项目开发,推动工商业屋顶分布式光伏发展,支持优先采用“自发自用”建设模式,鼓励分布式光伏项目配置储能设施,减小公共电网运行压力。住房城乡建设、发展改革、自然资源、财政、机关事务管理等部门,应当共
北极星售电网获悉,6月5日,宁夏银川市人民政府办公室关于印发《苏银产业园高质量发展实施方案(2025-2027年)》(以下简称《方案》)的通知。《方案》指出,以新能源开发利用为牵引,以绿电园区建设为支撑,积极推进源网荷储、分布式微能网、虚拟电厂等新型电力系统建设,构建绿电直供、绿色算力、绿色
北极星售电网获悉,近日,陕西省汉中市发展和改革委员会发布《汉中市电力高质量发展实施意见(草稿)》,其中提到,县级以上人民政府及其有关部门应当因地制宜推动储蓄、火电、水电等多种电源与新能源发电协同运营,有序发展多能互补项目;健全多能源发电协同调度机制,统筹优化调峰电源运行,保障新能
6月4日,国家能源局印发关于组织开展新型电力系统建设第一批试点工作的通知。《通知》提出,聚焦新型电力系统有关前沿方向,依托典型项目开展单一方向试点,依托典型城市开展多方向综合试点,探索新型电力系统建设新技术、新模式,推动新型电力系统建设取得突破。坚持重点突破,先期围绕构网型技术、系
6月4日,国家能源局印发关于组织开展新型电力系统建设第一批试点工作的通知。通知提出,聚焦新型电力系统有关前沿方向,依托典型项目开展单一方向试点,依托典型城市开展多方向综合试点,探索新型电力系统建设新技术、新模式,推动新型电力系统建设取得突破。坚持重点突破,先期围绕构网型技术、系统友
北极星氢能网获悉,近日,盐城市人民政府办公室关于印发盐城市国家碳达峰试点建设推进方案的通知。文件指出,推动新能源规模开发利用。强化新能源资源管理,加强陆上风电和海上光伏资源有序开发和合理利用。加快推动海上风电和市场化并网光伏发电项目建设,推进能源供给清洁替代和能源消费电能替代。建
5月29日,尚纬股份12MW分布式光伏发电项目并网仪式在厂区红旗广场举行。乐山高新区党工委副书记武俊、阳光新能源开发股份有限公司西南大区经理梁凯、尚纬股份有限公司领导朱万春、庞超群出席仪式。仪式上,武俊在致辞中回顾了乐山高新区自2022年8月成功申报四川省近零碳排放试点园区以来,系统推进园区
近日,生态环境部发布的2025年绿色低碳典型案例征集活动获选名单中,沈阳市老虎冲循环经济产业园作为园区类代表入选,成为东北地区唯一入选国家绿色低碳典型案例的园区。该园区由沈阳新基静脉产业园有限公司申报,隶属于沈阳城投集团沈阳新基发展有限公司,致力于推动区域绿色低碳发展。老虎冲循环经济
日前,河南平顶山市政府印发《平顶山市空气质量持续改善实施方案》。方案提出,推进重点行业污染深度治理。全市新建(改扩建)火电、钢铁、水泥、焦化项目要达到超低排放水平。水泥、焦化企业按要求基本完成有组织和无组织超低排放改造。2025年9月底前,钢铁、水泥、焦化企业力争完成清洁运输超低排放
智能化建设是推动矿山安全发展,保障国家能源资源安全的重要举措,作为全球规模最大的煤炭供应企业,国家能源集团全力全域全速推进煤矿智能化建设,形成一套煤矿智能化管理体系,依靠自主创新、协同创新两种模式,开展国家示范类、集团安全类集团高效类三类示范煤矿建设,多项成果达到国际领先水平,为
5月27日,浙江普陀山生活污水处理设施改扩建工程(重新招标)中标候选人公示发布。第一中标候选人:浙江海洋工程有限公司项目负责人:严超,项目副负责人:吕志刚,投标报价:60322476元,投标工期:420日历天。第二中标候选人:浙江广盛环境建设集团有限公司(牵头人)宇航交通建设集团有限公司(联合
北极星售电网获悉,5月26日,上海市市场监督管理局发布关于推进上海市碳计量中心建设的指导意见。文件明确,加强碳计量技术研究。加强基础前沿计量技术研究,开展碳计量标准和标准物质研究,推动碳计量专用测试设备和仪器仪表自主研发,开展碳排放在线监测、城市尺度反演、碳足迹核算、碳汇等绿色低碳
项目背景:法兰变形成验收“拦路虎”风电机组要实现满功率发电(以下简称满发),从设计、制造到安装,任何一个环节掉链子都会导致“不能验收”。某海上风电机组在安装单管桩时,由于管桩倾斜,液压锤非均匀敲击法兰表面造成单管桩基础顶部法兰向下变形(见图3)。变形区域位于90#xB0;方位,有6根螺栓
近日,上海市政总院承担武汉左岭污水处理厂二厂及配套设施新建工程设计工作,项目规划总规模20万吨/日,总占地面积16.06公顷,一期工程6.5万吨/日,占地面积8.44公顷。项目建成后将显著缓解武汉新城左岭片区工业污水处理压力,为长江生态保护提供关键支撑。创新工艺突破技术瓶颈针对武汉新城左岭片区电
近日,生态环境部与国家市场监督管理总局联合发布实施《核动力厂环境辐射防护规定》(GB6249-2025)(以下简称《规定》),《规定》是对2011年修订发布的《核动力厂环境辐射防护规定》(GB6249-2011)的再次修订。生态环境部核电安全监管司有关负责人就《规定》的修订背景、基本原则、主要内容等,回答
“学校负荷开关三相电流和运行温度正常,无异常情况。”5月22日,在国家义务教育质量检测亮甲店中心小学,国网玉田县供电公司驻点保电人员吴铁铮、方建军通过钳形表、测温仪对校方用电设备进行一一检查,为考生提供“满格电力”的考试环境,持续擦亮绿色希冀品牌。据了解,国家义务教育质量检测于5月21
日前,福州发布关于征求《福州市石化化工行业碳达峰实施方案(送审稿)》《福州市钢铁行业碳达峰实施方案(送审稿)》《福州市建材行业碳达峰实施方案(送审稿)》意见的通知。详情如下:关于征求《福州市石化化工行业碳达峰实施方案(送审稿)》《福州市钢铁行业碳达峰实施方案(送审稿)》《福州市建材行
2025年全国两会上,“绿色低碳”再次成为贯穿政府工作报告的高频词。“完善碳市场制度”、“推进工业领域绿色转型”、“严控高碳产业扩张”三大政策信号,直指制药工业命脉。制药工业作为能耗强度比钢铁行业高30%的“隐形碳排放大户”,如今正面临政策红线与市场竞争压力的双重夹击。随着“能耗双控转
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!