登录注册
请使用微信扫一扫
关注公众号完成登录
何为非结构化数据及数据治理
非结构化数据是数据结构不规则或不完整,没有预定义模型的数据。在企业的整体数据架构中,非结构化数据往往是指不适用于数据库二维关系逻辑表表达的数据,包括所有格式办公文档、工程图纸、图像和音视频文件等。在国家电网有限公司数据资产中,非结构化数据包括由地理信息系统、95598客服系统、项目管理系统、电子商务平台等产生的地理信息数据、客服语音、项目资料、物资采购信息等数据。
数据治理是指在管理数据资产过程中行使权力,包括计划、监控和实施三个步骤。数据治理聚焦如何制订有关数据的决策、人员在数据管理方面的行为方式,确保根据数据管理制度和最佳实践正确地管理数据。
非结构化数据治理统筹和协调非结构化数据各项管理工作有序开展,核心要素体现在组织、制度、文化和考核四个方面,这些是开展非结构化数据管理工作的关键。
电网企业非结构化数据治理的前景和挑战
公司于2019年开展数据中台建设,2022年数据中台迈入深化运营阶段,非结构化数据通过非结构化组件基本实现了集中存储,满足基于文档全周期的存、取、用需求。电网企业的非结构化数据贯穿于发电、输电、变电、配电、用电和调度所有环节,也几乎存在于企业经营管理的所有业务应用当中。随着人工智能等信息处理技术发展,非结构化数据管理的内涵及外延都在发生深刻变化,有必要重新审视当前企业非结构化数据管理现状,规划新时期非结构化数据管理体系及实施路径。电网企业非结构化数据治理工作主要面临着以下挑战:
存在信息孤岛。电网企业在日常经营管理和业务管理过程中使用功能各异的应用系统或信息化管理平台,产生各种非结构化数据。这些非结构化数据具有来源多、格式多、涉及专业多等特点,这一方面是由于信息系统的建设具有阶段性,另一方面是由于各个系统自成体系,导致系统之间的数据呈现孤立状态,数据标准不统一,缺少数据贯通接口。
管控体系不完善。电网企业部分系统之间实现了文件之间的流转,但是非结构化数据管理方法和制度仍然不够完善,如部分文件在各个系统内归档管理、流转主要基于数据导出方式,难以进行统一检索和共享利用。
存在数据黑盒。当前电网企业文档管理制度并非建立在彻底理清数据的基础上。非结构化数据缺少必要的分类和元数据项,缺乏清晰和规范的管理流程和要求,数据量和数据内容难以掌握,影响非结构化数据价值发挥。
电网企业非结构化数据治理工作探索与实践
国网大数据中心遵循公司数据发展战略,以充分发挥数据作用、驱动企业数字化转型为目标,按照“基于中台、统筹推进、统一纳管、安全共享”的工作原则,把核心非结构化数据资源汇聚至数据中台,形成全生命周期和全业务系统端到端非结构化数据治理思路,建立从非结构化元数据体系研究与数据资源目录构建到非结构化数据协同治理的工作模式,推动中台非结构化数据质量提高,为业务工作赋能。
非结构化数据的全生命周期管理包括非结构化数据采集、传输、存储、交换等各个环节的数据集整体管理,以及各个数据项处理方法。
基于数据中台开展非结构化数据统一存储。基于数据中台非结构化组件集中存储和管理所有接入业务应用系统的非结构化数据。将非结构化存储空间划分为存储区和共享区,其中存储区用于接入、存储源业务系统非结构化数据,相关数据满足各专业系统对本系统非结构化数据全生命周期的存、取、用需求。共享区汇聚具有高共享价值的非结构化数据,相关数据经数据盘点、业务部门确认,用于跨专业跨系统数据共享和构建数据服务,并在数据资源目录可视可查。
建立元数据管理体系。将非结构化数据的元数据分为基础元数据和增强元数据,梳理形成非结构化数据元数据体系。其中基础元数据参考国家标准《信息与文献都柏林核心元数据元素集》(GB/T25100-2010),实现对非结构化数据对象的规范定义,如标题、来源、摘要等。增强元数据依据应用业务需求进行设计,包含源端系统业务元数据、管理元数据及操作元数据。采用统分统管原则,基础元数据统一管理,增强元数据按需设计,形成一套完整的元数据管理体系。
打造中台非结构化数据共享区,实现文件流转与共享。新建应用系统基于数据中台建设,存量业务应用系统逐步按需将非结构化数据迁移至数据中台,基于数据中台非结构化组件,统筹不同应用系统的文件在数据中台流转与共享。通过数据中台构建文件智能分析能力,使各使用方可以快速检索并在不同应用系统之间传递所需文件,保证文件的准确性、一致性、及时性、安全性等,支撑非结构化数据在不同专业之间、端到端有序高效地传递和交互。
开展质量管理。依据数据在生命周期各个阶段的特性,建立数据质量控制机制,及时发现非结构化数据质量问题,提升数据可用性。数据使用方在使用过程中提出数据质量需求或数据质量问题,协同数据管理方、数据提供方进行数据质量治理,开展非结构化数据治理流程管控,实现非结构化数据治理闭环管理。
建立常态运营机制,建设多元化应用样板间。完善非结构化数据运营机制,常态开展非结构化数据需求受理、解决方案制订、数据接入、数据溯源、数据共享等工作。专项推进建设多元化应用样板间,聚焦制度标准管理体系开展数字化赋能建设,扩大技术资料、标准制度等公开数据接入范围,满足基层用户查数据、用数据需求;围绕项目中台智能化提升工作,构建非结构化数据提取功能和专题检索服务,辅助项目过程材料智能审查,改变现有线下传递、低效审阅的局面。
(作者单位:国家电网有限公司大数据中心)
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
5月6日,重庆市能源局关于市政协六届三次会议第1177号提案的复函中表示为促进农村户用光伏市场健康可持续发展,下一步我局将加快出台《重庆市分布式光伏发电开发建设管理实施细则》,督促指导各区县尽快制定并公开分布式光伏发电项目备案服务指南,优化项目审批流程,加强在建项目监管;持续优化农村地
北极星售电网获悉,上海电力交易中心转发上海电力现货市场第三次结算试运行工作方案、上海电力现货市场实施细则(结算试运行2025年修订版)的通知。《上海电力现货市场第三次结算试运行工作方案》提到,本次结算试运行时间拟定于2025年5月7日至6月7日,5月7日为首个申报日,5月8日至6月7日为运行日。根
北极星售电网获悉,4月30日,上海市发展和改革委员会发布对市十六届人大三次会议第0123号代表建议的答复。文件明确,2024年以来,市发展改革委会同相关部门多措并举推动降低工商业企业用电成本,取得良好成效,2025年相关降电价举措能延尽延。指导粮食仓储企业申报本市本年度“优质粮食工程”建设项目
日前,江苏省发展改革委关于优化工商业分时电价结构促进新能源消纳降低企业用电成本支持经济社会发展的通知。根据通知,将工商业分时电价执行范围扩大到除国家有专门规定的电气化铁路牵引用电外的执行工商业电价的电力用户。全体商业用户和100千伏安以下的工业用户,公用水厂、污水处理厂、分布式能源
4月29日,云南省人民政府办公厅关于印发《云南省推动高速公路融合发展若干政策措施(试行)》的通知。文件提出,支持“高速+光伏”。支持高速公路经营单位牵头编制“高速+光伏”建设规划,报省发展改革委、省能源局、省交通运输厅按程序审定后印发实施。光伏发电设施建设不要形成光污染,不要影响景
4月27日,作为国家首批增量配电业务改革试点单位的宿迁运河港配售电有限公司,正式完成虚拟电厂注册,开启增量配电网转型发展新纪元。通过数智化技术聚合分布式能源、储能及可控负荷,成功构建起“源网荷储”协同互动的虚拟电厂运营体系,实现传统配电业务与新兴能源服务的深度融合,为新型电力系统建
01为什么要优化工商业分时电价结构?当前,我省新能源装机规模不断扩大,新能源发电出力的波动性和间歇性,导致电力供需平衡难度不断增加,全网常态化面临午间光伏大发时的消纳挑战,春秋两季消纳矛盾更为突出。通过优化分时电价结构,推动全体电力用户共同参与电网调峰,促进工商业用户更为精准地响应
北极星售电网获悉,4月30日,江苏能监办发布关于公开征求《关于落实国家能源局提升新能源和新型并网主体涉网安全能力服务新型电力系统高质量发展有关要求的通知(征求意见稿)》意见的公告,其中提到,强化并网接入过程管控。新能源和新型并网主体应组织开展并网验收工作,确保一、二次设备及各类系统
近日,四川省发展改革委发布《关于进一步调整我省分时电价机制的通知》(川发改价格〔2025〕185号,以下简称《通知》)。四川省发展改革委有关负责同志接受采访,回答记者提问。1.为什么要调整分时电价机制?我省工商业分时电价机制自1992年起执行,期间多次结合用电特性对分时时段、浮动比例等进行调
北极星售电网获悉,4月30日,四川省发展和改革委员会发布关于进一步调整我省分时电价机制的通知,按季节对峰平谷时段进行调整。调整后的峰平谷时段分别为:春秋季(3-6、10、11月):高峰时段:10:00-12:00、17:00-22:00;平段:8:00-10:00、12:00-17:00;低谷时段:22:00-次日8:00;夏季(7-9月):高
北极星售电网获悉,4月30日,江苏省发改委发布《关于优化工商业分时电价结构促进新能源消纳降低企业用电成本支持经济社会发展的通知》,调整了工商业分时电价时段设置,优化了峰谷浮动比例,通知自2025年6月1日起执行。1、优化工商业用户分时时段设置,增设午间谷时段工商业用户可选择两种方案中的一种
4月23日,内蒙古电力集团内蒙古电力科学研究院正式通过内蒙古数据交易中心资质审核,成为自治区数据服务提供商,标志着内蒙古电力科学研究院在数据应用能力建设进程中迎来又一重要里程碑节点。在数据应用体系构建方面,内蒙古电力科学研究院已完成DeepSeekR1的本地化部署,初步构建起覆盖企业综合管理
4月24日,盈峰环境(股票代码:000967)正式发布2024年年度报告,核心数据彰显公司高质量发展韧性。报告显示,2024年公司实现营业收入131.18亿元,同比增长3.85%;归属于上市公司股东的净利润5.14亿元,同比增长3.04%;扣非归母净利润同比大幅增长12.91%,总资产规模296.36亿元,综合实力持续夯实。202
引言在数字经济时代,算力是支撑国民经济发展的新质生产力,也是全球竞争的新焦点。2024年发布的《中国综合算力指数》报告显示,廊坊、张家口的算力指数分别居全国第一、第二。而张家口作为“东数西算”工程京津冀国家算力枢纽节点,已建成投运国家重点数据中心项目37个,服务器超172万台,算力规模达
近日,从国网河北省电力有限公司获悉,该公司通过应用新一代配网工程全过程智慧管理平台实施过程管控,衡水10千伏里韩线整体改造工程提前42天完工。配网建设质量直接关系电网建设成效和民生保障。2023年12月,国网河北电力自主研发的新一代配网工程全过程智慧管理平台上线。今年4月,在深化该平台应用
国网江苏电力于2023年7月在国家电网有限公司系统率先建成多维多态“电网一张图”平台,实现分布式光伏、充电桩等设备信息建模。该公司还是公司系统内首批完成企业级数据中台部署的省级电力公司之一。2024年以来,围绕配网运维、供电服务等业务需求,该公司深化“电网一张图”应用,挖掘电力数据价值,
在发展数字经济与实现“双碳”目标的背景下,人工智能技术的爆发式增长正引发算力需求的指数级攀升。工业和信息化部数据显示,截至2024年9月底,我国在用算力中心超过880万标准机架,算力总规模达268EFLOPS(每秒百亿亿次浮点运算次数)。中国信息通信研究院《中国绿色算力发展研究报告(2024年)》显
在“双碳”战略引领下,我国风光新能源装机容量持续攀升,截至2024年底累计突破14亿千瓦。根据《2025年能源工作指导意见》规划路径,2025年全国新增新能源发电装机规模2亿千瓦以上,非化石能源消费比重将不断提高。然而,由于源网荷储协同缺乏系统性、科学性的规划设计,存在部分区域新能源并网消纳困
算力电力协同发展既是国家电力与算力政策的方向指引,也是电力与算力系统建设的大势所趋。从当前算力电力的发展现状来看,构建全国一体化算力网需要坚强的电力支撑,建设新型电力系统也需要灵活算力的多维助力,因此有必要从电力系统与算力系统的规划、建设着手,从设施、运行、市场与商业模式等多个维
近期,DeepSeek开源和开放的特点引发了广泛关注。截至2月3日,DeepSeekV3的Github仓库的Star数已达到69.3k、Fork数已达到10.5k,且其热度还在持续走高,市场份额也在不断扩大。在数字化浪潮席卷全球的当下,开源技术已然成为推动各行业创新发展的关键驱动力。对于电力行业而言,电力开源技术生态体系建
通算规模突破3万节点,智算规模超3000P发布千亿级NLP大模型,上线5个以上垂直领域大模型年内形成基本覆盖公司全业务域的电力知识库打造人工智能综合示范区,分批次完成53个“大瓦特”揭榜挂帅场景建设在电算协同、电鸿物联、人工智能、可信数据空间等方面推进行业、产业上下游交流合作近日,南方电网召
国家电网有限公司大数据中心深入贯彻落实国家电网有限公司第四届职工代表大会第五次会议暨2025年工作会议精神,牢牢把握“强化企业级统筹”“深化数字赋能赋效”“强化人工智能应用”“加强自主运维”四个方面要求,激活数据要素价值,全力支撑健全完善数字化工作体系、构建新型电力系统、发展新质生产
党的二十大报告指出,“要积极稳妥推进碳达峰碳中和”“逐步转向碳排放总量和强度‘双控’制度”。我国碳排放主要来源于能源活动和工业生产过程,其中能源活动占到总碳排放的88%,而电力行业碳排放占能源活动碳排放的41%,做好电力碳排放统计核算工作至关重要。近日,国家发展改革委等部门印发《完善碳
围绕人工智能规模化应用样本需求,国家电网有限公司大数据中心初步建成具备样本清洗、分类、标注、质检等能力的人工智能样本库——近期,国家电网有限公司大数据中心设计中心(人工智能样本中心)技术攻关团队队员正依托公司级人工智能样本库,针对公司总部及各省级电力公司人工智能模型训练需求,开展
国家电网有限公司大数据中心深入学习贯彻习近平总书记关于安全生产重要论述和重要指示批示精神,落实国家电网有限公司2024年“安全生产月”活动部署要求,强化安全责任,全面提升数据安全防护能力,重点防护网络恶意攻击,持续强化数据安全应急体系建设,进一步夯实安全防线,为电网数字化智能化建设提
国网大数据中心2024年度集中采购批次安排
国家电网有限公司四届四次职代会暨2024年工作会议强调扎实做好做强做优做大、保供和转型、科技自立自强、深化改革、党的建设五篇大文章,以数智化坚强电网推动构建新型电力系统。国家电网有限公司大数据中心认真贯彻落实公司“两会”精神,扎实做好五篇大文章,围绕“服务以数智化坚强电网推动构建新型
公司第四届职工代表大会第四次会议暨2024年工作会议提出,打造数智化坚强电网是顺应数字化智能化发展趋势、推动传统电网转型升级和高质量发展的迫切需要,是保障电网安全运行和电力可靠供应的迫切需要,是加快能源电力清洁低碳转型的迫切需要,是“双碳”目标下推动新型电力系统建设的必由之路。公司各
12月19日以来,国网大数据中心落实国网物资部和国网数字化部部署,启动抗击冰冻雨雪和保地震物资供应平台专项保障。该中心围绕物资库存仓储信息等数据,成立物资数据链路和平台资源保障团队;围绕库存仓储类数据链路、巡检离线计算资源使用情况、实时查询和即席分析组件运行及资源使用情况等;开展重点
11月8日获悉,在国网数字化部指导下,国网大数据中心电力看经济大数据应用工作完成电力看新型工业化发展、民营经济等新产品场景研发,并正式向国家有关部门提供服务。新产品场景充分发挥电力数据价值,通过电力大数据研究民营经济用电情况、洞察民营经济发展态势。国网大数据中心打造电力看经济“1+N”
9月20日,基于国家电网供应链运营中心(ESC)的国内首个基于电力大数据的大宗原材料价格预测数据产品上线。该产品可以帮助用户提升对大宗原材料价格波动趋势的预判力,提前做好库存、产能及资金安排,防范由于大宗原材料价格波动所引发的供货履约风险。该产品由国网物资公司牵头,国网大数据中心、英大
8月8日,国家电网有限公司大数据中心模型研发团队运用自主研发的电力电缆碳足迹核算模型,根据供应商企业信息、能源消耗等数据,完成某型号低压电力电缆碳足迹核算试算。电力电缆碳足迹核算模型是该中心构建的电工装备碳足迹核算模型之一。2022年起,在国网物资部的指导下,国网大数据中心针对采购数量
7月29日,在四川成都供电公司的大运会保电专班办公区内,1名虚拟数字员工时刻不停地采集涉及大运会场馆的电力设备运行数据并进行实时分析。这是成都供电公司上线应用的虚拟数字员工——信息智能报送员,可实时监测场馆所在区域的配电网运行情况、智能预警风险并将信息及时报送至相关人员。有了虚拟数字
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!