登录注册
请使用微信扫一扫
关注公众号完成登录
何为非结构化数据及数据治理
非结构化数据是数据结构不规则或不完整,没有预定义模型的数据。在企业的整体数据架构中,非结构化数据往往是指不适用于数据库二维关系逻辑表表达的数据,包括所有格式办公文档、工程图纸、图像和音视频文件等。在国家电网有限公司数据资产中,非结构化数据包括由地理信息系统、95598客服系统、项目管理系统、电子商务平台等产生的地理信息数据、客服语音、项目资料、物资采购信息等数据。
数据治理是指在管理数据资产过程中行使权力,包括计划、监控和实施三个步骤。数据治理聚焦如何制订有关数据的决策、人员在数据管理方面的行为方式,确保根据数据管理制度和最佳实践正确地管理数据。
非结构化数据治理统筹和协调非结构化数据各项管理工作有序开展,核心要素体现在组织、制度、文化和考核四个方面,这些是开展非结构化数据管理工作的关键。
电网企业非结构化数据治理的前景和挑战
公司于2019年开展数据中台建设,2022年数据中台迈入深化运营阶段,非结构化数据通过非结构化组件基本实现了集中存储,满足基于文档全周期的存、取、用需求。电网企业的非结构化数据贯穿于发电、输电、变电、配电、用电和调度所有环节,也几乎存在于企业经营管理的所有业务应用当中。随着人工智能等信息处理技术发展,非结构化数据管理的内涵及外延都在发生深刻变化,有必要重新审视当前企业非结构化数据管理现状,规划新时期非结构化数据管理体系及实施路径。电网企业非结构化数据治理工作主要面临着以下挑战:
存在信息孤岛。电网企业在日常经营管理和业务管理过程中使用功能各异的应用系统或信息化管理平台,产生各种非结构化数据。这些非结构化数据具有来源多、格式多、涉及专业多等特点,这一方面是由于信息系统的建设具有阶段性,另一方面是由于各个系统自成体系,导致系统之间的数据呈现孤立状态,数据标准不统一,缺少数据贯通接口。
管控体系不完善。电网企业部分系统之间实现了文件之间的流转,但是非结构化数据管理方法和制度仍然不够完善,如部分文件在各个系统内归档管理、流转主要基于数据导出方式,难以进行统一检索和共享利用。
存在数据黑盒。当前电网企业文档管理制度并非建立在彻底理清数据的基础上。非结构化数据缺少必要的分类和元数据项,缺乏清晰和规范的管理流程和要求,数据量和数据内容难以掌握,影响非结构化数据价值发挥。
电网企业非结构化数据治理工作探索与实践
国网大数据中心遵循公司数据发展战略,以充分发挥数据作用、驱动企业数字化转型为目标,按照“基于中台、统筹推进、统一纳管、安全共享”的工作原则,把核心非结构化数据资源汇聚至数据中台,形成全生命周期和全业务系统端到端非结构化数据治理思路,建立从非结构化元数据体系研究与数据资源目录构建到非结构化数据协同治理的工作模式,推动中台非结构化数据质量提高,为业务工作赋能。
非结构化数据的全生命周期管理包括非结构化数据采集、传输、存储、交换等各个环节的数据集整体管理,以及各个数据项处理方法。
基于数据中台开展非结构化数据统一存储。基于数据中台非结构化组件集中存储和管理所有接入业务应用系统的非结构化数据。将非结构化存储空间划分为存储区和共享区,其中存储区用于接入、存储源业务系统非结构化数据,相关数据满足各专业系统对本系统非结构化数据全生命周期的存、取、用需求。共享区汇聚具有高共享价值的非结构化数据,相关数据经数据盘点、业务部门确认,用于跨专业跨系统数据共享和构建数据服务,并在数据资源目录可视可查。
建立元数据管理体系。将非结构化数据的元数据分为基础元数据和增强元数据,梳理形成非结构化数据元数据体系。其中基础元数据参考国家标准《信息与文献都柏林核心元数据元素集》(GB/T25100-2010),实现对非结构化数据对象的规范定义,如标题、来源、摘要等。增强元数据依据应用业务需求进行设计,包含源端系统业务元数据、管理元数据及操作元数据。采用统分统管原则,基础元数据统一管理,增强元数据按需设计,形成一套完整的元数据管理体系。
打造中台非结构化数据共享区,实现文件流转与共享。新建应用系统基于数据中台建设,存量业务应用系统逐步按需将非结构化数据迁移至数据中台,基于数据中台非结构化组件,统筹不同应用系统的文件在数据中台流转与共享。通过数据中台构建文件智能分析能力,使各使用方可以快速检索并在不同应用系统之间传递所需文件,保证文件的准确性、一致性、及时性、安全性等,支撑非结构化数据在不同专业之间、端到端有序高效地传递和交互。
开展质量管理。依据数据在生命周期各个阶段的特性,建立数据质量控制机制,及时发现非结构化数据质量问题,提升数据可用性。数据使用方在使用过程中提出数据质量需求或数据质量问题,协同数据管理方、数据提供方进行数据质量治理,开展非结构化数据治理流程管控,实现非结构化数据治理闭环管理。
建立常态运营机制,建设多元化应用样板间。完善非结构化数据运营机制,常态开展非结构化数据需求受理、解决方案制订、数据接入、数据溯源、数据共享等工作。专项推进建设多元化应用样板间,聚焦制度标准管理体系开展数字化赋能建设,扩大技术资料、标准制度等公开数据接入范围,满足基层用户查数据、用数据需求;围绕项目中台智能化提升工作,构建非结构化数据提取功能和专题检索服务,辅助项目过程材料智能审查,改变现有线下传递、低效审阅的局面。
(作者单位:国家电网有限公司大数据中心)
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,为认真总结新版12398投诉举报处理办法落实情况,持续巩固提升“获得电力”优质服务水平,扎实推进民生用电服务突出问题专项监管,贵州能源监管办召开2025年二季度供电服务监管工作例会,贵州电网公司有关部门及所属供电企业、有关增量配网企业负责人参加会议。会议通报了2025年1-4月12398投诉举
当前,我国虚拟电厂发展在各地“多点开花”。以长三角负荷中心为例,浙江组织虚拟电厂多次参与夏季冬季用电高峰期保供,江苏通过空调、热水器等家电聚合形成“虚拟能量池”,上海市聚合的可调节资源最大调节容量等效于一台大型火电机组,虚拟电厂发展逐步由试点示范向规模化发展过渡。然而,虚拟电厂技
5月28日,广东省阳春市人民政府印发《阳春市推进分布式光伏高质量发展实施方案》,该《实施方案》提出五项主要任务:1、公共机构(设施)宜装尽装。鼓励在市直机关、各镇人民政府(街道办事处)所管辖的公共建筑及新建公共建筑中安装光伏发电系统;2、工业园区全覆盖。对阳江阳春产业园区进行绿色化改
麻栗坡县人民医院电力市场化交易(二次)竞争性磋商公告项目概况麻栗坡县人民医院电力市场化交易(二次)采购项目的潜在供应商应在政采云平台线上获取获取采购文件,并于2025-06-1309:00(北京时间)前提交响应文件。一、项目基本情况项目编号:WSZC2025-C3-00468-WSXL-0015项目名称:麻栗坡县人民医院
有这样一个人:“钻一行、专一行、强一行”是他的执着追求;“眼中有目标、脑中有思路、脚下有行动”是他的做事准则。他就是大唐贵州发电有限公司新能源分公司黔东南州规划发展中心负责人——资长福。他对公司事业充满激情与斗志,2024年,荣获大唐贵州发电有限公司、新能源分公司先进工作者,带动团队
北极星售电网获悉,湖南能监办日前发布关于公开征集湖南电力市场秩序突出问题线索的公告,决定向社会公开征集湖南电力市场秩序突出问题线索。征集时间:2025年5月27日至2025年6月20日。详情如下:关于公开征集湖南电力市场秩序突出问题线索的公告为进一步强化电力市场监管,维护公平公正电力市场秩序,
5月23日,证监会同意山大电力首次公开发行股票并在创业板上市的注册申请,作为实际控制人的山东大学将迎来继鸥玛软件、山大地纬后的第三家上市公司。山大电力成立于2021年,是一家致力于电力系统相关智能产品技术研发与产业化的高新技术企业。该公司基于在智能电网领域积累的电网监测技术和电气系统设
5月23日,全国精神文明建设表彰大会在京召开。中央宣传思想文化工作领导小组授予4688个单位第七届全国文明单位称号。国家电网有限公司147个单位获全国文明单位称号。公司高度重视文明建设工作,深入学习贯彻习近平文化思想,学习贯彻习近平总书记关于精神文明建设的重要论述精神,大力弘扬社会主义核心
5月27日,贵州省能源局印发关于公开征求《贵州省煤电机组灵活性改造验收规范》意见的通知。燃煤机组灵活性改造后,除满足《电网运行准则》(GB/T31464)要求外,还应满足调峰能力等要求。改造后机组纯凝工况下最小发电出力不超过额定容量35%,热电联产机组在供热期间最小发电出力不超过额定容量40%。详
5月26日,广东省能源局发布关于转发进一步组织实施好“千家万户沐光行动”的通知。文件显示,请各地能源主管部门强化组织领导,加强部门协同,结合前期已编制的2024—2030年全市分布式光伏发展行动计划或实施方案,进一步细化资源摸查、规范项目管理、加强风貌管控、强化宣传引导,积极有序推进农村分
5月26日,新化县发展和改革局公布2025年新化县第三批光伏开发企业及代理商名单的通知,通知指出,经企业申请,新化县发展和改革局综合审核了公司施工资质、开发业绩、安全生产、运维管理、开发模式等,同意对以下2家分布式光伏开发企业及品牌代理商进行信息登记报备。2025年新化县第三批分布式光伏开发
5月25日电一大早,国网山西超高压输电公司晋东南地区运维人员单喆快步安装好声波传感器,抡起激励锤,稳稳地砸向1000千伏湛长一线A腿斜材上,“咚”的一声,震响由近至远,从地面传向塔尖。而一侧,声纹智能分析系统已把声音变成波纹,与“基波”进行了对比,很快“诊断”出该条塔腿已全部紧固到位,整
近日,国家电投集团重庆生产运营中心结束试运行,正式投入运营。重庆生产运营中心从蓝图规划到投入运行,期间历经上百次模拟测试、多项技术优化,完成对重庆域内6座水电站、2座风电场的通信数据标准化改造,数据采集完成率提升至100%,最终正式投运。试运行期间,水电、风电的监测数据格式、通信协议差
5月20日,希姆西传感器生产基地在浙江安吉正式开业。希姆西传感器制造(安吉)有限公司由两山国有控股集团战略投资,打造集传感器精密制造、数据中台开发、AI诊断及油处理设备于一体的智能监测装备生产基地。希姆西作为国家级高新技术企业,自2019年创立于南京以来,始终致力于构建工业润滑系统的智能
为了助力新型电力系统和新型配电系统的构建,2025年5月15日,浙江省轨道交通和能源业联合会联合北极星电力网主办的“第五届智能配电网建设研讨会”在浙江杭州召开。14位专家、学者、企业代表围绕新型配电系统的打造和现代智慧配电网的建设进行了分享交流,共谋智能配电发展蓝图。北极星总裁周荃在致辞
4月23日,内蒙古电力集团内蒙古电力科学研究院正式通过内蒙古数据交易中心资质审核,成为自治区数据服务提供商,标志着内蒙古电力科学研究院在数据应用能力建设进程中迎来又一重要里程碑节点。在数据应用体系构建方面,内蒙古电力科学研究院已完成DeepSeekR1的本地化部署,初步构建起覆盖企业综合管理
4月24日,盈峰环境(股票代码:000967)正式发布2024年年度报告,核心数据彰显公司高质量发展韧性。报告显示,2024年公司实现营业收入131.18亿元,同比增长3.85%;归属于上市公司股东的净利润5.14亿元,同比增长3.04%;扣非归母净利润同比大幅增长12.91%,总资产规模296.36亿元,综合实力持续夯实。202
引言在数字经济时代,算力是支撑国民经济发展的新质生产力,也是全球竞争的新焦点。2024年发布的《中国综合算力指数》报告显示,廊坊、张家口的算力指数分别居全国第一、第二。而张家口作为“东数西算”工程京津冀国家算力枢纽节点,已建成投运国家重点数据中心项目37个,服务器超172万台,算力规模达
近日,从国网河北省电力有限公司获悉,该公司通过应用新一代配网工程全过程智慧管理平台实施过程管控,衡水10千伏里韩线整体改造工程提前42天完工。配网建设质量直接关系电网建设成效和民生保障。2023年12月,国网河北电力自主研发的新一代配网工程全过程智慧管理平台上线。今年4月,在深化该平台应用
国网江苏电力于2023年7月在国家电网有限公司系统率先建成多维多态“电网一张图”平台,实现分布式光伏、充电桩等设备信息建模。该公司还是公司系统内首批完成企业级数据中台部署的省级电力公司之一。2024年以来,围绕配网运维、供电服务等业务需求,该公司深化“电网一张图”应用,挖掘电力数据价值,
在发展数字经济与实现“双碳”目标的背景下,人工智能技术的爆发式增长正引发算力需求的指数级攀升。工业和信息化部数据显示,截至2024年9月底,我国在用算力中心超过880万标准机架,算力总规模达268EFLOPS(每秒百亿亿次浮点运算次数)。中国信息通信研究院《中国绿色算力发展研究报告(2024年)》显
在“双碳”战略引领下,我国风光新能源装机容量持续攀升,截至2024年底累计突破14亿千瓦。根据《2025年能源工作指导意见》规划路径,2025年全国新增新能源发电装机规模2亿千瓦以上,非化石能源消费比重将不断提高。然而,由于源网荷储协同缺乏系统性、科学性的规划设计,存在部分区域新能源并网消纳困
党的二十大报告指出,“要积极稳妥推进碳达峰碳中和”“逐步转向碳排放总量和强度‘双控’制度”。我国碳排放主要来源于能源活动和工业生产过程,其中能源活动占到总碳排放的88%,而电力行业碳排放占能源活动碳排放的41%,做好电力碳排放统计核算工作至关重要。近日,国家发展改革委等部门印发《完善碳
围绕人工智能规模化应用样本需求,国家电网有限公司大数据中心初步建成具备样本清洗、分类、标注、质检等能力的人工智能样本库——近期,国家电网有限公司大数据中心设计中心(人工智能样本中心)技术攻关团队队员正依托公司级人工智能样本库,针对公司总部及各省级电力公司人工智能模型训练需求,开展
国家电网有限公司大数据中心深入学习贯彻习近平总书记关于安全生产重要论述和重要指示批示精神,落实国家电网有限公司2024年“安全生产月”活动部署要求,强化安全责任,全面提升数据安全防护能力,重点防护网络恶意攻击,持续强化数据安全应急体系建设,进一步夯实安全防线,为电网数字化智能化建设提
国网大数据中心2024年度集中采购批次安排
国家电网有限公司四届四次职代会暨2024年工作会议强调扎实做好做强做优做大、保供和转型、科技自立自强、深化改革、党的建设五篇大文章,以数智化坚强电网推动构建新型电力系统。国家电网有限公司大数据中心认真贯彻落实公司“两会”精神,扎实做好五篇大文章,围绕“服务以数智化坚强电网推动构建新型
公司第四届职工代表大会第四次会议暨2024年工作会议提出,打造数智化坚强电网是顺应数字化智能化发展趋势、推动传统电网转型升级和高质量发展的迫切需要,是保障电网安全运行和电力可靠供应的迫切需要,是加快能源电力清洁低碳转型的迫切需要,是“双碳”目标下推动新型电力系统建设的必由之路。公司各
12月19日以来,国网大数据中心落实国网物资部和国网数字化部部署,启动抗击冰冻雨雪和保地震物资供应平台专项保障。该中心围绕物资库存仓储信息等数据,成立物资数据链路和平台资源保障团队;围绕库存仓储类数据链路、巡检离线计算资源使用情况、实时查询和即席分析组件运行及资源使用情况等;开展重点
11月8日获悉,在国网数字化部指导下,国网大数据中心电力看经济大数据应用工作完成电力看新型工业化发展、民营经济等新产品场景研发,并正式向国家有关部门提供服务。新产品场景充分发挥电力数据价值,通过电力大数据研究民营经济用电情况、洞察民营经济发展态势。国网大数据中心打造电力看经济“1+N”
9月20日,基于国家电网供应链运营中心(ESC)的国内首个基于电力大数据的大宗原材料价格预测数据产品上线。该产品可以帮助用户提升对大宗原材料价格波动趋势的预判力,提前做好库存、产能及资金安排,防范由于大宗原材料价格波动所引发的供货履约风险。该产品由国网物资公司牵头,国网大数据中心、英大
8月8日,国家电网有限公司大数据中心模型研发团队运用自主研发的电力电缆碳足迹核算模型,根据供应商企业信息、能源消耗等数据,完成某型号低压电力电缆碳足迹核算试算。电力电缆碳足迹核算模型是该中心构建的电工装备碳足迹核算模型之一。2022年起,在国网物资部的指导下,国网大数据中心针对采购数量
7月29日,在四川成都供电公司的大运会保电专班办公区内,1名虚拟数字员工时刻不停地采集涉及大运会场馆的电力设备运行数据并进行实时分析。这是成都供电公司上线应用的虚拟数字员工——信息智能报送员,可实时监测场馆所在区域的配电网运行情况、智能预警风险并将信息及时报送至相关人员。有了虚拟数字
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!