登录注册
请使用微信扫一扫
关注公众号完成登录
何为非结构化数据及数据治理
非结构化数据是数据结构不规则或不完整,没有预定义模型的数据。在企业的整体数据架构中,非结构化数据往往是指不适用于数据库二维关系逻辑表表达的数据,包括所有格式办公文档、工程图纸、图像和音视频文件等。在国家电网有限公司数据资产中,非结构化数据包括由地理信息系统、95598客服系统、项目管理系统、电子商务平台等产生的地理信息数据、客服语音、项目资料、物资采购信息等数据。
数据治理是指在管理数据资产过程中行使权力,包括计划、监控和实施三个步骤。数据治理聚焦如何制订有关数据的决策、人员在数据管理方面的行为方式,确保根据数据管理制度和最佳实践正确地管理数据。
非结构化数据治理统筹和协调非结构化数据各项管理工作有序开展,核心要素体现在组织、制度、文化和考核四个方面,这些是开展非结构化数据管理工作的关键。
电网企业非结构化数据治理的前景和挑战
公司于2019年开展数据中台建设,2022年数据中台迈入深化运营阶段,非结构化数据通过非结构化组件基本实现了集中存储,满足基于文档全周期的存、取、用需求。电网企业的非结构化数据贯穿于发电、输电、变电、配电、用电和调度所有环节,也几乎存在于企业经营管理的所有业务应用当中。随着人工智能等信息处理技术发展,非结构化数据管理的内涵及外延都在发生深刻变化,有必要重新审视当前企业非结构化数据管理现状,规划新时期非结构化数据管理体系及实施路径。电网企业非结构化数据治理工作主要面临着以下挑战:
存在信息孤岛。电网企业在日常经营管理和业务管理过程中使用功能各异的应用系统或信息化管理平台,产生各种非结构化数据。这些非结构化数据具有来源多、格式多、涉及专业多等特点,这一方面是由于信息系统的建设具有阶段性,另一方面是由于各个系统自成体系,导致系统之间的数据呈现孤立状态,数据标准不统一,缺少数据贯通接口。
管控体系不完善。电网企业部分系统之间实现了文件之间的流转,但是非结构化数据管理方法和制度仍然不够完善,如部分文件在各个系统内归档管理、流转主要基于数据导出方式,难以进行统一检索和共享利用。
存在数据黑盒。当前电网企业文档管理制度并非建立在彻底理清数据的基础上。非结构化数据缺少必要的分类和元数据项,缺乏清晰和规范的管理流程和要求,数据量和数据内容难以掌握,影响非结构化数据价值发挥。
电网企业非结构化数据治理工作探索与实践
国网大数据中心遵循公司数据发展战略,以充分发挥数据作用、驱动企业数字化转型为目标,按照“基于中台、统筹推进、统一纳管、安全共享”的工作原则,把核心非结构化数据资源汇聚至数据中台,形成全生命周期和全业务系统端到端非结构化数据治理思路,建立从非结构化元数据体系研究与数据资源目录构建到非结构化数据协同治理的工作模式,推动中台非结构化数据质量提高,为业务工作赋能。
非结构化数据的全生命周期管理包括非结构化数据采集、传输、存储、交换等各个环节的数据集整体管理,以及各个数据项处理方法。
基于数据中台开展非结构化数据统一存储。基于数据中台非结构化组件集中存储和管理所有接入业务应用系统的非结构化数据。将非结构化存储空间划分为存储区和共享区,其中存储区用于接入、存储源业务系统非结构化数据,相关数据满足各专业系统对本系统非结构化数据全生命周期的存、取、用需求。共享区汇聚具有高共享价值的非结构化数据,相关数据经数据盘点、业务部门确认,用于跨专业跨系统数据共享和构建数据服务,并在数据资源目录可视可查。
建立元数据管理体系。将非结构化数据的元数据分为基础元数据和增强元数据,梳理形成非结构化数据元数据体系。其中基础元数据参考国家标准《信息与文献都柏林核心元数据元素集》(GB/T25100-2010),实现对非结构化数据对象的规范定义,如标题、来源、摘要等。增强元数据依据应用业务需求进行设计,包含源端系统业务元数据、管理元数据及操作元数据。采用统分统管原则,基础元数据统一管理,增强元数据按需设计,形成一套完整的元数据管理体系。
打造中台非结构化数据共享区,实现文件流转与共享。新建应用系统基于数据中台建设,存量业务应用系统逐步按需将非结构化数据迁移至数据中台,基于数据中台非结构化组件,统筹不同应用系统的文件在数据中台流转与共享。通过数据中台构建文件智能分析能力,使各使用方可以快速检索并在不同应用系统之间传递所需文件,保证文件的准确性、一致性、及时性、安全性等,支撑非结构化数据在不同专业之间、端到端有序高效地传递和交互。
开展质量管理。依据数据在生命周期各个阶段的特性,建立数据质量控制机制,及时发现非结构化数据质量问题,提升数据可用性。数据使用方在使用过程中提出数据质量需求或数据质量问题,协同数据管理方、数据提供方进行数据质量治理,开展非结构化数据治理流程管控,实现非结构化数据治理闭环管理。
建立常态运营机制,建设多元化应用样板间。完善非结构化数据运营机制,常态开展非结构化数据需求受理、解决方案制订、数据接入、数据溯源、数据共享等工作。专项推进建设多元化应用样板间,聚焦制度标准管理体系开展数字化赋能建设,扩大技术资料、标准制度等公开数据接入范围,满足基层用户查数据、用数据需求;围绕项目中台智能化提升工作,构建非结构化数据提取功能和专题检索服务,辅助项目过程材料智能审查,改变现有线下传递、低效审阅的局面。
(作者单位:国家电网有限公司大数据中心)
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
北极星售电网获悉,国家发展改革委、工业和信息化部、国家能源局近日印发关于开展零碳园区建设的通知,通知指出,支持有条件的地区率先建成一批零碳园区,国家发改委将在试点探索、项目建设、资金安排等方面对零碳园区建设给予积极支持。各地区发展改革委要会同本地区工业和信息化、能源主管部门等推荐
北极星碳管家网获悉,近日,国家发展改革委、工业和信息化部、国家能源局印发《关于开展零碳园区建设的通知》(发改环资〔2025〕910号,以下简称《通知》)。国家发展改革委有关负责同志就《通知》接受采访,回答了记者提问。问:开展零碳园区建设的背景和意义是什么?答:当前,我国已进入实现碳达峰
北极星售电网获悉,6月30日,广东汕尾市发展和改革局发布关于公开征求《汕尾市支持新能源汽车产业高质量发展的若干政策措施(修订)(征求意见稿)》意见的公告。文件明确,所在地电网企业应支持充电桩业主安装独立电表,对已安装独立电表的充电桩统一按大工业用电峰谷电价计费并免收基础电费。电网企
2024年中央经济工作会议明确要求“建立一批零碳园区”。近日,国家发展改革委、工业和信息化部、国家能源局印发了《关于开展零碳园区建设的通知》(发改环资〔2025〕910号,以下简称《通知》),明确了零碳园区的建设条件、重点任务、保障措施、组织方式等一系列内容。《通知》贯彻落实党中央、国务院
近日,国家发展改革委、工业和信息化部、国家能源局印发《关于开展零碳园区建设的通知》(发改环资〔2025〕910号,以下简称《通知》)。国家发展改革委有关负责同志就《通知》接受采访,回答了记者提问。问:开展零碳园区建设的背景和意义是什么?答:当前,我国已进入实现碳达峰目标、加紧经济社会发
2025年4月份,浙江电力交易中心公布了《浙江省虚拟电厂运营管理细则》和《浙江电力领域新型主体市场化响应方案》两份征求意见稿,同时配套发布了浙江虚拟电厂注册的相关规则。(来源:鱼眼看电改作者:俞庆)这代表了《关于加快推进虚拟电厂发展的指导意见(发改能源〔2025〕357号)》在浙江的落地细则的
近日,国家发展改革委、工业和信息化部、国家能源局印发《关于开展零碳园区建设的通知》(发改环资〔2025〕910号,以下简称《通知》)。国家发展改革委有关负责同志就《通知》接受采访,回答了记者提问。问:开展零碳园区建设的背景和意义是什么?答:当前,我国已进入实现碳达峰目标、加紧经济社会发
近日,国家发改委、国家能源局联合出台《关于有序推动绿电直连发展有关事项的通知》(发改能源〔2025〕650号,以下简称“650号文”)。650号文试图在电网的“主干道”供电之外,给与市场主体一个新的绿电采购选项:以用户为中心,开辟一条点对点的“专属通道”,允许新能源电站通过专用线路,直接供给
7月8日,国家发改委、工信部、国家能源局联合发布的《关于开展零碳园区建设的通知》指出,有计划、分步骤推进各类园区低碳化零碳化改造的八项重点任务,即:加快园区用能结构转型;大力推进园区节能降碳;调整优化园区产业结构;强化园区资源节约集约;完善升级园区基础设施;加强先进适用技术应用;提
7月8日,国家发改委、工信部、国家能源局联合发布的《关于开展零碳园区建设的通知》指出,有计划、分步骤推进各类园区低碳化零碳化改造的八项重点任务,即:加快园区用能结构转型;大力推进园区节能降碳;调整优化园区产业结构;强化园区资源节约集约;完善升级园区基础设施;加强先进适用技术应用;提
近日,河南省发展和改革委员会发布关于豫能台前2x1000MW煤电项目核准的批复。该项目建设地点位于濮阳市台前县后方乡,项目新建2台100万千瓦高效超超临界燃煤发电机组。采用二次循环水冷却系统,生产主水源为污水处理厂再生水,补充和备用水源为引黄调蓄水,生活用水为城市自来水。燃煤经铁路专用线输送
6月26日,国网甘肃省电力公司完成光明电力大模型本地化应用客户端核心功能开发,将应用程序编程接口调用过程内置于统一界面,使员工简单配置就能访问调用人工智能平台上的各类智能体。这是该公司推进人工智能多场景应用的创新成果之一。2024年以来,国网甘肃电力深入推进人工智能技术在各专业领域的应
2025年的4月28日,西班牙电网在短短的5秒之内失去了超过15吉瓦的电力。这场持续十几个小时的大停电,让5000万人的生活停摆,居民通讯中断、医疗系统停滞、公共交通瘫痪。突如其来的大停电也引发了我们对当今能源转型的思考#x2014;#x2014;极端天气频发、新能源大量接入、设备老化等一系列情况下,电网如
习近平总书记强调,要进一步树立发展是硬道理、安全也是硬道理的理念。2025年是安全生产治本攻坚三年行动“集中攻坚年”。国家电网有限公司深入学习贯彻习近平总书记关于安全生产、能源保供的重要论述和重要指示批示精神,面向能源转型期日益突出的大电网安全风险,进一步抓实双重预防机制运转,提升安
6月23日,国网河南省电力公司审计中心员工应用该公司自主构建的“电压等级-供电单位”双维度分析模型,高效梳理了所属18家地市级供电公司配电网投资规模与效能。应用该模型后,3名员工仅用1周即可完成过去15人耗时1个月才能完成的跨专业数据搜集汇总工作,且数据精准全面,审计质量和效率显著提升,更
AI大模型时代,我国提出开展“人工智能+”行动,AI智能体(Agent)被认为是“人工智能+”赋能各行各业应用落地的关键。生成式AI的发展是划时代的,堪比50年前个人电脑的出现和30年前互联网的出现,未来10年从个人生活方式到社会经济的方方面面,都会被颠覆或者重构。2025年政府工作报告明确提出持续推
6月20日,国网浙江省电力有限公司杭州供电公司总经理朱炯结合能源电力行业AI实际的应用,在2025国家能源互联网大会上作《人工智能在电网中的探索研究与创新实践》主题报告,报告围绕发展与挑战、创新实践和未来展望三个方面展开。朱炯介绍,从国家层面对人工智能的发展高度重视,尤其是习近平总书记深
“余村计划将村西某工厂屋顶加装装机容量为2000千瓦的中压光伏,请帮我研判局部电网是否可承载?”“并网10千伏线路余村685线可承载。”6月5日,面对浙江省安吉县天荒坪镇余村台区经理王明明提出的问题,“AI数据经理”对答如流。“AI数据经理”系列智能应用场景由国网浙江省电力有限公司自主研发,可
在推进新能源占比不断提升的新型电力系统构建进程中,煤电正经历着历史性的角色嬗变。今年,国家发展改革委、国家能源局联合印发《新一代煤电升级专项行动实施方案(2025#x2014;2027年)》(以下简称《实施方案》),新一代煤电升级专项行动正式启动,旨在推动传统煤电向“清洁降碳、安全可靠、高效调
5月25日电一大早,国网山西超高压输电公司晋东南地区运维人员单喆快步安装好声波传感器,抡起激励锤,稳稳地砸向1000千伏湛长一线A腿斜材上,“咚”的一声,震响由近至远,从地面传向塔尖。而一侧,声纹智能分析系统已把声音变成波纹,与“基波”进行了对比,很快“诊断”出该条塔腿已全部紧固到位,整
近日,国家电投集团重庆生产运营中心结束试运行,正式投入运营。重庆生产运营中心从蓝图规划到投入运行,期间历经上百次模拟测试、多项技术优化,完成对重庆域内6座水电站、2座风电场的通信数据标准化改造,数据采集完成率提升至100%,最终正式投运。试运行期间,水电、风电的监测数据格式、通信协议差
5月20日,希姆西传感器生产基地在浙江安吉正式开业。希姆西传感器制造(安吉)有限公司由两山国有控股集团战略投资,打造集传感器精密制造、数据中台开发、AI诊断及油处理设备于一体的智能监测装备生产基地。希姆西作为国家级高新技术企业,自2019年创立于南京以来,始终致力于构建工业润滑系统的智能
习近平总书记强调,要进一步树立发展是硬道理、安全也是硬道理的理念。2025年是安全生产治本攻坚三年行动“集中攻坚年”。国家电网有限公司深入学习贯彻习近平总书记关于安全生产、能源保供的重要论述和重要指示批示精神,面向能源转型期日益突出的大电网安全风险,进一步抓实双重预防机制运转,提升安
党的二十大报告指出,“要积极稳妥推进碳达峰碳中和”“逐步转向碳排放总量和强度‘双控’制度”。我国碳排放主要来源于能源活动和工业生产过程,其中能源活动占到总碳排放的88%,而电力行业碳排放占能源活动碳排放的41%,做好电力碳排放统计核算工作至关重要。近日,国家发展改革委等部门印发《完善碳
围绕人工智能规模化应用样本需求,国家电网有限公司大数据中心初步建成具备样本清洗、分类、标注、质检等能力的人工智能样本库——近期,国家电网有限公司大数据中心设计中心(人工智能样本中心)技术攻关团队队员正依托公司级人工智能样本库,针对公司总部及各省级电力公司人工智能模型训练需求,开展
国家电网有限公司大数据中心深入学习贯彻习近平总书记关于安全生产重要论述和重要指示批示精神,落实国家电网有限公司2024年“安全生产月”活动部署要求,强化安全责任,全面提升数据安全防护能力,重点防护网络恶意攻击,持续强化数据安全应急体系建设,进一步夯实安全防线,为电网数字化智能化建设提
国网大数据中心2024年度集中采购批次安排
国家电网有限公司四届四次职代会暨2024年工作会议强调扎实做好做强做优做大、保供和转型、科技自立自强、深化改革、党的建设五篇大文章,以数智化坚强电网推动构建新型电力系统。国家电网有限公司大数据中心认真贯彻落实公司“两会”精神,扎实做好五篇大文章,围绕“服务以数智化坚强电网推动构建新型
公司第四届职工代表大会第四次会议暨2024年工作会议提出,打造数智化坚强电网是顺应数字化智能化发展趋势、推动传统电网转型升级和高质量发展的迫切需要,是保障电网安全运行和电力可靠供应的迫切需要,是加快能源电力清洁低碳转型的迫切需要,是“双碳”目标下推动新型电力系统建设的必由之路。公司各
12月19日以来,国网大数据中心落实国网物资部和国网数字化部部署,启动抗击冰冻雨雪和保地震物资供应平台专项保障。该中心围绕物资库存仓储信息等数据,成立物资数据链路和平台资源保障团队;围绕库存仓储类数据链路、巡检离线计算资源使用情况、实时查询和即席分析组件运行及资源使用情况等;开展重点
11月8日获悉,在国网数字化部指导下,国网大数据中心电力看经济大数据应用工作完成电力看新型工业化发展、民营经济等新产品场景研发,并正式向国家有关部门提供服务。新产品场景充分发挥电力数据价值,通过电力大数据研究民营经济用电情况、洞察民营经济发展态势。国网大数据中心打造电力看经济“1+N”
9月20日,基于国家电网供应链运营中心(ESC)的国内首个基于电力大数据的大宗原材料价格预测数据产品上线。该产品可以帮助用户提升对大宗原材料价格波动趋势的预判力,提前做好库存、产能及资金安排,防范由于大宗原材料价格波动所引发的供货履约风险。该产品由国网物资公司牵头,国网大数据中心、英大
8月8日,国家电网有限公司大数据中心模型研发团队运用自主研发的电力电缆碳足迹核算模型,根据供应商企业信息、能源消耗等数据,完成某型号低压电力电缆碳足迹核算试算。电力电缆碳足迹核算模型是该中心构建的电工装备碳足迹核算模型之一。2022年起,在国网物资部的指导下,国网大数据中心针对采购数量
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!