登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
数字信息时代,数据对经济建设、社会生活和企业管理等产生了重要影响。根据高德纳(Gartner)公司分析,企业近80%的数据为非结构化数据。随着数据爆炸式增长,非结构化数据将成为数据增长主力。实施非结构化数据治理、提升数据质量、挖掘数据价值是企业迈入数字化时代的关键。对电网企业而言,海量智能终端所生成的文档、图像、语音、视频等非结构化数据量已达到PB级。加强非结构化数据治理,实现非结构化数据解析与价值挖掘,对电网企业发展具有重要的意义。
何为非结构化数据及数据治理
非结构化数据是数据结构不规则或不完整,没有预定义模型的数据。在企业的整体数据架构中,非结构化数据往往是指不适用于数据库二维关系逻辑表表达的数据,包括所有格式办公文档、工程图纸、图像和音视频文件等。在国家电网有限公司数据资产中,非结构化数据包括由地理信息系统、95598客服系统、项目管理系统、电子商务平台等产生的地理信息数据、客服语音、项目资料、物资采购信息等数据。
数据治理是指在管理数据资产过程中行使权力,包括计划、监控和实施三个步骤。数据治理聚焦如何制订有关数据的决策、人员在数据管理方面的行为方式,确保根据数据管理制度和最佳实践正确地管理数据。
非结构化数据治理统筹和协调非结构化数据各项管理工作有序开展,核心要素体现在组织、制度、文化和考核四个方面,这些是开展非结构化数据管理工作的关键。
电网企业非结构化数据治理的前景和挑战
公司于2019年开展数据中台建设,2022年数据中台迈入深化运营阶段,非结构化数据通过非结构化组件基本实现了集中存储,满足基于文档全周期的存、取、用需求。电网企业的非结构化数据贯穿于发电、输电、变电、配电、用电和调度所有环节,也几乎存在于企业经营管理的所有业务应用当中。随着人工智能等信息处理技术发展,非结构化数据管理的内涵及外延都在发生深刻变化,有必要重新审视当前企业非结构化数据管理现状,规划新时期非结构化数据管理体系及实施路径。电网企业非结构化数据治理工作主要面临着以下挑战:
存在信息孤岛。电网企业在日常经营管理和业务管理过程中使用功能各异的应用系统或信息化管理平台,产生各种非结构化数据。这些非结构化数据具有来源多、格式多、涉及专业多等特点,这一方面是由于信息系统的建设具有阶段性,另一方面是由于各个系统自成体系,导致系统之间的数据呈现孤立状态,数据标准不统一,缺少数据贯通接口。
管控体系不完善。电网企业部分系统之间实现了文件之间的流转,但是非结构化数据管理方法和制度仍然不够完善,如部分文件在各个系统内归档管理、流转主要基于数据导出方式,难以进行统一检索和共享利用。
存在数据黑盒。当前电网企业文档管理制度并非建立在彻底理清数据的基础上。非结构化数据缺少必要的分类和元数据项,缺乏清晰和规范的管理流程和要求,数据量和数据内容难以掌握,影响非结构化数据价值发挥。
电网企业非结构化数据治理工作探索与实践
国网大数据中心遵循公司数据发展战略,以充分发挥数据作用、驱动企业数字化转型为目标,按照“基于中台、统筹推进、统一纳管、安全共享”的工作原则,把核心非结构化数据资源汇聚至数据中台,形成全生命周期和全业务系统端到端非结构化数据治理思路,建立从非结构化元数据体系研究与数据资源目录构建到非结构化数据协同治理的工作模式,推动中台非结构化数据质量提高,为业务工作赋能。
非结构化数据的全生命周期管理包括非结构化数据采集、传输、存储、交换等各个环节的数据集整体管理,以及各个数据项处理方法。
基于数据中台开展非结构化数据统一存储。基于数据中台非结构化组件集中存储和管理所有接入业务应用系统的非结构化数据。将非结构化存储空间划分为存储区和共享区,其中存储区用于接入、存储源业务系统非结构化数据,相关数据满足各专业系统对本系统非结构化数据全生命周期的存、取、用需求。共享区汇聚具有高共享价值的非结构化数据,相关数据经数据盘点、业务部门确认,用于跨专业跨系统数据共享和构建数据服务,并在数据资源目录可视可查。
建立元数据管理体系。将非结构化数据的元数据分为基础元数据和增强元数据,梳理形成非结构化数据元数据体系。其中基础元数据参考国家标准《信息与文献都柏林核心元数据元素集》(GB/T25100-2010),实现对非结构化数据对象的规范定义,如标题、来源、摘要等。增强元数据依据应用业务需求进行设计,包含源端系统业务元数据、管理元数据及操作元数据。采用统分统管原则,基础元数据统一管理,增强元数据按需设计,形成一套完整的元数据管理体系。
打造中台非结构化数据共享区,实现文件流转与共享。新建应用系统基于数据中台建设,存量业务应用系统逐步按需将非结构化数据迁移至数据中台,基于数据中台非结构化组件,统筹不同应用系统的文件在数据中台流转与共享。通过数据中台构建文件智能分析能力,使各使用方可以快速检索并在不同应用系统之间传递所需文件,保证文件的准确性、一致性、及时性、安全性等,支撑非结构化数据在不同专业之间、端到端有序高效地传递和交互。
开展质量管理。依据数据在生命周期各个阶段的特性,建立数据质量控制机制,及时发现非结构化数据质量问题,提升数据可用性。数据使用方在使用过程中提出数据质量需求或数据质量问题,协同数据管理方、数据提供方进行数据质量治理,开展非结构化数据治理流程管控,实现非结构化数据治理闭环管理。
建立常态运营机制,建设多元化应用样板间。完善非结构化数据运营机制,常态开展非结构化数据需求受理、解决方案制订、数据接入、数据溯源、数据共享等工作。专项推进建设多元化应用样板间,聚焦制度标准管理体系开展数字化赋能建设,扩大技术资料、标准制度等公开数据接入范围,满足基层用户查数据、用数据需求;围绕项目中台智能化提升工作,构建非结构化数据提取功能和专题检索服务,辅助项目过程材料智能审查,改变现有线下传递、低效审阅的局面。
(作者单位:国家电网有限公司大数据中心)
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
为进一步推进落实《电网公平开放监管办法》,近期,南方能源监管局在广东省有关地市组织开展电网公平开放现场监管检查。现场检查组认真检查电网企业公平无歧视提供接入服务情况,电网企业建立电源项目接入电网工作制度情况,电源项目接入电网并网意向申请、接入系统设计、设计方案研究、接入工程前期、
北极星输配电网获悉,11月30日,江西省能源局发布关于征求《关于进一步推进屋顶分布式光伏健康有序发展的通知(征求意见稿)》意见的函。意见征求日期:2023年12月8日17:00前。文件提出,电网企业要按照《分布式电源接入电网承载力评估导则》(DL/T2041-2019)要求,定期组织开展以县域为单位的屋顶分
北极星售电网获悉,内蒙古电力公司发布2023年12月工商业电力客户代理购电价格公告,12月份电网企业代理购电价格为329.2元/兆瓦时。
海南电网有限责任公司代理购电工商业用户电价表(2023年12月)公布,100千伏安以下代购电价为518.393元/兆瓦时,100千伏安及以上代购电价为523.818元/兆瓦时。
近日,全国各地2023年12月电网企业代理购电价格陆续公布。北极星售电网汇总了2023年4月-2023年12月各地电网企业代理购电价格,如下图所示:相关阅读:海南电网代理购电工商业用户电价(2023年12月)公布2023年11月全国各地电网企业代理购电价格公布(附电价表)以下为2023年12月各地电网企业代理购电价
根据气象部门预测,受厄尔尼诺现象影响,今年冬季山东气温较常年偏高,但气候波动大,局部地区寒潮发生概率大,可能出现强降雪天气。综合考虑气候因素、国际国内能源供需形势,山东省今年迎峰度冬仍然存在保供压力。山东能源监管办认真履行能源电力保供监管工作职责,专门印发《关于做好迎峰度冬电力供
“在今后的工作中,我院将继续加强后勤保障工作与贵公司的深入合作,共同维护好医院电网工作,共同保障电网安全稳定运行,为辖区百姓诊疗提供安全可靠的电力支撑,为百姓健康诊疗作出更大的贡献。”近日,甘肃省庆阳市西峰区人民医院主要负责人对前来开展安全用电检查的国网庆阳供电公司工作人员表示感
北极星输配电网获悉,11月27日,四川能源监管办发布关于印发《四川新建电源接入电网监管实施细则》(以下简称《细则》)的通知。《细则》指出,电网企业应建立健全电源项目接入电网工作制度,明确办理接入电网服务的有关工作部门、工作流程、工作时限,以及负责电源项目配套接网工程建设的工作部门、工
上海市十六届人大常委会第八次会议对《上海市发展方式绿色转型促进条例(草案)》进行了审议。向社会广泛征求意见,以便进一步研究修改,再提请以后的常委会会议审议。公开征求意见的时间:2023年11月27日至12月11日。文件有关事项说明表示,加快发展方式绿色转型是党的二十大报告和国家《“十四五”规
北极星输配电网获悉,11月22日,国家能源局西北监管局发布关于印发《西北区域电力并网运行管理实施细则》的通知。文件明确,并网主体、电网企业均应严格遵守国家有关法律法规、标准以及电力调度管理规程、电气设备运行规程,共同维护电力系统安全稳定运行。电力调控机构按各自调度管辖范围负责电网运行
北极星输配电网获悉,11月15日,国家能源局综合司发布关于公开征求《电力市场信息披露基本规则(征求意见稿)》意见的通知。文件提出,电网企业应当披露的公开信息包括:(一)电力业务许可证(输电类、供电类)编号。(二)发电机组装机、电量及分类构成(含独立储能)情况。(三)年度发用电负荷实际
9月13日,国家电网有限公司大数据中心平台处专责郭学良收到业务部门的数据中台业务数据表监测需求后,登录数据中台全链路监测运营平台,应用统一采集探针服务,在2分钟内完成了27家省级电力公司相关数据表的采集监测链路配置。4月以来,天津电力信通公司开展数据中台全链路监测能力提升工作。目前,部
9月11日,山东潍坊供电公司自主研发的“智慧城市电力大脑”平台上线运行。当日,该公司发展策划部综合统计分析专责通过“智慧城市电力大脑”平台中的“电力看经济”应用,监测分析全市及各县工业企业用电大户的日用电量情况,制作用电情况周报。周报将提交给潍坊市工业运行指挥部,帮助政府部门精准研
“10千伏潭东线所带的3台变压器连续4天线损率在高损区间。”8月24日,甘肃临潭县供电公司城关供电所员工马国礼收到了10千伏潭东线线损数据异常的短信。他从手机上点开工单,核实3台变压器的档案信息及拓扑关系,确定是线变关系错误导致台区高损。线变关系整改后,台区线损率恢复正常。为解决生产领域的
8月5日,国网信通产业集团国电通研发的国家电网公司企业级指标中心应用系统正式上线满1个月。截至目前,该应用系统已汇集2.2万余项权威指标,在国家电网公司9个业务部门、27家省公司应用,支撑102个业务场景在线构建,全网访问量突破12万次。企业级指标中心以数据中台为基础,通过数据共享服务,实现数
“现在全链路采集探针应用太方便了,消除了针对不同数据源部署独立采集程序的问题,大幅降低数据采集运维工作量。”7月20日,国网大数据中心平台处专责郭学良应用国网天津信通公司研发的全链路监测运行平台采集功能进行数据中台运营月报指标统计时说。国网天津信通公司聚焦链路监测、监测规范性等方面
6月29日,国网河北省电力有限公司计量资产一本账监管平台正式上线。国网河北电力的省市县所四级计量资产管理人员应用该平台可开展计量资产台账、实物管理及运营决策。年初,国网河北电力营销中心全面梳理计量资产各环节业务管理情况,引入云服务及数据中台技术,按照微服务架构整合分散的业务系统数据
4月18日,山西临汾供电公司审计部经营审计专责依托国网山西省电力公司数据中台提取了该公司供区内全部高压客户的实时负荷数据曲线,并结合自主开发的客户负荷画像审计模型对比锁定了7户存在转供电疑点的用户,及时提醒营销专业人员前往现场核查。今年,针对客户侧异常用电监测准确率偏低、研判周期较长
经过近一年的试运行,由山东济宁供电公司研发的重点企业用电监测数据产品于近日上线运行。重点企业用电监测数据产品主要包括重点企业用电监测、全社会用电统计、节能减排企业用电情况、规模以上企业及重点企业计量点明细、全部企业用电量明细等,可图形化展示重点企业日用电量及用电量同比、环比等数据
国网江苏电力以资产全寿命周期管理提升三年行动计划为主线,基于PMS3.0架构,打造了资产管理数据底座,完成了PMS3.0项目管理、资产管理、成本管理应用部署推广,支撑业务协同向数据协同、设备管理向资产管理、评价驱动向策略驱动的“三个转变”。4月4日,江苏无锡供电公司设备部变电运维班班员施路炯在
4月3日获悉,在国家电网有限公司数字化部指导下,国网大数据中心运营建设的数据中台指标报表中心已全面赋能营销2.0、国网绿链、发展综合统计分析、企协对标管理等公司核心业务系统及应用,为公司各层级用户提供可靠的指标报表服务。指标报表中心作为数据中台的核心组件,是公司各专业指标报表构建、发
2月17日,内蒙古电力集团公司召开2023年度数字化工作会。集团公司党委委员、副总经理闫军出席会议并讲话。相关业务部门、所属各供电单位、业务公司负责人及相关人员参加会议。会议全面落实集团公司“两会”决策部署,认真总结2022年数字化工作情况,分析当前形势,查找工作不足,对2023年工作进行具体
11月8日获悉,在国网数字化部指导下,国网大数据中心电力看经济大数据应用工作完成电力看新型工业化发展、民营经济等新产品场景研发,并正式向国家有关部门提供服务。新产品场景充分发挥电力数据价值,通过电力大数据研究民营经济用电情况、洞察民营经济发展态势。国网大数据中心打造电力看经济“1+N”
8月8日,国家电网有限公司大数据中心模型研发团队运用自主研发的电力电缆碳足迹核算模型,根据供应商企业信息、能源消耗等数据,完成某型号低压电力电缆碳足迹核算试算。电力电缆碳足迹核算模型是该中心构建的电工装备碳足迹核算模型之一。2022年起,在国网物资部的指导下,国网大数据中心针对采购数量
党的二十大报告指出“加快建设网络强国、数字中国”“加快发展数字经济”。开展数据合规管理,保障数据安全合规流通,是落实数字中国建设的重要举措。国家电网有限公司大数据中心认真贯彻公司关于数据合规的部署和要求,着力构建“形势全跟踪、要求全落实、环节全嵌入、技防全覆盖”的数据合规管理体系
4月3日获悉,在国家电网有限公司数字化部指导下,国网大数据中心运营建设的数据中台指标报表中心已全面赋能营销2.0、国网绿链、发展综合统计分析、企协对标管理等公司核心业务系统及应用,为公司各层级用户提供可靠的指标报表服务。指标报表中心作为数据中台的核心组件,是公司各专业指标报表构建、发
3月29日,国网大数据中心支撑国网营销部完成国家电网公司经营区域2023年电力需求形势分析工作。为做好电力需求分析预测,国网营销部积极开展专项研究。国网大数据中心发挥大数据、人工智能等技术优势,组织攻关团队,基于企业中台挖掘内外部数据价值,应用机器学习模型,多维度分析经济、气候等客观因
3月20日,生态环境部环境与经济政策研究中心党委书记、主任钱勇一行到国网大数据中心签署大数据应用合作协议。国网大数据中心主任、党委副书记吴杏平,副主任、党委委员崔恒志出席签订仪式。生态环境部政研中心党委副书记兼纪委书记胡军,国网大数据中心副主任、党委委员程志华代表双方签署了合作协议
国网大数据中心2023年第一次物资公开招标采购推荐的中标候选人公示招标编号:902302
国网大数据中心2023年第一次服务公开竞争性谈判采购推荐的成交候选人公示(采购编号:9023J1)
2月20日,陇东能源大数据中心全面完成对甘肃庆阳环县南区集中供热有限责任公司能耗数据实时采集工作,为月底完成能碳“双控”平台接入打下坚实的基础。陇东能源大数据中心是甘肃省能源大数据中心“一核两翼”布局的核心节点之一,于2022年12月26日在甘肃省庆阳市“东数西算”产业园区投入使用。该中心
国网大数据中心2023年度集中采购批次计划安排
11月29日,由国网甘肃省电力公司组织建设的能源大数据中心顺利通过评审专家的功能验收,标志着甘肃省级能源大数据中心基本建成,具备了面向全省开展能源数据服务的能力。能源大数据中心作为能源领域新型数字基础设施,是顺应能源革命和数字革命融合发展的新趋势,是落实《甘肃省“十四五”数字经济创新
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!