南方电网数据中心实时数据服务平台、数据工厂等多个平台功能正式投运

随着“云大物移智”等数字化技术和应用的蓬勃发展，国家将依托于数字资产的“数字经济”作为经济结构转型的重要手段，提出建设数字中国的战略。

当前，南方电网公司紧紧把握第四次工业革命的历史机遇，将数字化作为公司战略转型的重要路径，重点围绕数字电网、数字运营和数字能源生态三个方向，通过“全要素、全业务、全流程”的数字化转型，推进“数字南网”建设，推动公司向智能电网运营商、能源产业价值链整合商、能源生态系统服务商转型。

数字经济蓬勃发展，南方电网公司如何收全、管好、用精数字电网环境下产生的多源、海量、异构的数据资源，成为公司数字化转型的重要挑战。

转型挑战

在数字技术发展的推动下，社会形态、市场规则都发生重大转变，数字化转型已由互联网科技行业逐步扩展到传统行业

面临新一轮电改等形势，南方电网公司亟待进行变革。为何这一轮的变革必须依托数字化?其实不难发现，对外，数字化能驱动能源消费市场和产业生态的变革;对内，数字化能赋能企业生产效率和管理效益的提升;内外相结合，还能共同催生出创新的业务模式，促进能源价值链整合。可见，利用数字化技术和思维，不仅能推动能源流、价值流、信息流融合，持续提升公司的信息化、数字化、智能化水平，还能够为南方电网公司“三商”转型战略落地提供重要支撑。

数据、平台、用户、应用是南方电网公司数字化转型的四大核心要素。数字电网广泛运用传感测量、通信信息等新型技术，将物理电网的结构、特性等信息进行全面的数字化表征、描述和实现，产生了更加丰富的数据类型、更加复杂的数据生成模式以及更高的数据消费响应要求，给数据整合利用带来巨大的技术挑战，对南方电网公司数据中心(以下简称“数据中心”)提出了更高的能力要求：如何切实做到“收全”“管好”“用精”数据，服务公司数字化转型战略的有效落地成了亟待解决的关键问题。

数据作为南方电网公司推动能源链、价值链和信息链融合的“原材料”，作为加速“三商”转型的“催化剂”，是物理电网实现孪生数字电网的“天然纽带”。随着业务数字化的程度不断拓宽加深，将给南方电网公司带来更多的数据，同时数据又将驱动业务产生新的商业模式，实现数据和业务的良性互动。南方电网公司的数据应用体系会随之从单一的统计报表类分析，衍生出诸如创新业务流程、智能决策、数据挖掘、数据洞察、用户自助分析等更为丰富的业务应用类型。而传统的“旁站式”数据中心主要还是围绕从源端业务系统采集至数据中心的数据开展分析型应用，对事务型的业务系统应用实时支撑不足，各业务系统间容易形成技术筒、数据墙，导致数据融合难度不断加大。此外，业务系统“各自为政”地开展数据应用建设，为南方电网公司推动公共数据积累和公共数据服务沉淀，实现数据“一处产生，多处应用”带来制约，难以构建公司统一的数据支撑能力视图，公司数据中心升级完善就此启动。

定位升级

推动数据中心从“旁站式”向“底座式”模式转变，真正实现公司数据层面的无缝融合和业务层面的共享共用

自“十二五”以来，数据中心发展历经三个阶段：在早期“6+1”系统建设阶段，搭建企业级数据仓库，实现了公司总部指标的统计分析与展现，支撑公司各业务部门的指标管理要求;在中期大数据技术初步应用阶段，数据中心完成了传统集中式数据处理架构向分布式处理架构的升级，为全网的统计分析需求提供了技术支撑;在当前大数据技术体系全面建设与发展的数字化转型阶段，公司引入先进技术和成熟组件产品建设“底座式”数据中心，实现了对海量、异构、多频数据的采集、存储、计算和分析服务。

所谓的“底座式”数据中心，是指以云数一体的方式升级公司数据中心，实现数据中心组件自动化部署、资源弹性化管理、数据模型统一设计和管控、事务型与分析型数据库一体化管理、数据服务化供给和数据全链路监控的技术特性，切实打通数据壁垒，沉淀公共数据服务，使得公司数据中心成为公司数字化转型和数字南网建设所有平台和应用的统一基础数据底座。

作为南方电网公司数字化转型和数字南网建设的基础数据底座，数据中心将推动全域数据统一汇聚、数字电网模型统一设计、海量数据统一存储、大数据分析计算组件统一支撑，促进数据层面的无缝融合和业务层面的共享共用。对内，实现对各类业务应用提供按需便捷的数据服务，满足业务模式创新需求，成为提升管理水平的“倍增器”;对外，实现南方电网公司与国家、政府、企业间的数据对接，推动共享开放、合作互利，成为公司构建能源价值链的“连接器”。

能力升级

实现重点技术突破，持续构建和完善大数据核心工具组件，推动数据中心能力升级，为数字南网建设赋能

2019年，数据中心根据基础数据底座的总体定位，通过采购相关成熟工具组件开展平台功能的建设完善，面向数据采集、建模、存储、分析和服务能力得到了全面加强，为促进公司大数据技术与业务的深度融合提供了新的有效的支撑。

在数据采集方面，数据中心作为南方电网公司数据统一汇聚的唯一平台，数据采集范围不断扩展，数据种类日渐丰富。利用OGG日志解析技术，数据中心已实现包括全网营销、资产、财务、人资等10个系统的结构化数据全域采集，累计采集数据368.9TB，日均增量0.3TB;通过sftp、kafka等采集技术，已实现对58套调度自动化系统(含OMS)实时数据的秒级采集，并实现了涵盖五省区电网公司和深圳供电局的计量自动化、配网自动化、气象、设备在线监测、电能质量、电压监测、继电保护及故障信息系统、覆冰、雷电、山火共148套系统实时数据的秒级采集，累计采集数据567TB;此外，数据中心也已完成协同办公系统、电子商务系统、数字档案馆、机巡管理系统中的图档、文件、机巡图片等非结构化数据持续采集，累计采集数据110TB。

在数据模型方面，构建了南方电网公司统一数字电网模型基线，为打通数据关联、保障数据规范、推动数据高效应用提供了基础支撑。依据各业务域需求，数据中心开展了覆盖全域的统一数字电网模型基线版设计，涵盖发、输、变、配、用能量全过程，贯穿规划、采购、运行、检修供应链全环节，2019年累计完成932个模型设计开发，为电网资源中心、电网管理平台、客户服务平台等提供了统一模型支撑。

在数据存储方面，数据中心采用的数据库技术门类齐全，支撑的应用场景丰富：利用MPP分布式并行存储(MPP)技术，支撑了公司企业级运管和专业域运管、统计报表和实时指标类数据应用;利用分布式列式存储(HBase)和分布式全文搜索技术(Elastic-search)，支撑了微信账单、移动营销等应用;借助分布式结构化存储技术(Kudu)，支撑数字乌当、海南掌厅等应用;借助实时数据存储技术，支撑了对时序大数据的存储和处理;借助对象存储技术，实现了对协同办公系统、电子商务系统、数字档案馆、机巡管理系统中的图档、文件、机巡图片等非结构化数据的统一托管存储。截至目前，数据中心用于数据存储的服务器共421台，可用存储达21.34PB，通过弹性扩容能力逐步承载公司全域数据的存储需求。

在数据服务组件方面，打造数据中心服务组件层，沉淀公共数据服务，提升数据服务标准化水平和服务敏捷性。2019年，数据中心打造了统一门户、数据工厂、自助分析、数据服务引擎等能力服务，为数据“原材料”的快速加工和有效沉淀提供了支撑，各级员工可利用一站式的数据开发模块开展数据全流程处理、数据可视化展示、数据自助分析等应用，为加速数据分析应用迭代、员工自主分析、内部数据供给提供了能力保障。

在数据安全方面，南方电网公司构建起关键领域和敏感信息“进不来、拿不走、打不开、赖不掉”的四道信息安全防线，确保在不影响业务、不降低性能的前提下，对数据中心数据构建了入口加密、出口脱敏、全程审计的数据安全防护能力。在数据加密方面，已完成对生产管理区重要数据的加密，消除了明文存储引起的数据泄露隐患;在数据脱敏方面，已实现测试区所有数据均为脱敏数据，生产区数据可按需进行动态脱敏;在数据审计方面，目前已实现对数据库操作行为的全面监测与审计，能够及时发现非法违规操作并实时告警，也可以做到主动防御和攻击留痕，基本达到实时审计、全过程审计和安全问题可追溯的要求。

展望未来

数据中心作为支撑南方电网数字化转型的基础数据底座，将成为释放大数据价值的新引擎

2020年，数据中心将在《大数据技术与应用发展专项规划》的总体指导下，以平台升级完善和应用建设为抓手，数据治理和数据安全保障为两翼，完成支撑数字化转型的基础数据底座建设，实现全域数据可信汇聚、多元服务按需供给、业务发展全面驱动、数据安全全面保障，进一步促进大数据技术与业务深度融合，打造成为南方电网公司释放大数据价值的新引擎。

在南方电网公司数字化转型的工作部署下，数据中心将继续从制度标准、数据平台、数据供给、数据管理、数据应用和数据安全六个方面入手推动相关建设：

在制度标准方面，持续完善大数据领域相关制度标准和技术规范的编制与发布，让南方电网公司基础数据管控工作有法可依，有章可循。

在基础平台方面，开展数据中心相关平台与应用有序上云，实现“云数一体”;推动数据湖建设，实现南方电网公司多源异构数据的统一汇聚和全面融合，同步支撑分析型与事务型业务应用;持续开展数据服务化能力建设，为各类业务平台和数据应用提供敏捷、高效、准确的数据供给;建立数据端到端的全链路业务监控，支撑数据多方位监控和分析，为提高数据质量提供支撑。

在数据供给方面，持续拓展数据接入与供给范围。进一步提升南方电网公司对调度、计量、设备状态监测三大自动化域的实时数据接入范围和频次，同时扩展至物联网数据的全面接入;向各业务应用提供更加高效的非结构化数据接入和支撑;结合各单位对外部数据的需求，统筹开展外部数据的统一接入和对外共享服务。

在数据管理方面，完善制度标准并开展常态化管控与专项行动，提升对南方电网公司各类平台和应用建设的数据质量保障。按照“三不”原则，持续开展常态化数据强管控工作，覆盖数据标准、数据模型与数据技术路线。组织业务部门和各分子公司开展进一步提升南方电网公司数据质量专项行动。

在数据应用方面，致力数据服务于南方电网公司领导层、管理层与基层全覆盖，“点面结合”开展数据应用建设推广工作，全方位释放数据价值。“点”上寻突破，基于公司数据中心算力的提升，选取实时算费、电费复核等典型大数据应用场景，开展大数据技术与业务的深度融合建设;“面”上重普及，通过自助分析工具等能力的推广和深化应用，让数据供给服务范围覆盖“网、省、地、县”各级员工，切实满足不同层级对数据的需求。

在数据安全方面，数据中心将按照国家等保2.0中第三级系统的安全防护要求，深化本体安全及数据全生命周期安全防护建设。率先完成数据中心同城容灾的建设，同步完成异地灾备技术路线验证。

■基层声音

非结构化数据服务平台上线后，将各单位原本离散存储的机巡照片、视频等非结构化数据集中存储、管理，为后续缺陷照片标注、机器学习算法训练奠定坚实基础，方便人工智能等数字化转型新技术的深化应用。

——超高压公司生技部专责 简洪宇

机巡管理系统的图片、视频等数据于2019年10月接入到公司数据中心非结构化数据服务平台，大大降低了系统存储压力，机巡作业人员对杆塔、线路、绝缘子等故障点的查询、统计和分析更加快捷便利。

——广西电网公司生技部专责 于荣华

通过实时数据服务平台采集计量自动化、调度自动化等电网实时数据，实现了电量、负荷数据的实时同步，为提升基层供电所台区线损管理及异常分析水平，缩短用户停电抢修时间，提升供电服务能力提供了关键的数据支撑。

——云南电网公司科信部 董灿

实时数据平台在应用支撑过程中针对业务需求提供了相应的数据保障，能满足应用端对数据实时性、完整性的要求，平台提供接口服务监控功能，对数据支撑过程中的接口服务情况能很清晰地通过界面了解，及时响应处理问题，平台服务得到客户的一致认可。

——广东电网公司信息中心专责 谢瀚阳

通过数据中心自助分析工具可视化的数据分析方式，有效解决了都匀供电局缺陷消缺率和消缺及时率到分县局的统计需求。极大地缩短我局获取数据、分析数据的时间。自助分析工具结合不同的应用场景，开展自助分析，成为基层数据分析、洞察数据的有力帮手。

——贵州省电网公司都匀供电局班长 郎家均

■案例

1 补齐非结构化数据服务“短板”

■成果介绍

公司数据中心非结构化数据服务平台补全了公司对非结构化数据的服务短板，实现了对非结构化数据的管理，为公司各类文档、图片、音频、视频等非结构化数据提供统一的PB级存储、调用访问、处理和供给等服务能力。

■应用情况

自2019年10月以来，非结构化数据服务平台完成对广东、广西、贵州、云南、海南等单位超过100TB(约600万条)的机巡图片、视频、点云等非结构化数据接入，有效支撑了全网对机巡数据的统一管理，为人工智能图像识别提供了规模化的样本数据。同时，接入了公司总部合同管理系统、电子商务系统超过500万条的非结构化数据，为合同管理和采购记录提供了高效的存储和查询检索服务。

2 实时数据服务升级显“本领”

■成果介绍

公司数据中心实时数据服务平台完成升级，增加了实时采集链路监控、数据接入配置可视化、服务管理、模型融合与匹配支撑等功能;扩大了计量自动化、调度自动化域采集范围;保障了业务系统对数据实时性、完整性、一致性的服务需求。2019年全年，公司数据中心实时数据服务平台已经建立起207个数据通道，打通了全网调度、计量、设备状态监测三大领域11个系统，实现了涵盖运行电能表电压电流、运行电能表功率、模型数据、线路、开关、气象、覆冰等超过1600项实时数据采集，接入的实时数据量近600TB，日增量达到0.5TB。

■应用情况

目前已支撑了包括网级生产监控指挥平台配变重过载应用、营销管理系统的日线损应用、广东配网调度自动化实时监控和辅助分析应用、广西配网规划系统应用以及海南数字电网平台应用在内的3个网级应用和42个省级应用，为各业务领域对实时数据的需求提供了强力支撑。

3 自助分析工具“授人以渔”

■成果介绍

2019年12月20日，南方电网公司自助分析工具正式投运，用户可通过工具灵活获取数据中心丰富的跨业务域分析素材，同时，用户无需代码开发，通过“拖拉拽”的方式就可以自助创建所需可视化多维分析报表，实现快速高效开展多维度、多角度数据分析的业务支撑。

■应用情况

自助分析工具目前在省、地、市各级选取试点单位开展推广工作。贵州电网基于自助分析工具，实现都匀供电局缺陷数据监控指标统计需求和贵阳乌当供电局电量电费分析需求;同时，广东电网公司基于自助分析工具完成了电子化移交量监控、珠海供电局的电量电费等自助分析应用。后续将总结试点应用单位经验，向全网开放使用。