北极星

搜索历史清空

  • 水处理
您的位置:电力风电风电产业报道正文

基于云平台的风电大数据系统搭建策略研究

2016-09-18 17:20来源:《中国国电》作者:王寅生 朱志成 王其乐 尹诗关键词:风电企业大数据风电技术收藏点赞

投稿

我要投稿

风电企业生产数据有其自身的特点,主要是风机回传的传感器数据,其符合典型机器大数据的特点,具体而言:(1)体量大。假设每台风机每秒回传500个数据点,那么1台风机1年产生的数据为60GB。按1万台风机估算,1年产生的数据若不压缩大概900TB。针对风电企业PB级别的生产数据,需要低成本可扩展的大数据平台架构来存储数据。当数据不断增多的时候,包括未来增加传感器的属性,可以通过增加节点和本地存储实现水平扩展。(2)速率高。针对风机回传的时间序列数据而言,每台风机每秒回传500个数据点,1万台风机向数据中心回传的数据率为650万点/秒。针对风电企业回传数据的特点,如果把这些数据加载到关系数据库,根据这一数据库的产生速率,无论是批量导入还是实时插入,远超过商用的通用数据库的加载速率。因此,需要定制数据存储和查询平台,支持每秒千万数据点的导入。(3)格式特定。首先,风电企业的主要动态数据为风机产生的时间序列数据。其次,由于风机型号和出场时间的差异,风电企业回传的机器大数据格式多样。基于风电大数据的这些特点,加之对风电数据的实时分析、查询和存储区需要大量计算资源,为了弥补物理设备的不足,建议采用云平台架构。

本文详细介绍了基于云平台的风电大数据系统搭建策略,通过分析风电企业数据资源特点(体量大、速率高、格式特定)制定平台架构和部署方式。平台采用成熟的商业hadoop软件加私有云的架构方式,包括:平台基础层、平台服务层、平台应用层,分别提供数据预处理、存储、安全、共享等服务。通过云平台可节省投资、实现快速部署,平台安全稳定不受物理设备存储计算容量的限制,可实现计算资源的快速横向扩展,为风电企业实现大数据平台建设提供了新的思路与想法。

平台技术架构

1.大数据云平台技术架构

大数据的基础设施采用云资源架构;大数据平台主要基于hadoop技术提供大数据分析计算功能;大数据应用服务基于大数据云平台搭建,同时又通过应用服务总线提供大数据应用服务。如图1所示。

基础云平台,由虚拟化调度管理系统、服务器、存储和网络设备统一构成,对外提供计算、存储、网络等基础资源功能。大数据平台层,主要是实现PB级数据存取和快速计算分析功能,实现分布式的文件系统、实时数据库,分布式数据库等不同级别的存储区域;同时实现流计算、内存计算、分布式并行计算等多种计算引擎,且集成通用的挖掘算法和挖掘工具,便于应用业务进行挖掘分析处理。应用开发服务平台基于J2EE技术路线,采用SOA、模块化和构件化架构,平台总体架构分为4层:模块化引擎、基础组件、核心组件、展示组件。

2.云支撑平台

投稿与新闻线索:陈女士 微信/手机:13693626116 邮箱:chenchen#bjxmail.com(请将#改成@)

特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。

凡来源注明北极星*网的内容为北极星原创,转载需获授权。

风电企业查看更多>大数据查看更多>风电技术查看更多>