深度｜用户节电的大数据分析及应用-第3页-北极星售电网

投稿

我要投稿

2.1 平台整体结构

智能配用电大数据应用系统按数据流向可分为数据来源、数据管理、数据分析、数据展示4部分。平台结合了目前大数据2大主流框架Hadoop与Spark优势,使用Hadoop分布式文件管理系统HDFS及Map-Reduce技术存储多源数据,并建立了NoSQL类型的Hive数据库管理数据。使用内存并行化计算框架Spark内置的SparkR、MLLib组件,能满足实现各类分析算法的并行化要求。使用基于HTML5语言的Web页面展示数据分析结果,并通过EChart、D3等多款JavaScript插件实现数据可视化及动态交互。平台整体结构如图5所示。

2.2 大数据平台算法业务并行化实现方式

目前已有文献提出了基于Map-Reduce模型的数据挖掘算法并行化方法[8-11],但是Map-Reduce对聚类等迭代计算会消耗大量资源,算法效率不高,并且需要对分布式集群底层具有一定了解,编程设计学习门槛高。针对以上问题,智能配用电大数据应用系统采用Spark内存并行计算框架,克服了Hadoop对迭代运算适用性差的缺点,并且提供了R语言与Apache Spark交互的接口SparkR,可通过R实现对Spark分布式计算引擎的调用,使得SparkR可以充分利用分布式集群的计算资源,高效处理TB级别的数据[22]。

首先,先在GB级别的小样本数据上,使用统计分析常用的R语言编写节电分析程序,以测试算法的有效性及可行性。测试完成后,将单机R语言程序移植到大数据平台上。如图6所示,算法移植主要从以下几个方面进行改进：

1）分布式数据的读取：和传统数据库结构不同,大数据平台上的数据以分布式的形式分别存储在不同的存储节点上。在R程序中,将原有的

图6 单机版本R程序的移植Fig. 6 Migration of single-machine version R programs

MySQL语句调整为大数据平台Hive组件提供的类SQL语句,实现对分布式数据的读取访问。

2）数据挖掘算法及分析业务的并行化：算法并行是指对某一算法从原理上进行并行化改进,以获得较大的效率提升。例如聚类、降维等算法,并行化后能显著降低算法的复杂度,对分析海量数据尤为必要。R程序通过调用SparkMLlib并行算法库,实现所用聚类等算法的并行化。机器学习与数据挖掘算法库MLlib中内置了通用的分类、回归、聚类、协同过滤、降维等分布式数据挖掘算法,且Spark底层对这些算法进行了深度优化,计算效率极

高[23]。具体的,首先通过SparkR接口将待分析数据转化为分布式数据框,以分布式形式载入Spark内存并行计算框架中,然后调用MLlib组件接口,即可自动实现并行计算。经实测,在服务器集群上对TB级别的数据进行所述聚类、降维分析能保证耗时在1 h以内,大大提高了程序的计算效率,同时SparkR与MLlib组件的结合让研究人员无需重新学习SCALA等编程语言,不必了解分布式集群底层架构,即可实现预期效果。

如果某些业务之间既没有交叉,也没有流程上的先后关系,这些业务之间就是可并行的,如对每个用户计算用电特性指标、开展能效评估等,把可并行的业务分别分配到不同的计算节点进行计算被称为业务并行。本文所述节电分析流程中,具体的并行化改进如图7所示。

3）分析结果的分布式存储：算法在每次计算后都会产生大量的计算结果数据,同样要以分布式形式保存在集群中。由于在分析结果可视化阶段涉及到大量数据的并发读取,为适应计算结果数据频繁读取及不断写入的要求,将分析结果存储在HBase中,和传统关系型数据库相比,HBase是一种高性能分布式数据库,具有易于扩展、支持海量

图7 数据挖掘算法及分析业务的并行化Fig. 7 Parallel data mining algorithm and analysis service

数据存储及高并发读取的优势。

3 节电分析数据交互及可视化

智能电网的特征是“自动化、信息化、互动化”[11],数据的可视化及交互是实现互动化的主要手段。在大数据环境下,节电分析结果也具有显著的大数据特征,全面、简洁、直观、准确地反映节电分析结果内涵及价值,是数据交互及可视化的关键。

3.1 数据展示结构

目前电力系统中所用到的可视化形式大多基于VTK、Java 3D、Open GL等图形组件。这些应用以客户端/服务器(client/server,C/S)为主要架构,采用面向对象和面向组件的编程方法[24-26]。C/S架构的可视化及交互服务需要在每台客户端上配置可视化环境,安装应用服务,少量部署尚可,但节电分析结果除面向专业人员外,还将面向海量电力用户,在这种应用环境下C/S架构不够灵活轻量。随着以智能手机为代表的移动端设备的兴起,Web技术因为其轻量、灵活、强大、即开即用、无平台移植问题等优势获得了广泛应用。将Web技术用于节电分析服务,用户通过浏览器即可控制分析过程、访问分析结果,且不受平台限制,便于后续向海量电力用户提供特色化的节电服务。智能配用电大数据应用系统在数据交互及可视化方面采用基于Web的SSM(Spring Spring MVC MyBatis)整合框架,在前端网页设计方面采用了HTML5语言,通过EChart、D3等JavaScript图表库实现了数据图表的交互,可视化由数据驱动,图例丰富,功能强大,支持数据拖拽重计算,数据区域漫游等高级功能。

3.2 节电分析可视化功能模块

节电分析可视化效果如图8所示。图中图表均为我国某地区配用电实际数据分析结果,左侧是算法参数设置部分,右侧从宏观到微观展示了行业节电概览、用电群体细分、群体内用户节电潜力走势、单用户节电分析等大数据分析结果。其中参数设置页面用于设置分析时段、聚类等算法参数,点击计算按钮则调用集群中的SparkR程序对所选行业进行分析,计算完成后将分析结果写入HBase数据库中,并在历史计算结果中添加一条记录以便查看。

原标题：用户节电的大数据分析及应用

投稿与新闻线索：陈女士微信/手机：13693626116 邮箱：chenchen#bjxmail.com（请将#改成@）

订阅北极星周刊，精彩内容不再错过！

特别声明：北极星转载其他网站内容，出于传递更多信息而非盈利之目的，同时并不代表赞成其观点或证实其描述，内容仅供参考。版权归原作者所有，若有侵权，请联系我们删除。

凡来源注明北极星*网的内容为北极星原创，转载需获授权。

阅读下一篇

地方立法中预付电费制度创新与探索：“先用电后交钱”原为电力交易习惯性做法

电力用户查看更多>电价查看更多>售电查看更多>

姓名：
性别：
出生日期：
邮箱：
所在地区：
行业类别：
工作经验：
学历：
公司名称：
任职岗位：

深度｜用户节电的大数据分析及应用

地方立法中预付电费制度创新与探索：“先用电后交钱”原为电力交易习惯性做法

登录注册

绑定账号

想要获取更精准资讯推荐？建议您完善以下信息~

订阅成功

想要获取更精准资讯推荐？建议您
完善以下信息~