北极星电力网首页
广告投放 | 会员服务




2018年电力交易员仿真训练(第6期)2018分散式风电专题培训班2018中国微电网培训班北极星售电研讨会
热门关键词:
要闻评论市场报道项目 访谈政策数据技术企业人才财经管理国际人物会展会议培训论坛招标媒体回顾
您当前的位置:北极星电力网 > 新闻频道 > 电力网 > 企业 > 正文

远光软件精研Hadoop 提升电力财务大数据处理能力

北极星电力网新闻中心  来源:远光软件股份有限公司    2013/8/1 10:05:26  我要投稿  
所属频道:  关键词: 远光软件 财务管理 Hadoop

北极星电力网讯:日前,2013年全国博士后学术论坛“电子科学技术与信息产业发展”在电子科技大学举行。来自全国50余家高校、企业共200余名专家学者、博士后代表参加了论坛。远光软件博士后科研工作站谌章义博士在会上就研究课题《基于Hadoop的海量电费数据处理模型设计与实现》发表了主题演讲,该研究成果被《电子科学技术与信息产业发展论文集》收录。

《基于Hadoop的海量电费数据处理模型设计与实现》一文以国内某特大型电力集团为例,提出了电费数据新的处理模型,建立了基于Hadoop和Hive的电费明细处理平台。实验证明该模型能有效解决海量电费数据处理性能瓶颈,提高电费数据处理速度和效率,并可提供高性能的明细数据查询功能。

(2013年全国博士后学术论坛现场)

据悉,随着电费数据量快速增长,某特大型集团公司财务管理信息系统面临海量数据难题,其中电费业务是最突出的问题之一。集团超过30个子公司,平均每个子公司用电客户规模在500万至800万,每个月用电明细数据近亿条。财务管理信息系统原电费数据处理模型是从电力营销系统采集用电客户信息表、应收电费明细表等文本,上传至中间数据库,财务管理信息系统从中间数据库采集相关数据,同时对数据进行合并、转换处理。由于电费明细数据量过于庞大,处理过程严重消耗数据库服务器资源,进而影响整个财务管理信息系统的性能。也因此,通常只能选择夜间运行该业务,导致暂时无法提供电费明细数据查询业务。

基于拆分、融合、重构的设计思路,远光软件针对此瓶颈提出了解决方案:引入Hadoop分布式计算平台来进行电费明细数据的处理,处理后的结果数据再存入财务管理信息系统数据库。为了易于实现,选用分布式数据仓库Hive来存储和处理电费明细数据。通过实验测试,在硬件不占优势的情况下,Hive执行性能有20%--200%的提升;利用Hive的分区功能,大表处理数据显著提升。同时在Hive表上建立分区,还可以提供高性能的历史数据查询,这是原模型难以实现的功能。

远光软件的成功实践效果证明:Hadoop不仅能提升财务管理信息系统可用性,使得帮助系统更高效地解决更复杂的问题,而且节省时间和成本,创造更大的价值。谌章义博士表示:“该技术应用范围并非局限于电费明细数据的合并与查询,还可以应用于电价分析、电价预测模型等深入分析业务。”

大型集团企业的管理软件集中部署已成为潮流趋势,管理软件的开发也从单个业务领域开发专项“统一”集成平台的开发,必然面临海量业务数据分析处理问题。因此,本系统的应用前景广阔。

分享到:
投稿联系:陈女士  13693626116  新闻投稿咨询QQ: 1831213786
邮箱:chenchen#bjxmail.com(请将#换成@)
北极星电力网声明:此资讯系转载自北极星电力网合作媒体或互联网其它网站,北极星电力网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考。
热门推荐
相关专题

关闭

重播

关闭

重播

广告直拨:  媒体合作/投稿:陈女士 13693626116点击这里给我发消息

关于北极星 | 广告服务 | 会员服务 | 媒体报道 | 营销方案 | 成功案例 | 招聘服务 | 加入我们 | 网站地图 | 在线帮助 | 联系我们 |

版权所有 © 1999-2018 北极星电力网(Bjx.Com.Cn) 运营:北京火山动力网络技术有限公司

京ICP证080169号京ICP备09003304号-2 京公网安备 11010502034458号电子公告服务专项备案