登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
日前,2013年全国博士后学术论坛“电子科学技术与信息产业发展”在电子科技大学举行。来自全国50余家高校、企业共200余名专家学者、博士后代表参加了论坛。远光软件博士后科研工作站谌章义博士在会上就研究课题《基于Hadoop的海量电费数据处理模型设计与实现》发表了主题演讲,该研究成果被《电子科学技术与信息产业发展论文集》收录。
《基于Hadoop的海量电费数据处理模型设计与实现》一文以国内某特大型电力集团为例,提出了电费数据新的处理模型,建立了基于Hadoop和Hive的电费明细处理平台。实验证明该模型能有效解决海量电费数据处理性能瓶颈,提高电费数据处理速度和效率,并可提供高性能的明细数据查询功能。
(2013年全国博士后学术论坛现场)
据悉,随着电费数据量快速增长,某特大型集团公司财务管理信息系统面临海量数据难题,其中电费业务是最突出的问题之一。集团超过30个子公司,平均每个子公司用电客户规模在500万至800万,每个月用电明细数据近亿条。财务管理信息系统原电费数据处理模型是从电力营销系统采集用电客户信息表、应收电费明细表等文本,上传至中间数据库,财务管理信息系统从中间数据库采集相关数据,同时对数据进行合并、转换处理。由于电费明细数据量过于庞大,处理过程严重消耗数据库服务器资源,进而影响整个财务管理信息系统的性能。也因此,通常只能选择夜间运行该业务,导致暂时无法提供电费明细数据查询业务。
基于拆分、融合、重构的设计思路,远光软件针对此瓶颈提出了解决方案:引入Hadoop分布式计算平台来进行电费明细数据的处理,处理后的结果数据再存入财务管理信息系统数据库。为了易于实现,选用分布式数据仓库Hive来存储和处理电费明细数据。通过实验测试,在硬件不占优势的情况下,Hive执行性能有20%--200%的提升;利用Hive的分区功能,大表处理数据显著提升。同时在Hive表上建立分区,还可以提供高性能的历史数据查询,这是原模型难以实现的功能。
远光软件的成功实践效果证明:Hadoop不仅能提升财务管理信息系统可用性,使得帮助系统更高效地解决更复杂的问题,而且节省时间和成本,创造更大的价值。谌章义博士表示:“该技术应用范围并非局限于电费明细数据的合并与查询,还可以应用于电价分析、电价预测模型等深入分析业务。”
大型集团企业的管理软件集中部署已成为潮流趋势,管理软件的开发也从单个业务领域开发专项“统一”集成平台的开发,必然面临海量业务数据分析处理问题。因此,本系统的应用前景广阔。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,远光软件自主研发的智能U盾管家完成了与麒麟软件有限公司银河麒麟嵌入式操作系统V10(基于瑞芯微RK3588ARM64架构)的兼容性测试认证,在通用兼容性、性能及可靠性方面表现良好。图1:远光智能U盾管家获麒麟软件适配认证近年来,远光软件不断通过技术的创新应用来满足客户数智化升级的要求。在企
11月6日至7日,2024电力数字化大会在北京举行。大会以“创新驱动、数智引领”为主题,聚焦数字技术在电力行业企业的融合创新应用。中国工程院院士、清华大学教授郑纬民等专家和电力央企数字化、科技信息部门领导400余人出席大会。远光软件副总裁曾增出席会议作主旨报告,分享公司运用数字技术支撑新型
随着新能源电动汽车产业飞速发展,充电基础设施建设和布局规划成为推广新能源汽车应用和产业发展的关键,目前充电基础设施仍存在布局不够完善、结构不够合理、服务不够均衡等问题,为此远光软件所属远光能源互联网产业发展(横琴)有限公司利用大数据、人工智能技术,推出车网互动充电站规划解决方案,构
近日,2024中国国际数字经济博览会在河北成功举办。该展会作为经党中央、国务院批准的首个国家级数字经济盛会,首发了一系列产业数字化、数字产业化及人工智能大模型创新成果案例。远光虚拟数字人创作平台凭借其技术领先性、应用场景多样化、易用安全等优势,经多位院士和专家多轮严格评审后,获评优秀
10月26日,2024年中国工业企业创新大会暨第五届现代工业企业创新成果名单发布会在济南成功举办。会上发布了第五届现代工业企业管理创新成果名单,远光软件“基于业财融合的电网物资采购结算数字化协同平台”荣获“第五届现代工业企业管理创新成果二等奖”,体现了其在推动电力行业产业链上下游业务协同
10月25日,远光软件公布2024年第三季度报告,公司前三季度实现营业收入15.39亿元,同比下降1.44%;归属于上市公司股东的净利润1.10亿元,同比下降27.21%;归属于上市公司股东的扣除非经常性损益的净利润1.08亿元,同比下降22.94%;基本每股收益0.0579元。
10月24-25日,由中国物流与采购联合会主办,上海市数据局和上海市静安区人民政府支持的“数通链谷·通全球链世界”2024产业区块链大会在上海成功召开。大会发布了“2024产业区块链企业50强”,远光软件连续第四年荣耀登榜。作为国内区块链应用的领航者,远光软件始终致力于区块链技术和实体经济的深度
10月25日,中国电力大数据创新平台理事会二届一次会议在京顺利召开。会上对2023年中国电力大数据创新平台大数据创新实践成果优秀案例进行了表彰,国网四川电力与远光软件联合申报的“基于智能物联的资金支付U盾安全管控解决方案”成功入选十大优秀案例。中国电力大数据创新平台由国家电网公司牵头,联
10月24日,由中国电子信息行业联合会举办的第二十六届中国国际软件博览会(以下简称“软博会”)在天津国家会展中心盛大开幕。本次软博会以“软件赋能产业变革,智能驱动数实结合”为主题,吸引了来自全国各地的260多家知名软件企业参展,展示了最新的科研成果和解决方案,并评选出“第二十六届软博会
北极星输配电网获悉,10月26日,远光软件公告,因工作调动,秦秀芬女士不再担任高级副总裁职务,新任公司总裁。资料显示,秦秀芬女士,中国国籍,1979年生,中共党员,研究生学历。现任公司总裁。自2001年以来,秦秀芬女士一直在公司任职,历任项目经理、实施中心副总经理、南方区总经理、营销管理部总
近日,中国软件行业协会公布2024年度优秀软件产品活动(第3季度)通过名单,远光软件自主研发的“基于区块链技术的电子签约平台”(又名“存道签”)凭借其卓越性能,荣获“2024年度优秀软件产品”。在数字化浪潮的席卷下,企业正加速推进智能化与绿色化转型,对高效、安全、环保的无纸化电子签约服务
截至10月,国能(泉州)热电有限公司财务费用较同期降低651万元,降幅达23%,年度累计资金创效达340万元,资金成本率同比降幅5%,达历史最低水平。今年以来,该公司积极落实集团公司“41663”总体工作方针和“14355”财务发展目标,按照“先内后外、先低后高、优内扩外”的原则,严格执行融资方案事前
7月10日,国家电投召开世界一流财务管理体系建设项目(以下简称“1455”项目)启动会。受国家电投总经理、党组副书记栗宝卿委托,国家电投党组成员、总会计师陈西出席会议并传达有关工作要求。会议指出“1455”项目是国家电投贯彻落实国务院国资委关于加快建设世界一流财务管理体系有关要求的重要举措
为全面提升财务队伍履职能力,加快推进“两融三智型”财务管理体系建设,最近,江苏省电力公司举办江苏电力财务专业“赛马制”比武活动,盐城供电公司财务部青年员工王妍喜获稽核专业一等奖、程国庆喜获数字化专业二等奖。一直以来,盐城供电公司来聚焦财务管理工作,夯实财务管理基础,规范会计工作秩
3月29日至30日,南方电网公司召开司库体系建设预验收会,公司党组成员、总会计师单淑兰出席会议并讲话。单淑兰指出,智慧司库系统建设是公司搭建一流财务管理体系、建设世界一流企业的重要抓手,是促进公司财务管理数字化和智能化转型升级的重要切入点和突破口。要聚焦公司经营发展需求,高质量推进公
随着国企改革及输配电价改革的持续深化,电网企业经营模式、管理重点发生变化,国网上海市电力公司聚焦企业经营管理,结合改革政策、把握战略方向、基于实际需求,以“稳健支撑战略、科学支持决策、精准服务发展、高效创造价值”为目标,不断探索与研究,构建多域融合的数智经营管理体系,在实践中充分
近日,由中国总会计师协会信息化分会主办,广东省总会计师协会、英国特许公认会计师公会(ACCA)协办的“财务数字化实践创新论坛”在深圳召开,远光软件受邀出席论坛并作主题演讲,分享对数智司库转型趋势、建设路径的前沿思考和服务央国企司库体系建设的创新实践。当前,随着数字技术应用与数字化转型
11月16日、11月24日,2023高顿咨询名家讲坛巡讲活动先后在北京、成都举行。活动以“回归本质,驭变而行”为主题,邀请财经领域一众名家,聚焦企业财管核心热点话题,解读世界一流财务管理,引领企业财务价值创造。远光软件携新一代企业数字核心系统DAP及全球司库管理系统亮相讲坛,展示公司智慧财务实
为全面提升财务队伍履职能力,加快推进“两融三智型”财务管理体系建设,最近,江苏省电力公司举办江苏电力财务专业“赛马制”比武活动,盐城供电公司财务部青年员工王妍喜获稽核专业一等奖、程国庆喜获数字化专业二等奖。一直以来,盐城供电公司来聚焦财务管理工作,夯实财务管理基础,规范会计工作秩
8月23日,山东富莱仕能源科技有限公司员工借助光伏非自然人客户开票协同系统开出7月份光伏电站发电量电费结算发票。当天,国网山东省电力公司研发的光伏非自然人客户开票协同系统上线运行。在目前的非自然人光伏电站发电量电费结算流程中,每月光伏电站发电量电费账单出账后,供电员工要告知客户需要开
近日,国家税务总局乌兰察布市税务局公布了2022年纳税信用A级企业名单,我公司获评“纳税信用A级纳税人”,公司自2020年以来已连续三年获此殊荣。纳税信用等级评定依照纳税人在履行纳税义务中的综合信息作为评定基础,就纳税人在一定周期内的纳税信用所评定的等级,其中A级为最高等级。此次再获评“纳
日前,由工业和信息化部工业文化发展中心组织征集的《工业和信息通信业管理会计案例集(2022)》正式出版,远光软件数智化财务管理新模式的探索与实践案例成功入选,为企业智慧财务建设和数字化转型提供借鉴和示范。据悉,工业和信息通信业管理会计案例征集工作旨在推进制造强国与网络强国建设,促进产
这些毫无根据的印象涉及所需技能储备、技术方案类型以及技术匹配方式等多个层面,盲目偏信只会将大家引入歧途。大数据分析目前已经成为技术业界的主流趋势,每一家企业都开始将此类方案视为实现自身差异化优势的核心甚至是求得生存的关键所在。有鉴于此,关于大数据的各种误解也开始不断涌现。这些误区
日前,行业领先的信息安全技术厂商蓝盾股份最近提出了Hadoop安全框架,业内分析认为该框架可有效保护大数据安全。据蓝盾大数据中心介绍,2012年和2013年互联网所产生的数据,相当于人类从有史以来一直到2011年所产生的数据量总和。互联网产生大数据,移动互联网和物联网进一步推动数据的暴涨。研究机构预测,到2020年,电子数据存储量将在2009年的基础上增加44倍,达到35万亿GB。海量数据中蕴藏着大量有价值的信息,为了充分利用这些信息,目前流行的做法是利用Hadoop构建大数据项目。Hadoop确实让数据处理和分析变得更廉价更高效,但由于最初Hadoo
为分析并预测大数据技术的发展现状、发展计划和面临的挑战,IDC将于2013年秋季对德国相关应用企业进行问卷调查。从技术角度来看,大数据包括像Hadoop、高扩展度数据库、最佳可视化工具以及高性能搜索引擎这样的新技术和已经成熟的技术,如事件驱动处理技术、商业智能技术和数据挖掘技术,这些技术主要用来处理海量的数据。大数据技术的主要任务是从内部和外部数据源中找出所需的数据,并对这些数据进行高效快捷的评估,最终提供决策支撑。全球对大数据技术和服务的投资在增长目前,大数据在美国最为发达,包括德国在内的欧洲地区在这一领域稍显落后。不过,现在业内人士已经注意到了这一
21世纪人们的生活与生硬刻板的数据中心、产品和硬件不同,人们的现实生活充满活力,而这些活力主要体现在数据给予生活的改变。近日,IDC发布了一份对于未来数字星球增长的新预期,数字显示,中国只占整个数据产生总量的3%,未来的8年这个数据将占到全球数据数量的22%,中国迎来了大数据的时代。数据的堆积离不开大数据的分析,而学术界和产业界对于大数据已经过了讨论概念的阶段,现在人们更加关注于用什么样的技术和方法来进行大数据价值挖掘,以及如何真正为企业和客户带来价值。而事实上,大数据的分析和大数据的挖掘是一个非常难的技术,不管是产品需要上,还是从技术创新上,新的方法
Hadoop系统和NoSQL数据库已经成为管理大数据环境的重要工具。不过,在很多情况下,企业利用他们现有的数据仓库设施,或是一个新老混合的技术来对大数据流入他们的系统进行管理。无论一个公司部署什么类型的大数据技术栈,有一些共通的因素必须加以考量,以保证为大数据分析工作提供一个有效的框架。在开始一个大数据项目之前,去审视项目所要承担的新数据需求的更大图景显得尤为关键。下面来让我们检视四个需要加以考量的因素。数据准确性数据质量问题对于BI和数据管理专业人士来说一定不陌生。很多BI和分析团队努力保证数据的有效性并说服业务使用人员去信任信息资产的准确性和可靠性
以往Hadoop似乎就是大数据的代名词。不过最近随着大数据应用的深入,大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。Hadoop大桶自成为大数据工具以来,Hadoop就是一个非常棒的数据存储系统,但是需要开发Java应用来访问数据的MapReduce学习起来却比较困难。当然,还有别的办法可以从Hadoop中获取信息。Hbase数据是Hadoop的
处理海量数据大数据的技术,现今最火红的则非Hadoop莫属了喔!根据Hadoop的创办人Doug Cutting所言“Hadoop”就只是帮一只黄色的填充大象取的名字而已,没有什么特别的意思纯粹只是好记而已。而Hadoop技术的诞生则是因为因特网数据的爆炸性成长,传统的文件系统无法负荷储存跟分类,从而根据Google搜寻器的相关的学术论文为蓝图,演变成一套如何储存、处理、分析TB(Tera Bytes)甚至PB(Peta Bytes)等级的数据处理方法。Hadoop是百分之一百免费由Java程序语言所编写的Open Source
云对每个人来说都是又大、又白、又轻柔的梦境。当有人说他们的大数据战略是“把全部投入云端”时,你无法确定他们是否是一个有远见的人,或仅仅是重复一个专家在一次行业会议上告诉他们的事。大数据和云范例之间实际的重复非常广泛,你可以宣称你正在一个内部部署的Hadoop、NoSQL、或企业数据仓库环境下处理基于云的大数据。请记住云被广泛理解为包含“私有”部署以补充或代替公共云、SaaS、和多租户托管环境。但是如果你把云的实际定义限制于公共订购服务内,你就能找到问题的核心:识别哪些大数据应用相对于内部部署更适合公共云/
北京时间3月22日消息,据国外媒体报道,甲骨文过去十年间稳定的盈利能力一直是硅谷分析人士津津乐道的话题之一。但近年来,随着大小竞争对手的不断涌入,以及客户对于软件价格的越发敏感,甲骨文在过去两年时间内已经发布了三次令人失望的业绩数据。而且,有分析师认为这一情况恐怕不会在短期内得到改善。以下是文章主要内容:如果说硅谷在过去十年间有什么亘古不变现象的话,甲骨文稳定的持续盈利能力显然是其中之一。但现在,这一情况可能即将迎来改变。业绩不佳目前的甲骨文公司仍然是科技业内最具统治力的企业之一,该公司营收达到327亿美元,旗下数据库和所开发的应用软件也被大型企业广泛
数据监测指的是对装备、系统或其一部分的工作正常性进行实时监视而采取的任何在线测试手段。如今的社会已经全面步入了数字化时代,监测方式也更加丰富。数据监控正在全面步入数字化说到这里,可能有人会质疑,监测到底有什么用?举个最简单的例子,我们平时用智能手机去网上下载应用,最为关注的就是应用的下载数量、用户评价、应用的评级等等信息,而这些所有的数据都是通过监控来实现的。2013年PM2.5监测已经在我国全面实施,市民能够通过网络轻松了解到全国的空气污染情况,而在生产型企业以及医疗、军事行业等等更是需要依靠数据来说话。除了传统的监控之外,互联网监控也越来越受到政府
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!