登录注册
请使用微信扫一扫
关注公众号完成登录
2013-05-31 17:40来源:和讯网关键词:Hadoop 2.0大数据存储收藏点赞
我要投稿
以往Hadoop似乎就是大数据的代名词。不过最近随着大数据应用的深入,大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。
不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。
Hadoop大桶
自成为大数据工具以来,Hadoop就是一个非常棒的数据存储系统,但是需要开发Java应用来访问数据的MapReduce学习起来却比较困难。
当然,还有别的办法可以从Hadoop中获取信息。Hbase数据是Hadoop的一部分,它可以让用户按照数据库范式来处理数据。Hive数据仓库则可以让你用类SQL的HiveSQL查询语言来创建查询并转化为MapReduce任务。不过Hadoop仍受限于单线程性。MapReduce任务、 Hive查询、Hbase操作,等等,这些都要轮流进行。
这就是许多大数据供应商倾向于仅将Hadoop当作数据容器的原因,为了提高效率,他们在此基础上再开发自己的工具来获取或分析其中的数据。尽管把Hadoop形容为一个大桶很形象,但是Hadoop用户当中已经有人把它看作是数据大湖甚至数据海洋了。不过光是规模大还是不行的,那些限制影响到了Hadoop的卖点。
Hadoop的开发社区也意识到这个问题,随着Hadoop即将迭代到新的版本,上述限制即将在很大程度上被解除。
YARN解决方案
在Hadoop 2.0发布经理Arun Murthy看来,其最重要的变化是MapReduce框架升级为Apache YARN,这将扩展Hadoop中可以应用的软件种类和应用程度。Arun Murthy本人就是YARN项目主管,他指出,Hadoop 1.0和2.0的区别在于,前者所有的事情都是面向批处理的,而后者则允许多个应用同时在内部访问数据。
相对于当前MapReduce系统能处理的事情,把这些功能分开使得Hadoop集群资源的管理更加强大。其主要管理方式类似于操作系统对任务的处理,也就是说不再有一次一项操作的限制了。
有了YARN,开发者就能够直接在Hadoop内部来开发应用,而不是像许多第三方工具所做的那样,在外面把数据筛选出来。
Murthy称,现在已经有供应商对在YARN框架内开发应用表现出兴趣。Murthy估计,Hadoop 2.0的强力beta版有可能会在今年6月或7月推出,正式版则可能在8月发布。
如果YARN的确能履行其承诺的话,开发者将可以在原生的Hadoop平台里方便地接触到许多的数据大湖大海,令搜寻有用信息的任务更加流畅和便捷。届时,大数据会变得更加有用、更加大众化。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,南方能源大数据中心与南方电网大湾区数字产业基地顺利投产,标志着南方电网公司基本建成“3+1+X”架构的绿色节能新型数据基础设施。南方能源大数据中心位于全国一体化算力网络国家枢纽节点贵州(贵安)枢纽,首期规划建成两栋机楼及一栋运检楼,承载约2000架10千瓦机柜,定位南方电网公司双活生
日前,南方能源大数据中心与南方电网大湾区数字产业基地分别在贵州贵阳、广东惠州投产,标志着南方电网公司基本建成“3+1+X”架构的绿色节能新型数据基础设施,有力展示公司主动融入国家“东数西算”工程建设,加快数字化转型和数字电网建设,加快向数字电网运营商、能源产业价值链整合商、能源生态系
问:您常年从事汽车相关教学工作,对新能源汽车行业的发展较为关注。随着新能源汽车越来越普及,我国充电基础设施也在快速发展,您对此有何看法?杨金龙:近年来,我国新能源汽车行业发展迅猛,充电基础设施建设也取得了令人瞩目的成绩。在我所生活的浙江省杭州市桐庐县,无论是旅游景区还是公共停车场
国家电网有限公司大数据中心深入贯彻落实国家电网有限公司第四届职工代表大会第五次会议暨2025年工作会议精神,牢牢把握“强化企业级统筹”“深化数字赋能赋效”“强化人工智能应用”“加强自主运维”四个方面要求,激活数据要素价值,全力支撑健全完善数字化工作体系、构建新型电力系统、发展新质生产
近日,四川能源监管办发布2024年度煤电机组大数据监管情况通报。通报指出,四川燃煤发电持续发挥“关键少数”重要作用,煤电兜底保障基础不断夯实,顶峰保供能力进一步发挥,企业经营情况进一步改善。全年枯水期完成发电量335.03亿千瓦时,提供了四川主网三分之一以上电量。2024年四川燃煤火电机组平均
2月17日,山东淄博供电公司电力气象智慧预警大数据应用平台上线。该平台深度融合电力数据和气象数据,增强了电力气象灾害的主动预警能力,为淄博电网防灾减灾、安全稳定运行提供保障。强风、雷暴等恶劣天气容易影响电网设备安全运行。为此,淄博供电公司与山东省电力气象技术创新中心联合组建攻坚团队
近日,福建龙岩供电公司发布龙岩市开工生产分析报告。此报告基于多维度与海量数据统计分析,详细呈现了各行业的生产经营变化情况,为政府精准制定政策、推动经济稳健复苏提供了数据支撑。该公司广泛收集企业开工生产相关数据,通过设定复工及达产指数,量化评估企业开工水平及达到正常生产用能水平情况
近日,福建龙岩供电公司发布龙岩市开工生产分析报告。此报告基于多维度与海量数据统计分析,详细呈现了各行业的生产经营变化情况,为政府精准制定政策、推动经济稳健复苏提供了数据支撑。该公司广泛收集企业开工生产相关数据,通过设定复工及达产指数,量化评估企业开工水平及达到正常生产用能水平情况
近日,由国网湖南省电力有限公司牵头,中国南方电网有限责任公司、中国长江三峡集团有限公司、华中科技大学、湖南大学和华为技术有限公司等共同编写的水电物联网国际标准IEEEStd2413.3-2024《水电能源物联网导则》正式获批发布。据介绍,在水电能源物联网领域,尤其是在水利水电工程中,数据壁垒易导致
2025年春节,浙江的大街小巷满是烟火与欢笑,当古镇的红灯笼与现代化都市的霓虹一同点亮新春夜空,你是否想过,这背后的用电数据是怎样的经济密码?它们串联起千家万户的团圆,映射出产业发展的新态势。现在,就跟着小e,看看2025年春节浙江用电数据藏着哪些惊喜。刚刚过去的春节(1月28日-2月4日),
正月初九,尽管春节假期已经结束了,但过年的热闹劲儿还未完全消散。2024年12月,中国春节成功列入《人类非物质文化遗产代表作名录》,紧接着,我们迎来了意义非凡的第一个“非遗版”春节。办年货作为春节里必不可少的仪式,承载着我们对新年的期待与祝福。当年轻一代逐渐接过年货采购的接力棒,又是什
北极星氢能网获悉,近日,总投资1500万元,占地2400平方米的常发新能源氢能存储及制备技术中试基地项目开工仪式,在高新区SEPP中欧跨采先进制造产业园举行。常发新能源2021年落户高新区,致力于光解水制氢技术的研发。作为一家以科技创新为核心驱动力的企业,常发新能源始终坚持以突破关键核心技术为目
2月13日,江苏常发新能源氢能存储及制备技术中试基地项目开工仪式,在高新区SEPP中欧跨采先进制造产业园举行。扬州市常发新能源科技有限公司由欧洲工程院院士、南京航空航天大学教授常焜,于2021年在高新区创办。企业坚持以突破关键核心技术为目标,不断推进太阳光能高效催化水裂解制氢的研究和应用。
北极星储能网获悉,据国家知识产权局,12月6日,中车株洲电力机车有限公司申请一项名为“钠电池储能系统故障诊断方法、设备及存储介质”的专利,公开号CN119087242A,申请日期为2024年10月。专利摘要显示,本申请公开了一种钠电池储能系统故障诊断方法、设备及存储介质,涉及数据处理技术领域,所述方
企查查数据显示,国内现存储能相关企业22.8万家。截至目前,今年已注册7.81万家储能相关企业。其中前10月共注册7.08万家,同比增长20.72%。11月28日,腾讯成功落地了风电、光伏、储能一体化的数据中心微电网项目。这是国内首个采用“风光储+负荷”智能管理模式的数据中心微电网项目,也是腾讯数据中心
近日,河北省首座钒锂结合储能电站,也是华北地区第一座采用全球领先的AC存储(交直流一体)结构的储能电站正式启用,由河北燕赵兴泰储能科技有限公司投资开发,该项目标志着河北省在新型储能领域的重要突破,更是该省独立储能的标杆。共使用了21套阳光电源PowerTitan2.0液冷储能系统,现场从调试到并
北极星储能网获悉,近日,经深圳市市场监督管理局批准的《生产经营单位锂离子电池存储使用安全规范》(DB4403/T508—2024)(以下简称《规范》)发布,将于2024年11月1日正式实施。该《规范》由深圳市应急管理局制定并归口,深圳市电池行业协会、欣旺达电子股份有限公司等单位参与编写,明确了锂离子电
日供电80万度,AC存储助力“迎峰度夏这个夏天,国内规模最大的新型储能省级电网集中调度在江苏顺利完成,实现了储能与电源、电网、用电负荷等的高效灵活互动。其中,由中城大有投建的泰州海陵200MW/400MWh储能电站,参与了本次迎峰度夏集中调度,在电力“保供战”中表现亮眼,日供电近80万度。该电站也
北京排水集团原创厌氧氨氧化(“红菌”)技术成功中标国家存储器基地高氨氮废水处理项目,实现集团原创技术应用转化重大市场突破。国家存储器基地高氨氮废水处理项目位于湖北武汉光谷,作为北京排水集团在半导体芯片废水处理行业的首个工程,在目前“红菌”外部市场转化项目中,规模最大、示范效应最强
近期,由中国华能集团投资、十一科技EPC承建的“华能龙腾特钢20MW/40MWh用户侧储能项目”全容量并网发电,共投运8套2.5MW/5MWh阳光电源PowerTitan2.0液冷储能系统。这是国内首座采用“交直流一体”设计的储能电站,系统效率高于传统储能2%-3%,标志着“AC存储”时代的正式到来。该项目也是中国华能的首
编者按近年来,随着智能电网不断建设和发展,大规模广域数据实时采集和历史数据存储的需求快速增长。5G通信技术有望引领新一轮电力技术革命,其应用场景包括:万物互联、精准控制、海量量测、宽带通信和高效计算等。利用5G技术能够提供更完备的配电网差动保护方案,有利于智能电网的建设。5G技术为变电
3月21日,全省新能源高质量发展座谈会在并召开。会议全面学习贯彻习近平总书记在2月29日中共中央政治局第十二次集体学习时重要讲话精神,认真落实3月12日省委常委会上关于推动我省新能源高质量发展的工作要求,系统阐述新能源发展的重大意义,深入分析我省新能源发展形势,研讨交流促进我省新能源高质
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!