登录注册
请使用微信扫一扫
关注公众号完成登录
2013-05-31 17:40来源:和讯网关键词:Hadoop 2.0大数据存储收藏点赞
我要投稿
以往Hadoop似乎就是大数据的代名词。不过最近随着大数据应用的深入,大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。
不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。
Hadoop大桶
自成为大数据工具以来,Hadoop就是一个非常棒的数据存储系统,但是需要开发Java应用来访问数据的MapReduce学习起来却比较困难。
当然,还有别的办法可以从Hadoop中获取信息。Hbase数据是Hadoop的一部分,它可以让用户按照数据库范式来处理数据。Hive数据仓库则可以让你用类SQL的HiveSQL查询语言来创建查询并转化为MapReduce任务。不过Hadoop仍受限于单线程性。MapReduce任务、 Hive查询、Hbase操作,等等,这些都要轮流进行。
这就是许多大数据供应商倾向于仅将Hadoop当作数据容器的原因,为了提高效率,他们在此基础上再开发自己的工具来获取或分析其中的数据。尽管把Hadoop形容为一个大桶很形象,但是Hadoop用户当中已经有人把它看作是数据大湖甚至数据海洋了。不过光是规模大还是不行的,那些限制影响到了Hadoop的卖点。
Hadoop的开发社区也意识到这个问题,随着Hadoop即将迭代到新的版本,上述限制即将在很大程度上被解除。
YARN解决方案
在Hadoop 2.0发布经理Arun Murthy看来,其最重要的变化是MapReduce框架升级为Apache YARN,这将扩展Hadoop中可以应用的软件种类和应用程度。Arun Murthy本人就是YARN项目主管,他指出,Hadoop 1.0和2.0的区别在于,前者所有的事情都是面向批处理的,而后者则允许多个应用同时在内部访问数据。
相对于当前MapReduce系统能处理的事情,把这些功能分开使得Hadoop集群资源的管理更加强大。其主要管理方式类似于操作系统对任务的处理,也就是说不再有一次一项操作的限制了。
有了YARN,开发者就能够直接在Hadoop内部来开发应用,而不是像许多第三方工具所做的那样,在外面把数据筛选出来。
Murthy称,现在已经有供应商对在YARN框架内开发应用表现出兴趣。Murthy估计,Hadoop 2.0的强力beta版有可能会在今年6月或7月推出,正式版则可能在8月发布。
如果YARN的确能履行其承诺的话,开发者将可以在原生的Hadoop平台里方便地接触到许多的数据大湖大海,令搜寻有用信息的任务更加流畅和便捷。届时,大数据会变得更加有用、更加大众化。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
曾有歌词曰,风中有朵雨做的云,一朵雨做的云!可见云之形态还真是千变万化,因为不仅有雨做的云,还有高科技的云。桑德新环卫就有这样一朵云,我们称其为桑德环卫云平台即环卫云,它是环卫信息化与智能环卫管控的关键,也是整个互联网环卫体系的核心组成部分,其重要性可见一斑!解密,环卫云的由来?20
大数据这个词,恐怕是近两年IT界炒的最热的词汇之一了,各种论坛、会议,言必谈大数据,“大数据”这个词,在IT界已经成了某果一样的“街机”或者叫“街词”,不跟风说两句“大数据长,大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲,大数据这个“圈”太乱了,一点不比“贵圈”好。先从概念上来说,大数据是什么?其实数据处理从人类诞生时期就有了,古人结绳记事就是基本的统计,统计自己吃了几顿饭打了几次猎等等;再往近说,
这是个气温变幻无常,消费者跌跌绊绊,预言家不断摸索的季节。诚如2014年开始,我们对大数据进行的一些大胆预言,这些大数据的预言真的将会成真吗?大数据在2014年将会如何发展?当然任何人都可以对未来进行猜测,但是我们认为我们自己已经根据战斗在大数据战壕的高管们的形形色色的预言,为您准备好了一个关于大数据的美味假期。所以,不容迟疑,快来看明年大数据的六大预测:1、更多的Hadoop项目会遭遇失败而不会成功这一可怕的评估是由大数据应用平台公司的CEO加里中村作出的。在12月12日发表的博客文章中,中村做了一些2014年的预测,其中包括Hadoop的
“大数据”是在2013年被用滥了的词汇,但实际上,由于数据量缺失、大数据清洗和分析能力不足,以及数据可视化瓶颈等问题,“大数据”一直未能迟迟落地。而在最近,随着基础设施的发展,意味着大数据的发展又走到新的一个临界点。系统软件供应商SoftwareAG的GaganMehra,在Venturebeat网站阐述了他对于大数据接下来发展的认识,他认为更快地数据处理、更可靠地数据质量,以及给更加细分的应用市场,是大数据2.0时代的重要特征。更快的数据处理速度由于数据量指数型增长,使得对于数据的快速分析的需要已经变得
提起ViPR,往往会涉及到软件定义存储、存储虚拟化、对象存储、OpenStack这些话题。笔者撰写本文的目的,就是想以尽量通俗的语言,站在与已有产品、技术形态对比的层面来谈谈ViPR的功能、定位,以及EMC推出该产品的目的。距离EMC World 2013大会已经有一段时间,随着ViPR正式发布日期的临近,我们又看到有国外媒体撰写了一些评论。其中部分观点可能有所偏颇,或许会误导读者,因此我也想在这里进行澄清。误区之一:“EMC的想法是将商用存储设备与ViPR的上层存储阵列功能(VMAX、VNX、Isilon及Atmos阵列都拥有该功能)相结
开源项目由于其开放、免费、自由灵活等特点深受广大开发者的喜爱,加之云计算热火朝天的关注之势,云计算+开源已经不是什么新鲜的事件……下面我们来看一下当前最火的跟云有关的十个开源项目。1.开源PaaS平台:CloudFoundryandOpenShift开源PaaS平台都被高科技公司实力强劲的人占领,RedHat公司的OpneShift将会在明年年初投入使用,给人留下深刻印象的是其能够支持非常多的功能,OpenShift将作为在线服务来提供。而VMware公司的CloudFoundry则已经上市,其把服务器平台作为一种服务器提供
北极星储能网获悉,4月15日,国家知识产权局发布了一项名为一种全固态电池及其制备方法的专利,申请人为广州巨湾技研有限公司,专利内容涉及一种全固态电池及其制备方法,属于电池技术领域,该全固态电池包括共烧结的正极层、固态电解质层和负极层;正极层包括正极活性材料和第一固态电解质;固态电解
北极星储能网获悉,4月15日上午,浙江冠盛东驰能源科技有限公司(简称:冠盛东驰)半固态磷酸铁锂电池建设项目顺利封顶,标志着该建设项目取得了阶段性成果。据介绍,该项目占地135.2亩,总建筑面积将近20万平米,总投资超10亿元。项目于2024年5月奠基,预计2025年底完成竣工验收,2026年年中达产,达
近日,中电建南方、华东新华、青岛城投、广东建晟、水发绿色多个新能源岗位招聘,北极星整理如下:中电建新能源集团股份有限公司(简称:电建新能源集团)成立于2021年12月,是大型央企中国电力建设股份有限公司(简称:中国电建)的重要子企业,主要从事以新能源为主的清洁低碳能源项目的投资开发和运
4月18日,中国技术经济学会专家组一行赴河北省开展《河北省新能源高质量开发与高比例消纳的路径研究》专题调研。此次调研受中国科学技术协会委托,重点聚焦河北省新能源产业开发与消纳瓶颈,旨在探索适合河北省新能源高质量开发与高比例消纳的创新路径、技术方案和政策建议,为政府决策、企业投资和行
国家能源局4月18日发布一季度绿色电力证书相关数据,共核发绿证6.62亿个,相当于6620亿千瓦时的清洁电力取得“身份证”。其中3月份核发绿证1.74亿个,同比增长9.39倍。截至2025年3月底,累计核发绿证56.17亿个。绿电是风电、光伏、水电等可再生能源发电的统称。它如同能源领域的“纯净水源”,通过特高
国家能源局4月18日发布一季度用电量数据,全社会用电量累计23846亿千瓦时,同比增长2.5%。分产业看,第一产业用电量314亿千瓦时,同比增长8.7%;第二产业用电量15214亿千瓦时,同比增长1.9%;第三产业用电量4465亿千瓦时,同比增长5.2%。城乡居民生活用电量3853亿千瓦时,同比增长1.5%。从数据来看,一
2025年3月,全国全行业用电指数为139.5,全行业用电量比2020年基期(以2020年基期为100)增长了39.5%,年均增长6.9%,同比增长4.8%,同比增速比1-2月提高3.2个百分点。3月,农林牧渔业用电指数为180.7,比2020年基期增长了80.7%,年均增长12.6%,同比增长9.9%,同比增速比1-2月提高1.7个百分点。3月,
2025年3月,全国全行业用电指数为139.5,全行业用电量比2020年基期(以2020年基期为100)增长了39.5%,年均增长6.9%,同比增长4.8%,同比增速比1-2月提高3.2个百分点。3月,农林牧渔业用电指数为180.7,比2020年基期增长了80.7%,年均增长12.6%,同比增长9.9%,同比增速比1-2月提高1.7个百分点。3月,
4月18日,四川省经信厅关于印发《四川省新能源产业链建圈强链工作方案(2025—2027年)》的通知,通知指出,到2027年,主要承载地和协同发展地融合态势基本形成,新能源产业链关键材料、核心技术和装备自主可控水平大幅提升,市场机制、标准体系和管理体制更加健全,链主链核企业规模实力不断壮大,产
截至今年第一季度,广东累计发电装机容量达2.27亿千瓦,同比增长14.1%。广东发电装机电源类型涵盖传统与新兴能源,煤电、气电、水电、核电、风电、光伏、生物质发电、储能电源等多元互补,共同构建了百花齐放的能源格局,使得广东在应对不同能源需求和环境挑战时更具灵活性和稳定性。“风”“生”水起
4月17日,广东省能源局关于做好全省充电基础设施高质量接入广东省电动汽车充电设施智能服务平台的通知。其中明确,全面推进全省公共充换电设施高质量接入。各充换电设施建设运营企业、新能源汽车企业运营的公共充换电设施要按照新版《电动汽车充电设施智能服务平台互联互通接口说明书》要求,全面实现
4月14日,KAMINHO浮式生产储卸油装置(FPSO)首次干坞开工仪式在招商局重工海门基地隆重举行。此次活动是项目开展的重要里程碑,标志着船体改装工作正式开始。道达尔能源安哥拉区主席及勘探与生产董事总经理MartinDeffontaines,道达尔能源中国区主席及总裁俞永坚,以及道达尔能源中国勘探与生产副总裁穆
随着可再生能源发电设施的加速布局,储能市场正迎来快速发展的新阶段。江苏省积极响应政策导向,鼓励企业用户和产业园区自主建设新型储能设施,通过峰谷分时电价等市场化机制有效缓解电网高峰供电压力。同时,江苏省支持企业用户建设“微电网+储能”系统,推动新型储能技术在分布式能源、需求响应等领
一个好的微电网能量管理系统需要做好运行状态的规划,能够向各组成单元下达控制指令,监督执行情况并随时进行调整。而这些功能的完成需要建立起稳定的数据采集和信息传递能力,所以对终端设备也就提出了要求。传统的电力信息传输中,主站和终端之间的信息传递包含四个方面,分别为“遥信”、“遥测”、
我们习惯把属于用户电力资产的部分称为表后,把归属于电网电力资产的部分称为表前。(来源:微信公众号“黄师傅说电”)在表前,也就是公共电网的范围内,电力市场每个交易周期出清交易结果,连接到这个大电网上的电源和负荷都会出清本周期的电量,同时也伴有该周期的价格。基于集中竞价,统一出清的方
电池平衡问题可能会导致您的电池资产停用数周,并使您无法每天达到额定容量,从而浪费您的时间、金钱和效率。在本文中,我们将解释不平衡的电池如何造成金钱损失,展示现代电池管理系统(BMS)如何出错,并向您展示如何使用Zitara进行持续平衡,让平衡问题成为过去。作者:DerekGuthei2024年1月15日什么
北极星售电网获悉,4月17日,山东省东营市发展改革委发布山东省工商业分时电价政策解读,详情如下:山东省工商业分时电价政策解读一、什么是分时电价政策?电能是一种特殊商品,无法大规模存储,生产与消费需要实时平衡,不同用电时段耗用的电力资源不同,供电成本差异很大。在集中用电的高峰时段,电
4月14日,一架无人机从位于河北邢台南和区供电公司东薛屯供电所的机巢中起飞,沿着自主规划的航线巡检为万亩麦田供电的10千伏东里线,实时将拍摄到的影像回传至邢台供电公司无人机全业务作业与管控平台,通过人工智能模型识别照片缺陷,辅助运检人员精准掌握供电线路及设备运行状态。无人机自主航线规
北极星储能网讯:4月17日,海南省发改委发布《关于推进分布式光伏发电高质量发展有关事项的通知》,文件提到,一般工商业分布式光伏发电项目采用自发自用余电上网的,年自发自用电量占发电量的比例不低于50%。采用全部自发自用模式,并在用户侧加装了可存储分布式光伏发电量的储能设施,通过光储协同,
近日,南充市生态环境局拟对南充锂电绿色经济循环综合示范项目环境影响报告书作出批复决定,并对基本情况予以公示。项目位于四川南充经济开发区,占地66680.07m2。项目主要从退役锂离子电池中提取镍、钴、锰、锂等有价金属生产硫酸镍、硫酸钴、硫酸锰、碳酸锂、三元前驱体等高附加值产品。主要建设内容
北极星售电网获悉,4月17日,海南省发展和改革委员会发布关于推进分布式光伏发电高质量发展有关事项的通知(琼发改能源〔2025〕440号),文件提到,一般工商业分布式光伏发电项目采用自发自用余电上网的,年自发自用电量占发电量的比例不低于50%。海南省光伏发展规划以分布式为主,对电力用户负荷发生
在德国Lichtenstein-Unterhausen,一家专业模具制造企业正上演着传统制造业的能源革命。当大多数企业还在为能源成本与环保指标纠结时,KonFormGmbH用科士达BluePulse系列交出了一份亮眼答卷:绿电自发自用、成本效率优化、电网依赖性降低、6个月零故障稳定运行、两天完成系统部署等。这份答卷的背后,
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!