登录注册
请使用微信扫一扫
关注公众号完成登录
2013-05-31 17:40来源:和讯网关键词:Hadoop 2.0大数据存储收藏点赞
我要投稿
以往Hadoop似乎就是大数据的代名词。不过最近随着大数据应用的深入,大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。
不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。
Hadoop大桶
自成为大数据工具以来,Hadoop就是一个非常棒的数据存储系统,但是需要开发Java应用来访问数据的MapReduce学习起来却比较困难。
当然,还有别的办法可以从Hadoop中获取信息。Hbase数据是Hadoop的一部分,它可以让用户按照数据库范式来处理数据。Hive数据仓库则可以让你用类SQL的HiveSQL查询语言来创建查询并转化为MapReduce任务。不过Hadoop仍受限于单线程性。MapReduce任务、 Hive查询、Hbase操作,等等,这些都要轮流进行。
这就是许多大数据供应商倾向于仅将Hadoop当作数据容器的原因,为了提高效率,他们在此基础上再开发自己的工具来获取或分析其中的数据。尽管把Hadoop形容为一个大桶很形象,但是Hadoop用户当中已经有人把它看作是数据大湖甚至数据海洋了。不过光是规模大还是不行的,那些限制影响到了Hadoop的卖点。
Hadoop的开发社区也意识到这个问题,随着Hadoop即将迭代到新的版本,上述限制即将在很大程度上被解除。
YARN解决方案
在Hadoop 2.0发布经理Arun Murthy看来,其最重要的变化是MapReduce框架升级为Apache YARN,这将扩展Hadoop中可以应用的软件种类和应用程度。Arun Murthy本人就是YARN项目主管,他指出,Hadoop 1.0和2.0的区别在于,前者所有的事情都是面向批处理的,而后者则允许多个应用同时在内部访问数据。
相对于当前MapReduce系统能处理的事情,把这些功能分开使得Hadoop集群资源的管理更加强大。其主要管理方式类似于操作系统对任务的处理,也就是说不再有一次一项操作的限制了。
有了YARN,开发者就能够直接在Hadoop内部来开发应用,而不是像许多第三方工具所做的那样,在外面把数据筛选出来。
Murthy称,现在已经有供应商对在YARN框架内开发应用表现出兴趣。Murthy估计,Hadoop 2.0的强力beta版有可能会在今年6月或7月推出,正式版则可能在8月发布。
如果YARN的确能履行其承诺的话,开发者将可以在原生的Hadoop平台里方便地接触到许多的数据大湖大海,令搜寻有用信息的任务更加流畅和便捷。届时,大数据会变得更加有用、更加大众化。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
大数据这个词,恐怕是近两年IT界炒的最热的词汇之一了,各种论坛、会议,言必谈大数据,“大数据”这个词,在IT界已经成了某果一样的“街机”或者叫“街词”,不跟风说两句“大数据长,大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲,大数据这个“圈”太乱了,一点不比“贵圈”好。先从概念上来说,大数据是什么?其实数据处理从人类诞生时期就有了,古人结绳记事就是基本的统计,统计自己吃了几顿饭打了几次猎等等;再往近说,
这是个气温变幻无常,消费者跌跌绊绊,预言家不断摸索的季节。诚如2014年开始,我们对大数据进行的一些大胆预言,这些大数据的预言真的将会成真吗?大数据在2014年将会如何发展?当然任何人都可以对未来进行猜测,但是我们认为我们自己已经根据战斗在大数据战壕的高管们的形形色色的预言,为您准备好了一个关于大数据的美味假期。所以,不容迟疑,快来看明年大数据的六大预测:1、更多的Hadoop项目会遭遇失败而不会成功这一可怕的评估是由大数据应用平台公司的CEO加里中村作出的。在12月12日发表的博客文章中,中村做了一些2014年的预测,其中包括Hadoop的
“大数据”是在2013年被用滥了的词汇,但实际上,由于数据量缺失、大数据清洗和分析能力不足,以及数据可视化瓶颈等问题,“大数据”一直未能迟迟落地。而在最近,随着基础设施的发展,意味着大数据的发展又走到新的一个临界点。系统软件供应商SoftwareAG的GaganMehra,在Venturebeat网站阐述了他对于大数据接下来发展的认识,他认为更快地数据处理、更可靠地数据质量,以及给更加细分的应用市场,是大数据2.0时代的重要特征。更快的数据处理速度由于数据量指数型增长,使得对于数据的快速分析的需要已经变得
华电莱州发电有限公司3号脱硝灵活性设备及施工EPC总承包(招标编号:CHDTDZ062/16-QT-017)一、招标条件华电莱州二期2×1000MW级超超临界机组工程3号脱硝灵活性设备及施工EPC总承包项目已批准,招标人为华电莱州发电有限公司,项目资金为项目资本金及银行贷款。本项目已具备招标条件,现进行公开招标。
北极星售电网获悉,5月9日,甘肃省商务厅发布关于印发《甘肃省深入推进新型工业化暨强工业行动2025年度工作要点》(以下简称《要点》)的通知。《要点》指出,加快能源绿色低碳转型。以传统产业、大数据行业等为重点,大力推广源网荷储一体化、新能源自备电站、智能微电网、增量配电网、绿电聚合等新能
市场交易型虚拟电厂将迎来广阔空间——访电力规划设计总院能源政策与市场研究院院长凡鹏飞近日,国家发展改革委、国家能源局发布《关于加快推进虚拟电厂发展的指导意见》(以下简称《意见》),提出积极推动虚拟电厂因地制宜发展,明确大力支持民营企业参与投资开发。随着国家对虚拟电厂主体经营地位的
北极星太阳能光伏网获悉,近日,中国能建发布公告称,公司2023年度向特定对象发行A股股票申请已于5月13日获得上交所审核通过。据了解,中国能建本次定增募资于2023年5月24日发起。募资说明书显示,本次发行的募集资金总额(含发行费用)不超过150.00亿元(含150.00亿元)。扣除发行费用后的募集资金净
北极星储能网获悉,5月14日,中国能建发布公告,其2023年度向特定对象发行A股股票于5月13日获得上交所审核通过。据了解,本次发行的募集资金总额(含发行费用)不超过150.00亿元(含),扣除发行费用后的募集资金净额将用于中能建哈密“光(热)储”多能互补一体化绿电示范项目、甘肃庆阳“东数西算”
北极星储能网获悉,5月13日,中国-拉美和加勒比国家共同体(拉共体)共同制定本共同行动计划,内容包含:探索双方能源转型与先进储能技术合作投资机遇,助力双方共同实现能源绿色低碳转型。深化双方可持续能源转型实践交流。另外,中方愿与拉共体国家开展国际零碳岛屿合作。原文如下:中国-拉共体成
5月13日,辽宁省工业和信息化厅发布《关于组织开展2025年度工业领域节能降碳技术装备推荐工作的通知》,申报材料提交截止时间为2025年5月23日。全文如下:关于组织开展2025年度工业领域节能降碳技术装备推荐工作的通知各市工业和信息化局、沈抚示范区产业创新局:为加快推广节能降碳先进技术,加强重点
5月12日,北京市经济和信息化局发布2025年度国家工业和信息化领域节能降碳技术装备申报工作的通知,通知指出,此次申报范围包含重点行业领域节能降碳技术、用能低碳转型技术、工业减碳技术、数字化绿色化协同转型技术、数字化绿色化协同转型技术、高效节能装备五类,所申报技术装备已有成熟应用案例,
贵州省人民政府网5月12日发布贵州省领导同志工作分工调整。其中,罗强同志负责工业和信息化、国有资产、能源、大数据方面工作,杨同光同志负责生态环境保护、水利、农业农村、乡村振兴、林业、烤烟和卷烟、气象方面工作,郭成林同志负责自然资源、住房和城乡建设、交通运输、铁路、民航方面工作。贵州
5月9日,上汽集团旗下移动出行战略品牌——享道出行,宣布完成超13亿元人民币C轮融资,成为国内出行行业近三年来单笔融资金额最大的一次融资,在网约车市场投下了一枚重磅炸弹。自2018年成立以来,享道出行已构建起覆盖网约车、企业用车、个人租车和出租车的全场景智慧出行综合体。依托上汽集团的优势
“没想到分布式光伏出力预测准确率这么高,让我们提前采取管控措施,避免了二道沟1号台区出现反向重过载。”5月6日,冀北张家口崇礼区供电公司太子城供电所副所长张昭隆说。几天前,张家口供电公司部署的分布式光伏运行状态预测微应用发出预警:二道沟1号台区分布式光伏设备将在未来三天内出现光伏大发
2025年5月14日,第四届上海国际充换电与光储充展览会在上海开幕。阳光电源携全球领先的全栈自研光储充系统解决方案及高质量重卡超充解决方案参展,展示了其在光伏、储能、充电、一体化、数智化、多能协同等领域的强大实力,为新能源重卡充电基础设施的发展提供了创新思路。打造皮实耐用的高质量重卡超
为加速推进碳中和目标机电力市场化改革,日本政府可谓不遗余力。通过实施上网电价补贴和固定购电价格等政策,极大地激发了家庭和企业安装太阳能发电系统并配套储能设备的积极性。采用正泰电源产品的九州熊本光储一体化项目就是一个典型的高压并网自家消费应用案例。该项目采用正泰电源1.6MW/3.3MWh工商
01引言风电作为清洁能源的重要组成部分,保持着强劲的增长势头,但行业快速扩张的同时也面临着严峻挑战——叶片断裂事故频发,正在为这一绿色能源的发展前景蒙上阴影。例如,总装机806MW的美国VineyardWind-1海上风电项目,是该国在建最大的海上风电项目,计划安装62台GEHaliade-X13MW海上风机,叶片长
5月12日,中电联(北京)数智科技有限公司成立会议在北京举行。中国电力企业联合会党委副书记、专职副理事长王抒祥出席会议并讲话。王抒祥指出,在电力行业数字化、智能化高速发展的全新形势下,中电联党委作出成立中电联(北京)数智科技有限公司的决定恰逢其时。面对新形势新任务,数智科技公司要充
近日,海辰储能与德国可持续能源综合服务商Schoenergie达成里程碑式合作,正式启动双方在德首个大型电力级储能系统项目。该合作不仅标志着海辰储能在欧洲核心市场的战略深耕,更以创新技术为德国能源转型注入新动能。Schoenergie来访海辰储能厦门总部技术赋能:打造毫秒级响应的智慧储能枢纽该项目将部
北极星储能网获悉,云南保山水长600MW/1200MWh储能电站近日正式投产并网,成为云南省单体规模最大的集中式共享储能项目。这座矗立在滇西高原的巨型“电力充电宝”年均调峰电量预计超3亿千瓦时,将为区域能源结构优化和绿色低碳发展注入强劲动力。作为云南电网“十四五”能源规划的重点项目,保山水长储
1.储能BMS与PCS之间关系储能系统通常由电池组、电池管理系统(BMS)、能量管理系统(EMS)、储能变流器(PCS)这四个关键设备组成。其中储能BMS与PCS存在着密切的联系和互补关系,二者在储能系统中各自承担着不同的功能但相互协作共同实现对储能系统的全面管理和控制。未来随着储能技术的不断发展和应
超声AI扳手助力螺栓的施拧精度从传统力矩扳手的30%提升至3%。风电螺栓施拧工具世界性革命螺栓施拧精度从传统力矩扳手的30%(间接换算轴力反馈)提升至3%(直接轴力反馈)。可节省约三分之二的风电塔筒螺栓和叶根螺栓的运维工作量。从根本上解决由于螺栓紧固一致性差导致的风机螺栓断裂风险。精准的轴力定
在全球能源转型及“双碳”战略推动下,我国电化学储能装机规模迅猛增长,据相关数据统计,截至2024年年底,我国储能行业电力储能装机累计规模突破百吉瓦大关,达到137GW。然而,安全事故频发成为行业痛点;据相关统计,2024年全球储能电站火灾事故超80起,其中热失控占主因的75%。传统储能温控系统存在
北极星储能网获悉,5月8日,上海长兴岛10MW/20MWh用户侧储能项目在上海中远海运重工启动建设。此次启动建设的储能电站由4套储能系统、4套预制仓、4台升压变组成,建设工期约5个月。在电网电力供应充足且价格较低时,储能电站可通过功率转化系统将电网的交流电转换为直流电,并存储到储能电池中;当电网
北极星售电网获悉,5月12日,上海崇明区人民政府发布关于印发《张江高新区崇明园改革创新发展行动方案(2025-2026年)》(以下简称《方案》)的通知。《方案》指出,打造绿色低碳特色产业。推动绿色低碳技术产业化,依托上海碳中和技术创新联盟,设立碳中和技术创新中心、碳中和技术创新孵化基地和产业
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!