登录注册
请使用微信扫一扫
关注公众号完成登录
2013-05-31 17:40来源:和讯网关键词:Hadoop 2.0大数据存储收藏点赞
我要投稿
以往Hadoop似乎就是大数据的代名词。不过最近随着大数据应用的深入,大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。
不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。
Hadoop大桶
自成为大数据工具以来,Hadoop就是一个非常棒的数据存储系统,但是需要开发Java应用来访问数据的MapReduce学习起来却比较困难。
当然,还有别的办法可以从Hadoop中获取信息。Hbase数据是Hadoop的一部分,它可以让用户按照数据库范式来处理数据。Hive数据仓库则可以让你用类SQL的HiveSQL查询语言来创建查询并转化为MapReduce任务。不过Hadoop仍受限于单线程性。MapReduce任务、 Hive查询、Hbase操作,等等,这些都要轮流进行。
这就是许多大数据供应商倾向于仅将Hadoop当作数据容器的原因,为了提高效率,他们在此基础上再开发自己的工具来获取或分析其中的数据。尽管把Hadoop形容为一个大桶很形象,但是Hadoop用户当中已经有人把它看作是数据大湖甚至数据海洋了。不过光是规模大还是不行的,那些限制影响到了Hadoop的卖点。
Hadoop的开发社区也意识到这个问题,随着Hadoop即将迭代到新的版本,上述限制即将在很大程度上被解除。
YARN解决方案
在Hadoop 2.0发布经理Arun Murthy看来,其最重要的变化是MapReduce框架升级为Apache YARN,这将扩展Hadoop中可以应用的软件种类和应用程度。Arun Murthy本人就是YARN项目主管,他指出,Hadoop 1.0和2.0的区别在于,前者所有的事情都是面向批处理的,而后者则允许多个应用同时在内部访问数据。
相对于当前MapReduce系统能处理的事情,把这些功能分开使得Hadoop集群资源的管理更加强大。其主要管理方式类似于操作系统对任务的处理,也就是说不再有一次一项操作的限制了。
有了YARN,开发者就能够直接在Hadoop内部来开发应用,而不是像许多第三方工具所做的那样,在外面把数据筛选出来。
Murthy称,现在已经有供应商对在YARN框架内开发应用表现出兴趣。Murthy估计,Hadoop 2.0的强力beta版有可能会在今年6月或7月推出,正式版则可能在8月发布。
如果YARN的确能履行其承诺的话,开发者将可以在原生的Hadoop平台里方便地接触到许多的数据大湖大海,令搜寻有用信息的任务更加流畅和便捷。届时,大数据会变得更加有用、更加大众化。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
大数据这个词,恐怕是近两年IT界炒的最热的词汇之一了,各种论坛、会议,言必谈大数据,“大数据”这个词,在IT界已经成了某果一样的“街机”或者叫“街词”,不跟风说两句“大数据长,大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲,大数据这个“圈”太乱了,一点不比“贵圈”好。先从概念上来说,大数据是什么?其实数据处理从人类诞生时期就有了,古人结绳记事就是基本的统计,统计自己吃了几顿饭打了几次猎等等;再往近说,
这是个气温变幻无常,消费者跌跌绊绊,预言家不断摸索的季节。诚如2014年开始,我们对大数据进行的一些大胆预言,这些大数据的预言真的将会成真吗?大数据在2014年将会如何发展?当然任何人都可以对未来进行猜测,但是我们认为我们自己已经根据战斗在大数据战壕的高管们的形形色色的预言,为您准备好了一个关于大数据的美味假期。所以,不容迟疑,快来看明年大数据的六大预测:1、更多的Hadoop项目会遭遇失败而不会成功这一可怕的评估是由大数据应用平台公司的CEO加里中村作出的。在12月12日发表的博客文章中,中村做了一些2014年的预测,其中包括Hadoop的
“大数据”是在2013年被用滥了的词汇,但实际上,由于数据量缺失、大数据清洗和分析能力不足,以及数据可视化瓶颈等问题,“大数据”一直未能迟迟落地。而在最近,随着基础设施的发展,意味着大数据的发展又走到新的一个临界点。系统软件供应商SoftwareAG的GaganMehra,在Venturebeat网站阐述了他对于大数据接下来发展的认识,他认为更快地数据处理、更可靠地数据质量,以及给更加细分的应用市场,是大数据2.0时代的重要特征。更快的数据处理速度由于数据量指数型增长,使得对于数据的快速分析的需要已经变得
6月5日,宁夏银川市人民政府办公室关于印发《银川高新区高质量发展实施方案(2025—2027年)》的通知。文件指出,积极招引动力电池、风机叶片、光伏组件等“新三样”及算力服务器等拆解回收利用项目,鼓励发展“互联网+回收”模式,强化全链条数字化监管,推进循环经济产业与合规化、标准化服务体系深
在推进新能源占比不断提升的新型电力系统构建进程中,煤电正经历着历史性的角色嬗变。今年,国家发展改革委、国家能源局联合印发《新一代煤电升级专项行动实施方案(2025#x2014;2027年)》(以下简称《实施方案》),新一代煤电升级专项行动正式启动,旨在推动传统煤电向“清洁降碳、安全可靠、高效调
北极星电力网获悉,五大发电“旗舰”上市公司——华能国际、华电国际、大唐发电、国电电力、中国电力2024年报,披露了未来的发展战略及经营计划。整理如下:华能国际》》》》》一、发展战略华能国际全面贯彻“创新、协调、绿色、开放、共享”的新发展理念,坚持以质量效益为中心,统筹能源安全和绿色发
近日,《广东省促进海洋经济高质量发展条例》已由广东省第十四届人民代表大会常务委员会第十八次会议于2025年5月28日通过,现予公布,自2025年7月1日起施行。文件指出,省、地级以上市人民政府能源等有关主管部门应当加大海洋油气资源勘探开发力度,推进液化天然气等接收及储气设施、配套码头和配套外
为贯彻落实国家能源局《2025年能源工作指导意见》关于“统筹推进新型电力系统建设,推进虚拟电厂高质量发展”的要求,经省发展改革委、省能源局、浙江能源监管办同意,浙江电力市场管理委员会发布了《浙江省虚拟电厂运营管理实施细则(试行)》(以下简称“细则”),对虚拟电厂主体注册、能力认证、变
6月3日,国家发展改革委国家能源局发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定提升措施,促进配电网与分布式新能源协调发展。
北极星售电网获悉,6月3日,国家发展改革委发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见(发改能源规〔2025〕624号)。文件明确,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定
6月3日,国家能源局关于进一步深化电力业务资质许可管理更好服务新型电力系统建设的实施意见发布。文件提到,优化资质许可管理制度。支持电力领域新模式、新业态创新发展,除另有规定外,原则上将分布式光伏、分散式风电、新型储能、智能微电网等新型经营主体纳入电力业务许可豁免范围。合理压减承装(
北极星售电网获悉,6月3日,国家能源局发布关于进一步深化电力业务资质许可管理更好服务新型电力系统建设的实施意见。文件明确,优化资质许可管理制度。支持电力领域新模式、新业态创新发展,除另有规定外,原则上将分布式光伏、分散式风电、新型储能、智能微电网等新型经营主体纳入电力业务许可豁免范
编者按“双碳”战略的实施加速了分布式能源在配电网中的接入,导致配电网运行特性发生深刻变化。同时,分布式能源的不确定性削弱了配电网的实时可观性,难以精准监测其运行状态,由此引发的过载、过压和供电质量下降等问题已严重威胁配电网的安全性和稳定性。传统配电网状态估计方法依赖全面、精确的量
一场“智”与“能”的双向奔赴回顾历史,整个人类文明进程始终与能源开发利用紧密相关。如今,能源发展进入资源、环境、气候三重约束期,急需沿着清洁低碳方向进行转型。与此同时,人工智能技术正在蓬勃兴起,加速赋智于千行百业,“‘人工智能+’行动”的字眼更是连续两年见诸全国两会政府工作报告,A
近日,思格新能源携手保加利亚可再生能源企业TrakiaMT,成功完成保加利亚南部MalkoTarnovo镇20MWh大型地面光伏储能项目建设。项目坐落于保加利亚与土耳其交界的群山之间,随着光储项目的建成运行,不仅实现了清洁电力在山区的稳定输出,也为提升区域能源独立性和用能安全奠定了坚实基础。拥有“玫瑰之
近日,研究机构EVTank联合伊维经济研究院共同发布了《中国BBU(BackupBatteryUnit)行业发展白皮书(2025年)》。2024年以来,随着AI需求爆发,BBU成为行业热点,多家电池企业针对BBU领域推出全极耳产品,EVTank统计数据显示,2024年全球BBU领域锂电池出货量0.5亿颗。在AI大爆发背景下,传统互联网数据
加快锻造新质生产力推进抽水蓄能产业高质量发展5月28日,水电水利规划设计总院发布《抽水蓄能产业发展报告2024年度》(以下简称《报告》)显示,我国抽水蓄能装机容量连续9年居世界首位,日本、美国分列第二、三位。在“双碳”目标的引领和驱动下,南方电网近年来加大抽水蓄能发展力度,以积极锻造新质
6月5日,阳光电源PowerTitan3.0智储平台全球首发,首台真机在合肥总部智能工厂震撼下线!同时发布了PowerTitan3.0Flex、Class、Plus三大版本,重新定义第三代大容量电芯,并通过全链智能技术再进阶,带来储能全场景全周期“全域”智能体验!Plus版单柜容量12.5MWh,全球最大!能量密度超500kWh/#x33A1;
日前,河南平顶山市政府印发《平顶山市空气质量持续改善实施方案》。方案提出,推进重点行业污染深度治理。全市新建(改扩建)火电、钢铁、水泥、焦化项目要达到超低排放水平。水泥、焦化企业按要求基本完成有组织和无组织超低排放改造。2025年9月底前,钢铁、水泥、焦化企业力争完成清洁运输超低排放
第十八届国际太阳能光伏与智慧能源(上海)大会暨展览会(SNEC)将于6月11日在国家会展中心(上海)开幕,此次参展,东方日升将在5.2H-B180展台带来“全栈融合全链协同”创新“昇”级:●全链融合方案——光储全场景解决方案:推出“组件+逆变器+储能+智慧能源管理”全链贯通的光储全场景解决方案,实现
5月29日17时06分,江苏吴中区太湖街道雷山路与东太湖路交叉口处往西60米一货车运载的磷酸锂电池组起火。消防员立刻同步调派叉车转移起火电池组至安全区域,结合锂电池起火的特殊性最终决定使用“围堰淹没处置战法”快速控制火情,有效避免次生灾害。约半小时后,火势已被控制,一小时后明火已完全扑灭
5月28日,水电水利规划设计总院发布《抽水蓄能产业发展报告2024年度》(以下简称《报告》)显示,我国抽水蓄能装机容量连续9年居世界首位,日本、美国分列第二、第三位。在“双碳”目标的引领和驱动下,南方电网公司近年来加大抽水蓄能发展力度,以积极锻造新质生产力推进产业高质量发展,为“两化”协同
近年来,在国际绿色转型趋势与国内“双碳”目标的驱动下,氢氨醇一体化项目在国内外密集落地。以国内绿氨项目为例,据中国氢能联盟研究院统计,截至2024年底,我国在建的绿氨项目产能约190万吨/年,规划产能约1780万吨/年。氢氨醇一体化是指将风光发电、电解水制氢、绿氨及绿色甲醇合成等多个环节紧密
随着数字经济的加速发展以及生成式人工智能在商业和日常生活中的深入嵌入,支持这些技术的物理基础设施正在经历一场变革性的爆炸式增长。如今,数据中心约占美国总电力消耗的4%。然而,根据麦肯锡的预测,预计到2030年,这一比例将上升到12%,这是由于计算能力、存储需求以及人工智能模型训练的前所未
截至2024年底,中国新能源汽车保有量已达到3140万辆。面对新能源汽车爆发式增长带来的充电基础设施需求压力,储能技术正成为破解充电网络峰谷矛盾的核心突破口。近日,海博思创完成星纪云能(无锡)科技有限公司在上海北翟路超级充电站的储能项目交付,通过精准的峰谷套利策略与智能功率支撑技术,为充
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!