登录注册
请使用微信扫一扫
关注公众号完成登录
2013-05-31 17:40来源:和讯网关键词:Hadoop 2.0大数据存储收藏点赞
我要投稿
以往Hadoop似乎就是大数据的代名词。不过最近随着大数据应用的深入,大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。
不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。
Hadoop大桶
自成为大数据工具以来,Hadoop就是一个非常棒的数据存储系统,但是需要开发Java应用来访问数据的MapReduce学习起来却比较困难。
当然,还有别的办法可以从Hadoop中获取信息。Hbase数据是Hadoop的一部分,它可以让用户按照数据库范式来处理数据。Hive数据仓库则可以让你用类SQL的HiveSQL查询语言来创建查询并转化为MapReduce任务。不过Hadoop仍受限于单线程性。MapReduce任务、 Hive查询、Hbase操作,等等,这些都要轮流进行。
这就是许多大数据供应商倾向于仅将Hadoop当作数据容器的原因,为了提高效率,他们在此基础上再开发自己的工具来获取或分析其中的数据。尽管把Hadoop形容为一个大桶很形象,但是Hadoop用户当中已经有人把它看作是数据大湖甚至数据海洋了。不过光是规模大还是不行的,那些限制影响到了Hadoop的卖点。
Hadoop的开发社区也意识到这个问题,随着Hadoop即将迭代到新的版本,上述限制即将在很大程度上被解除。
YARN解决方案
在Hadoop 2.0发布经理Arun Murthy看来,其最重要的变化是MapReduce框架升级为Apache YARN,这将扩展Hadoop中可以应用的软件种类和应用程度。Arun Murthy本人就是YARN项目主管,他指出,Hadoop 1.0和2.0的区别在于,前者所有的事情都是面向批处理的,而后者则允许多个应用同时在内部访问数据。
相对于当前MapReduce系统能处理的事情,把这些功能分开使得Hadoop集群资源的管理更加强大。其主要管理方式类似于操作系统对任务的处理,也就是说不再有一次一项操作的限制了。
有了YARN,开发者就能够直接在Hadoop内部来开发应用,而不是像许多第三方工具所做的那样,在外面把数据筛选出来。
Murthy称,现在已经有供应商对在YARN框架内开发应用表现出兴趣。Murthy估计,Hadoop 2.0的强力beta版有可能会在今年6月或7月推出,正式版则可能在8月发布。
如果YARN的确能履行其承诺的话,开发者将可以在原生的Hadoop平台里方便地接触到许多的数据大湖大海,令搜寻有用信息的任务更加流畅和便捷。届时,大数据会变得更加有用、更加大众化。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
大数据这个词,恐怕是近两年IT界炒的最热的词汇之一了,各种论坛、会议,言必谈大数据,“大数据”这个词,在IT界已经成了某果一样的“街机”或者叫“街词”,不跟风说两句“大数据长,大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲,大数据这个“圈”太乱了,一点不比“贵圈”好。先从概念上来说,大数据是什么?其实数据处理从人类诞生时期就有了,古人结绳记事就是基本的统计,统计自己吃了几顿饭打了几次猎等等;再往近说,
这是个气温变幻无常,消费者跌跌绊绊,预言家不断摸索的季节。诚如2014年开始,我们对大数据进行的一些大胆预言,这些大数据的预言真的将会成真吗?大数据在2014年将会如何发展?当然任何人都可以对未来进行猜测,但是我们认为我们自己已经根据战斗在大数据战壕的高管们的形形色色的预言,为您准备好了一个关于大数据的美味假期。所以,不容迟疑,快来看明年大数据的六大预测:1、更多的Hadoop项目会遭遇失败而不会成功这一可怕的评估是由大数据应用平台公司的CEO加里中村作出的。在12月12日发表的博客文章中,中村做了一些2014年的预测,其中包括Hadoop的
“大数据”是在2013年被用滥了的词汇,但实际上,由于数据量缺失、大数据清洗和分析能力不足,以及数据可视化瓶颈等问题,“大数据”一直未能迟迟落地。而在最近,随着基础设施的发展,意味着大数据的发展又走到新的一个临界点。系统软件供应商SoftwareAG的GaganMehra,在Venturebeat网站阐述了他对于大数据接下来发展的认识,他认为更快地数据处理、更可靠地数据质量,以及给更加细分的应用市场,是大数据2.0时代的重要特征。更快的数据处理速度由于数据量指数型增长,使得对于数据的快速分析的需要已经变得
2025年的4月28日,西班牙电网在短短的5秒之内失去了超过15吉瓦的电力。这场持续十几个小时的大停电,让5000万人的生活停摆,居民通讯中断、医疗系统停滞、公共交通瘫痪。突如其来的大停电也引发了我们对当今能源转型的思考#x2014;#x2014;极端天气频发、新能源大量接入、设备老化等一系列情况下,电网如
6月26日,国网甘肃张掖供电公司建设的“以电折水”水资源智慧管理平台上线试运行,为水务部门加强水资源监管、水资源节约集约利用以及保护地下水资源的统筹管理提供电力数据支撑。张掖市地处干旱半干旱地区,水资源的科学管理对区域经济和生态平衡发展具有重要意义。国网张掖供电公司充分发挥电力大数
入夏气温逐渐攀升,一年一度的迎峰度夏电力保供直面大考。日前,国家发展改革委、国家能源局发布的《关于加快推进虚拟电厂发展的指导意见》指出,虚拟电厂对“增强电力保供能力”具有重要作用。(来源:中国能源观察作者:杨苗苗)虚拟电厂通过聚合分布式电源、可调节负荷、储能等各类分散资源,形成具
北极星售电网获悉,6月20日,湖南省人民政府发布关于印发《湖南省推动营商环境优化提升若干举措》的通知。文件明确,降低用能成本。深化电力体制改革,实施源网荷储、园网共建、新能源上网电价市场化改革、引入外省低价电源、落实电网公平开放等举措,完善工商业分时电价政策,降低用户电费支出。坚持
6月26日,国网吉林白城供电公司智慧竣工决算平台完成核心系统建设并投入试运行。该平台通过融合RPA机器人与AI技术,实现了工程决算准确率提升至90%以上,标志着该公司在电网工程数字化管理领域取得重要进展。作为落实国家电网资产价值精益管理专项行动的重要举措,该平台创新应用大数据、人工智能等技
近日,远景储能在全球权威标准制定和测试认证机构CSA集团(加拿大标准协会,CanadianStandardsAssociation)、战略客户及北美消防工程师(FPE)的全程现场见证下,严格遵循CSAC800火烧测试规范,圆满完成了智慧交易型储能大规模火烧测试,验证了远景储能系统在防火隔热、抗燃爆冲击和系统安全性方面的
高考志愿填报已经进入了最后冲刺阶段!选对方向和考高分同等重要,面对众多院校和海量专业,很多考生和家长还是一头雾水,将来想进电力企业,高考志愿应该填报哪些院校和专业?作为过来人,头条君精编填报干货,助你精准匹配理想院校!头条君首先向大家安利电气工程专业!电气专业“永不过时”国家大力
“祝麟,你看这户表计火线电流远小于卡钳表测的电流,少记很多电量,而且电表外观像是被破坏过。”“是啊,表计铅封被破坏了,应该是把表计拆开把里面电表电流取样模块进行短接了。”6月30日,国网丰宁县供电公司用电检查班李帅和刘祝麟在康宁府小区检查窃电。据了解,该用户通过破坏电能表,将电能表
源网荷储一体化作为新型电力系统的核心架构,正加速从政策蓝图迈向实践落地。这一创新模式打破了传统电力系统“发-输-变-配-用”的单向运行逻辑,通过电源、电网、负荷、储能四大要素的深度协同与互动,构建起能源高效利用的闭环体系。然而,在各地项目批复数量持续增长的繁荣表象下,实际落地进度却呈
北极星售电网获悉,6月24日,河南周口市人民政府发布关于印发周口市2025年优化营商环境专项行动实施方案的通知。文件明确,强化用能保障。落实绿色低碳转型战略,大力发展新能源,提高能源保障能力,调整优化能源结构,降低企业特别是工业企业用能成本。积极推动实施增量配电类源网荷储一体化项目、独
无人机高效自主巡检,人工智能辅助主动抢修,“智慧向导”服务分布式光伏发展……江苏淮安供电公司深入应用人工智能、大数据等技术,促进线路巡检、配网抢修等工作更高效、更精益——6月23日9时许,江苏淮安供电公司无人机作业中心五级职员张帆在无人机管控微应用系统上“一键操作”,20架无人机从位于
2025年的4月28日,西班牙电网在短短的5秒之内失去了超过15吉瓦的电力。这场持续十几个小时的大停电,让5000万人的生活停摆,居民通讯中断、医疗系统停滞、公共交通瘫痪。突如其来的大停电也引发了我们对当今能源转型的思考#x2014;#x2014;极端天气频发、新能源大量接入、设备老化等一系列情况下,电网如
在陕西,国内先进的氢燃烧领域规模化研发测试研究院签约落户西咸新区;在榆林市,全球规模领先的氢化镁储氢材料中试装置5月转入稳定运行;在“西安—渭南—韩城”城际氢能走廊上,一辆辆氢能重卡日夜穿行……氢能来源丰富、绿色低碳。作为全国重要煤化工基地,陕西氢产能超200万吨/年,如何发挥最大效
北极星储能网获悉,7月2日消息,天赐材料披露广州天赐高新材料股份有限公司全资子公司九江天赐高新材料有限公司(以下简称“九江天赐”)作为原告,就商业秘密侵权纠纷案件向江西省高级人民法院提起民事诉讼,江西省高级人民法院已于近日立案受理。本案中各方主体有:原告:九江天赐高新材料有限公司被
2024年,上海新能源汽车保有量151.2万辆,拥有公共充电桩25万台,公共充电桩与新能源汽车的比例为6∶1。上海市留给建设公共充电站的土地资源极度稀缺,充电需求与公共区域供应不匹配,上海城区和郊区的存量公共充电桩分布也不均衡。针对这些问题,上海市出台了一系列政策,不断提升新能源汽车市场占有
7月2日,华润新能源(连州)风能有限公司发布了华润清远连州龙坪风电场100MW扩建项目-配套20MW/40MWh储能系统EPC总承包招标公告。项目位于广东清远连州市大路边镇易家村,配套20MW/40MWh储能系统EPC总承包。要求投标人自2022年5月1日至投标截止日(以合同签订时间为准),至少有1个5MWh及以上电化学储
6月30日,巨化集团有限公司公用分公司巨化105MW210MWh用户侧储能电站项目(一期55MW110MWh)EPC工程总承包招标公告发布。项目位于浙江衢州,本次招标规模55MW/110MWh,采用磷酸铁锂电池储能系统,其中100MWh为常规板式液冷电池舱,10MWh为浸没式电池舱(10MWh电池舱不在本次招标范围内)。要求投标人自
一、什么是分时电价政策电能是一种特殊商品,无法大规模存储,生产与消费需要实时平衡,不同用电时段耗用的电力资源不同,供电成本差异很大。分时电价机制是基于电能时间价值设计的、引导电力用户削峰填谷、保障电力系统安全、稳定经济运行的一项重要机制安排。将一天划分为高峰、平段、低谷等时段,对
在全球积极推进绿色能源转型的大背景下,光伏发电技术凭借绿色、高效的特性,在建筑领域的应用愈发广泛。然而,随着光伏发电系统在建筑中大规模部署,安全问题,尤其是火灾防范问题,成为了保障生命财产安全的关键环节。特别是在面对台风、高温等极端天气时,光伏电站的火灾隐患不容忽视,这对安装光伏
氢燃料电池是目前氢能产业中技术最成熟、应用最广泛的核心产品之一,在全球积极应对气候变化并大力推动能源转型的背景下,氢燃料电池作为一种高效且清洁的能源转化设备,成为各国政府、科研机构和企业开展能源技术攻关的重点方向,并推动其在多个领域的应用和商业化进程。根据电解质的不同,氢燃料电池
7月1日,慈溪市发展和改革局对舒孝瑜委员与王天慧、邵倩倩代表提出的《关于促进慈溪市工商业储能领域实现更安全、多元化发展的提案》做出答复。其中指出,今年开展“十五五”慈溪市能源发展规划,也将秉持上述思路,凸显对工商业分布式储能领域的关注力度。同时,市供电公司也充分考虑了储能项目的发展
6月30日,由中铁建发展集团有限公司与内蒙古佑赛科技有限公司共同投资建设的105万千瓦/630万千瓦时压缩空气储能项目在卓资县梨花镇开工建设。据悉,该项目总投资92.67亿元,占地面积达700亩,采用国际领先的先进绝热压缩空气储能技术,能量转换效率超65%,计划于2026年12月31日建成投用。项目建成后,
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!