北极星

搜索历史清空

  • 水处理
您的位置:电网信息化物联网市场正文

盘点大数据、十大技术与十大巨头:IBM和Intel在列

2014-03-24 09:42来源:OFweek物联网关键词:大数据IntelIBM收藏点赞

投稿

我要投稿

大数据领域的十大开源技术

根据最新的思科全球云指数报告,预计到2017年年底,全球数据中心年均IP流量将达到7.7ZB。总体而言,数据中心IP流量在2012年到2017年之间将以25%的复合年均增长率(CAGR)增长。

现在增长的速度更快,而且组织需要依靠大量的数据集帮助它们运营、量化和发展业务。在过去几年里,大型数据库经历了从GB到TB再到PB级的发展过程。

此外,数据也不再是存储在一个地方,随着这些数据的增长以及云计算的发展,这些数据实现了分布式存储。

几乎所有行业都在发展大数据和数据科学

科学:大型强子对撞机每秒大约进行6亿次碰撞。因此,只有当传感器流数据小于0.001%的时候才有效,从四个大型强子对撞机实验中产生的数据意味着每年将产生25PB的数据(统计于2012年),此外备份还会产生大量数据,备份后的数据有可能达到200PB。

研究:美国航空航天局的气候模拟中心(NCCS)在其超级计算机平台上存储了约32PB的气候观测和模拟数据。

私有/公共:亚马逊每天处理的后端操作达数百万,此外还有超过50万个第3方卖家的查询操作。亚马逊的核心技术运行在基于Linux的数据库系统上,截至2005年,亚马逊拥有世界上三个最大的Linux数据库,容量分别达到了7.8TB、18.5TB、24.7TB。

组织被迫寻找新的创造性方法来管理和控制如此庞大的数据,目的不只是为了整理数据,而是要分析和挖掘数据来进一步发展业务,因此,一些开源大数据技术值得考虑:

Apache HBase:这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开源、Java编码、分布式多个优势的数据库,Hbase最初被设计应用于Hadoop平台,而这一强大的数据管理工具,也被Facebook采用,用于管理消息平台的庞大数据。

Apache Storm:用于处理高速、大型数据流的分布式实时计算系统。Storm为Apache Hadoop添加了可靠的实时数据处理功能,同时还增加了低延迟的仪表板、安全警报,改进了原有的操作方式,帮助企业更有效率地捕获商业机会、发展新业务。

Apache Spark:该技术采用内存计算,从多迭代批量处理出发,允许将数据载入内存做反复查询,此外还融合数据仓库、流处理和图计算等多种计算范式,Spark用Scala语言实现,构建在HDFS上,能与Hadoop很好的结合,而且运行速度比MapReduce快100倍。

Apache Hadoop:该技术迅速成为了大数据管理标准之一。当它被用来管理大型数据集时,对于复杂的分布式应用,Hadoop体现出了非常好的性能,平台的灵活性使它可以运行在商用硬件系统,它还可以轻松地集成结构化、半结构化和甚至非结构化数据集。

投稿与新闻线索:陈女士 微信/手机:13693626116 邮箱:chenchen#bjxmail.com(请将#改成@)

特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。

凡来源注明北极星*网的内容为北极星原创,转载需获授权。