登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
大数据领域的十大开源技术
根据最新的思科全球云指数报告,预计到2017年年底,全球数据中心年均IP流量将达到7.7ZB。总体而言,数据中心IP流量在2012年到2017年之间将以25%的复合年均增长率(CAGR)增长。
现在增长的速度更快,而且组织需要依靠大量的数据集帮助它们运营、量化和发展业务。在过去几年里,大型数据库经历了从GB到TB再到PB级的发展过程。
此外,数据也不再是存储在一个地方,随着这些数据的增长以及云计算的发展,这些数据实现了分布式存储。
几乎所有行业都在发展大数据和数据科学
科学:大型强子对撞机每秒大约进行6亿次碰撞。因此,只有当传感器流数据小于0.001%的时候才有效,从四个大型强子对撞机实验中产生的数据意味着每年将产生25PB的数据(统计于2012年),此外备份还会产生大量数据,备份后的数据有可能达到200PB。
研究:美国航空航天局的气候模拟中心(NCCS)在其超级计算机平台上存储了约32PB的气候观测和模拟数据。
私有/公共:亚马逊每天处理的后端操作达数百万,此外还有超过50万个第3方卖家的查询操作。亚马逊的核心技术运行在基于Linux的数据库系统上,截至2005年,亚马逊拥有世界上三个最大的Linux数据库,容量分别达到了7.8TB、18.5TB、24.7TB。
组织被迫寻找新的创造性方法来管理和控制如此庞大的数据,目的不只是为了整理数据,而是要分析和挖掘数据来进一步发展业务,因此,一些开源大数据技术值得考虑:
Apache HBase:这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开源、Java编码、分布式多个优势的数据库,Hbase最初被设计应用于Hadoop平台,而这一强大的数据管理工具,也被Facebook采用,用于管理消息平台的庞大数据。
Apache Storm:用于处理高速、大型数据流的分布式实时计算系统。Storm为Apache Hadoop添加了可靠的实时数据处理功能,同时还增加了低延迟的仪表板、安全警报,改进了原有的操作方式,帮助企业更有效率地捕获商业机会、发展新业务。
Apache Spark:该技术采用内存计算,从多迭代批量处理出发,允许将数据载入内存做反复查询,此外还融合数据仓库、流处理和图计算等多种计算范式,Spark用Scala语言实现,构建在HDFS上,能与Hadoop很好的结合,而且运行速度比MapReduce快100倍。
Apache Hadoop:该技术迅速成为了大数据管理标准之一。当它被用来管理大型数据集时,对于复杂的分布式应用,Hadoop体现出了非常好的性能,平台的灵活性使它可以运行在商用硬件系统,它还可以轻松地集成结构化、半结构化和甚至非结构化数据集。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,南方能源大数据中心与南方电网大湾区数字产业基地顺利投产,标志着南方电网公司基本建成“3+1+X”架构的绿色节能新型数据基础设施。南方能源大数据中心位于全国一体化算力网络国家枢纽节点贵州(贵安)枢纽,首期规划建成两栋机楼及一栋运检楼,承载约2000架10千瓦机柜,定位南方电网公司双活生
日前,南方能源大数据中心与南方电网大湾区数字产业基地分别在贵州贵阳、广东惠州投产,标志着南方电网公司基本建成“3+1+X”架构的绿色节能新型数据基础设施,有力展示公司主动融入国家“东数西算”工程建设,加快数字化转型和数字电网建设,加快向数字电网运营商、能源产业价值链整合商、能源生态系
问:您常年从事汽车相关教学工作,对新能源汽车行业的发展较为关注。随着新能源汽车越来越普及,我国充电基础设施也在快速发展,您对此有何看法?杨金龙:近年来,我国新能源汽车行业发展迅猛,充电基础设施建设也取得了令人瞩目的成绩。在我所生活的浙江省杭州市桐庐县,无论是旅游景区还是公共停车场
国家电网有限公司大数据中心深入贯彻落实国家电网有限公司第四届职工代表大会第五次会议暨2025年工作会议精神,牢牢把握“强化企业级统筹”“深化数字赋能赋效”“强化人工智能应用”“加强自主运维”四个方面要求,激活数据要素价值,全力支撑健全完善数字化工作体系、构建新型电力系统、发展新质生产
近日,四川能源监管办发布2024年度煤电机组大数据监管情况通报。通报指出,四川燃煤发电持续发挥“关键少数”重要作用,煤电兜底保障基础不断夯实,顶峰保供能力进一步发挥,企业经营情况进一步改善。全年枯水期完成发电量335.03亿千瓦时,提供了四川主网三分之一以上电量。2024年四川燃煤火电机组平均
2月17日,山东淄博供电公司电力气象智慧预警大数据应用平台上线。该平台深度融合电力数据和气象数据,增强了电力气象灾害的主动预警能力,为淄博电网防灾减灾、安全稳定运行提供保障。强风、雷暴等恶劣天气容易影响电网设备安全运行。为此,淄博供电公司与山东省电力气象技术创新中心联合组建攻坚团队
近日,福建龙岩供电公司发布龙岩市开工生产分析报告。此报告基于多维度与海量数据统计分析,详细呈现了各行业的生产经营变化情况,为政府精准制定政策、推动经济稳健复苏提供了数据支撑。该公司广泛收集企业开工生产相关数据,通过设定复工及达产指数,量化评估企业开工水平及达到正常生产用能水平情况
近日,福建龙岩供电公司发布龙岩市开工生产分析报告。此报告基于多维度与海量数据统计分析,详细呈现了各行业的生产经营变化情况,为政府精准制定政策、推动经济稳健复苏提供了数据支撑。该公司广泛收集企业开工生产相关数据,通过设定复工及达产指数,量化评估企业开工水平及达到正常生产用能水平情况
近日,由国网湖南省电力有限公司牵头,中国南方电网有限责任公司、中国长江三峡集团有限公司、华中科技大学、湖南大学和华为技术有限公司等共同编写的水电物联网国际标准IEEEStd2413.3-2024《水电能源物联网导则》正式获批发布。据介绍,在水电能源物联网领域,尤其是在水利水电工程中,数据壁垒易导致
2025年春节,浙江的大街小巷满是烟火与欢笑,当古镇的红灯笼与现代化都市的霓虹一同点亮新春夜空,你是否想过,这背后的用电数据是怎样的经济密码?它们串联起千家万户的团圆,映射出产业发展的新态势。现在,就跟着小e,看看2025年春节浙江用电数据藏着哪些惊喜。刚刚过去的春节(1月28日-2月4日),
正月初九,尽管春节假期已经结束了,但过年的热闹劲儿还未完全消散。2024年12月,中国春节成功列入《人类非物质文化遗产代表作名录》,紧接着,我们迎来了意义非凡的第一个“非遗版”春节。办年货作为春节里必不可少的仪式,承载着我们对新年的期待与祝福。当年轻一代逐渐接过年货采购的接力棒,又是什
导读:近日,GE宣布,和Intel共同研发了一种智能LED灯,这种LED可以在燃气轮机装配过程中,标识燃气轮机各零部件的温度,方便工人在装配过程中,可以长时间将要装配的各零件温度控制在一个相对恒定值,减少返工。在制造业中,生产制造过程每节约一分钟就意味着多挣一份钱。然而,一些复杂机械如燃气轮机
我们常用“蚂蚁绊倒大象”来讽刺那些过分相信自己而低估了对方实力的人。在大多数人看来,蚂蚁绊倒大象是根本不可能实现的事情。然而,在处理器市场,有这么一个在人们眼中的小蚂蚁,正凭借着自己努力不断的向英特尔这只大象发起挑战,这个小蚂蚁就是ARM。如今,英特尔已经感受到来自ARM的威胁,那么在处理器市场ARM是否能够上演蚂蚁绊倒大象的奇迹呢?蚂蚁可以绊倒大象吗?在我们成长过程中,常常会被长辈告诫:办什么事都要量力而行,要正确认清自己的能力。久而久之,当我们面对蚂蚁和大象的问题的时候,我们脑子里就会自然的、瞬间闪现蚂蚁绊大象的结果:不可能
云计算、云存储是英特尔最重要的市场方向之一。云计算、云存储首先是一种运营模式的创新,而这种运营模式是否在市场上真正落地需要有的业务需求驱动,而这种业务需求的一个重要来源笔者认为就是大数据的存储、管理和分析。Intel投资云存储相关公司与安防视频监控的联系2014马年伊始,Intel英特尔在北京环球贸易中心召开新闻发布会,宣布投资中科蓝鲸、无锡华云、上海一铺等三家云计算以及大数据产业相关的公司,英特尔投资希望通过这些新投资项目进一步推动云计算及大数据的技术与商业创新。被投三家公司中的中科蓝鲸与安防视频监控比较相关,中科蓝鲸是安防视频监控领域最主要的视频监
日前英特尔和全球玻璃专家康宁联合宣布了他们创造的一项新纪录——使用多模光纤实现了长达820米的25Gbps光纤网络的传输距离,使用的是英特尔的硅光子技术以及康宁公司的ClearCurve LX光纤,64条光纤的总带宽高达1.6TB/s。日前英特尔和全球玻璃专家康宁联合宣布了他们创造的一项新纪录——使用多模光纤实现了长达820米的25Gbps光纤网络的传输距离,本月初英特尔和康宁才刚刚创下300米的记录,这个月底就将距离提高到了820米了。此次创造的新纪录使用的也是英特尔的Silicon Photonics
随着英特尔战略转型,成为安防视频监控解决方案提供商,英特尔推出了面向安防数字视频监控的解决方案,并与众多安防企业展开了合作。那么基于基于英特尔架构的安防监控解决方案有哪些特点呢?基于英特尔架构安防监控解决方案的特点基于英特尔架构安防监控解决方案具有高性能、可扩展性和灵活性等特点。性能卓越。基于英特尔架构的处理器具有很强的图形处理和并行处理能力,可以支持更多的视频通道、更复杂的视频编解码以及更加智能化的性能表现。同时,基于英特尔架构的处理器还具有远程管理能力,并通过相关先进技术可根据任务的难易进行系统运行资源的分配。可扩展性。英特尔的处理器基于通用的x8
前言近年来,随着市场和技术的发展,越来越多的网络基础架构开始向基于通用计算平台或模块化计算平台的架构方向融合,用以支持和提供多样的网络单元和丰富的功能,如应用处理、控制处理、包处理、信号处理等。除了节约成本和缩短产品上市时间之外,在机架式系统和不同尺寸的网络设备上,此架构还可以提供模块化架构的灵活性以及随需而定的系统组件独立升级能力。在传统的网络架构中,交换模块处理In-band和out-of-band系统模块之间的路由交换,处理器模块提供应用层和控制层功能,包处理模块用于数据平面,DSP模块提供定制化的信号层功能。通过使用Intel®DPDK
作为首家成为Intel EA联盟Associate级会员的中国大陆嵌入式计算机厂商——华北工控,于4月3日——4月5日,参加了英特尔在美国亚利桑那州举办的World Wide Embedded Alliance Connections Event 活动。近日,英特尔官方宣布,华北工控凭借其产品低功耗、体积小、稳定可靠、多样化应用等优势特点,产品广泛应用于工业控制、通讯网络、轨道交通、数字标牌、车载电脑、电力设备、航天军工、安防监控、自助终端等领域,为原始设备制作商和开发商提供了领先的嵌入式计算机硬件产品和
2011年5月6日,华北工控基于Intel平台的NVR高清解决方案研讨会在北京丽亭华苑酒店三层金辉1厅完美收官。华北工控邀请英特尔嵌入式市场经理、北京安防行业领头企业参会,共同探讨中国安防市场发展趋势与技术趋势。通过此次研讨会,客户更直观、更深入地了解华北工控基于英特尔芯片的安防产品解决方案。此外,华北工控重点介绍ODM、OEM服务也得到客户的认可。 华北工控研讨会现场签到 随着安防市场的蓬勃发展,高清监控市场需求的日趋增长,NVR以及高清显示的解决方案将扮演重要的角色,智能化、高清化、IP化、业务融合、个性化已成安防市场趋势。华北工控作为行业专用
“中国电科院与英特尔(中国)有限公司联合信息技术实验室专家委员会2009年第一次会议”于6月6日在京召开。国家电网公司信息化工作部副主任吴杏平,英特尔(中国)有限公司行业合作与解决方案部中国大区总监凌琦,国网信通公司副总经理沈亮,中国电科院副院长王力科,国网电科院副院长闫华锋等领导、专家和技术人员30余人参加会议。 会上,吴杏平副主任向实验室专家委员会主任委员和委员们颁发了聘书;实验室向会议报告了前阶段的工作,并分4个专题着重介绍了Intel公司新的技术:“X86技术架构的发展路线”、“intel在高性能计
从双核到四核,AMD与Intel的竞争不断升级,新品迭出,技术更新频率不断加快.而多核之路并非一条:是做一个不断追求技术完美的狂热拥趸,还是更多着眼于快速商业化?也许从技术上来看,最后的结局不过是殊途同归.但是,对于这两个企业而言,在这场拉锯战中,谁又会笑到最后?AMD的四核终于来了说起芯片市场,再没有比AMD与Intel之争更热闹的了.虽然AMD在双核处理器的发布上占了先,四核处理器却落后了对手将近1年的时间.就在它发布Barcelona的前几天,Intel还发布了MP系列的四核产品,颇有示威的意味.其实,Intel大可不必如此——它在四核之战上已然
IBM公司宣布,计划到2030年摆脱其运营中排放的对地球有加热作用的二氧化碳。而与其他一些科技公司近来大张旗鼓地做出环保承诺不同,IBM的承诺强调的是要防止排放,而不是在二氧化碳排放后再开发捕捉二氧化碳的补救方法。IBM承诺到本年代末实现温室气体净排放为零,并承诺在转向可能能够在二氧化碳排放
在全球推进可持续能源发展进程中,锂离子电池被视为一项至关重要的关键技术。在电动汽车、商用航天等领域广泛应用的同时,它所用的钴、镍等重金属材料也带来严重的负面影响。为此,IBM宣布成功开发出了一种新电池,主要依赖从海水中提取的三种材料,而且从初期测试来看在性能上也没有妥协。通过和戴姆
今年的诺贝尔物理学奖颁给了锂电池发展史中三位杰出科学家,如今,锂电池已经走入各行各业。俗语道“不破不立”,学界努力多年,致力于开发出比锂电池更优秀的替代者。据外媒报道,“蓝色巨人”、专利和创新技术傍身的IBM宣布,将以一种海水提取物为原料,打造全新电池产品,再满足生产生活需求的同时
日前,IBM与特变电工新疆新能源股份有限公司(以下简称:特变电工新能源公司)签订了能源互联网科技创新项目。IBM绿色地平线团队将利用物联网、大数据分析和人工智能等核心技术,结合高精度气象预测数据,助力特变电工新能源公司能源互联网业务加速成长。IBM绿色地平线总经理徐海龙博士和特变电工新能源
近日,天合光能股份有限公司宣布和IBM合作,实现对全球九大制造基地的海量光伏制造数据的存储整合以及集中统一管理。天合光能正在向全球能源物联网引领者积极转型布局,此次合作将成为天合光能在智能化建设上又一里程碑式的项目。天合光能全球各制造基地在生产过程中积累了大量生产数据,其中光伏产品
2017城市能源互联网发展(北京)论坛暨能源互联网示范项目建设与合作研讨会于2017年12月1日在北京举办。主题报告环节,IBM能源与电力行业解决方案总监张永平发表演讲,主题是:建设城市能源互联网推动行业数字化转型。下面由电力头条APP为您带来张永平的精彩演讲张永平:我是来自于IBM公司,负责能源与
2017年10月17日-19日,2017中国光伏大会暨展览会(PVCEC2017)在北京隆重召开。IBM大中华区能源行业拓展总监吴如虎在数字化时代的可再生能源发展趋势论坛上发表了题为大数据解决方案助力可再生能源发展的主旨演讲。吴如虎表示IBM希望能够打造一个平台,实际上已经在实践过程中了,通过底层的物联网、大数
第二届能源互联网暨一带一路高峰论坛2017(EIS)于9月21日在上海隆重召开,该论坛由上海决策者经济顾问股份有限公司主办。本次论坛以能源互联网海内外示范项目以及能源互联网分布式能源发展现状(光伏、风电)及存在的问题为落脚点,从最新示范项目着手、针对智能储能领域能源互联网发展前景与实现路径、多
IBM与丹麦能源公司VestasWindSystems展开合作。该公司使用了IBM大数据分析软件和强大的IBM超级计算机系统,以提升风力发电机精准定位、实现最优能源输出的效果。众所周知,对于可再生能源产业来说,如何安放发电机是个重大挑战。Vestas寄希望于采用风能加速其国际化进程,并通过克服这些挑战将其业务扩
浩亭推出MICAreg;(模块化工业计算架构)ndash;一种用于缓冲、评估和处理设备及设施即时环境数据的解决方案。大批量长时间采集的数据在云端传输也将成为可能。浩亭技术集团已经与IBM密切合作数月。他们的合作已经获得了一个利用浩亭注塑机记录能源消耗的项目成果。数据被采集到IBMBluemix创新平台,然
ABB与IBM宣布进行战略合作,ABB行业领先的数字化解决方案ABBAbility将与IBMWatson物联网认知计算技术联手为电力、工业、交通和基础设施领域的客户创造新的价值。ABB拥有深厚的行业专长以及跨行业的数字化解决方案,IBM是人工智能、机器学习及不同垂直行业领域的专家,双方的合作将使客户受益。ABBAbili
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!