登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
大数据领域的十大开源技术
根据最新的思科全球云指数报告,预计到2017年年底,全球数据中心年均IP流量将达到7.7ZB。总体而言,数据中心IP流量在2012年到2017年之间将以25%的复合年均增长率(CAGR)增长。
现在增长的速度更快,而且组织需要依靠大量的数据集帮助它们运营、量化和发展业务。在过去几年里,大型数据库经历了从GB到TB再到PB级的发展过程。
此外,数据也不再是存储在一个地方,随着这些数据的增长以及云计算的发展,这些数据实现了分布式存储。
几乎所有行业都在发展大数据和数据科学
科学:大型强子对撞机每秒大约进行6亿次碰撞。因此,只有当传感器流数据小于0.001%的时候才有效,从四个大型强子对撞机实验中产生的数据意味着每年将产生25PB的数据(统计于2012年),此外备份还会产生大量数据,备份后的数据有可能达到200PB。
研究:美国航空航天局的气候模拟中心(NCCS)在其超级计算机平台上存储了约32PB的气候观测和模拟数据。
私有/公共:亚马逊每天处理的后端操作达数百万,此外还有超过50万个第3方卖家的查询操作。亚马逊的核心技术运行在基于Linux的数据库系统上,截至2005年,亚马逊拥有世界上三个最大的Linux数据库,容量分别达到了7.8TB、18.5TB、24.7TB。
组织被迫寻找新的创造性方法来管理和控制如此庞大的数据,目的不只是为了整理数据,而是要分析和挖掘数据来进一步发展业务,因此,一些开源大数据技术值得考虑:
Apache HBase:这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开源、Java编码、分布式多个优势的数据库,Hbase最初被设计应用于Hadoop平台,而这一强大的数据管理工具,也被Facebook采用,用于管理消息平台的庞大数据。
Apache Storm:用于处理高速、大型数据流的分布式实时计算系统。Storm为Apache Hadoop添加了可靠的实时数据处理功能,同时还增加了低延迟的仪表板、安全警报,改进了原有的操作方式,帮助企业更有效率地捕获商业机会、发展新业务。
Apache Spark:该技术采用内存计算,从多迭代批量处理出发,允许将数据载入内存做反复查询,此外还融合数据仓库、流处理和图计算等多种计算范式,Spark用Scala语言实现,构建在HDFS上,能与Hadoop很好的结合,而且运行速度比MapReduce快100倍。
Apache Hadoop:该技术迅速成为了大数据管理标准之一。当它被用来管理大型数据集时,对于复杂的分布式应用,Hadoop体现出了非常好的性能,平台的灵活性使它可以运行在商用硬件系统,它还可以轻松地集成结构化、半结构化和甚至非结构化数据集。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
当前工商业储能并不是一个越来越卷的市场,而是一个真实需求未被满足的市场。——厦门新能安科技有限公司产品营销经理邱点兵2025年4月22日,由北极星太阳能光伏网、北极星储能网联合主办的2025年分布式光储创新论坛在江苏南京正式召开,会上,厦门新能安科技有限公司产品营销经理邱点兵就储能投资走向
北极星售电网获悉,4月22日,浙江慈溪市人民政府发布关于做好2025年慈溪市有序用电及电力需求侧管理工作的通知。文件明确,完善电力需求响应举措。要继续发挥市场机制的调节作用,引导电力用户根据激励政策,主动改变用电行为,实现削峰填谷,挖掘用电低谷的填谷响应需求,缓解电网调峰压力。进一步深
广东电网公司数据显示,截至2025年第一季度,广东累计发电装机容量达2.27亿千瓦,同比增长14.1%。广东发电装机电源类型涵盖传统与新兴能源,煤电、气电、水电、核电、风电、光伏、生物质发电、储能电源等多元互补,共同构建了百花齐放的能源格局,使得广东在应对不同能源需求和环境挑战时更具灵活性和
第十三届储能国际峰会暨展览会在北京首都国际会展中心盛大开幕,由中关村储能产业技术联盟、中国能源研究会和中国科学院工程热物理研究所主办。本届峰会以“数智赋能产业变革,储能重塑能源格局”为主题,开幕式现场汇聚了国内外政府主管部门、科研院所、电网公司、发电集团、储能产业链龙头企业等1000
一季度,南方电网经营区域全社会用电量3809亿千瓦时,同比增长4%,增速高于全国1.5个百分点,较1-2月累计增速提高1个百分点,体现南方区域经济运行起步平稳、开局良好,高质量发展态势持续巩固。从分产业看,一季度,南方电网经营区域第一、第二、第三产业用电量和城乡居民生活用电量同比分别增长7.4%
近日,工业和信息化部正式发布《电动汽车用动力蓄电池安全要求》(GB380312025),首次将“动力电池系统热失控时不起火、不爆炸”列为强制性标准。蜂巢能源作为重要起草单位之一,其以堡垒越野、蜂行短刀为核心产品的电池均达标,且提前实现国标全项达标。其中,面对国标规定的150J底部抗冲击基准,蜂
4月21日,四川成都供电公司发布提升班组核心能力建设工作实施方案,明确“数智赋能班组建设”等重点举措,拓展人工智能应用场景,实现班组业务在线化、作业移动化、信息透明化,进一步提高班组作业效率。近年来,成都供电公司将加强班组核心能力建设作为强基固本的重要内容,促进数字化成果在班组落地
北极星储能网获悉,4月15日,国家知识产权局发布了一项名为一种全固态电池及其制备方法的专利,申请人为广州巨湾技研有限公司,专利内容涉及一种全固态电池及其制备方法,属于电池技术领域,该全固态电池包括共烧结的正极层、固态电解质层和负极层;正极层包括正极活性材料和第一固态电解质;固态电解
北极星储能网获悉,4月15日上午,浙江冠盛东驰能源科技有限公司(简称:冠盛东驰)半固态磷酸铁锂电池建设项目顺利封顶,标志着该建设项目取得了阶段性成果。据介绍,该项目占地135.2亩,总建筑面积将近20万平米,总投资超10亿元。项目于2024年5月奠基,预计2025年底完成竣工验收,2026年年中达产,达
近日,中电建南方、华东新华、青岛城投、广东建晟、水发绿色多个新能源岗位招聘,北极星整理如下:中电建新能源集团股份有限公司(简称:电建新能源集团)成立于2021年12月,是大型央企中国电力建设股份有限公司(简称:中国电建)的重要子企业,主要从事以新能源为主的清洁低碳能源项目的投资开发和运
4月18日,中国技术经济学会专家组一行赴河北省开展《河北省新能源高质量开发与高比例消纳的路径研究》专题调研。此次调研受中国科学技术协会委托,重点聚焦河北省新能源产业开发与消纳瓶颈,旨在探索适合河北省新能源高质量开发与高比例消纳的创新路径、技术方案和政策建议,为政府决策、企业投资和行
5月13日,宇树发布了其最新力作——UnitreeG1人形智能体,AI化身,售价仅9.9万元起!立即引起了全球AI和机器人领域的轰动。官方数据显示,这款机器人身高约127厘米,体重约35公斤,具有超越常人的灵活性,解锁无限运动潜力。其小跑速度大于2m/s,拥有广阔的关节运动空间,23至43个关节,最大关节扭矩达
编者按光伏(photovoltaic,PV)在主动配电网(activedistributionnetwork,ADN)中比重的提升可能引发严重的电压越限问题。此外,由于配电线路阻抗大,有功、无功功率之间存在较强的耦合关系。因此考虑经济性和安全性,需要同时优化ADN中的有功及无功资源。《中国电力》2024年第3期刊发了焦昊等人撰写
据说现在全国储能企业将近9万家,储能概念的上市公司有256家。从宏观上看,储能在新型电力系统中的发展空间巨大,引得各路玩家纷纷进入。从微观上看,上游可能出现的产能过剩,下游没有足够的市场激励导致发展受阻,似乎某些环节已经开始红海竞争。那么储能的产业格局和竞争演化趋势如何?本文主要针对
在碳达峰、碳中和的战略引领下,实现“双碳”目标必须依靠科技创新,数字化转型是其中的重要基础和主要支撑。
2021年7月29日,OVERTHERAINBOW——ALVASystems2021新品发布会于北京举办,倪光南院士受邀参会并发表致辞。基于AR技术的远程专家指导平台——ALVARainbow全面升级,在专家、媒体及行业合作伙伴的见证下重磅发布。同时,ALVA在发布会现场与神州数码、美嘉林以及迪基透等重要行业伙伴签署战略合作协议,共同促进工业制造领域的数字化转型升级。
6月3日,用友网络科技股份有限公司(以下简称“用友网络”)发布公告,宣布全资收购柚子(北京)移动技术有限公司(以下简称“APICloud”)。此次交易完成后,用友网络将APICloud的移动端低代码开发能力及移动开发生态融入用友BIP,深度布局开发者生态,进一步加速用友商业创新平台YonBIP发展,服务企业数智商业创新。
近日,EnergySage发布了其最新的半年报告“SolarMarketplaceIntelReport(H22019-H12020)”,对屋顶光伏和储能系统的市场购买力进行了在线比较,发现尽管TeslaEnergy在低调发展,但Powerwall2实际上已经主导了美国的家用电池储能市场,而且市场竞争还远不够激烈。EnergySage的报告分析了从2019年7月到
电力行业的增长逻辑改变电力行业面临从第一曲线增长,向第二曲线增长的转型。这个转型背后是电力行业面临的基本矛盾改变。过去20年电力行业形成高速增长的第一曲线,很多企业享受了这一波红利,这波红利的背后是一对支撑电力行业发展20年的主要矛盾:2001年中国加入WTO以后,因为第二和第三产业的快速
电力行业的增长逻辑改变电力行业面临从第一曲线增长,向第二曲线增长的转型。这个转型背后是电力行业面临的基本矛盾改变。(来源:微信公众号“鱼眼看电改”作者:俞庆)过去20年电力行业形成高速增长的第一曲线,很多企业享受了这一波红利,这波红利的背后是一对支撑电力行业发展20年的主要矛盾:2001
前几天和某电气设备商的朋友聊天,他说了一个很有趣的现象,这家企业很想从电气设备制造转型成为智能服务企业,于是花重金收购了几个软件和大数据公司,但是收购一家就死一家,既无法留住团队,也无法把智能化技术有效整合到原有的技术体系里,更无法实现不同软件之间的数据融合。(来源:微信公众号“
前几天和某电气设备商的朋友聊天,他说了一个很有趣的现象,这家企业很想从电气设备制造转型成为智能服务企业,于是花重金收购了几个软件和大数据公司,但是收购一家就死一家,既无法留住团队,也无法把智能化技术有效整合到原有的技术体系里,更无法实现不同软件之间的数据融合。(来源:微信公众号“
2025年1月11日,中国国务院副总理何立峰与英国财政大臣蕾切尔·里夫斯在北京共同主持第十一次中英经济财金对话。双方认为,中英同为联合国安理会常任理事国、世界主要经济体和金融大国,保持长期、稳定、相互尊重的双边关系是互利且具有战略重要性的。双方将加强宏观经济政策沟通,支持对方推动结构性
2024年第十七届国际太阳能光伏与智慧能源(上海)大会暨博览会在上海国家会展中心拉开帷幕。作为数字化储能引领者,弘正储能携全新的储能产品与技术亮相此次盛会(展位:5.1H馆C180),全面展示弘正在智慧能源领域的创新成果和深度行业洞察。新品震撼发布,引领智储未来6月13日下午,弘正储能的新品发
4月11-13日,由中关村储能产业技术联盟、中国能源研究会、中国科学院工程热物理研究所主办的第12届储能国际峰会暨展览会(ESIE2024)在北京首钢会展中心隆重举行,优旦科技携工商业储能智慧管理整体解决方案重磅亮相。BMS+EMS突破储能系统管理边界BMS与EMS,作为商用储能系统的核心要件,其协同作业不
近日,许继电气股份有限公司成功中标国家电投集团科学技术研究院有限公司“铁-铬液流电池能量管理系统框架采购”项目,是公司在储能能量管理系统领域取得的又一个突破。许继电气通过多年的技术攻关,突破了储能电站海量信息处理、储能电站可靠辅助构网及稳定独立组网技术、精准阻尼控制与惯量支撑技术
强化融合创新、促进协同发展,1月15日,正泰集团召开2024新年大会。过去一年,世界经济风高浪急,市场不确定性层出,集团各板块凝心聚力、攻坚克难,以勇立潮头之姿聚合创新发展之势;2024年,新型能源体系加速构建,新质生产力竞相迸发,全球正泰人接续奋斗、勇开新局,以劈波斩浪之力激扬“不惑”前
7月8日,许继集团、许继电气协办的“聚焦新型电力系统服务碳达峰碳中和”第五届能源互联网装备技术发展大会在许昌成功召开。大会发布的许继2023年全系列储能生态产品,引起强烈反响。院士肯定中国工程院院士郭剑波在接受采访时充分肯定许继技术水平及行业地位。他指出:许继是我国电气装备重要的研发和
陆上风电机组钢-混凝土混合塔筒(以下均简称“混塔”),经多年技术发展和工程应用经验总结,基于国内外现行标准规范的基础上,目前已形成相对完善的技术体系,市场接受度已得到检验和认可,且正以较快的速度进行技术迭代和研发创新,近年来各种新塔型、新材料、新装备、新工艺、新技术在混塔领域的研
日前,爱旭股份在日签下三大代理商,计划通过聚焦高端市场两大应用场景及发展三个渠道,完成从“0到1”的市场拓展,实现日本市场布局的里程碑式突破。01签下三大代理商组件产品进军海外市场再进一步新华财经记者独家了解到,作为爱旭股份海外重点布局地区之一,上月爱旭日本公司正式成立,并于日前在日
人工智能技术的发展迎来里程碑意义上的又一次质的飞跃,ChatGPT因其极其出色的文本生成、对话交互能力以及在很多专业领域的杰出表现,在世界范围内迅速走红,5天内用户破百万,两个月用户破亿,被认为是开启了通用人工智能的新时代。来源:微信公众号“中国电业与能源”作者:清华大学信息国家研究中心
最近ChatGPT爆火,在文字和视觉内容的AIGC方向,确实达到了某种临界值,涌现出“智能”。趁着这个热度,AI方向也很火,最近看了几个能源、电力方向的AI创业公司的BP,感觉就是“干啥都没想明白,就出来融资了”。电力AI的春天真的来了吗?(来源:微信公众号“鱼眼看电改”作者:俞庆)回归本质,AIGC
进入到规模化发展阶段且持续增长的行业,普遍产生了大量的社会分工与协作,从而带来了交易量的增长,交易效率是影响整体效率高低的一个关键因素。新能源行业亦是如此。协合新能源集团副总工程师、协合运维副总经理胥佳在近期召开的“第二届风电运维技改大会”上指出,在新能源规模化发展的今天和持续高
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!