登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
大数据领域的十大开源技术
根据最新的思科全球云指数报告,预计到2017年年底,全球数据中心年均IP流量将达到7.7ZB。总体而言,数据中心IP流量在2012年到2017年之间将以25%的复合年均增长率(CAGR)增长。
现在增长的速度更快,而且组织需要依靠大量的数据集帮助它们运营、量化和发展业务。在过去几年里,大型数据库经历了从GB到TB再到PB级的发展过程。
此外,数据也不再是存储在一个地方,随着这些数据的增长以及云计算的发展,这些数据实现了分布式存储。
几乎所有行业都在发展大数据和数据科学
科学:大型强子对撞机每秒大约进行6亿次碰撞。因此,只有当传感器流数据小于0.001%的时候才有效,从四个大型强子对撞机实验中产生的数据意味着每年将产生25PB的数据(统计于2012年),此外备份还会产生大量数据,备份后的数据有可能达到200PB。
研究:美国航空航天局的气候模拟中心(NCCS)在其超级计算机平台上存储了约32PB的气候观测和模拟数据。
私有/公共:亚马逊每天处理的后端操作达数百万,此外还有超过50万个第3方卖家的查询操作。亚马逊的核心技术运行在基于Linux的数据库系统上,截至2005年,亚马逊拥有世界上三个最大的Linux数据库,容量分别达到了7.8TB、18.5TB、24.7TB。
组织被迫寻找新的创造性方法来管理和控制如此庞大的数据,目的不只是为了整理数据,而是要分析和挖掘数据来进一步发展业务,因此,一些开源大数据技术值得考虑:
Apache HBase:这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开源、Java编码、分布式多个优势的数据库,Hbase最初被设计应用于Hadoop平台,而这一强大的数据管理工具,也被Facebook采用,用于管理消息平台的庞大数据。
Apache Storm:用于处理高速、大型数据流的分布式实时计算系统。Storm为Apache Hadoop添加了可靠的实时数据处理功能,同时还增加了低延迟的仪表板、安全警报,改进了原有的操作方式,帮助企业更有效率地捕获商业机会、发展新业务。
Apache Spark:该技术采用内存计算,从多迭代批量处理出发,允许将数据载入内存做反复查询,此外还融合数据仓库、流处理和图计算等多种计算范式,Spark用Scala语言实现,构建在HDFS上,能与Hadoop很好的结合,而且运行速度比MapReduce快100倍。
Apache Hadoop:该技术迅速成为了大数据管理标准之一。当它被用来管理大型数据集时,对于复杂的分布式应用,Hadoop体现出了非常好的性能,平台的灵活性使它可以运行在商用硬件系统,它还可以轻松地集成结构化、半结构化和甚至非结构化数据集。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
人工智能加速新型电力系统构建的实践与思考——以华为数字解决方案为例杨永明(中能传媒能源安全新战略研究院)当前,人工智能(AI)已成为经济增长的新引擎,深刻改变着各行各业的运作方式。在能源电力行业,随着通用算力的飞速发展、算法模型的不断进化和行业数据的不断积累,AI技术的应用已深入到多
在“双碳”目标与新能源革命的双重驱动下,中国电力系统正经历百年未有之变局。当风电、光伏装机占比突破35%,传统电网的调度瓶颈与新能源消纳矛盾日益尖锐,一种名为“虚拟电厂”的新型电力组织模式正从实验室走向规模化落地。国家能源局最新数据显示,2025年我国虚拟电厂调节能力将突破5000万千瓦,
近日,国能日新自研「旷冥」大模型完成了自正式发布以来的首次迭代升级,迎来了「旷冥」2.0版本。本次升级,除了对模型稳定性和整体性能进行优化,更是在技术层面全效升级。首先在大模型技术方面,创新采用了多维度patching注意力机制架构,并显式嵌入了平流、对流方程,构建物理驱动的深度神经网络模
当地时间5月7日,2025年德国慕尼黑光伏储能展览会(IntersolarEurope)在慕尼黑新国际展览中心盛大启幕。作为全球太阳能领域规模最大的顶级盛会,此次展会吸引了超3000家国际企业参展。首航新能源再启海外追光之旅,携重磅新品及全场景智慧光储解决方案闪耀亮相展会,与来自全球同行伙伴及客户共同探索全
“五一”假期期间,在河北省永清县圆通速递北方总部基地二期项目内,30条全自动分拣线高速运转。恰逢换季与出行游玩高峰期,消费者频繁网购服装、出行装备等商品,这几日,圆通速递北方总部基地的日均操作量高达550万件。“自去年底全自动分拣线投产以来,我们快递的日处理能力提升至1000万件,产能和
近日,国能日新自研「旷冥」大模型完成了自正式发布以来的首次迭代升级,迎来了「旷冥」2.0版本。本次升级,除了对模型稳定性和整体性能进行优化,更是在技术层面全效升级。首先在大模型技术方面,创新采用了多维度patching注意力机制架构,并显式嵌入了平流、对流方程,构建物理驱动的深度神经网络模
5月7日,赤峰市市场监督管理局发布《关于征集2025年国家、自治区标准化试点项目的通知》,通知指出,此次申报包含碳排放领域,在重点企业及园区开展碳排放管理体系、产品碳足迹、低碳、零碳园区标准化试点,探索节能降碳的标准化实施路径。内容如下:一、申报原则(一)公开自愿:试点项目面向社会公开
北极星储能网获悉,5月7日,内蒙古自治区工业和信息化厅发布关于征集2025年度工业和信息化领域节能降碳技术装备的通知,征集范围包括高效储能、工业绿色微电网等可再生能源消纳技术。原文如下:关于征集2025年度工业和信息化领域节能降碳技术装备的通知各盟市工业和信息化局,有关科研单位院所、行业协
北极星售电网获悉,4月30日,浙江电力市场管理委员会印发《浙江省虚拟电厂运营管理细则(试行)》,首次系统规范虚拟电厂主体注册、能力认证、变更退出等运营管理全流程,《细则》共11章49条内容,明确了虚拟电厂的定义、准入条件、运营规则及责任分工,构建了涵盖注册接入、能力认证、市场交易、保供
今年“五一”假期期间(5月1~5日),国家电网智慧车联网平台充电量超1.24亿千瓦时,同比增长超20%。其中,高速公路充电量超3771万千瓦时,同比增长超29%;5月1日单日充电服务次数超119万次,创新高。截至5月6日,该平台累计注册用户数超4600万户。为保障“五一”假期期间新能源汽车车主便捷出行,国网
2025年4月,内蒙古电力集团售电量277.23亿千瓦时,同比增长11.95%;区内售电量241.68亿千瓦时,同比增长10.67%;外送电量35.55亿千瓦时,同比增长21.51%,9家盟市供电公司售电量全部实现正增长。售电量与外送电量增速双超10%背后,是各部门和各单位将售电量做为第一指标,紧紧围绕“稳存量、拓增量、挖
5月13日,宇树发布了其最新力作——UnitreeG1人形智能体,AI化身,售价仅9.9万元起!立即引起了全球AI和机器人领域的轰动。官方数据显示,这款机器人身高约127厘米,体重约35公斤,具有超越常人的灵活性,解锁无限运动潜力。其小跑速度大于2m/s,拥有广阔的关节运动空间,23至43个关节,最大关节扭矩达
编者按光伏(photovoltaic,PV)在主动配电网(activedistributionnetwork,ADN)中比重的提升可能引发严重的电压越限问题。此外,由于配电线路阻抗大,有功、无功功率之间存在较强的耦合关系。因此考虑经济性和安全性,需要同时优化ADN中的有功及无功资源。《中国电力》2024年第3期刊发了焦昊等人撰写
据说现在全国储能企业将近9万家,储能概念的上市公司有256家。从宏观上看,储能在新型电力系统中的发展空间巨大,引得各路玩家纷纷进入。从微观上看,上游可能出现的产能过剩,下游没有足够的市场激励导致发展受阻,似乎某些环节已经开始红海竞争。那么储能的产业格局和竞争演化趋势如何?本文主要针对
在碳达峰、碳中和的战略引领下,实现“双碳”目标必须依靠科技创新,数字化转型是其中的重要基础和主要支撑。
2021年7月29日,OVERTHERAINBOW——ALVASystems2021新品发布会于北京举办,倪光南院士受邀参会并发表致辞。基于AR技术的远程专家指导平台——ALVARainbow全面升级,在专家、媒体及行业合作伙伴的见证下重磅发布。同时,ALVA在发布会现场与神州数码、美嘉林以及迪基透等重要行业伙伴签署战略合作协议,共同促进工业制造领域的数字化转型升级。
6月3日,用友网络科技股份有限公司(以下简称“用友网络”)发布公告,宣布全资收购柚子(北京)移动技术有限公司(以下简称“APICloud”)。此次交易完成后,用友网络将APICloud的移动端低代码开发能力及移动开发生态融入用友BIP,深度布局开发者生态,进一步加速用友商业创新平台YonBIP发展,服务企业数智商业创新。
近日,EnergySage发布了其最新的半年报告“SolarMarketplaceIntelReport(H22019-H12020)”,对屋顶光伏和储能系统的市场购买力进行了在线比较,发现尽管TeslaEnergy在低调发展,但Powerwall2实际上已经主导了美国的家用电池储能市场,而且市场竞争还远不够激烈。EnergySage的报告分析了从2019年7月到
电力行业的增长逻辑改变电力行业面临从第一曲线增长,向第二曲线增长的转型。这个转型背后是电力行业面临的基本矛盾改变。过去20年电力行业形成高速增长的第一曲线,很多企业享受了这一波红利,这波红利的背后是一对支撑电力行业发展20年的主要矛盾:2001年中国加入WTO以后,因为第二和第三产业的快速
电力行业的增长逻辑改变电力行业面临从第一曲线增长,向第二曲线增长的转型。这个转型背后是电力行业面临的基本矛盾改变。(来源:微信公众号“鱼眼看电改”作者:俞庆)过去20年电力行业形成高速增长的第一曲线,很多企业享受了这一波红利,这波红利的背后是一对支撑电力行业发展20年的主要矛盾:2001
前几天和某电气设备商的朋友聊天,他说了一个很有趣的现象,这家企业很想从电气设备制造转型成为智能服务企业,于是花重金收购了几个软件和大数据公司,但是收购一家就死一家,既无法留住团队,也无法把智能化技术有效整合到原有的技术体系里,更无法实现不同软件之间的数据融合。(来源:微信公众号“
前几天和某电气设备商的朋友聊天,他说了一个很有趣的现象,这家企业很想从电气设备制造转型成为智能服务企业,于是花重金收购了几个软件和大数据公司,但是收购一家就死一家,既无法留住团队,也无法把智能化技术有效整合到原有的技术体系里,更无法实现不同软件之间的数据融合。(来源:微信公众号“
2025年1月11日,中国国务院副总理何立峰与英国财政大臣蕾切尔·里夫斯在北京共同主持第十一次中英经济财金对话。双方认为,中英同为联合国安理会常任理事国、世界主要经济体和金融大国,保持长期、稳定、相互尊重的双边关系是互利且具有战略重要性的。双方将加强宏观经济政策沟通,支持对方推动结构性
2024年第十七届国际太阳能光伏与智慧能源(上海)大会暨博览会在上海国家会展中心拉开帷幕。作为数字化储能引领者,弘正储能携全新的储能产品与技术亮相此次盛会(展位:5.1H馆C180),全面展示弘正在智慧能源领域的创新成果和深度行业洞察。新品震撼发布,引领智储未来6月13日下午,弘正储能的新品发
4月11-13日,由中关村储能产业技术联盟、中国能源研究会、中国科学院工程热物理研究所主办的第12届储能国际峰会暨展览会(ESIE2024)在北京首钢会展中心隆重举行,优旦科技携工商业储能智慧管理整体解决方案重磅亮相。BMS+EMS突破储能系统管理边界BMS与EMS,作为商用储能系统的核心要件,其协同作业不
近日,许继电气股份有限公司成功中标国家电投集团科学技术研究院有限公司“铁-铬液流电池能量管理系统框架采购”项目,是公司在储能能量管理系统领域取得的又一个突破。许继电气通过多年的技术攻关,突破了储能电站海量信息处理、储能电站可靠辅助构网及稳定独立组网技术、精准阻尼控制与惯量支撑技术
强化融合创新、促进协同发展,1月15日,正泰集团召开2024新年大会。过去一年,世界经济风高浪急,市场不确定性层出,集团各板块凝心聚力、攻坚克难,以勇立潮头之姿聚合创新发展之势;2024年,新型能源体系加速构建,新质生产力竞相迸发,全球正泰人接续奋斗、勇开新局,以劈波斩浪之力激扬“不惑”前
7月8日,许继集团、许继电气协办的“聚焦新型电力系统服务碳达峰碳中和”第五届能源互联网装备技术发展大会在许昌成功召开。大会发布的许继2023年全系列储能生态产品,引起强烈反响。院士肯定中国工程院院士郭剑波在接受采访时充分肯定许继技术水平及行业地位。他指出:许继是我国电气装备重要的研发和
陆上风电机组钢-混凝土混合塔筒(以下均简称“混塔”),经多年技术发展和工程应用经验总结,基于国内外现行标准规范的基础上,目前已形成相对完善的技术体系,市场接受度已得到检验和认可,且正以较快的速度进行技术迭代和研发创新,近年来各种新塔型、新材料、新装备、新工艺、新技术在混塔领域的研
日前,爱旭股份在日签下三大代理商,计划通过聚焦高端市场两大应用场景及发展三个渠道,完成从“0到1”的市场拓展,实现日本市场布局的里程碑式突破。01签下三大代理商组件产品进军海外市场再进一步新华财经记者独家了解到,作为爱旭股份海外重点布局地区之一,上月爱旭日本公司正式成立,并于日前在日
人工智能技术的发展迎来里程碑意义上的又一次质的飞跃,ChatGPT因其极其出色的文本生成、对话交互能力以及在很多专业领域的杰出表现,在世界范围内迅速走红,5天内用户破百万,两个月用户破亿,被认为是开启了通用人工智能的新时代。来源:微信公众号“中国电业与能源”作者:清华大学信息国家研究中心
最近ChatGPT爆火,在文字和视觉内容的AIGC方向,确实达到了某种临界值,涌现出“智能”。趁着这个热度,AI方向也很火,最近看了几个能源、电力方向的AI创业公司的BP,感觉就是“干啥都没想明白,就出来融资了”。电力AI的春天真的来了吗?(来源:微信公众号“鱼眼看电改”作者:俞庆)回归本质,AIGC
进入到规模化发展阶段且持续增长的行业,普遍产生了大量的社会分工与协作,从而带来了交易量的增长,交易效率是影响整体效率高低的一个关键因素。新能源行业亦是如此。协合新能源集团副总工程师、协合运维副总经理胥佳在近期召开的“第二届风电运维技改大会”上指出,在新能源规模化发展的今天和持续高
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!