登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
MapReduce 是由Google公司开发的一个针对大规模群组中的海量数据处理的分布式编程模型,在处理T级别以上巨量数据的业务上有着明显的优势。与Google的 MapReduce相似,2010年12月21日微软推出了dryad的公测版,Dryad也通过分布式计算机网络计算海量数据,成为谷歌 MapReduce分布式数据计算平台的竞争对手。与 MapReduce不同的是,Dryad是针对运行Windows HPC Server的计算机集群设计的,而且DryadLINQ使用.NET的LINQ查询语言模型。Dryad使.Net程序员可以利用数据中心的服务器集群对数据进行并行处理,这样使得程序员在操作数千台机器时,无需关心并行处理的细节。本文将从Dryad与云计算、Dryad的架构、DryadLINQ、 Dryad同MapReduce的比较、Dryad的应用及前景这五个方面来进行介绍。
Dryad与云计算
云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等计算机技术和网络技术相融合的产物。典型的云计算技术特征可分为虚拟化技术、分布式技术、并行计算/分布式计算、XaaS、WEB X.0、数据存储、网络技术等等。
分布式计算(Distributed Computing)是一门计算机科学,它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。
并行计算(Parallel computing,或称并行处理、平行计算)一般是指许多指令得以同时进行的计算模式。
高性能计算是云计算的特征之一,分布式并行计算是实现高性能计算的关键技术。2004年,谷歌发布了两篇关于MapReduce和分布式文件系统GFS 的研究报告,这两篇报告成为Hadoop的基础。Apache 将Hadoop变为开源项目,雅虎也对Hadoop进行了单独开发。现在,Hadoop是雅虎的在线基础设施的重要支撑,并且已经被Facebook、 Twitter、苹果和微软等科技巨头采用。2008年,微软收购了语义搜索企业Powerset,并将Powerset公司基于Hadoop的相关技术用于必应(Bing)搜索引擎。
Dryad被设计为伸缩于各种规模的计算平台:从单台多核计算机、到由几台计算机组成的小型集群,直至拥有数千台计算机的数据中心。Dryad执行引擎负责处理大型分布式、并行应用程序中会出现的各种难题:对计算机和它们的CPU进行调度,从通信或计算机的失败中恢复,以及数据在节点之间的传递等等。
Dryad的架构
一个Dryad程序员通过使用单向通道来连接并行程序。Dryad系统的总体的构建用来支持有向无环图(Directed Acycline Graph,DAG)类型数据流的并行程序。一个Dryad 任务被表示为一个有向无环图,当发生重要的计算事件时,这些图甚至在执行期间也能发生变化。Dryad Job结构如下图1所示:
Dryad Job结构
Dryad构建在Cluster Service和分布式文件系统之上,它的工作原理是这样的:当用户使用Dryad平台时,任务管理器(Job Manager,JM)获取图之后,便会在程序的输入通道准备完毕,并且有可用机器的时候对它进行调度。JM从命名服务器(Name Server,NS)那里获得一个可用的机器,并通过一个维护进程(daemon,D)来调度这个程序。文件,共享内存,或TCP管道都可以作为程序(节点)之间通信用的通道。在运行过程中可以动态改变图的形状,并得到很好的容错性。在调试的时候,整个图也可以运行在单个系统上。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
随着“430”并网节点尘埃落定,不少抢在节点前完成并网的经销商、EPC承包商长舒一口气,但市场的紧张氛围并未消散——距离“531”政策节点不足一月,从资本方到行业龙头,再到中小平台商与经销商,整个分布式光伏行业都笼罩在焦虑之中。变局之下,分布式光伏领域究竟发生了哪些深层次变化?又该如何在
5月9日,北极星太阳能光伏网发布一周要闻回顾(2025年5月5日-5月9日)。政策篇山东136号文实施细则:存量项目机制电价0.3949元/kWh,6月份竞价(征求意见稿)5月7日,山东省发改委发布《山东省新能源上网电价市场化改革实施方案(征求意见稿)》《山东省新能源机制电价竞价实施细则(征求意见稿)》。
IntersolarEurope2025展会期间,思格新能源在慕尼黑BrainlabTower举办盛大发布会,展示其在人工智能、电力电子与能源数字化方面的最新成果。活动现场汇聚了全球500余位合作伙伴、媒体与行业专家,共同见证思格新品与未来战略的发布。思格新能源董事长、CEO许映童在发布会上致辞,回顾了公司快速成长的
2025年5月7日,全球光伏行业顶尖盛会IntersolarEurope在慕尼黑展览中心拉开帷幕,在首日揭晓的PVELTopPerformer评选中,HT-SAAE凭借全链路品控体系与极端环境适应能力,获评2025年度全球“最佳表现”称号。该认证由国际权威机构KiwaPVEL颁发,其测试标准涵盖湿热、机械应力等复杂工况下的长期性能验证
5月8日,在2025年德国慕尼黑太阳能光伏展览会(IntersolarEurope)的现场,TCLSolar与阿联酋知名新能源企业PowerSunSolarEquipmentsTradingLLC(以下简称“Powernsun”)正式签署战略分销协议。根据协议,TCLSolar将向中东、非洲及欧亚地区供应总计300MW高效光伏组件,并授权Powernsun为区域合作伙伴,
近日,陕投集团所属陕西水电自主开发建设的延安青化砭0.599万千瓦、蟠龙0.599万千瓦、柳林0.599万千瓦、冯庄0.599万千瓦,以及西发中兆0.7万千瓦、国际陆港保税物流0.598万千瓦和石泉县经开区等7个分布式光伏项目历经日夜奋战,克服地形复杂、施工周期紧张等挑战,成功实现全容量并网发电,新增装机容
近日,国能日新自研「旷冥」大模型完成了自正式发布以来的首次迭代升级,迎来了「旷冥」2.0版本。本次升级,除了对模型稳定性和整体性能进行优化,更是在技术层面全效升级。首先在大模型技术方面,创新采用了多维度patching注意力机制架构,并显式嵌入了平流、对流方程,构建物理驱动的深度神经网络模
当地时间5月7日至9日,全球规模最大、影响力最深的新能源行业盛会——2025慕尼黑国际光伏展(IntersolarEurope)在德国慕尼黑举行。上海电气电站集团(下称“电站集团”)携太阳能、氢能、多元储能等全矩阵产品及一站式解决方案重磅亮相,与全球能源行业领袖共探清洁能源技术革新与零碳未来。可复制解
为深入贯彻落实国家能源局关于深化提升“获得电力”服务水平、打造现代化用电营商环境的部署要求,近日,湖南能源监管办组织召开2025年供电服务监管工作会议,系统总结2024年供电监管工作成效,部署2025年重点任务。会议通报了2024年12398能源监管热线办理情况及投诉举报典型案例,围绕持续提升供电服
在“双碳”目标与电力市场化改革的双重驱动下,一种无烟囱、无冷却塔,却能调度百万千瓦级资源的“隐形电厂”正在全球崛起——这就是虚拟电厂(VirtualPowerPlant,VPP)。它不生产一度电,却通过算法与数据将零散的分布式光伏、储能、电动汽车乃至空调负荷,编织成一张覆盖全社会的能源互联网。从特斯
5月7日,国能信控公司承建的国能福建连江公司输煤廊道挂轨式智能巡检机器人系统已上线投运一个月,运行状态良好,标志着电厂迈入智能化发展新阶段,打造成为国内火电行业智能化升级的标杆案例,助力连江公司从传统“人防”向“技防”的跨越式升级,推动能源数智化转型发展。该项目基于国能信控自主研发
北极星储能网讯:5月8日,中国华能发布甘肃武威凉州区300MW/1200MWh独立储能电站项目EPC总承包工程招标公告,招标人为武威华景领航电力有限公司。项目位于甘肃武威市凉州区300MW/1200MWh独立储能电站项目位于甘肃省武威市凉州区九墩滩光伏治沙示范园区内,距离武威市中心约52km,周边交通便利。规划建
江苏常州,茅山春意盎然,千米地下深处,盐穴正悄然“变身”。六年前,中国华能在此打造世界首个非补燃压缩空气储能电站,盐穴里的“充电宝”一战成名。而今,华能再闯盐穴储能“无人区”,向建设世界单机功率最大、总容量最大、综合效率最高的压缩空气储能电站发起挑战。今年一季度,在建设团队的日夜
5月9日,南方电网基于全电磁暂态仿真的新能源并网主动支撑大系统仿真研究招标。南方五省区新能源渗透率不断提升,而新能源大量采用了电力电子设备,电力系统惯量水平持续降低,对系统频率安全造成了严重威胁。新能源中大量电力电子设备动作复杂且快速,设备故障前后系统特征变化较大,其电磁暂态过程对
北极星氢能网获悉,5月6日,由陕西化建承建的内蒙古金风绿能化工(兴安盟)有限公司绿氢制50万吨绿色甲醇项目(一期25万吨)气化装置首台转化炉在框架内安装就位,此次1#转化炉的成功吊装,为后续工程打下了坚实的基础。此次吊装的转化炉作为项目汽化装置的重要设备之一,单体重150余吨,安装标高27米
4月末江苏发改委发布新版分时电价政策,其中执行用户范围、分时时段划分、峰谷浮动系数以及分时计价基数这四个与分时电价政策有关的要素均有调整。其中午间谷电和仅交易电价浮动这两点引发了行业内的热议。黄师傅借近4年的10份政策文件,梳理了江苏省分时电价政策的变迁。(来源:微信公众号“黄师傅说
5月6日,国网杭州供电公司“光擎”智脑大模型正式上线。在调度控制中心,方式计划室专职人员沈泽锴打开该公司“电网一张图”的“光擎”页面,输入“江一变1号主变检修,请帮我分析电网风险”指令,“光擎”迅速自主推演了主变检修操作后的拓扑结构,仅用5秒钟,便自动生成了电网风险等级、关联重要敏感
政策引领、市场规范,助力新型电力系统与能源转型中国华能集团有限公司康仕卿陆鹏近日,国家发展改革委与国家能源局联合发布了《电力辅助服务市场基本规则》(以下简称《规则》),标志着我国电力辅助服务市场建设步入崭新阶段,意义重大。电力系统的安全、稳定运行,离不开辅助服务的支撑。《规则》明
北极星储能网获悉,5月8日,四川发改委印发《关于支持加快算电融合发展的实施意见》,文件提出:重点支持在局部电网具备稳定调节能力且电力送出通道受限断面内,加快实施源网荷储一体化算电融合示范项目,重点布局园区级万卡集群以上算力规模。到2027年,在阿坝、甘孜、凉山、雅安、攀枝花(以下简称“
4月29日,中国能建天津电建承建的华能重庆两江燃机电厂二期项目4号机组汽机扣盖完成,为顺利交机奠定了坚实基础。项目位于重庆市两江新区水土高新技术产业园两江国家云计算产业园内,是成渝地区双城经济圈碳达峰、碳中和联合行动重大能源项目。本期建设2台H(J)级燃气-蒸汽联合循环调峰纯凝机组,配
“五一”假期期间,在河北省永清县圆通速递北方总部基地二期项目内,30条全自动分拣线高速运转。恰逢换季与出行游玩高峰期,消费者频繁网购服装、出行装备等商品,这几日,圆通速递北方总部基地的日均操作量高达550万件。“自去年底全自动分拣线投产以来,我们快递的日处理能力提升至1000万件,产能和
远光软件发布半年度业绩报告称,2024年上半年营业收入约10.45亿元,同比减少3.57%;归属于上市公司股东的净利润约5646万元,同比减少37.47%;基本每股收益0.0296元,同比减少37.55%。公司长期服务于国家电网、南方电网、国家电投集团、国家能源集团、华电集团等能源集团的信息化工程建设,深入理解能源
3月21日,国家发展改革委发布做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求。国家发展改革委等部门关于做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求的通知发改高技〔2024〕351号各省、自治区、直辖市及计划单列市、新疆生产建设兵
北极星电力软件网获悉,1月16日,工信部国家发改委印发《制造业中试创新发展实施意见》,其中明确,到2025年,我国制造业中试发展取得积极进展,重点产业链中试能力基本全覆盖,数字化、网络化、智能化、高端化、绿色化水平显著提升,中试服务体系不断完善,建设具有国际先进水平的中试平台5个以上,中
“10千伏古楼154线东干渠开关跳闸馈线自动化(FA)动作,故障区间定位为图示位置,请查收并尽快处理。”1月3日7时36分,安徽宣城供电公司配网运维人员计小荣的手机上收到一条来自“配自移动主站”APP推送的信息。随后,计小荣和同事们快速高效地排除了这起故障。宣城市目前共有10千伏配电网架空线路119
北极星电力软件网获悉,12月18日,江苏省工业和信息化厅发布关于2023年度江苏省工业软件优秀产品和应用解决方案拟推广名单公示。新能源AI工业互联网平台、国产化自主可控多级新能源集控及智慧运维平台等多个电力软件产品上榜。原文如下:根据《省工业和信息化厅关于征集2023年工业软件优秀产品和应用解
北极星电力软件网获悉,12月15日,徐汇区科学技术委员会发布关于印发《徐汇区关于支持人工智能大模型发展的若干意见(试行)》(以下简称《意见》)的通知。《意见》指出,鼓励相关创新主体围绕基础理论、核心算法、基础软件、智能芯片、软硬适配等关键领域展开技术攻关,重点提升大模型设计构建、训练
北极星电力软件网获悉,12月12日,安徽省人民政府发布关于印发《支持首台套重大技术装备首批次新材料首版次软件发展若干政策》(以下简称《若干政策》)的通知。《若干政策》指出,发布推广应用目录。对经评定的“三首”产品,明确评定有效期。按功能特点、服务领域定期发布并动态调整《安徽省“三首”
2023年12月1日,国网信通股份中电启明星自主研发的信创容器云平台(SKE)凭借鲲鹏信创生态、自主安全可控等优势入选《2023绿色计算产业联盟绿色计算最具价值解决方案》示范案例集。这是对国网信通股份中电启明追求卓越、坚持技术创新的激励和认可。2022年9月,国资委发布79号文件,明确规定了信创替换
北极星电力软件网获悉,11月9日,重庆市经济和信息化委员会发布关于公布《2023年度重庆市工业软件等相关软件产品和软件公共服务平台名单》的通知。火电环保智能助手/环保智能助手系统、智慧矿山管控平台V2.0等多项电力软件产品上榜。原文如下:渝经信软件〔2023〕28号重庆市经济和信息化委员会关于公布
近日,贵州电网公司开发的“黔电小智”行政综合服务APP在eLink工作台上线应用,实现了综合后勤保障业务流程全部线上流转,以业务流程的数字化、透明化、规范化全面提升后勤服务效率。据悉,“黔电小智”行政综合服务APP是贵州电网公司结合综合后勤保障业务实际,围绕六大核心功能模块开发并通过eLink工
北极星电力软件网获悉,11月23日,中华人民共和国工业和信息化部发布2023年度先进计算典型应用案例名单公示。电力智慧物联柔性交互平台、煤矿智能煤流监控管理系统(内蒙古马泰壕煤矿应用)、云边协同的综采智能化系统等案例上榜。原文如下:2023年度先进计算典型应用案例名单公示根据《工业和信息化部
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!