登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
MapReduce 是由Google公司开发的一个针对大规模群组中的海量数据处理的分布式编程模型,在处理T级别以上巨量数据的业务上有着明显的优势。与Google的 MapReduce相似,2010年12月21日微软推出了dryad的公测版,Dryad也通过分布式计算机网络计算海量数据,成为谷歌 MapReduce分布式数据计算平台的竞争对手。与 MapReduce不同的是,Dryad是针对运行Windows HPC Server的计算机集群设计的,而且DryadLINQ使用.NET的LINQ查询语言模型。Dryad使.Net程序员可以利用数据中心的服务器集群对数据进行并行处理,这样使得程序员在操作数千台机器时,无需关心并行处理的细节。本文将从Dryad与云计算、Dryad的架构、DryadLINQ、 Dryad同MapReduce的比较、Dryad的应用及前景这五个方面来进行介绍。
Dryad与云计算
云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等计算机技术和网络技术相融合的产物。典型的云计算技术特征可分为虚拟化技术、分布式技术、并行计算/分布式计算、XaaS、WEB X.0、数据存储、网络技术等等。
分布式计算(Distributed Computing)是一门计算机科学,它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。
并行计算(Parallel computing,或称并行处理、平行计算)一般是指许多指令得以同时进行的计算模式。
高性能计算是云计算的特征之一,分布式并行计算是实现高性能计算的关键技术。2004年,谷歌发布了两篇关于MapReduce和分布式文件系统GFS 的研究报告,这两篇报告成为Hadoop的基础。Apache 将Hadoop变为开源项目,雅虎也对Hadoop进行了单独开发。现在,Hadoop是雅虎的在线基础设施的重要支撑,并且已经被Facebook、 Twitter、苹果和微软等科技巨头采用。2008年,微软收购了语义搜索企业Powerset,并将Powerset公司基于Hadoop的相关技术用于必应(Bing)搜索引擎。
Dryad被设计为伸缩于各种规模的计算平台:从单台多核计算机、到由几台计算机组成的小型集群,直至拥有数千台计算机的数据中心。Dryad执行引擎负责处理大型分布式、并行应用程序中会出现的各种难题:对计算机和它们的CPU进行调度,从通信或计算机的失败中恢复,以及数据在节点之间的传递等等。
Dryad的架构
一个Dryad程序员通过使用单向通道来连接并行程序。Dryad系统的总体的构建用来支持有向无环图(Directed Acycline Graph,DAG)类型数据流的并行程序。一个Dryad 任务被表示为一个有向无环图,当发生重要的计算事件时,这些图甚至在执行期间也能发生变化。Dryad Job结构如下图1所示:
Dryad Job结构
Dryad构建在Cluster Service和分布式文件系统之上,它的工作原理是这样的:当用户使用Dryad平台时,任务管理器(Job Manager,JM)获取图之后,便会在程序的输入通道准备完毕,并且有可用机器的时候对它进行调度。JM从命名服务器(Name Server,NS)那里获得一个可用的机器,并通过一个维护进程(daemon,D)来调度这个程序。文件,共享内存,或TCP管道都可以作为程序(节点)之间通信用的通道。在运行过程中可以动态改变图的形状,并得到很好的容错性。在调试的时候,整个图也可以运行在单个系统上。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
随着全球能源转型加速,光伏行业正以前所未有的速度吸纳从研发到运维的全方位人才。据国际能源署(IEA)预测,在2050年净零排放的目标驱动下,清洁能源劳动力的需求将达到约3,000万,企业、学校、政府须加快合作以满足能源转型带来的就业需求。天合光能致力于成为全球光储智慧能源的领先者,并始终走在
近日,浙江省杭州市临安区应急管理局公布《杭州临安灵啃炒货机械有限公司250kWp屋顶分布式光伏发电项目“4•18”触电一般事故调查报告》。调查报告显示,2024年4月18日16时20分许,杭州市临安区昌化镇唐昌街592号杭州临安灵啃炒货机械有限公司250kWp屋顶分布式光伏发电项目在施工过程中发生一起触电事
7月14日,国家电投浙江公司董事、代行董事长职责、党委副书记(主持工作)伍浩一行赴正泰杭州园区,围绕新能源产业及企业发展状况深入考察调研。全国政协常委、中国民间商会副会长、正泰集团董事长南存辉,正泰集团董事、正泰新能源董事长陆川等热情接待。伍浩一行走进正泰创新体验中心,了解企业发展
绿证作为可再生能源电力消费凭证,用于可再生能源电力消费量核算、可再生能源电力消费认证等,1个绿证对应1000千瓦时可再生能源电量。国家发展改革委、财政部、国家能源局《关于做好可再生能源绿色电力证书全覆盖工作促进可再生能源电力消费的通知》(发改能源〔2023〕1044号)明确,绿证是我国可再生
136号文在各地落地后,分布式光伏参与市场交易的方式。要么是找代理商聚合,以量价双报的形式参与交易,要么是量价双不报,接受市场价格。如果选择了报量报价,那么全电量要参与到实时市场的竞价中。其中非机制电量根据各地细则要求,可以参与中长期和日前市场。细究这个接受市场价格的方式,还需要进
北极星售电网获悉,近日,青海电力交易中心转发青海省能源局关于开展青海电力现货市场第三次结算试运行工作的通知(青能运行〔2025〕128号)。《青海电力现货市场第三次结算试运行方案》提到,本次结算试运行时间为2025年7月16日至29日(2025年7月15日至28日分别组织7月16至29日的日前现货交易),7月1
国能信控新一代虚拟电厂产品完成初版研发国能信控公司自主研发的新一代虚拟电厂智能管控平台完成初版研发工作,标志着该产品具备项目批量交付能力,为公司在虚拟电厂业务领域的规模化部署和应用奠定了坚实基础。在新能源全面市场化背景下,通过构建虚拟电厂智能管控平台,实现对区域分布式资源的聚合协
7月14日,山西省能源局公示2025年第二批拟废止风电光伏发电项目规模的清单。拟对华能应县100MW光伏发电项目等7个项目、规模35.2052万千瓦进行废止,其中包括5个光伏发电项目、2个风力发电项目。原文如下:关于公示2025年第二批拟废止风电光伏发电项目规模的清单为加快推进存量新能源建设,优化电网接入
7月14日,甘肃省发改委发布关于公开征求《甘肃省深化新能源上网电价市场化改革促进新能源高质量发展实施方案(征求意见稿)》意见的公告。文件规定了存量项目和增量项目的电量规模、机制电价和执行期限以及竞价实施细则。存量项目(2025年6月1日以前投产)(1)纳入机制的电量规模为154亿千瓦时。(2)
在全球能源转型和“双碳”目标的双重驱动下,电力系统正经历从传统集中式大电网向大电网、配电网、微电网多层级协同(以下简称主配微协同)的转型。主配微协同作为实现这一目标的关键路径,逐渐成为行业关注的焦点。主配微协同可以打破传统电网中大电网、配电网和微电网之间的壁垒,实现能源在各级电网
7月8日,浙江开展首次新型主体市场化电力响应,共有19家虚拟电厂聚合265家二级用户参与,最大调节负荷29万千瓦,标志着浙江省内虚拟电厂进入常态化参与电力系统负荷调节新阶段。电力领域新型主体是具备电力、电量调节能力且具有新技术特征、新运营模式的配电环节各类资源。虚拟电厂可有效聚合分布式电
2021年12月,国家能源局印发《电力辅助服务管理办法》(国能发监管规〔2021〕61号),首次提出增设爬坡和转动惯量辅助服务新品种。2024年3月,《山东电力爬坡辅助服务市场交易规则(试行)》开始执行,标志着国内首个爬坡辅助服务市场在山东电网启动运行,爬坡辅助服务的价值开始得到量化补偿,这对于
6月份,规模以上工业(以下简称规上工业)原煤、原油、天然气平稳增长,电力增速加快。一、电力生产情况规上工业电力生产增速加快。6月份,规上工业发电量7963亿千瓦时,同比增长1.7%,增速比5月份加快1.2个百分点;日均发电265.4亿千瓦时。1—6月份,规上工业发电量45371亿千瓦时,同比增长0.8%,扣除
7月15日,中盐青海昆仑碱业有限公司锅炉烟气超低排放技术改造项目EPC总承包工程中标候选人公示。中标候选人第1名:山东科达环境工程有限公司,投标报价:57890000.00元,中标候选人第2名:福建龙净环保股份有限公司,投标报价:61990000.00元,中标候选人第3名:江苏天洁环保装备有限公司,投标报价:5
7月14日,甘肃发改委员发布甘肃省关于建立发电侧容量电价机制的通知(征求意见稿)。通知指出,本机制适用于不同类型机组,考虑到风电、光伏在用电高峰时段提供可靠电力供应的能力有限,抽水蓄能电站尚处于建设初期,实施范围暂包括合规在运的公用煤电机组、电网侧新型储能,均不含直流配套电源。容量
7月15日,四川巴中市城市生活垃圾焚烧发电一期设备提标升级改造项目(第三次)招标公告发布。该项目对一期工程二号线配置的1条300t/d垃圾焚烧线+1台12MW凝汽式汽轮发电机组进行提标改造,其中改造部分包括焚烧炉+余热锅炉及其辅助设备,汽轮机、发电机及相关公辅设备维修利旧;日处理生活垃圾300吨(包含
作者:邵尹池1巩宇1牛萌2杨若奂2刘雅婷2丁然3单位:1.国网冀北电力有限公司电力科学研究院;2.中国电力科学研究院有限公司;3.国网冀北电力有限公司引用本文:邵尹池,巩宇,牛萌,等.计及相角与幅值跳变的构网型储能短路电流特性及其计算模型[J].储能科学与技术,2025,14(6):2451-2461.DOI:10.19799/j.cn
北极星售电网获悉,7月14日,上海电力交易中心发布2025年6月上海电网“两个细则”考核结果公示。根据《华东能源监管局关于进一步明确发电机组调试运行期辅助服务分摊标准及“两个细则”考核和补偿结果公示、结算有关事项的通知》(华东监能市场〔2023〕117号)、《华东能源监管局关于印发长三角电力辅
7月14日,深圳供电局有限公司2025年调度项目第一批次服务框架公开招标。本次招标包含3个标的,每个标的1个标包,预计发包金额共2900万元。标的1:深圳供电局有限公司2025年-2027年变电站二次安防系统集成商维保采购内容包括:变电管理一所、变电管理二所变电站二次安防系统及设备维保,包括二次安防交
当蓝色光伏板邂逅绿色治水,会迸发怎样的创新能量?近期,由经开集团下属子公司杭州建德经开新能源有限公司建设的三江生态公司分布式光伏发电项目正式并网发电。通过“一地四用”模式(发电#x2B;治污#x2B;节能#x2B;惠民),走出了一条“不增占地、多重收益”的可持续发展新路。01清洁电力,注入绿色动
北极星售电网获悉,7月14日,上海电力交易中心发布2025年6月上海电网煤电容量电费相关结果公示。根据《国家发展改革委国家能源局关于建立煤电容量电价机制的通知》(发改价格〔2023〕1501号)、《国家能源局综合司关于明确煤电容量电价适用范围有关事项的暂行通知》(国能综通电力〔2023〕141号)和《
北极星售电网获悉,近日,青海电力交易中心转发青海省能源局关于开展青海电力现货市场第三次结算试运行工作的通知(青能运行〔2025〕128号)。青海电力现货市场规则汇编(V4.0结算试运行稿)提到,现阶段,燃煤火电机组以“报量报价”的方式参与现货电能量市场;准入市场的新能源场站按照“报量报价”
远光软件发布半年度业绩报告称,2024年上半年营业收入约10.45亿元,同比减少3.57%;归属于上市公司股东的净利润约5646万元,同比减少37.47%;基本每股收益0.0296元,同比减少37.55%。公司长期服务于国家电网、南方电网、国家电投集团、国家能源集团、华电集团等能源集团的信息化工程建设,深入理解能源
3月21日,国家发展改革委发布做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求。国家发展改革委等部门关于做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求的通知发改高技〔2024〕351号各省、自治区、直辖市及计划单列市、新疆生产建设兵
北极星电力软件网获悉,1月16日,工信部国家发改委印发《制造业中试创新发展实施意见》,其中明确,到2025年,我国制造业中试发展取得积极进展,重点产业链中试能力基本全覆盖,数字化、网络化、智能化、高端化、绿色化水平显著提升,中试服务体系不断完善,建设具有国际先进水平的中试平台5个以上,中
“10千伏古楼154线东干渠开关跳闸馈线自动化(FA)动作,故障区间定位为图示位置,请查收并尽快处理。”1月3日7时36分,安徽宣城供电公司配网运维人员计小荣的手机上收到一条来自“配自移动主站”APP推送的信息。随后,计小荣和同事们快速高效地排除了这起故障。宣城市目前共有10千伏配电网架空线路119
北极星电力软件网获悉,12月18日,江苏省工业和信息化厅发布关于2023年度江苏省工业软件优秀产品和应用解决方案拟推广名单公示。新能源AI工业互联网平台、国产化自主可控多级新能源集控及智慧运维平台等多个电力软件产品上榜。原文如下:根据《省工业和信息化厅关于征集2023年工业软件优秀产品和应用解
北极星电力软件网获悉,12月15日,徐汇区科学技术委员会发布关于印发《徐汇区关于支持人工智能大模型发展的若干意见(试行)》(以下简称《意见》)的通知。《意见》指出,鼓励相关创新主体围绕基础理论、核心算法、基础软件、智能芯片、软硬适配等关键领域展开技术攻关,重点提升大模型设计构建、训练
北极星电力软件网获悉,12月12日,安徽省人民政府发布关于印发《支持首台套重大技术装备首批次新材料首版次软件发展若干政策》(以下简称《若干政策》)的通知。《若干政策》指出,发布推广应用目录。对经评定的“三首”产品,明确评定有效期。按功能特点、服务领域定期发布并动态调整《安徽省“三首”
2023年12月1日,国网信通股份中电启明星自主研发的信创容器云平台(SKE)凭借鲲鹏信创生态、自主安全可控等优势入选《2023绿色计算产业联盟绿色计算最具价值解决方案》示范案例集。这是对国网信通股份中电启明追求卓越、坚持技术创新的激励和认可。2022年9月,国资委发布79号文件,明确规定了信创替换
北极星电力软件网获悉,11月9日,重庆市经济和信息化委员会发布关于公布《2023年度重庆市工业软件等相关软件产品和软件公共服务平台名单》的通知。火电环保智能助手/环保智能助手系统、智慧矿山管控平台V2.0等多项电力软件产品上榜。原文如下:渝经信软件〔2023〕28号重庆市经济和信息化委员会关于公布
近日,贵州电网公司开发的“黔电小智”行政综合服务APP在eLink工作台上线应用,实现了综合后勤保障业务流程全部线上流转,以业务流程的数字化、透明化、规范化全面提升后勤服务效率。据悉,“黔电小智”行政综合服务APP是贵州电网公司结合综合后勤保障业务实际,围绕六大核心功能模块开发并通过eLink工
北极星电力软件网获悉,11月23日,中华人民共和国工业和信息化部发布2023年度先进计算典型应用案例名单公示。电力智慧物联柔性交互平台、煤矿智能煤流监控管理系统(内蒙古马泰壕煤矿应用)、云边协同的综采智能化系统等案例上榜。原文如下:2023年度先进计算典型应用案例名单公示根据《工业和信息化部
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!