登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
MapReduce 是由Google公司开发的一个针对大规模群组中的海量数据处理的分布式编程模型,在处理T级别以上巨量数据的业务上有着明显的优势。与Google的 MapReduce相似,2010年12月21日微软推出了dryad的公测版,Dryad也通过分布式计算机网络计算海量数据,成为谷歌 MapReduce分布式数据计算平台的竞争对手。与 MapReduce不同的是,Dryad是针对运行Windows HPC Server的计算机集群设计的,而且DryadLINQ使用.NET的LINQ查询语言模型。Dryad使.Net程序员可以利用数据中心的服务器集群对数据进行并行处理,这样使得程序员在操作数千台机器时,无需关心并行处理的细节。本文将从Dryad与云计算、Dryad的架构、DryadLINQ、 Dryad同MapReduce的比较、Dryad的应用及前景这五个方面来进行介绍。
Dryad与云计算
云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等计算机技术和网络技术相融合的产物。典型的云计算技术特征可分为虚拟化技术、分布式技术、并行计算/分布式计算、XaaS、WEB X.0、数据存储、网络技术等等。
分布式计算(Distributed Computing)是一门计算机科学,它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。
并行计算(Parallel computing,或称并行处理、平行计算)一般是指许多指令得以同时进行的计算模式。
高性能计算是云计算的特征之一,分布式并行计算是实现高性能计算的关键技术。2004年,谷歌发布了两篇关于MapReduce和分布式文件系统GFS 的研究报告,这两篇报告成为Hadoop的基础。Apache 将Hadoop变为开源项目,雅虎也对Hadoop进行了单独开发。现在,Hadoop是雅虎的在线基础设施的重要支撑,并且已经被Facebook、 Twitter、苹果和微软等科技巨头采用。2008年,微软收购了语义搜索企业Powerset,并将Powerset公司基于Hadoop的相关技术用于必应(Bing)搜索引擎。
Dryad被设计为伸缩于各种规模的计算平台:从单台多核计算机、到由几台计算机组成的小型集群,直至拥有数千台计算机的数据中心。Dryad执行引擎负责处理大型分布式、并行应用程序中会出现的各种难题:对计算机和它们的CPU进行调度,从通信或计算机的失败中恢复,以及数据在节点之间的传递等等。
Dryad的架构
一个Dryad程序员通过使用单向通道来连接并行程序。Dryad系统的总体的构建用来支持有向无环图(Directed Acycline Graph,DAG)类型数据流的并行程序。一个Dryad 任务被表示为一个有向无环图,当发生重要的计算事件时,这些图甚至在执行期间也能发生变化。Dryad Job结构如下图1所示:
Dryad Job结构
Dryad构建在Cluster Service和分布式文件系统之上,它的工作原理是这样的:当用户使用Dryad平台时,任务管理器(Job Manager,JM)获取图之后,便会在程序的输入通道准备完毕,并且有可用机器的时候对它进行调度。JM从命名服务器(Name Server,NS)那里获得一个可用的机器,并通过一个维护进程(daemon,D)来调度这个程序。文件,共享内存,或TCP管道都可以作为程序(节点)之间通信用的通道。在运行过程中可以动态改变图的形状,并得到很好的容错性。在调试的时候,整个图也可以运行在单个系统上。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
北极星储能网获悉,6月3日,涡阳县用户侧储能电站(300MW/600MWh)项目EPC中标候选人公示。第一中标候选人为安徽赞淼建筑工程有限公司、亳州益源电力有限责任公司、安徽明生电力设计有限公司联合体;第二中标候选人为洪城控股集团有限公司和河南省启源电力勘测设计有限公司联合体第三中标候选人为亮云建
5月30日,南方能源监管局关于公开征求对《广东省提升新能源和新型并网主体涉网安全能力实施方案(征求意见稿)》意见的通知,通知指出,科学界定涉网安全管理范围。应纳入涉网安全管理范围的并网主体包括海上风电、陆上风电、集中式光伏、分布式光伏、分散式风电等新能源,以及新型储能、虚拟电厂等新
近日,我国首个“风光火储一体化”大型综合能源基地外送工程——陇东-山东±800千伏特高压直流工程(以下简称“陇山工程”)正式投运,该工程首次应用基于全国产芯片的特高压直流控制保护等设备。国家级专项攻关成果从实验室正式走向工程现场,成功实现示范应用。特高压直流规模化建设关键技术突破迫在
记者今天从北京市发改委了解到,北京城市副中心力争到2027年,绿色创新能力、绿色企业数量、绿色产业产值不断提高。绿色技术创新能力进一步增强,有效绿色技术发明专利数量年均增长20%左右,建成北京市国际绿色技术概念验证中心。绿色产业特色化、规模化加快发展,绿色企业数量超过300家,建成1个绿色
绿电直连试点政策三大亮点值得关注在全球气候治理格局深度重构的背景下,“绿电直连”作为破解能源转型与碳关税壁垒双重挑战的制度创新,逐渐进入人们的视野。国家发展改革委、国家能源局印发《关于有序推动绿电直连发展有关事项的通知》(以下简称《通知》)开展绿电直连试点项目,旨在提升清洁能源利
为贯彻落实国家能源局《2025年能源工作指导意见》关于“统筹推进新型电力系统建设,推进虚拟电厂高质量发展”的要求,经省发展改革委、省能源局、浙江能源监管办同意,浙江电力市场管理委员会发布了《浙江省虚拟电厂运营管理实施细则(试行)》(以下简称“细则”),对虚拟电厂主体注册、能力认证、变
《浙江电力领域新型主体市场化响应实施细则(试行)》(以下简称《细则》)经浙江电力市场管理委员会审议和政府审定通过,于4月30日发布。《细则》的发布,标志着新型市场主体可以常态化参与电力市场响应,通过市场唤醒海量可调节资源,有效发挥负荷侧资源在提高电力系统调节能力、促进可再生能源消纳
6月3日,国家电网有限公司发布《服务新能源发展报告2025》(以下简称《报告》)。《报告》详细介绍了2024年国家电网经营区域内新能源(主要指风电、太阳能发电)发展情况,系统阐释了公司服务新能源发展的履责意愿,从电源并网、电网建设、调度运行、市场交易、技术创新5个方面全面梳理了公司服务新能
6月3日,国家电网有限公司发布《服务新能源发展报告2025》(以下简称《报告》)。《报告》详细介绍了2024年国家电网经营区域内新能源(主要指风电、太阳能发电,下同)发展情况,系统阐释了国家电网公司服务新能源发展的履责意愿,从电源并网、电网建设、调度运行、市场交易、技术创新5个方面全面梳理
北极星氢能网获悉,5月30日,三峡能源北海绿电制氢研究示范项目EPC总承包项目中标候选人公示。中标候选人第1名为厚普清洁能源集团工程技术有限公司、上海勘测设计研究院有限公司、上海交通大学、上海氢鸾科技有限公司联合体,投标报价:28,500,000元。招标信息显示,该项目依托于广西壮族自治区北海市
6月3日,国家发展改革委国家能源局发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定提升措施,促进配电网与分布式新能源协调发展。
6月3日,蔚来发布2025年第一季度财报。报告期内,公司营收超120亿元,交付量增长40%,营收与交付量增长显著。不过,其净亏损却高达67.5亿元,同比扩大30.2%,呈现出扩大的态势。财报发布当晚,蔚来汽车董事长、CEO李斌和CFO曲玉一起,在蔚来2025年第一季度业绩电话会上,回应了蔚来的最新季度业绩、202
136号文出台后,新能源全电量推向市场,不再全电量收购,不再做政策保障下的“巨婴”。这会给作为“新能源稳定器”的新型储能带来什么?近期举办的第十三届储能国际峰会暨展览会上,一场圆桌论坛汇聚了来自储能制造、储能运营、电网企业、高等院校的代表对该问题的思想碰撞。短期利空,长期利好,机遇
开展碳足迹核算是国家“双碳”战略中的重要基础工作之一。生态环境部、国家统计局、国家能源局组织中国电力企业联合会等单位计算了2023年燃煤发电、燃气发电、水力发电、核能发电、风力发电、光伏发电、光热发电、生物质发电碳足迹因子和输配电碳足迹因子以及全国电力平均碳足迹因子,以生态环境部公告
5月30日,东台市东悦新能源科技有限公司(弶港镇新海村)100MW200MWh储能电站项目材料、设备采购项目(五标段-储能设备采购)招标公告发布,项目招标人为盐城华源送变电工程有限公司。此标段招标内容为100MW/200MWh储能系统设备,标段造价13030万元,折合单价0.652元/Wh。推荐品牌或厂家:中车株洲电力机
福迪威(Fortive)与旗下子公司福禄克(Fluke)近日接连宣布对胡祖忻女士(ClaireHuWeber)的重要任命——福禄克擢升胡祖忻女士为国际业务全球副总裁,全面管理和领导福禄克欧洲、中东及非洲(EMEA)和亚太(APAC)两大战略区域的商业运营;与此同时,自2025年7月7日起,胡祖忻女士将正式出任福迪威亚
6月份各地代理购电价格表已发布,一起来看看有哪些变化。(来源:微信公众号“黄师傅说电”)四川分时电价调整(5月起)5月起,四川省开始执行新版分时电价政策,因该政策挂网时间较晚,晚于5月份的代理购电价格解析文章发布时刻,故这个已经执行了一个月的新政策解析才挪至6月份的文章中进行分析。按
绿电直连政策以制度创新“四应”国家大局绿电直连是风、光、生物质等新能源通过直连线路向单一电力用户供给绿电,实现电量清晰物理溯源的模式。国家发展改革委、国家能源局不循旧历,联合印发《关于有序推动绿电直连发展有关事项的通知》(以下简称《通知》),实现“四应”,即呼应社会诉求、响应行业
第一章总则第一条为保证华北电力大学普通本科招生工作的顺利进行,规范招生行为,切实维护学校和考生的合法权益,根据《中华人民共和国教育法》、《中华人民共和国高等教育法》等相关法律及《教育部关于做好2025年普通高校招生工作的通知》(教学〔2025〕1号)等相关规定,结合我校的实际情况,制定本
华能吉林分公司松原燃机项目2台F级燃机及其发电机组设备招标【重新招标】招标公告(招标编号:HNZB2025-06-1-001)项目所在地区:吉林省1.招标条件本华能吉林分公司松原燃机项目2台F级燃机及其发电机组设备招标【重新招标】已由项目审批机关批准,项目资金为企业自筹,招标人为华能松原燃机发电有限公司。
安徽电力调频市场需求计算公式:调频容量总需求=统调系统负荷预测*α+统调新能源出力预测*β。其中:α、β暂定为5%,电力调度机构根据系统安全运行情况,可动态调整调频容量总需求,并做好信息披露。
6月3日,国投集团旗下的雅砻江流域水电开发有限公司发布了新都区110MW/220MWh电网侧新型储能项目储能系统设备采购公开招标公告。项目位于四川省成都市新都区新石路与成金青快速路交叉口以东,采购范围包括新都区110MW/220MWh电网侧新型储能项目储能系统相关储能设备、备品备件及专用工器具、技术服务等
远光软件发布半年度业绩报告称,2024年上半年营业收入约10.45亿元,同比减少3.57%;归属于上市公司股东的净利润约5646万元,同比减少37.47%;基本每股收益0.0296元,同比减少37.55%。公司长期服务于国家电网、南方电网、国家电投集团、国家能源集团、华电集团等能源集团的信息化工程建设,深入理解能源
3月21日,国家发展改革委发布做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求。国家发展改革委等部门关于做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求的通知发改高技〔2024〕351号各省、自治区、直辖市及计划单列市、新疆生产建设兵
北极星电力软件网获悉,1月16日,工信部国家发改委印发《制造业中试创新发展实施意见》,其中明确,到2025年,我国制造业中试发展取得积极进展,重点产业链中试能力基本全覆盖,数字化、网络化、智能化、高端化、绿色化水平显著提升,中试服务体系不断完善,建设具有国际先进水平的中试平台5个以上,中
“10千伏古楼154线东干渠开关跳闸馈线自动化(FA)动作,故障区间定位为图示位置,请查收并尽快处理。”1月3日7时36分,安徽宣城供电公司配网运维人员计小荣的手机上收到一条来自“配自移动主站”APP推送的信息。随后,计小荣和同事们快速高效地排除了这起故障。宣城市目前共有10千伏配电网架空线路119
北极星电力软件网获悉,12月18日,江苏省工业和信息化厅发布关于2023年度江苏省工业软件优秀产品和应用解决方案拟推广名单公示。新能源AI工业互联网平台、国产化自主可控多级新能源集控及智慧运维平台等多个电力软件产品上榜。原文如下:根据《省工业和信息化厅关于征集2023年工业软件优秀产品和应用解
北极星电力软件网获悉,12月15日,徐汇区科学技术委员会发布关于印发《徐汇区关于支持人工智能大模型发展的若干意见(试行)》(以下简称《意见》)的通知。《意见》指出,鼓励相关创新主体围绕基础理论、核心算法、基础软件、智能芯片、软硬适配等关键领域展开技术攻关,重点提升大模型设计构建、训练
北极星电力软件网获悉,12月12日,安徽省人民政府发布关于印发《支持首台套重大技术装备首批次新材料首版次软件发展若干政策》(以下简称《若干政策》)的通知。《若干政策》指出,发布推广应用目录。对经评定的“三首”产品,明确评定有效期。按功能特点、服务领域定期发布并动态调整《安徽省“三首”
2023年12月1日,国网信通股份中电启明星自主研发的信创容器云平台(SKE)凭借鲲鹏信创生态、自主安全可控等优势入选《2023绿色计算产业联盟绿色计算最具价值解决方案》示范案例集。这是对国网信通股份中电启明追求卓越、坚持技术创新的激励和认可。2022年9月,国资委发布79号文件,明确规定了信创替换
北极星电力软件网获悉,11月9日,重庆市经济和信息化委员会发布关于公布《2023年度重庆市工业软件等相关软件产品和软件公共服务平台名单》的通知。火电环保智能助手/环保智能助手系统、智慧矿山管控平台V2.0等多项电力软件产品上榜。原文如下:渝经信软件〔2023〕28号重庆市经济和信息化委员会关于公布
近日,贵州电网公司开发的“黔电小智”行政综合服务APP在eLink工作台上线应用,实现了综合后勤保障业务流程全部线上流转,以业务流程的数字化、透明化、规范化全面提升后勤服务效率。据悉,“黔电小智”行政综合服务APP是贵州电网公司结合综合后勤保障业务实际,围绕六大核心功能模块开发并通过eLink工
北极星电力软件网获悉,11月23日,中华人民共和国工业和信息化部发布2023年度先进计算典型应用案例名单公示。电力智慧物联柔性交互平台、煤矿智能煤流监控管理系统(内蒙古马泰壕煤矿应用)、云边协同的综采智能化系统等案例上榜。原文如下:2023年度先进计算典型应用案例名单公示根据《工业和信息化部
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!