登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
MapReduce 是由Google公司开发的一个针对大规模群组中的海量数据处理的分布式编程模型,在处理T级别以上巨量数据的业务上有着明显的优势。与Google的 MapReduce相似,2010年12月21日微软推出了dryad的公测版,Dryad也通过分布式计算机网络计算海量数据,成为谷歌 MapReduce分布式数据计算平台的竞争对手。与 MapReduce不同的是,Dryad是针对运行Windows HPC Server的计算机集群设计的,而且DryadLINQ使用.NET的LINQ查询语言模型。Dryad使.Net程序员可以利用数据中心的服务器集群对数据进行并行处理,这样使得程序员在操作数千台机器时,无需关心并行处理的细节。本文将从Dryad与云计算、Dryad的架构、DryadLINQ、 Dryad同MapReduce的比较、Dryad的应用及前景这五个方面来进行介绍。
Dryad与云计算
云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等计算机技术和网络技术相融合的产物。典型的云计算技术特征可分为虚拟化技术、分布式技术、并行计算/分布式计算、XaaS、WEB X.0、数据存储、网络技术等等。
分布式计算(Distributed Computing)是一门计算机科学,它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。
并行计算(Parallel computing,或称并行处理、平行计算)一般是指许多指令得以同时进行的计算模式。
高性能计算是云计算的特征之一,分布式并行计算是实现高性能计算的关键技术。2004年,谷歌发布了两篇关于MapReduce和分布式文件系统GFS 的研究报告,这两篇报告成为Hadoop的基础。Apache 将Hadoop变为开源项目,雅虎也对Hadoop进行了单独开发。现在,Hadoop是雅虎的在线基础设施的重要支撑,并且已经被Facebook、 Twitter、苹果和微软等科技巨头采用。2008年,微软收购了语义搜索企业Powerset,并将Powerset公司基于Hadoop的相关技术用于必应(Bing)搜索引擎。
Dryad被设计为伸缩于各种规模的计算平台:从单台多核计算机、到由几台计算机组成的小型集群,直至拥有数千台计算机的数据中心。Dryad执行引擎负责处理大型分布式、并行应用程序中会出现的各种难题:对计算机和它们的CPU进行调度,从通信或计算机的失败中恢复,以及数据在节点之间的传递等等。
Dryad的架构
一个Dryad程序员通过使用单向通道来连接并行程序。Dryad系统的总体的构建用来支持有向无环图(Directed Acycline Graph,DAG)类型数据流的并行程序。一个Dryad 任务被表示为一个有向无环图,当发生重要的计算事件时,这些图甚至在执行期间也能发生变化。Dryad Job结构如下图1所示:
Dryad Job结构
Dryad构建在Cluster Service和分布式文件系统之上,它的工作原理是这样的:当用户使用Dryad平台时,任务管理器(Job Manager,JM)获取图之后,便会在程序的输入通道准备完毕,并且有可用机器的时候对它进行调度。JM从命名服务器(Name Server,NS)那里获得一个可用的机器,并通过一个维护进程(daemon,D)来调度这个程序。文件,共享内存,或TCP管道都可以作为程序(节点)之间通信用的通道。在运行过程中可以动态改变图的形状,并得到很好的容错性。在调试的时候,整个图也可以运行在单个系统上。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
本文是《关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见》(发改能源规〔2025〕624号)系列解读之六。从政策制度设计出发,系统解析绿色用电的核心机遇与商业模式创新,助力相关主体在“获得电力2.0”时代实现精准发力与价值重塑。(来源:微信公众号“春观能源”)在“双碳”战略
日前,国网常州供电公司自主研发的GIL管廊在线监测系统上线,将总长800多米的220千伏卞检线GIL管廊与500千伏雉武线GIL管廊全部纳入智能化监测网络。GIL具有传输容量大、损耗低、可靠性高的优势,但由于其为封闭式结构,需要运维人员赶至现场,使用红外测温仪、微水检测仪等进行检测。这个GIL管廊在线监
6月24日,海南电力交易中心发布关于印发《海南电力市场注册管理实施细则(2025年V1.0版)》等5份实施细则的通知。《海南电力市场注册管理实施细则(2025年V1.0版)》提到,本细则所称经营主体包括参与电力市场交易的发电企业、售电公司、电力用户、新型经营主体(含新型储能企业、分布式电源、智能微电
北极星储能网获悉,6月24日,林洋能源在投资者互动平台上表示,截至目前,公司已使用自有资金通过集中竞价交易方式实施了三期回购股份方案,累计使用资金约5.6亿元,回购了82,870,581股股份。2024年3月21日,公司控股股东华虹电子基于对公司未来持续稳定发展的坚定信心及对公司长期投资价值的认可,发
北极星售电网获悉,6月24日,河北电力交易中心发布关于进一步做好可再生能源绿色电力证书全覆盖工作通知。文件明确,自本月起,国家能源局将以电网企业、电力交易中心归集的可再生能源发电项目电量数据为依据,开展绿证核发工作。核发标准为1张绿证对应1000千瓦时可再生能源电量。在完成绿证核发后,各
5月31日,中国能建投资建设的沙坡头区牧光储一体化(一期)项目并网投运。项目位于宁夏中卫市沙坡头区境内,光伏容量为400兆瓦,独立储能容量为220兆瓦/880兆瓦时。项目新建1座330千伏升压站,站内配置一套50兆伏安分布式调相机。项目投运后,可助推宁夏电网调峰能力提升,每年可产生约9.24亿千瓦时的
IEEEPES能源发展与发电技术研讨会是IEEEPES能源发展与发电技术委员会(中国)(IEEEPESCSTC-EDPG)主办的在业界具有较大影响力的行业品牌盛会,2021年创办以来,得到了行业内科研究机构、高校、企业的大力支持,受到政府机构、业界的广泛关注与好评。为推动实现我国碳达峰碳中和目标和构建安全可靠的新
2025年1-5月,我国光伏新增装机容量突破197GW,仅5月份单月装机量超过92GW,再创历史新高!然而,“狂欢”过后,随着抢装潮的落幕及136号文的正式实施,光伏行业将直面“市场化”的严峻考验。分布式光伏首当其冲,从“保量保价”模式转变为“不保量不保价”模式,电价波动风险显著加剧,投资逻辑亦需重
北极星储能网获悉,6月24日,易成新能披露投资者关系管理信息,回答投资者关于新型储能、源网荷储项目的布局。在新型储能布局方面,易成新能按照技术融合+场景贯通原则,近期收购了主要生产、销售智能锂离子电池储能系统的储能公司,加上已经拥有的行业先进的全钒液流储能系统,公司将实现全钒液流电池
6月20日下午,由海南省能源协会与海尔新能源2025新能源行业交流暨海尔招商会在三亚召开。海尔绿能国内市场总监奚亚青,海南省能源协会会长、农工党海南省能源支部主委吴太能等,与新能源行业专家、企业代表140余人齐聚一堂,共同探讨新能源行业的新趋势、新机遇,同时深入了解海尔在新能源领域的创新实
北极星储能网讯:6月23日,上海市经济信息化委印发《上海市用户侧虚拟电厂建设实施方案》(2025-2027年)。《方案》提出,构建“1+5”超大城市虚拟电厂运行管理体系,即“一个虚拟电厂运管平台+五类城市特色资源”,形成以空调负荷、充换电站、新型储能、数据中心、工业负荷等为核心的多元聚合虚拟电厂
北极星售电网获悉,6月24日,海南电力交易中心发布关于印发《海南电力市场注册管理实施细则(2025年V1.0版)》等5份实施细则的通知。其中,《海南电力市场中长期电能量交易实施细则(2025年V1.0版)》提到,跨省中长期电能量交易与现货交易衔接跨省中长期电能量交易由广州电力交易中心统筹组织开展,海
在全球气候变化日益严峻的背景下,国家主席习近平于2020年在联合国大会上宣布了我国的“3060”目标,明确了碳达峰、碳中和(“双碳”)目标的内涵、基本路径和重点任务,“双碳”工作正式上升到国家战略层面。作为实现这一目标的基础性工作,碳排放核算体系的构建和完善尤为重要。碳排放核算是碳管理、
6月24日,安徽巢湖流域污水处理设施更新改造(一期)工程EPC招标公告发布。该项目为勘察设计施工总承包项目,对现状望塘污水处理厂、经开区污水处理厂(含调水泵站)、塘西河再生水厂、北涝圩污水处理厂、西部组团污水处理厂(一期)、蔡田铺污水处理厂共6座污水厂处理设施进行改造(单个最大污水厂设
北极星售电网获悉,6月24日,上海电力交易中心发布2025年5月上海电网“两个细则”补偿结果公示。根据《华东能源监管局关于进一步明确发电机组调试运行期辅助服务分摊标准及“两个细则”考核和补偿结果公示、结算有关事项的通知》(华东监能市场〔2023〕117号)等文件要求,国网上海市电力公司完成了202
6月24日,海南电力交易中心发布关于印发《海南电力市场注册管理实施细则(2025年V1.0版)》等5份实施细则的通知。《海南电力市场现货电能量交易实施细则(2025年V1.0版)》提到,现阶段,以“发电侧报量报价、用户侧报量不报价”模式组织市场申报,市场机组申报运行日的报价信息,待具备条件后以“发电
位于呼和浩特市南20余公里的和林格尔新区,是国家“东数西算”工程八大枢纽、十大数据中心集群之一,也是国家大数据综合试验区的核心区。记者采访获悉,截至目前,新区46个数据中心项目总算力规模达9.1万P,其中智能算力规模达8.6万P。当地通过“风—光—储”一体化清洁能源供电方式为算力中心提供“绿
北极星售电网获悉,6月24日,南宁市发展和改革委员会发布关于南宁东部新城源网荷储一体化试点项目横州盆椅岭风电场核准的批复,同意建设南宁东部新城源网荷储一体化试点项目横州盆椅岭风电场。项目建设地点位于横州市平马镇江梦村、那留村、那罗村,新福镇大榄村附近的一带山脊区域。项目装机容量为100
在构建以新能源为主体的新型电力系统进程中,高比例清洁能源并网已成为显著发展趋势。国家能源局最新数据显示,2025年第一季度我国风电、光伏发电总装机容量达14.82亿千瓦(风电5.36亿千瓦,光伏9.46亿千瓦),历史性超越火电装机规模(14.51亿千瓦)。随着风光新增装机持续放量,新能源装机规模领跑传
“无现货,不市场”。电力现货市场是实现电力电量平衡的兜底市场平台,承担着调节市场供求、发现短时间尺度(日前/实时)电力价格信号的核心职责,其重要性不言而喻。目前,山西、广东、山东、甘肃、蒙西电力现货市场已转入正式运行,其他省级电力现货市场已开展长周期结算试运行。在区域层面,南方区
北极星售电网获悉,6月24日,国家能源局山东监管办发布关于征求《山东省新能源和新型并网主体涉网安全能力提升工作方案》意见的函。文件提出,强化虚拟电厂运行管理。纳入涉网安全管理范围的虚拟电厂应接受电力调度机构统一调度,按月向电力调度机构提交可调节资源清单和变更申请,月内原则上不得随意
北极星售电网获悉,6月24日,江西省发展改革委发布关于进一步完善分时电价机制有关事项的通知。工商业用电用户平段电价由市场化用户上网电价(代理购电价格,下同)、上网环节线损费用、输配电价、系统运行费用、政府性基金及附加构成,全年高峰、平段、低谷浮动比例统一调整为1.6:1:0.4,深谷浮动
远光软件发布半年度业绩报告称,2024年上半年营业收入约10.45亿元,同比减少3.57%;归属于上市公司股东的净利润约5646万元,同比减少37.47%;基本每股收益0.0296元,同比减少37.55%。公司长期服务于国家电网、南方电网、国家电投集团、国家能源集团、华电集团等能源集团的信息化工程建设,深入理解能源
3月21日,国家发展改革委发布做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求。国家发展改革委等部门关于做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求的通知发改高技〔2024〕351号各省、自治区、直辖市及计划单列市、新疆生产建设兵
北极星电力软件网获悉,1月16日,工信部国家发改委印发《制造业中试创新发展实施意见》,其中明确,到2025年,我国制造业中试发展取得积极进展,重点产业链中试能力基本全覆盖,数字化、网络化、智能化、高端化、绿色化水平显著提升,中试服务体系不断完善,建设具有国际先进水平的中试平台5个以上,中
“10千伏古楼154线东干渠开关跳闸馈线自动化(FA)动作,故障区间定位为图示位置,请查收并尽快处理。”1月3日7时36分,安徽宣城供电公司配网运维人员计小荣的手机上收到一条来自“配自移动主站”APP推送的信息。随后,计小荣和同事们快速高效地排除了这起故障。宣城市目前共有10千伏配电网架空线路119
北极星电力软件网获悉,12月18日,江苏省工业和信息化厅发布关于2023年度江苏省工业软件优秀产品和应用解决方案拟推广名单公示。新能源AI工业互联网平台、国产化自主可控多级新能源集控及智慧运维平台等多个电力软件产品上榜。原文如下:根据《省工业和信息化厅关于征集2023年工业软件优秀产品和应用解
北极星电力软件网获悉,12月15日,徐汇区科学技术委员会发布关于印发《徐汇区关于支持人工智能大模型发展的若干意见(试行)》(以下简称《意见》)的通知。《意见》指出,鼓励相关创新主体围绕基础理论、核心算法、基础软件、智能芯片、软硬适配等关键领域展开技术攻关,重点提升大模型设计构建、训练
北极星电力软件网获悉,12月12日,安徽省人民政府发布关于印发《支持首台套重大技术装备首批次新材料首版次软件发展若干政策》(以下简称《若干政策》)的通知。《若干政策》指出,发布推广应用目录。对经评定的“三首”产品,明确评定有效期。按功能特点、服务领域定期发布并动态调整《安徽省“三首”
2023年12月1日,国网信通股份中电启明星自主研发的信创容器云平台(SKE)凭借鲲鹏信创生态、自主安全可控等优势入选《2023绿色计算产业联盟绿色计算最具价值解决方案》示范案例集。这是对国网信通股份中电启明追求卓越、坚持技术创新的激励和认可。2022年9月,国资委发布79号文件,明确规定了信创替换
北极星电力软件网获悉,11月9日,重庆市经济和信息化委员会发布关于公布《2023年度重庆市工业软件等相关软件产品和软件公共服务平台名单》的通知。火电环保智能助手/环保智能助手系统、智慧矿山管控平台V2.0等多项电力软件产品上榜。原文如下:渝经信软件〔2023〕28号重庆市经济和信息化委员会关于公布
近日,贵州电网公司开发的“黔电小智”行政综合服务APP在eLink工作台上线应用,实现了综合后勤保障业务流程全部线上流转,以业务流程的数字化、透明化、规范化全面提升后勤服务效率。据悉,“黔电小智”行政综合服务APP是贵州电网公司结合综合后勤保障业务实际,围绕六大核心功能模块开发并通过eLink工
北极星电力软件网获悉,11月23日,中华人民共和国工业和信息化部发布2023年度先进计算典型应用案例名单公示。电力智慧物联柔性交互平台、煤矿智能煤流监控管理系统(内蒙古马泰壕煤矿应用)、云边协同的综采智能化系统等案例上榜。原文如下:2023年度先进计算典型应用案例名单公示根据《工业和信息化部
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!