登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
MapReduce 是由Google公司开发的一个针对大规模群组中的海量数据处理的分布式编程模型,在处理T级别以上巨量数据的业务上有着明显的优势。与Google的 MapReduce相似,2010年12月21日微软推出了dryad的公测版,Dryad也通过分布式计算机网络计算海量数据,成为谷歌 MapReduce分布式数据计算平台的竞争对手。与 MapReduce不同的是,Dryad是针对运行Windows HPC Server的计算机集群设计的,而且DryadLINQ使用.NET的LINQ查询语言模型。Dryad使.Net程序员可以利用数据中心的服务器集群对数据进行并行处理,这样使得程序员在操作数千台机器时,无需关心并行处理的细节。本文将从Dryad与云计算、Dryad的架构、DryadLINQ、 Dryad同MapReduce的比较、Dryad的应用及前景这五个方面来进行介绍。
Dryad与云计算
云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等计算机技术和网络技术相融合的产物。典型的云计算技术特征可分为虚拟化技术、分布式技术、并行计算/分布式计算、XaaS、WEB X.0、数据存储、网络技术等等。
分布式计算(Distributed Computing)是一门计算机科学,它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。
并行计算(Parallel computing,或称并行处理、平行计算)一般是指许多指令得以同时进行的计算模式。
高性能计算是云计算的特征之一,分布式并行计算是实现高性能计算的关键技术。2004年,谷歌发布了两篇关于MapReduce和分布式文件系统GFS 的研究报告,这两篇报告成为Hadoop的基础。Apache 将Hadoop变为开源项目,雅虎也对Hadoop进行了单独开发。现在,Hadoop是雅虎的在线基础设施的重要支撑,并且已经被Facebook、 Twitter、苹果和微软等科技巨头采用。2008年,微软收购了语义搜索企业Powerset,并将Powerset公司基于Hadoop的相关技术用于必应(Bing)搜索引擎。
Dryad被设计为伸缩于各种规模的计算平台:从单台多核计算机、到由几台计算机组成的小型集群,直至拥有数千台计算机的数据中心。Dryad执行引擎负责处理大型分布式、并行应用程序中会出现的各种难题:对计算机和它们的CPU进行调度,从通信或计算机的失败中恢复,以及数据在节点之间的传递等等。
Dryad的架构
一个Dryad程序员通过使用单向通道来连接并行程序。Dryad系统的总体的构建用来支持有向无环图(Directed Acycline Graph,DAG)类型数据流的并行程序。一个Dryad 任务被表示为一个有向无环图,当发生重要的计算事件时,这些图甚至在执行期间也能发生变化。Dryad Job结构如下图1所示:
Dryad Job结构
Dryad构建在Cluster Service和分布式文件系统之上,它的工作原理是这样的:当用户使用Dryad平台时,任务管理器(Job Manager,JM)获取图之后,便会在程序的输入通道准备完毕,并且有可用机器的时候对它进行调度。JM从命名服务器(Name Server,NS)那里获得一个可用的机器,并通过一个维护进程(daemon,D)来调度这个程序。文件,共享内存,或TCP管道都可以作为程序(节点)之间通信用的通道。在运行过程中可以动态改变图的形状,并得到很好的容错性。在调试的时候,整个图也可以运行在单个系统上。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
4月18日,北极星太阳能光伏网发布一周要闻回顾(2025年4月14日-4月18日)。政策篇广西、重庆、广东、江苏……6地工商业分布式光伏上网比例敲定日前,广西、重庆就分布式光伏发电开发建设管理实施细则征求意见。据北极星统计,截至目前,已有6个省区市出台相关文件,对分布式光伏上网电量比例作出规定。
在全球能源转型的大背景下,印度储能市场凭借明确的政策导向与强劲的发展势头,成为市场焦点。政策红利与市场需求的双重驱动,正为印度储能行业开辟广阔的发展空间。政策护航市场需求爆发式增长根据当前情况来看,印度配储政策明确,新增需求可期。印度对新能源项目的配储要求日益严格,规定未来新招标
北极星氢能网获悉,4月16日,中国三峡电子采购平台发布三峡能源北海绿电制氢研究示范项目EPC总承包项目公告。公告显示,该项目依托于广西壮族自治区北海市北海服务区开展建设,北海服务区距北海市15公里,总占地面积142亩。由三峡新能源天峨发电有限公司招标,该项目由分布式光储新能源供电系统(以下
我们习惯把属于用户电力资产的部分称为表后,把归属于电网电力资产的部分称为表前。(来源:微信公众号“黄师傅说电”)在表前,也就是公共电网的范围内,电力市场每个交易周期出清交易结果,连接到这个大电网上的电源和负荷都会出清本周期的电量,同时也伴有该周期的价格。基于集中竞价,统一出清的方
2025年一季度,国家电网有限公司坚持稳中求进工作总基调,完整准确全面贯彻新发展理念,深化改革创新,勇于担当作为,奋力开创国家电网高质量发展新局面。国家电网公司系统各单位全面贯彻落实国家电网公司工作部署,抓紧抓实年度重点工作任务,支撑服务经济社会高质量发展,取得积极成效。电网头条今天
北极星售电网获悉,4月18日,四川省经济和信息化厅发布关于印发《四川省新能源产业链建圈强链工作方案(2025—2027年)》(以下简称《方案》)的通知。《方案》指出,进一步完善电力市场交易机制,促进省内发电企业充分竞争,推动电源企业和新能源制造业用户在更大范围内协商形成交易价格。鼓励“三州
4月17日,山西省能源局发布关于《分布式光伏发电开发建设管理实施细则(征求意见稿)》征求社会公众意见的公示。文件表示,分布式光伏发电上网模式包括全额上网、全部自发自用、自发自用余电上网三种。自然人户用、非自然人户用分布式光伏可选择全额上网、全部自发自用或者自发自用余电上网模式。严禁
4月17日,四川自贡市2025年二季度分布式光伏电网承载能力评估结果公示。
早在2022年1月,国家发改委、国家能源局印发《关于加快建设全国统一电力市场体系的指导意见》,便提出到2030年实现新能源全面参与市场交易。以此为既定目标,新能源入市步伐明显加快。国家能源局数据显示,2022年,新能源市场化交易电量达3465亿千瓦时,占新能源总发电量的38.4%,较2020年提高14个百分
日前,由中国能建广东院勘察设计的国家能源集团清远石角天然气分布式能源站项目全面移交生产。该项目位于清远市清城区石角镇石角工业园内,是广东省重点工程。项目建设2套100兆瓦级燃气——蒸汽联合循环热电联产机组。项目建成后,年发电量11亿千瓦时,年供热量203万吉焦,可有效替代石角工业园区内分
北极星售电网获悉,4月17日,山西省能源局发布关于《分布式光伏发电开发建设管理实施细则(征求意见稿)》征求社会公众意见的公示。文件提到,一般工商业分布式光伏可选择全部自发自用或者自发自用余电上网模式;大型工商业分布式光伏原则上选择全部自发自用模式;大型工商业分布式光伏可采用自发自用
2025年3月,全国全行业用电指数为139.5,全行业用电量比2020年基期(以2020年基期为100)增长了39.5%,年均增长6.9%,同比增长4.8%,同比增速比1-2月提高3.2个百分点。3月,农林牧渔业用电指数为180.7,比2020年基期增长了80.7%,年均增长12.6%,同比增长9.9%,同比增速比1-2月提高1.7个百分点。3月,
北极星风力发电网获悉,近日粤水电布尔津县风电项目(三期50万千瓦)EPC总承包工程中标候选人公示。根据公示,项目第一中标候选人为广东省建筑工程集团股份有限公司(联合体牵头方),投标报价为14.0378元亿元,折合单价为2808元/kW。(折合单价按招标容量计算)招标公告显示,项目建设地点为新疆布尔津县
4月18日,广东潮州市湘桥区韩东片区污水管网项目一期第二阶段工程总承包及运营服务(EPC+O)项目招标公告发布。工程建设内容主要包含:1、共建设DN150~DN600污水管道约80km;2、存量污水管道检测及清淤约67km,修复约3km。3、含官塘镇污水处理厂、铁铺镇污水处理厂、仙洲岛污水处理厂三座污水处理厂、潮
4月16日,大唐集团、华润电力和新疆风能发布多个风电机组及附属设备招标公告。汇总显示,4个招标项目总装机容量共681MW,其中大唐1个项目共248.5MW;华润电力2个项目共350MW;新疆风能1个达坂城风电一场49.25兆瓦发电工程升级改造项目需招标机组容量82.5MW,其中等容部分改造容量为29.25MW,新增容量为
4月16日,由中国光伏行业协会指导、晶澳科技主办的沙戈荒专场论坛暨光伏极限挑战团「极境寻光」之旅第二站盛大启幕。继漠河“极寒攻坚”后,本次活动直接跨越至中国排名第四的沙漠#x2014;#x2014;浩瀚壮丽的腾格里,开展“大漠平沙”。政企领导、权威专家、合作伙伴及行业媒体齐聚于此,共同探讨沙漠光
2025年4月15日,四川电力交易中心正式发布《2025年四川电力市场结算细则》(以下简称结算细则)。相较2024年,新版结算细则全面优化结算机制,涵盖发电侧、用电侧、新型储能及资金管理四大领域,为四川电力市场结算提供制度保障。(来源:微信公众号“硕电汇”作者:小硕团队)一、发电侧结算1、结算数
近日,正泰新能ASTRON系列组件凭借380kgCO₂/kWc的碳足迹值,获得法国权威机构Certisolis授予的碳足迹PPE2证书。这一成绩较行业平均水平降低15%以上,为全球光伏产业低碳转型树立新标杆。法国高度重视绿色发展,是光伏领域碳足迹规范的先行者。2019年以来法国能源监管委员会(CRE)将光伏组件产品的碳
4月17日,工业和信息化部办公厅关于组织开展2025年工业互联网一体化进园区“百城千园行”活动的通知(工信厅信管函〔2025〕144号)。其中指出,引导园区企业加快5G/5G-A、时间敏感网络、人工智能、区块链、工业光网、信息模型、开放自动化、边缘计算等新一代信息通信技术与工业互联网的深度融合应用。
4月17日,秀强股份发布公告称,公司全资子公司珠海港秀新能源科技有限公司与关联方珠海可口可乐饮料有限公司签订《分布式光伏发电站项目合同能源管理协议》。珠海可口可乐将其厂区建筑屋顶及项目所需的配电室占地和电缆沿线场地以每年2元/㎡的价格出租给港秀新能源用于建设、安装、运营装机容量为1.41M
ABBiCE600智慧能碳管理平台基于ABB集团ABBAbility技术架构开发,是用于能源优化、碳排放管理的专业级工业物联网平台灵活适配私有云和本地数据中心的部署,实现多站点、大数据信息,高并发、高可用能力的能碳管理全方位的网络安全保障,获得公安部信息系统网络安全等级保护三级认证,为客户的能源资产管
北极星售电网获悉,4月16日,河南省鹤壁豫能综合能源有限公司宝山增量配电网6MW/18MWh储能项目电化学储能集成系统采购公告发布,项目招标人为鹤壁豫能综合能源有限公司。鹤壁豫能综合能源有限公司宝山增量配电网6MW/18MWh储能项目本项目位于鹤壁宝山经济技术开发区内,该项目距离107国道约16公里,通过
北极星电力软件网获悉,近日,京津冀产业协同暨先进制造业集群发展新闻发布会召开,会议提到,京津冀自动驾驶实现跨域全场景应用,开放自动驾驶测试里程4311公里,完成测试里程6000余万公里,打造了国内最大智能网联汽车城市级应用场景。同时,全国首部全环节规范自动驾驶汽车创新应用活动地方立法制定
北极星电力软件网获悉,近日,厦门市碳足迹公共服务平台正式启动。该平台由厦门产权交易中心(厦门市碳和排污权交易中心)承建,是福建省首个碳足迹数字化认证平台。据悉,该平台首单完成了厦钨新能源三元材料产品的碳足迹认证。三元正极材料是锂离子电池中的一种关键材料,主要出口到欧盟。经厦门产权
北极星电力软件网获悉,2024年,山西晋城180万吨/年及以上生产煤矿全部建成智能化矿山,120万吨/年及以上、灾害严重生产煤矿智能化改造全部开工,累计建成智能化矿山28座。能源信息监管服务平台建设加速推进。率先建成全省能源信息监管服务平台市级运行监测中心,完成3座煤矿及2个洗煤厂等试点企业数据
北极星电力软件网获悉,近日,云南首套储能并网检测装置在寻甸回族彝族自治县苏撒坡电站正式投用,该装置南方电网云南电力试验研究院(集团)研发,该装置成功验证储能装置在电网故障情况下的无功主动支撑能力,在不同的电网强度下储能装置控制系统参数自适应能力,在不同的电网频率下储能变流器抗扰动
北极星电力软件网获悉,重庆市将聚焦储能电池、清洁能源及智能电网装备等领域,通过招引一批国内外数字能源龙头企业来渝合作,建成一批典型应用场景,力争到2027年推动全市数字能源产值规模达到2000亿元。据悉,重庆市正在大力培育数字能源产业,通过重点发展光伏材料及组件、动力电池、输配电设备等能
远光软件发布半年度业绩报告称,2024年上半年营业收入约10.45亿元,同比减少3.57%;归属于上市公司股东的净利润约5646万元,同比减少37.47%;基本每股收益0.0296元,同比减少37.55%。公司长期服务于国家电网、南方电网、国家电投集团、国家能源集团、华电集团等能源集团的信息化工程建设,深入理解能源
北极星电力软件网获悉,新疆昌吉市首个自治区级光伏发电重点项目——昌吉市畜牧产业园30兆瓦分布式光伏项目的一期工程计划本月底并网发电。据了解,项目位于阿什里乡现代畜牧产业园新建的牧场内,占地面积1300亩,由中国电建重庆工程公司投资1.6亿元开发建设。项目直流侧总装机容量为38.1兆瓦,采用699
北极星电力软件网获悉,自今年6月起,国家电投集团在北京的数据中心已整体搬迁至贵州贵安新区,目前已实现正常运转,服务超过13万用户。据介绍,本次搬迁工作是能源行业首个异地跨省域最大规模系统迁移项目,跨距2000多公里,服务器1200余台,涉及217套系统和超13万用户,数据迁移量超过3300T。据悉,
北极星电力软件网获悉,近日,辽宁鞍山市工业领域设备更新改造全面启动,截至目前,工业领域设备更新改造储备项目库已纳入项目264个,总投资232亿元。在先进设备改造方面,支持工业企业扩产增能调品,生产设备向高端化延伸;在绿色低碳改造方面,推动减污降碳工艺流程改造,做好产能减量置换、新能源替
北极星电力软件网获悉,近日,重庆市组织开展了2024年重庆市数字化车间和智能工厂认定工作和2024年工业互联网新模式示范项目申报工作。经企业自愿申报、区县经信主管部门初审、专家评审等程序,拟认定重庆美利信科技股份有限公司5G通信及新能源汽车精密压铸结构件生产智能工厂等39个项目为2024年重庆市
北极星电力软件网获悉,7月2日,四川宜宾市市长廖文彬实地调研虚拟电厂推进情况。在宜宾市新能源产业有限公司调研虚拟电厂建设情况时,廖文彬指出,宜宾虚拟电厂建设取得重要进展,但与先进城市相比仍有不小差距。仍需要进一步完善顶层规划设计,加快打造能源监测控制指挥系统,增强城市对电力资源的精
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!