登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
MapReduce 是由Google公司开发的一个针对大规模群组中的海量数据处理的分布式编程模型,在处理T级别以上巨量数据的业务上有着明显的优势。与Google的 MapReduce相似,2010年12月21日微软推出了dryad的公测版,Dryad也通过分布式计算机网络计算海量数据,成为谷歌 MapReduce分布式数据计算平台的竞争对手。与 MapReduce不同的是,Dryad是针对运行Windows HPC Server的计算机集群设计的,而且DryadLINQ使用.NET的LINQ查询语言模型。Dryad使.Net程序员可以利用数据中心的服务器集群对数据进行并行处理,这样使得程序员在操作数千台机器时,无需关心并行处理的细节。本文将从Dryad与云计算、Dryad的架构、DryadLINQ、 Dryad同MapReduce的比较、Dryad的应用及前景这五个方面来进行介绍。
Dryad与云计算
云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等计算机技术和网络技术相融合的产物。典型的云计算技术特征可分为虚拟化技术、分布式技术、并行计算/分布式计算、XaaS、WEB X.0、数据存储、网络技术等等。
分布式计算(Distributed Computing)是一门计算机科学,它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。
并行计算(Parallel computing,或称并行处理、平行计算)一般是指许多指令得以同时进行的计算模式。
高性能计算是云计算的特征之一,分布式并行计算是实现高性能计算的关键技术。2004年,谷歌发布了两篇关于MapReduce和分布式文件系统GFS 的研究报告,这两篇报告成为Hadoop的基础。Apache 将Hadoop变为开源项目,雅虎也对Hadoop进行了单独开发。现在,Hadoop是雅虎的在线基础设施的重要支撑,并且已经被Facebook、 Twitter、苹果和微软等科技巨头采用。2008年,微软收购了语义搜索企业Powerset,并将Powerset公司基于Hadoop的相关技术用于必应(Bing)搜索引擎。
Dryad被设计为伸缩于各种规模的计算平台:从单台多核计算机、到由几台计算机组成的小型集群,直至拥有数千台计算机的数据中心。Dryad执行引擎负责处理大型分布式、并行应用程序中会出现的各种难题:对计算机和它们的CPU进行调度,从通信或计算机的失败中恢复,以及数据在节点之间的传递等等。
Dryad的架构
一个Dryad程序员通过使用单向通道来连接并行程序。Dryad系统的总体的构建用来支持有向无环图(Directed Acycline Graph,DAG)类型数据流的并行程序。一个Dryad 任务被表示为一个有向无环图,当发生重要的计算事件时,这些图甚至在执行期间也能发生变化。Dryad Job结构如下图1所示:
Dryad Job结构
Dryad构建在Cluster Service和分布式文件系统之上,它的工作原理是这样的:当用户使用Dryad平台时,任务管理器(Job Manager,JM)获取图之后,便会在程序的输入通道准备完毕,并且有可用机器的时候对它进行调度。JM从命名服务器(Name Server,NS)那里获得一个可用的机器,并通过一个维护进程(daemon,D)来调度这个程序。文件,共享内存,或TCP管道都可以作为程序(节点)之间通信用的通道。在运行过程中可以动态改变图的形状,并得到很好的容错性。在调试的时候,整个图也可以运行在单个系统上。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
受终端市场推动,光伏项目EPC招标密集发布。据北极星统计公开信息,年初至今光伏项目EPC招标规模已超76GW。其中,作为细分市场之一,整县分布式光伏项目仍旧颇受关注。按照整县规划,2021年国家能源局公布首批整县(市、区)屋顶分布式光伏开发试点县,共676个县(市、区)进入名单。根据政策,2023年
近日,国网陕西省电力有限公司在西安、咸阳、铜川、渭南4个地市的8个县完成149套台区分布式储能设备的安装,解决了台区低电压及过载问题,提升了台区柔性调节能力和配网运行灵活性。近年来,随着农村用电需求逐年增加,部分山区台区存在供电半径大导致的重过载和低电压问题。另外,光伏发电项目并网也
5月16日,道达尔能源宣布,携凯辉基金与大家投控成立的凯辉新能源基础设施基金,持续投资中国工商业分布式光伏项目。合资公司将通过长期购售电协议,为工商业客户提供绿色电力,以满足其生产场址的自身用电需求,为企业带来可负担电价的同时减少碳足迹,加速企业可持续发展的目标达成。过去5年,道达尔
北极星太阳能光伏网获悉,5月15日,云南省昆明市晋宁区人民政府发布昆明市晋宁区六街镇乡村振兴绿色光伏项目备案信息。该项目单位为昆明越能焱光伏科技有限公司,项目总投资2100万元,计划利用云南省昆明市晋宁区六街镇的9个村委会等机关企事业单位、农村居民建筑屋顶建设光伏发电,使用闲置面积约24万
5月15日,合肥金太阳公司分布式光伏发电项目组件采购(二次)项目中标结果公布,第一企业大恒能源股份有限公司,中标价格11746000元,单价0.839元/W。招标公告显示,肥西县百大肥西物流园光伏发电项目12MWp,巢湖市合肥理工学院光伏发电项目2MWp,共计14MWp。单块容量为580Wp的N型双面双玻光伏组件及其
北极星储能网获悉,5月11日,湘潭市人民政府关于印发《湘潭市碳达峰实施方案》(以下简称《方案》)的通知。《方案》指出,积极发展“新能源+储能”、源网荷储一体化,支持分布式新能源合理配置储能系统,开展湘潭经开区源网荷储一体化试点工作,推动储能设施在电源侧、电网侧、用户侧等多场景应用。建
5月11日,河南能源监管办发布2024年4月12398能源监管热线投诉举报处理情况通报,文件指出,投诉举报反映的问题主要集中在电力行业,其次是新能源和可再生能源行业。一是个别地区故障停电时间较长、抢修不及时;二是部分供电企业工作人员由于服务质量和效率等原因,影响群众正常用电或者办理涉电业务;
日前,桐城市人民政府发布2024年政府工作报告,报告指出,加快传统产业转型升级,持续深化“亩均论英雄”改革,研究制定提质扩量增效扶持政策,重点支持亩均效益好、科技含量高、增长速度快的优质企业,不断催生传统产业发展新动能;实施企业数字化改造30家以上,新增智能工厂2家、数字化车间10家以上
5月14日,苏州中鑫新能源有限公司的河南安阳龙宇投资3.6MW分布式光伏项目发布竞争性磋商采购公告,此项目最高限制单价不超过3.08元/瓦。磋商供应商资格要求:1、满足一般资格要求:(1)具有独立承担民事责任的能力。(2)具有良好的商业信誉和健全的财务会计制度。(3)具有履行合同所必需的设备和专
近日,德国莱茵TV西部地区新能源电力电子研讨会在陕西省西安市高新区召开,特变电工新能源公司相关负责人受邀出席,并作了题为“新能源光伏发电弱电网适应性关键技术交流”的主旨演讲。研讨会上,德国莱茵TV作为主办方,向特变电工新能源公司颁发了分布式逆变器欧标IEC/EN62109-1、IEC/EN62109-2和德国
5月13日,浙江电力交易中心发布关于公开征求《2024年浙江省绿电绿证市场化交易工作细则(试行,修订稿)》意见的通知,意见接收时间截止2024年5月17日17点。文件提出,参与绿电交易的市场主体范围按浙发改能源〔2023〕311号执行。省内分布式光伏、分散式风能发电项目可通过聚合形式参与绿电交易。具有
5月14日,国网天津电科院完成2024年天津电网专项计算分析,支撑公司进一步落实电网安全性评价规范文件要求。本次专项工作包括电网电压稳定性分析计算、电网稳定分析计算、电网严重故障条件下的安全稳定分析计算和电网小干扰稳定分析计算等四部分内容。电科院系统计算专业团队在电力系统分析计算软件平
近日,关于欧盟委员会公布动力电池碳足迹规则的“征求意见稿”的消息,引发业内普遍关注。观茶君专访了资深专家钱国强先生,请他谈了该规则的影响。(本文来源:微信公众号电力法律观察ID:higuanchajun)钱国强,北京中创碳投科技有限公司副总经理,国际商会中国国家委员会环境与能源委员会副主席,中
《西藏地区电网工程定额和费用计算规定(2023年版)》由中国电力企业联合会组织中国电力出版社出版发行。国家能源局关于颁布《西藏地区电网工程定额和费用计算规定(2023年版)》的通知国能发电力〔2024〕17号为适应西藏等高海拔地区电网工程管理发展的实际需要,合理确定和有效控制电网工程造价,进一
随着全球风能行业的快速发展以及现代风电技术的日趋成熟,发展大功率风电机组已成为必然趋势。在2.5MW以及更大功率的风电机组中,以行星差动结构为基础的功率分流风电齿轮箱是一种常见的结构。差动轮系是指具有两个或两个以上自由度的轮系,亦即具有对应的两个或两个以上的主动件的轮系。行星差动轮系
2月28日至3月8日,按照国网发展部电网规划有关工作安排,国网华北分部组织开展2024年度华北区域电网规划电气计算数据搭建维护集中工作,规划评审中心选派2名主网规划技术骨干赴京参加。2024年是公司“十四五”规划的攻坚之年,也是承接“十五五”规划的关键之年,国网发展部高度关注本次集中工作成效。
北极星风力发电网获悉:齿轮是旋转机械的核心部件,齿轮传动是现代机械设备应用最广泛的传动方式,风电齿轮箱中按齿轮件所处轴系及功能分配,分别有高速轴、中间齿轮、中齿轴、低速齿轮、太阳轮、行星轮和齿圈等,这些齿轮件承担传递扭矩,增加转速的功用,任何一个发生损坏都将影响机组的运行,具数据
陕西电力交易中心有限公司关于印发《陕西电力市场履约保函、保险管理细则》的通知。售电公司参与批发和(或)零售市场电能量交易前应当向交易中心提交履约保函或者履约保险等履约保障凭证。相应的履约保障凭证只可用于担保售电公司参与陕西电力市场批发市场中长期电能量交易、现货电能量交易和零售市场电
碳源投加的计算公式的介绍有很多,但是有些小伙伴反映利用公式算出来的值是负数。其实碳源的计算万变不离其宗,只是很多文章照搬前人留下的公式,没有自己的思路或者讲解,让很多人看不懂,碳源投加核心其实就是思路的正确!1、碳源投加计算为什么是负数?1、计算公式选择错误计算碳源的投加量,选对计
为加强环境保护税征收管理,规范施工扬尘环境保护税核定计算及申报征收工作,国家税务总局山西省税务局、省生态环境厅联合发布《关于施工扬尘环境保护税核定计算及征收管理有关事项的公告》,就全省施工扬尘环境保护税有关事项作了具体说明,并于2024年1月1日起施行。国家税务总局山西省税务局山西省生
计算分时电价需要用到浮动系数和基础值,再用相应的计算规则得出。21年的1093号文件中,对于分时电价价差有如下规定,上年或当年预计最大系统峰谷差率超过40%的地方,峰谷电价价差原则上不低于4:1,其他地方原则上不低于3:1。(来源:微信公众号:黄师傅说电作者:黄师傅)价差到底有多少,和浮动系数
2023年12月13-14日,由绿色计算产业联盟(GCC)、边缘计算产业联盟(ECC)联合主办,中国电子工业标准化技术协会协办的“2023计算产业生态大会(CIEC2023)”在北京圆满举办。2023计算产业生态大会现场工业和信息化部电子信息司、科技司领导出席了主论坛。绿色计算产业联盟(GCC)理事长、中国科学院梅
3月21日,国家发展改革委发布做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求。国家发展改革委等部门关于做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求的通知发改高技〔2024〕351号各省、自治区、直辖市及计划单列市、新疆生产建设兵
北极星电力软件网获悉,1月16日,工信部国家发改委印发《制造业中试创新发展实施意见》,其中明确,到2025年,我国制造业中试发展取得积极进展,重点产业链中试能力基本全覆盖,数字化、网络化、智能化、高端化、绿色化水平显著提升,中试服务体系不断完善,建设具有国际先进水平的中试平台5个以上,中
“10千伏古楼154线东干渠开关跳闸馈线自动化(FA)动作,故障区间定位为图示位置,请查收并尽快处理。”1月3日7时36分,安徽宣城供电公司配网运维人员计小荣的手机上收到一条来自“配自移动主站”APP推送的信息。随后,计小荣和同事们快速高效地排除了这起故障。宣城市目前共有10千伏配电网架空线路119
北极星电力软件网获悉,12月18日,江苏省工业和信息化厅发布关于2023年度江苏省工业软件优秀产品和应用解决方案拟推广名单公示。新能源AI工业互联网平台、国产化自主可控多级新能源集控及智慧运维平台等多个电力软件产品上榜。原文如下:根据《省工业和信息化厅关于征集2023年工业软件优秀产品和应用解
北极星电力软件网获悉,12月15日,徐汇区科学技术委员会发布关于印发《徐汇区关于支持人工智能大模型发展的若干意见(试行)》(以下简称《意见》)的通知。《意见》指出,鼓励相关创新主体围绕基础理论、核心算法、基础软件、智能芯片、软硬适配等关键领域展开技术攻关,重点提升大模型设计构建、训练
北极星电力软件网获悉,12月12日,安徽省人民政府发布关于印发《支持首台套重大技术装备首批次新材料首版次软件发展若干政策》(以下简称《若干政策》)的通知。《若干政策》指出,发布推广应用目录。对经评定的“三首”产品,明确评定有效期。按功能特点、服务领域定期发布并动态调整《安徽省“三首”
2023年12月1日,国网信通股份中电启明星自主研发的信创容器云平台(SKE)凭借鲲鹏信创生态、自主安全可控等优势入选《2023绿色计算产业联盟绿色计算最具价值解决方案》示范案例集。这是对国网信通股份中电启明追求卓越、坚持技术创新的激励和认可。2022年9月,国资委发布79号文件,明确规定了信创替换
北极星电力软件网获悉,11月9日,重庆市经济和信息化委员会发布关于公布《2023年度重庆市工业软件等相关软件产品和软件公共服务平台名单》的通知。火电环保智能助手/环保智能助手系统、智慧矿山管控平台V2.0等多项电力软件产品上榜。原文如下:渝经信软件〔2023〕28号重庆市经济和信息化委员会关于公布
近日,贵州电网公司开发的“黔电小智”行政综合服务APP在eLink工作台上线应用,实现了综合后勤保障业务流程全部线上流转,以业务流程的数字化、透明化、规范化全面提升后勤服务效率。据悉,“黔电小智”行政综合服务APP是贵州电网公司结合综合后勤保障业务实际,围绕六大核心功能模块开发并通过eLink工
北极星电力软件网获悉,11月23日,中华人民共和国工业和信息化部发布2023年度先进计算典型应用案例名单公示。电力智慧物联柔性交互平台、煤矿智能煤流监控管理系统(内蒙古马泰壕煤矿应用)、云边协同的综采智能化系统等案例上榜。原文如下:2023年度先进计算典型应用案例名单公示根据《工业和信息化部
特变电工新疆新能源股份有限公司为应对新能源业务快速发展,以提供决策依据、降低投资风险、优化项目设计、提高项目开发效率、自主研发的用于新能源项目收益测算的软件“小特测算“上线啦。“小特测算”的简介:“小特测算”是基于特变电工自有技术平台TB-eCloud进行研发,使用大数据算法模型,结合各
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!