登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
MapReduce 是由Google公司开发的一个针对大规模群组中的海量数据处理的分布式编程模型,在处理T级别以上巨量数据的业务上有着明显的优势。与Google的 MapReduce相似,2010年12月21日微软推出了dryad的公测版,Dryad也通过分布式计算机网络计算海量数据,成为谷歌 MapReduce分布式数据计算平台的竞争对手。与 MapReduce不同的是,Dryad是针对运行Windows HPC Server的计算机集群设计的,而且DryadLINQ使用.NET的LINQ查询语言模型。Dryad使.Net程序员可以利用数据中心的服务器集群对数据进行并行处理,这样使得程序员在操作数千台机器时,无需关心并行处理的细节。本文将从Dryad与云计算、Dryad的架构、DryadLINQ、 Dryad同MapReduce的比较、Dryad的应用及前景这五个方面来进行介绍。
Dryad与云计算
云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等计算机技术和网络技术相融合的产物。典型的云计算技术特征可分为虚拟化技术、分布式技术、并行计算/分布式计算、XaaS、WEB X.0、数据存储、网络技术等等。
分布式计算(Distributed Computing)是一门计算机科学,它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。
并行计算(Parallel computing,或称并行处理、平行计算)一般是指许多指令得以同时进行的计算模式。
高性能计算是云计算的特征之一,分布式并行计算是实现高性能计算的关键技术。2004年,谷歌发布了两篇关于MapReduce和分布式文件系统GFS 的研究报告,这两篇报告成为Hadoop的基础。Apache 将Hadoop变为开源项目,雅虎也对Hadoop进行了单独开发。现在,Hadoop是雅虎的在线基础设施的重要支撑,并且已经被Facebook、 Twitter、苹果和微软等科技巨头采用。2008年,微软收购了语义搜索企业Powerset,并将Powerset公司基于Hadoop的相关技术用于必应(Bing)搜索引擎。
Dryad被设计为伸缩于各种规模的计算平台:从单台多核计算机、到由几台计算机组成的小型集群,直至拥有数千台计算机的数据中心。Dryad执行引擎负责处理大型分布式、并行应用程序中会出现的各种难题:对计算机和它们的CPU进行调度,从通信或计算机的失败中恢复,以及数据在节点之间的传递等等。
Dryad的架构
一个Dryad程序员通过使用单向通道来连接并行程序。Dryad系统的总体的构建用来支持有向无环图(Directed Acycline Graph,DAG)类型数据流的并行程序。一个Dryad 任务被表示为一个有向无环图,当发生重要的计算事件时,这些图甚至在执行期间也能发生变化。Dryad Job结构如下图1所示:
Dryad Job结构
Dryad构建在Cluster Service和分布式文件系统之上,它的工作原理是这样的:当用户使用Dryad平台时,任务管理器(Job Manager,JM)获取图之后,便会在程序的输入通道准备完毕,并且有可用机器的时候对它进行调度。JM从命名服务器(Name Server,NS)那里获得一个可用的机器,并通过一个维护进程(daemon,D)来调度这个程序。文件,共享内存,或TCP管道都可以作为程序(节点)之间通信用的通道。在运行过程中可以动态改变图的形状,并得到很好的容错性。在调试的时候,整个图也可以运行在单个系统上。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,为深入了解电力、光伏、农资、碳酸锂等市场现状,并加强对相关工业品价格走势的分析研判,国家发展改革委价格监测中心工业品价格监测处调研组一行于3月17日至19日前往江西省开展实地调研。3月17日下午,调研组在江西委召开座谈会。会议由省发展改革委党组成员、副主任余世华主持,省工业和信息化
为贯彻落实国家能源局关于规范分布式光伏发电开发建设有关要求,进一步加强电网公平开放监管,推动福建省分布式光伏发电健康有序发展,近日,福建能源监管办成立调研组,赴福建省六地市专题调研分布式光伏发电开发建设情况。调研组一行实地查看了部分地区分布式光伏示范项目,组织召开座谈会,听取相关
3月19日,由淮南公司牵头研发的国内首套水系钠离子电池组在220千伏辛东变电站内挂网试运行,标志着这一新型电池技术研发应用迈入实用化新阶段。该电池组由3组128只电池单元并联形成,总容量达66千瓦时,将在变电站内交流供电系统异常时,为保护装置提供不间断后备电源。相较于目前在变电站内广泛使用的
3月24日,华东能源监管局发布关于公开征求《关于进一步提升上海市新能源和新型并网主体涉网安全能力的通知(征求意见稿)》意见的通知。通知指出,国网上海市电力公司应将所有新能源和新型并网主体纳入涉网安全管理范围,存量项目和增量项目以2025年6月1日为节点划分。2025年6月1日以后投产的新能源和
日前,国家能源局发布关于开展电网公平开放专项监管工作的通知,通知指出,天津、河北、山西、内蒙古、吉林、上海、江苏、浙江、安徽、江西、山东、湖北、湖南、广西、云南、陕西、甘肃、青海、宁夏等19个省(区、市)电网企业。监管项目并网时间原则上为2025年3月底前。原文如下:国家能源局关于开展
3月24日,北京市发展和改革委员会关于公布北京市分布式光伏发电项目补贴名单(2025年第一批)的通知。其中,北京2025年第一批法人单位项目共4个,并网规模4555.41千瓦,申报补贴标准为0.03元/千瓦时;北京2025年第一批自然人项目共1634个,申报补贴标准为0.1元/千瓦时,其中不符合列入补贴名单项目并网
3月22日,云南能投发布云南能源投资股份有限公司董事会2025年第三次临时会议决议公告。公告披露,云南能投董事会审议通过《关于投资建设云南省盐业有限公司昆明盐矿分布式光伏发电项目的议案》。该议案同意,云南能投投资建设云南省盐业有限公司昆明盐矿分布式光伏发电项目,直流侧装机容量5.01874MWp
近日,天合光能与港华能源投资有限公司(以下简称“港华能源”)正式达成战略合作,旨在双方将围绕分布式光伏、用户侧储能等清洁能源领域展开深度协同,通过技术融合与场景创新,共同推动绿色能源规模化应用,助力零碳智慧园区及低碳工厂建设,助力双碳愿景迈向规模化落地。聚合优势资源共拓绿色能源新
北极星售电网获悉,3月24日,华东能源监管局发布关于公开征求《关于进一步提升安徽省新能源和新型并网主体涉网安全能力的通知(征求意见稿)》意见的通知。文件明确,对于不满足涉网管理要求的存量项目,集中式新能源和新型并网主体在2025年底前完成改造;10kV及以上分布式新能源和新型并网主体在2026年
北极星售电网获悉,3月24日,华东能源监管局发布关于公开征求《关于进一步提升上海市新能源和新型并网主体涉网安全能力的通知(征求意见稿)》意见的通知。文件明确,国网上海市电力公司应将所有新能源和新型并网主体纳入涉网安全管理范围,存量项目和增量项目以2025年6月1日为节点划分。2025年6月1日
近期,《分布式光伏发电开发建设管理办法》《关于深化新能源上网电价市场化改革促进新能源高质量发展的通知》等重磅政策落地,适应新形势、新要求,进一步推动分布式光伏高质量发展。近年来,安徽省聚焦打造具有重要影响力的新兴产业聚集地,培育了一批光伏企业。2024年,安徽新增光伏发电装机1088万千
近年来,在政策的有力引导下,我国绿证市场呈现出市场交易需求旺盛、规模不断扩大的趋势。但由于我国绿证无法获得国际市场认可,直接导致中国企业减碳成本增加,使得出口型企业面对绿色贸易壁垒时陷入被动,大大削弱中国企业在国际贸易中的竞争力和话语权。今年全国两会,全国人大代表、全国工商联副主
北极星售电网获悉,3月7日,湖南电力交易中心发布调频需求计算说明。文件明确,依据《湖南省电力调频辅助服务市场交易规则(结算试运行)》第二十一条,调控中心应综合考虑负荷预测、新能源功率预测及系统实际运行情况等因素确定系统调频容量需求,市场初期,暂定为负荷预测值最大值的2%~7%。正常情况
北极星储能网获悉,2月18日,湖南省人民政府印发印发《湖南省促进绿色智能计算产业高质量发展若干政策措施》。鼓励算力设施运营机构参与省内电力交易,鼓励和支持绿色智能计算产业相关企业用电大户与大型新能源发电企业对接合作,签订长期合作协议,支持“绿色产业用绿电”“绿电优价支持绿色产业”。
一图读懂|履约保函保险初始额度怎么计算?
2月5日获悉,由北京智芯微电子科技有限公司自主研发的“枢纽”操作系统获得是德科技(KeysightTechnologiesNetherlandsRiscureB.V.)颁发的信息技术安全评估准则EAL5增强级(CCEAL5+)证书。智芯公司成为国内工业操作系统领域首家获得国际CCEAL5+安全认证的公司。这也标志着“枢纽”操作系统在安全性和
一图读懂|履约保函保险初始额度怎么计算?
近日,广东省市场监督管理局发布地方标准《生活垃圾焚烧发电设施能源消耗计算与限额》DB44/T2605—2025。本文件适用于在役生活垃圾焚烧发电设施能耗的计算和能效评价,以及新建、改扩建生活垃圾焚烧发电设施综合能耗水平的控制。本文件不适用于协同处置生活垃圾设施。标准将于2025年4月13日实施。详情
近日,易事特MC6000数据中心5.0新旗舰产品系列成功交付西湖大学,为其高性能计算中心数据机房建设提供坚实底层支撑,赋能西湖大学探索适合中国国情的科研教育体制机制,为中国高科技可持续发展提供强大的引擎和支撑。随着科研模式的发展和演变,研究型大学的计算平台逐渐从支持单一学科向支持通用科学
1月13日,天津市发布《天津市促进先进制造业和现代服务业深度融合发展的实施方案》(津发改服务〔2025〕1号),其中指出,鼓励企业加快云计算、大数据、物联网、区块链等新一代信息技术与制造业融合,加强基础软件和工业软件技术攻关,在智能电网、通信、智能交通等行业加快形成规模化应用。原文如下:
12月18日,中国移动(宁夏中卫)数据中心110千伏变电站进入试运行阶段,标志着宁夏首座云计算企业自建110千伏变电站建成投运。据介绍,中国移动(宁夏中卫)数据中心致力于构建低碳、环保的数字基础设施,引领绿色计算潮流,在现有供电基础上规划建设了输变电项目工程。这次配套工程所敷设电缆是中卫地
9月辽宁电力现货市场试运行一周,为9月1日至9月7日。10月份发行9月用户电费单,不仅包含常规结算账单,还填补了一张退补账单。(来源:微信公众号“黄师傅说电”)在《辽宁现货试运行方案的结算分析》一文中,我们已经说明了辽宁省的现货是运行方案是如何形成用户侧到户电价的。9月份电费发生退补电费
远光软件发布半年度业绩报告称,2024年上半年营业收入约10.45亿元,同比减少3.57%;归属于上市公司股东的净利润约5646万元,同比减少37.47%;基本每股收益0.0296元,同比减少37.55%。公司长期服务于国家电网、南方电网、国家电投集团、国家能源集团、华电集团等能源集团的信息化工程建设,深入理解能源
3月21日,国家发展改革委发布做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求。国家发展改革委等部门关于做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求的通知发改高技〔2024〕351号各省、自治区、直辖市及计划单列市、新疆生产建设兵
北极星电力软件网获悉,1月16日,工信部国家发改委印发《制造业中试创新发展实施意见》,其中明确,到2025年,我国制造业中试发展取得积极进展,重点产业链中试能力基本全覆盖,数字化、网络化、智能化、高端化、绿色化水平显著提升,中试服务体系不断完善,建设具有国际先进水平的中试平台5个以上,中
“10千伏古楼154线东干渠开关跳闸馈线自动化(FA)动作,故障区间定位为图示位置,请查收并尽快处理。”1月3日7时36分,安徽宣城供电公司配网运维人员计小荣的手机上收到一条来自“配自移动主站”APP推送的信息。随后,计小荣和同事们快速高效地排除了这起故障。宣城市目前共有10千伏配电网架空线路119
北极星电力软件网获悉,12月18日,江苏省工业和信息化厅发布关于2023年度江苏省工业软件优秀产品和应用解决方案拟推广名单公示。新能源AI工业互联网平台、国产化自主可控多级新能源集控及智慧运维平台等多个电力软件产品上榜。原文如下:根据《省工业和信息化厅关于征集2023年工业软件优秀产品和应用解
北极星电力软件网获悉,12月15日,徐汇区科学技术委员会发布关于印发《徐汇区关于支持人工智能大模型发展的若干意见(试行)》(以下简称《意见》)的通知。《意见》指出,鼓励相关创新主体围绕基础理论、核心算法、基础软件、智能芯片、软硬适配等关键领域展开技术攻关,重点提升大模型设计构建、训练
北极星电力软件网获悉,12月12日,安徽省人民政府发布关于印发《支持首台套重大技术装备首批次新材料首版次软件发展若干政策》(以下简称《若干政策》)的通知。《若干政策》指出,发布推广应用目录。对经评定的“三首”产品,明确评定有效期。按功能特点、服务领域定期发布并动态调整《安徽省“三首”
2023年12月1日,国网信通股份中电启明星自主研发的信创容器云平台(SKE)凭借鲲鹏信创生态、自主安全可控等优势入选《2023绿色计算产业联盟绿色计算最具价值解决方案》示范案例集。这是对国网信通股份中电启明追求卓越、坚持技术创新的激励和认可。2022年9月,国资委发布79号文件,明确规定了信创替换
北极星电力软件网获悉,11月9日,重庆市经济和信息化委员会发布关于公布《2023年度重庆市工业软件等相关软件产品和软件公共服务平台名单》的通知。火电环保智能助手/环保智能助手系统、智慧矿山管控平台V2.0等多项电力软件产品上榜。原文如下:渝经信软件〔2023〕28号重庆市经济和信息化委员会关于公布
近日,贵州电网公司开发的“黔电小智”行政综合服务APP在eLink工作台上线应用,实现了综合后勤保障业务流程全部线上流转,以业务流程的数字化、透明化、规范化全面提升后勤服务效率。据悉,“黔电小智”行政综合服务APP是贵州电网公司结合综合后勤保障业务实际,围绕六大核心功能模块开发并通过eLink工
北极星电力软件网获悉,11月23日,中华人民共和国工业和信息化部发布2023年度先进计算典型应用案例名单公示。电力智慧物联柔性交互平台、煤矿智能煤流监控管理系统(内蒙古马泰壕煤矿应用)、云边协同的综采智能化系统等案例上榜。原文如下:2023年度先进计算典型应用案例名单公示根据《工业和信息化部
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!