登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
最底层使用了群集系统的windows server,这些server提供了群集服务(Cluster service)。在Cluster Service的基础上可以构建分布式文件系统(Cosmos),同时也支持CIFS和NTFS的文件系统,这使得数据的访问对上面的应用程序是半透明的。Dryad可以处理任务的创建和管理、资源管理、任务监控和可视化、容错、重新执行和调度等工作。有关Dryad系统架构的内容也可以参考IT168 专题文章:
Dryad的技术架构图如下所示:
Dryad技术架构
DryadLINQ
DryadLINQ是一种分布式计算语言,能够将LINQ编写的程序转变为能够在Dryad上运行的程序,它提供一种高级语言接口,使普通程序员可以轻易进行大规模的分布式计算,它结合了微软Dryad和LINQ两种关键技术,被用于在该平台上构建应用。DryadLINQ可以把LINQ程序转化成分布式计算指令,以便运行于PC集群的编译器。这个转化过程可以分解为三个步骤:
1. C#和LINQ数据对象转化为分布式的文件块。
2. LINQ查询转化为分布式Dryad任务。
3. C#方法转化为运行于Dryad任务节点上的代码。
DryadLINQ的具体功能如下
:
1. 声明式编程:计算指令要求使用类似SQL的高级语言进行表示。
2. 自动并行化:DryadLINQ编译器将顺序的声明式代码,转化为分布在大规模计算机集群中高度并行的查询计划。而对于单台机器中多核的使用,DryadLINQ则依赖PLINQ并行框架。
3. Visual Studio集成:程序员在使用DryadLINQ时可以利用VS中大量的高级特性,如智能提示、代码重构、集成调试、构建以及原代码管理。
4. .NET集成:所有的.NET类库,包括Visual Basic,以及各种动态语言都可以自由使用。
5. 类型安全:对分布式计算进行静态检查。
6. 自动序列化:数据传输机制会自动处理所有的.NET对象类型。
7. 任务图的优化?静态:一系列丰富的查询优化规则,可以使查询计划有更好的局部性(locality)及更好的性能。
8. 动态:对已经处理完的数据集进行统计,以此作为运行时的优化查询计划的依据。
Dryad VS MapReduce
Google设计并实现了一套大规模数据处理的编程规范Map/Reduce系统。这样,非分布式专业的程序编写人员也能够为大规模的集群编写应用程序而不用去顾虑集群的可靠性、可扩展性等问题。Map/Reduce通过“Map(映射)”和“Reduce(化简)”这样两个简单的概念来参加运算,用户只需要提供自己的Map函数以及Reduce函数就可以在集群上进行大规模的分布式数据处理。据称,Google的文本索引方法,即搜索引擎的核心部分,已经通过Map Reduce的方法进行了改写,获得了更加清晰的程序架构。
与传统的分布式程序设计相比,MapReduce封装了并行处理、容错处理、本地化计算、负载均衡等细节,还提供了一个简单而强大的接口。通过这个接口,可以把大尺度的计算自动地并发和分布执行,从而使编程变得非常容易。还可以通过由普通PC构成的巨大集群来达到极高的性能。另外,MapReduce也具有较好的通用性,大量不同的问题都可以简单地通过 MapReduce来解决。
Dryad使用Dryad LINQ来进行编程,解决了传统分布式数据库SQL语句功能受限、类型系统受限问题,与此同时解决了MapReduce模型中的计算模型受限和没有系统级优化问题。通过Dryad LINQ,开发人员可以将对象封装、自动并行化、自动序列化合任务图的优化,结合Visual Studio 2010得到了比BigTable +MapReduce更快的联合查询的效率,在开发使用上也更易被.Net平台下的开发人员接受。
Dryad的应用及前景
Dryad也通过分布式计算机网络计算海量数据,运行在Microsoft HPC Pack 2008 SP1之上,需要.NET Framework 3.5 SP1。在应用Dryad上,微软内部比较广泛,如微软AdCenter中的数据分析和Trident项目-一个基于Dryad/DryadLINQ及微软其他一些技术的科研工作流平台。
Trident项目是一个科学工作流控制台,为科学家们提供了一个灵活而强大的方式,可以对大规模的,变化纷繁的数据集进行分析。它提供了可视化工具来创建、管理和分享工作流,并且可以在Windows HPC Server 2008集群上执行这些工作流。Trident基于Dryad/DryadLINQ和WF开发,并提供了WPF和Siverlight两种版本的可视化界面。开发人员还可以扩展Trident,并与Word,SQL Server,Data Service等多种技术进行集成,使Trident的适用范围更为广泛。
云计算的时代即将到来,对于开发者最大的影响就是,如果还像以前一样只和一台计算机和有限的存储打交道已远远不够,以前开发的软件或许只在单机上运行就可以了。但云时代的工程师应该更多的掌握分布式计算的基本原理和开发方法,有能力掌握用于分布式计算的协议或语言,开发出可以运行在几百台、几千台甚至几万台计算机上的应用程序,并用该程序管理分布在不同数据中心的海量存储设备。
总结:
微软推出Dryad的目的也是让开发者们能够在 Windows或者.Net平台上编写大规模的并行应用程序,同时与Google在分布式并行计算领域展开竞争,也可以理解为微软、Google云计算战争下的一个局部战场。不管Dryad对MapReduce的挑战结果如何,对广大的.Net平台下的开发者来说总算是有了Windows平台下的分布式并行计算平台,从无到有、从有到完善是任何事物发展的必经阶段。就目前来说,Dryad平台的出现是微软云计算领域一个重大的技术提升,为微软提供更好的云打下一个坚实的技术基础。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
随着“430”并网节点尘埃落定,不少抢在节点前完成并网的经销商、EPC承包商长舒一口气,但市场的紧张氛围并未消散——距离“531”政策节点不足一月,从资本方到行业龙头,再到中小平台商与经销商,整个分布式光伏行业都笼罩在焦虑之中。变局之下,分布式光伏领域究竟发生了哪些深层次变化?又该如何在
5月9日,北极星太阳能光伏网发布一周要闻回顾(2025年5月5日-5月9日)。政策篇山东136号文实施细则:存量项目机制电价0.3949元/kWh,6月份竞价(征求意见稿)5月7日,山东省发改委发布《山东省新能源上网电价市场化改革实施方案(征求意见稿)》《山东省新能源机制电价竞价实施细则(征求意见稿)》。
IntersolarEurope2025展会期间,思格新能源在慕尼黑BrainlabTower举办盛大发布会,展示其在人工智能、电力电子与能源数字化方面的最新成果。活动现场汇聚了全球500余位合作伙伴、媒体与行业专家,共同见证思格新品与未来战略的发布。思格新能源董事长、CEO许映童在发布会上致辞,回顾了公司快速成长的
2025年5月7日,全球光伏行业顶尖盛会IntersolarEurope在慕尼黑展览中心拉开帷幕,在首日揭晓的PVELTopPerformer评选中,HT-SAAE凭借全链路品控体系与极端环境适应能力,获评2025年度全球“最佳表现”称号。该认证由国际权威机构KiwaPVEL颁发,其测试标准涵盖湿热、机械应力等复杂工况下的长期性能验证
5月8日,在2025年德国慕尼黑太阳能光伏展览会(IntersolarEurope)的现场,TCLSolar与阿联酋知名新能源企业PowerSunSolarEquipmentsTradingLLC(以下简称“Powernsun”)正式签署战略分销协议。根据协议,TCLSolar将向中东、非洲及欧亚地区供应总计300MW高效光伏组件,并授权Powernsun为区域合作伙伴,
近日,陕投集团所属陕西水电自主开发建设的延安青化砭0.599万千瓦、蟠龙0.599万千瓦、柳林0.599万千瓦、冯庄0.599万千瓦,以及西发中兆0.7万千瓦、国际陆港保税物流0.598万千瓦和石泉县经开区等7个分布式光伏项目历经日夜奋战,克服地形复杂、施工周期紧张等挑战,成功实现全容量并网发电,新增装机容
近日,国能日新自研「旷冥」大模型完成了自正式发布以来的首次迭代升级,迎来了「旷冥」2.0版本。本次升级,除了对模型稳定性和整体性能进行优化,更是在技术层面全效升级。首先在大模型技术方面,创新采用了多维度patching注意力机制架构,并显式嵌入了平流、对流方程,构建物理驱动的深度神经网络模
当地时间5月7日至9日,全球规模最大、影响力最深的新能源行业盛会——2025慕尼黑国际光伏展(IntersolarEurope)在德国慕尼黑举行。上海电气电站集团(下称“电站集团”)携太阳能、氢能、多元储能等全矩阵产品及一站式解决方案重磅亮相,与全球能源行业领袖共探清洁能源技术革新与零碳未来。可复制解
为深入贯彻落实国家能源局关于深化提升“获得电力”服务水平、打造现代化用电营商环境的部署要求,近日,湖南能源监管办组织召开2025年供电服务监管工作会议,系统总结2024年供电监管工作成效,部署2025年重点任务。会议通报了2024年12398能源监管热线办理情况及投诉举报典型案例,围绕持续提升供电服
在“双碳”目标与电力市场化改革的双重驱动下,一种无烟囱、无冷却塔,却能调度百万千瓦级资源的“隐形电厂”正在全球崛起——这就是虚拟电厂(VirtualPowerPlant,VPP)。它不生产一度电,却通过算法与数据将零散的分布式光伏、储能、电动汽车乃至空调负荷,编织成一张覆盖全社会的能源互联网。从特斯
5月7日,国能信控公司承建的国能福建连江公司输煤廊道挂轨式智能巡检机器人系统已上线投运一个月,运行状态良好,标志着电厂迈入智能化发展新阶段,打造成为国内火电行业智能化升级的标杆案例,助力连江公司从传统“人防”向“技防”的跨越式升级,推动能源数智化转型发展。该项目基于国能信控自主研发
北极星储能网讯:5月8日,中国华能发布甘肃武威凉州区300MW/1200MWh独立储能电站项目EPC总承包工程招标公告,招标人为武威华景领航电力有限公司。项目位于甘肃武威市凉州区300MW/1200MWh独立储能电站项目位于甘肃省武威市凉州区九墩滩光伏治沙示范园区内,距离武威市中心约52km,周边交通便利。规划建
江苏常州,茅山春意盎然,千米地下深处,盐穴正悄然“变身”。六年前,中国华能在此打造世界首个非补燃压缩空气储能电站,盐穴里的“充电宝”一战成名。而今,华能再闯盐穴储能“无人区”,向建设世界单机功率最大、总容量最大、综合效率最高的压缩空气储能电站发起挑战。今年一季度,在建设团队的日夜
5月9日,南方电网基于全电磁暂态仿真的新能源并网主动支撑大系统仿真研究招标。南方五省区新能源渗透率不断提升,而新能源大量采用了电力电子设备,电力系统惯量水平持续降低,对系统频率安全造成了严重威胁。新能源中大量电力电子设备动作复杂且快速,设备故障前后系统特征变化较大,其电磁暂态过程对
北极星氢能网获悉,5月6日,由陕西化建承建的内蒙古金风绿能化工(兴安盟)有限公司绿氢制50万吨绿色甲醇项目(一期25万吨)气化装置首台转化炉在框架内安装就位,此次1#转化炉的成功吊装,为后续工程打下了坚实的基础。此次吊装的转化炉作为项目汽化装置的重要设备之一,单体重150余吨,安装标高27米
4月末江苏发改委发布新版分时电价政策,其中执行用户范围、分时时段划分、峰谷浮动系数以及分时计价基数这四个与分时电价政策有关的要素均有调整。其中午间谷电和仅交易电价浮动这两点引发了行业内的热议。黄师傅借近4年的10份政策文件,梳理了江苏省分时电价政策的变迁。(来源:微信公众号“黄师傅说
5月6日,国网杭州供电公司“光擎”智脑大模型正式上线。在调度控制中心,方式计划室专职人员沈泽锴打开该公司“电网一张图”的“光擎”页面,输入“江一变1号主变检修,请帮我分析电网风险”指令,“光擎”迅速自主推演了主变检修操作后的拓扑结构,仅用5秒钟,便自动生成了电网风险等级、关联重要敏感
政策引领、市场规范,助力新型电力系统与能源转型中国华能集团有限公司康仕卿陆鹏近日,国家发展改革委与国家能源局联合发布了《电力辅助服务市场基本规则》(以下简称《规则》),标志着我国电力辅助服务市场建设步入崭新阶段,意义重大。电力系统的安全、稳定运行,离不开辅助服务的支撑。《规则》明
北极星储能网获悉,5月8日,四川发改委印发《关于支持加快算电融合发展的实施意见》,文件提出:重点支持在局部电网具备稳定调节能力且电力送出通道受限断面内,加快实施源网荷储一体化算电融合示范项目,重点布局园区级万卡集群以上算力规模。到2027年,在阿坝、甘孜、凉山、雅安、攀枝花(以下简称“
4月29日,中国能建天津电建承建的华能重庆两江燃机电厂二期项目4号机组汽机扣盖完成,为顺利交机奠定了坚实基础。项目位于重庆市两江新区水土高新技术产业园两江国家云计算产业园内,是成渝地区双城经济圈碳达峰、碳中和联合行动重大能源项目。本期建设2台H(J)级燃气-蒸汽联合循环调峰纯凝机组,配
“五一”假期期间,在河北省永清县圆通速递北方总部基地二期项目内,30条全自动分拣线高速运转。恰逢换季与出行游玩高峰期,消费者频繁网购服装、出行装备等商品,这几日,圆通速递北方总部基地的日均操作量高达550万件。“自去年底全自动分拣线投产以来,我们快递的日处理能力提升至1000万件,产能和
远光软件发布半年度业绩报告称,2024年上半年营业收入约10.45亿元,同比减少3.57%;归属于上市公司股东的净利润约5646万元,同比减少37.47%;基本每股收益0.0296元,同比减少37.55%。公司长期服务于国家电网、南方电网、国家电投集团、国家能源集团、华电集团等能源集团的信息化工程建设,深入理解能源
3月21日,国家发展改革委发布做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求。国家发展改革委等部门关于做好2024年享受税收优惠政策的集成电路企业或项目、软件企业清单制定工作有关要求的通知发改高技〔2024〕351号各省、自治区、直辖市及计划单列市、新疆生产建设兵
北极星电力软件网获悉,1月16日,工信部国家发改委印发《制造业中试创新发展实施意见》,其中明确,到2025年,我国制造业中试发展取得积极进展,重点产业链中试能力基本全覆盖,数字化、网络化、智能化、高端化、绿色化水平显著提升,中试服务体系不断完善,建设具有国际先进水平的中试平台5个以上,中
“10千伏古楼154线东干渠开关跳闸馈线自动化(FA)动作,故障区间定位为图示位置,请查收并尽快处理。”1月3日7时36分,安徽宣城供电公司配网运维人员计小荣的手机上收到一条来自“配自移动主站”APP推送的信息。随后,计小荣和同事们快速高效地排除了这起故障。宣城市目前共有10千伏配电网架空线路119
北极星电力软件网获悉,12月18日,江苏省工业和信息化厅发布关于2023年度江苏省工业软件优秀产品和应用解决方案拟推广名单公示。新能源AI工业互联网平台、国产化自主可控多级新能源集控及智慧运维平台等多个电力软件产品上榜。原文如下:根据《省工业和信息化厅关于征集2023年工业软件优秀产品和应用解
北极星电力软件网获悉,12月15日,徐汇区科学技术委员会发布关于印发《徐汇区关于支持人工智能大模型发展的若干意见(试行)》(以下简称《意见》)的通知。《意见》指出,鼓励相关创新主体围绕基础理论、核心算法、基础软件、智能芯片、软硬适配等关键领域展开技术攻关,重点提升大模型设计构建、训练
北极星电力软件网获悉,12月12日,安徽省人民政府发布关于印发《支持首台套重大技术装备首批次新材料首版次软件发展若干政策》(以下简称《若干政策》)的通知。《若干政策》指出,发布推广应用目录。对经评定的“三首”产品,明确评定有效期。按功能特点、服务领域定期发布并动态调整《安徽省“三首”
2023年12月1日,国网信通股份中电启明星自主研发的信创容器云平台(SKE)凭借鲲鹏信创生态、自主安全可控等优势入选《2023绿色计算产业联盟绿色计算最具价值解决方案》示范案例集。这是对国网信通股份中电启明追求卓越、坚持技术创新的激励和认可。2022年9月,国资委发布79号文件,明确规定了信创替换
北极星电力软件网获悉,11月9日,重庆市经济和信息化委员会发布关于公布《2023年度重庆市工业软件等相关软件产品和软件公共服务平台名单》的通知。火电环保智能助手/环保智能助手系统、智慧矿山管控平台V2.0等多项电力软件产品上榜。原文如下:渝经信软件〔2023〕28号重庆市经济和信息化委员会关于公布
近日,贵州电网公司开发的“黔电小智”行政综合服务APP在eLink工作台上线应用,实现了综合后勤保障业务流程全部线上流转,以业务流程的数字化、透明化、规范化全面提升后勤服务效率。据悉,“黔电小智”行政综合服务APP是贵州电网公司结合综合后勤保障业务实际,围绕六大核心功能模块开发并通过eLink工
北极星电力软件网获悉,11月23日,中华人民共和国工业和信息化部发布2023年度先进计算典型应用案例名单公示。电力智慧物联柔性交互平台、煤矿智能煤流监控管理系统(内蒙古马泰壕煤矿应用)、云边协同的综采智能化系统等案例上榜。原文如下:2023年度先进计算典型应用案例名单公示根据《工业和信息化部
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!