登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
云计算(Cloud Computing)是由分布式计算(Distributed Computing)、并行处理(Parallel Computing)、网格计算(Grid Computing)发展来的,其最基本的概念,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。透过这项技术,网络服务提供者可以在数秒之内,达成处理数以千万计甚至亿计的信息,达到和“超级计算机”同样强大效能的网络服务,是一种新兴的商业计算模型。
云计算的核心技术
云计算系统运用了许多技术,其中以编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术最为关键。
(1)编程模型
MapReduce是Google开发的java、Python、C++编程模型,它是一种简化的分布式编程模型和高效的任务调度模型,用于大规模数据集(大于1TB)的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想是将要执行的问题分解成Map(映射)和Reduce(化简)的方式,先通过Map程序将数据切割成不相关的区块,分配(调度)给大量计算机处理,达到分布式运算的效果,再通过Reduce程序将结果汇整输出。
(2) 海量数据分布存储技术
云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式存储的方式存储数据,用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。
GFS即Google文件系统(Google File System),是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统,是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。
一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成,并被许多客户(Client)访问。主服务器存储文件系统所以的元数据,包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动,如块租约(lease)管理,孤儿块的垃圾收集,块服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信,给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储,每份数据在系统中保存3个以上备份。
客户与主服务器的交换只限于对元数据的操作,所有数据方面的通信都直接和块服务器联系,这大大提高了系统的效率,防止主服务器负载过重。
(3) 海量数据管理技术
云计算需要对分布的、海量的数据进行处理、分析,因此,数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase。
BT是建立在GFS, Scheduler, Lock Service和MapReduce之上的一个大型的分布式数据库,与传统的关系数据库不同,它把所有数据都作为对象来处理,形成一个巨大的表格,用来分布存储大规模结构化数据。
Google的很多项目使用BT来存储数据,包括网页查询,Google earth和Google金融。这些应用程序对BT的要求各不相同:数据大小(从URL到网页到卫星图象)不同,反应速度不同(从后端的大批处理到实时数据服务)。对于不同的要求,BT都成功的提供了灵活高效的服务。
(4)虚拟化技术
通过虚拟化技术可实现软件应用与底层硬件相隔离,它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等,计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。
(5)云计算平台管理技术
云计算资源规模庞大,服务器数量众多并分布在不同的地点,同时运行着数百种应用,如何有效的管理这些服务器,保证整个系统提供不间断的服务是巨大的挑战。
云计算系统的平台管理技术能够使大量的服务器协同工作,方便的进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现大规模系统的可靠运营。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,中国基本建设优化研究会联合远光软件等企业共同起草的三项信创相关团体标准正式发布,包括《信息技术应用创新经营管理系统数据管理技术规范》、《信息技术应用创新数据安全通用技术要求》以及《信息技术应用创新云计算基础设施即服务(IaaS)通用技术要求》。这三项标准的发布,彰显了远光软件在
4月18日,浙江台州与法国电力集团共同打造的智能微电网示范工程开工。这不仅是台州市首个“光储充放+园区能源管理系统”低碳园区项目,更是首个“车网互动”的园区示范场景。同时,该项目也是法电集团在国内的第一个光储充一体化项目。据悉,园区总建筑面积34万平方米,项目主要由光伏系统、储能系统、
3月11日,由国网信息通信产业集团有限公司所属天津市普迅电力信息技术有限公司支撑建设的碳服务管理应用——“高新碳云”平台在安徽合肥高新技术产业开发区发布。合肥高新技术产业开发区是国家发展改革委发布的全国首批10个碳达峰试点园区之一。为更好助力园区绿色低碳转型,天津普迅公司联合合肥供电
2月26日,国网山东聊城供电公司联合国家税务总局聊城市税务局发布了山东省聊城市2023年“税电指数”。2023年,聊城市“税电指数”为105.6,连续6个月实现正增长;全市18个主要行业门类中,高于“荣枯线100”的行业有15个;分区域看,5个县(市、区)“税电指数”高于全市平均值……数据反映出聊城市经
北极星电力软件网获悉,近日,福建省发改委等7部门关于印发外贸出口优势产业提升行动方案(2024—2025年),其中指出,进一步优化外贸结构,推动电动载人汽车、锂离子蓄电池、太阳能电池等“新三样”产品和纺织鞋服、钢铁有色、电子信息、特色农产品等传统优势产品扩大出口。原文如下:福建省发展和改
#tabs1.swiper-container{height:500px;overflow:hidden;}#tabs2.swiper-container{height:450px;overflow:hidden;}#tabs3.swiper-slide{float:left!important;}.lmNav{width:100%;height:100px;box-shadow:05px15px0rgba(10,76,181,0.20);text-align:center;border-bottom:1pxsolid#D6DFEA;}.lmNavu
据美国能源信息署发布的报告,过去几年与美国加密货币采矿业务相关的电力需求增长非常迅速。初步估计表明,加密货币挖矿的年用电量可能占美国用电量的0.6%至2.3%。(文章来源微信公众号:国际能源小数据ID:gh_fcc26c741888)这种额外的用电量引起了政策制定者和电网规划者的注意,担心其对电力成本、
北极星电力软件网获悉,2023年,成都超算中心用户数量同比增长50%,达到1280家;服务范围覆盖全国45座城市,综合资源利用率大幅提升。据介绍,成都正构建超算智算云计算边缘计算一体的算力供给体系。在供给端,不断推动算力扩容提质,把算力基础设施作为城市重要的数字底座;在需求端,深入推进算力赋
北极星电力软件网获悉,1月30日,上海市人民政府印发支持浦东新区等五个重点区域打造生产性互联网服务平台集聚区若干措施。其中提到,到2025年,引领区服务平台交易规模突破7000亿元,引育50家标杆平台企业,建设形成“千亿平台、千万品类、千企上云、百项服务”,大宗商品千亿级交易服务平台能级提升
北极星电力软件网获悉,1月11日,天津市工信局发布开展网络安全技术应用试点示范工作的通知。基础网络安全、云计算安全、人工智能安全、大数据安全、信创安全、商用密码、车联网安全、物联网安全、中小企业数字化转型安全、网络安全共性技术、网络安全创新服务、教育技术产业融合发展联合体、网络安全
政府专项债作为项目投资来源的重要组成部分,对有效带动全社会投资也具有十分重要的作用。2023年政府专项债券投向领域增加了新型基础设施一个大类,具体分为市政、公共服务等民生领域信息化,云计算、数据中心、人工智能基础设施,轨道交通、机场、高速公路等传统基础设施智能化改造,国家级、省级公共
以创新智能配电技术,助力能源互联网技术发展为主题的2018年中国配电技术高峰论坛于8月23日在北京中国科技会堂隆重召开。本次高峰论坛由国家电网有限公司运检部指导,中国电力科学研究院有限公司和中国电力企业联合会科技开发服务中心主办,华为技术有限公司、中国能源研究会电能技术专委会协办,全国
10月18日,国网冀北电力有限公司海量平台分布式实时计算组件正式上线。海量平台分布式实时计算组件是国网一体化平台年度重点建设任务,国网冀北电力作为唯一试点单位,结合海量平台V3.0和海量平台深化应用建设的试点经验,积极推进海量平台分布式实时计算组件研发应用工作。随着海量平台的持续深化应用
第八届中国R语言会议(北京)于2015年6月6-7日在北京大学举办。大会自诞生以来已成功举办七届,七年来以服务统计学和数据科学研究应用为己任,使会议由最初的R语言爱好者的聚会发展到数据科学领域举足轻重的盛会。本届R语言会议盛况空前,来自国内外学界和商界众多重量级嘉宾受邀参会,并发表重要演讲,
9月19日获悉,国家电网有限公司信息通信分公司牵头,与国家电网有限公司客户服务中心、国网信通产业集团北京中电普华信息技术有限公司等单位完成了“网上国网”系统数据库的优化升级,实现了公司关键业务系统的国产化数据库替换和系统数据全面上云。“网上国网”系统是公司官方统一线上服务门户,目前
为贯彻落实党中央、国务院部署,深入落实《加快构建碳排放双控制度体系工作方案》《关于加快建立产品碳足迹管理体系的意见》要求,近年来工业和信息化部电子信息司积极推动深化光伏行业供给侧结构性改革,加快推进建立光伏行业产品碳足迹管理体系,促进产业智能化、绿色化转型升级。2024年8月23日,工
6月4日,国家生态环境部、国家发展改革委等15部门联合印发《关于建立碳足迹管理体系的实施方案》,明确到2027年,碳足迹管理体系初步建立。制定发布与国际接轨的国家产品碳足迹核算通则标准,制定出台100个左右重点产品碳足迹核算规则标准,产品碳足迹因子数据库初步构建,产品碳足迹标识认证和分级管
海浪拍打着海岸,溅起朵朵浪花。4月28日,一艘艘钢铁巨轮停靠在东北地区最大的造船码头——中国船舶集团大连船舶重工集团有限公司(以下简称“大连造船”)码头旁,工人们正加紧开展设备安装、系统调试、涂装等舾装作业。当天,辽宁大连供电公司“辽·亮”服务万里行专班的3名班员前来走访,与大连造船
北极星储能网获悉,3月4日,江苏省发展改革委等部门发布关于印发江苏省产品碳足迹管理体系建设实施意见的通知。意见提出,到2025年,出台若干重点产品碳足迹核算规则和标准,力争完成400个产品碳足迹核算工作,电池、光伏、钢铁等重点行业碳足迹背景数据库初步搭建,省级产品碳足迹公共服务平台启动运
在“双碳”目标背景下,汽车电动化、能源消费电力化、电力生产清洁化是实现目标的最核心实施路径。未来新型电力系统中,以风电、光伏为代表的可再生能源占比将大幅提升,电力行业将实现深度低碳、零碳。同时,工业、交通和建筑等部门的用电需求进一步增加,全社会电气化水平持续提升,低碳电力将推动消
国家市场监管总局6月13日发布的《关于加强计量数据管理和应用的指导意见》指出,完善碳排放领域计量数据建设和应用,研究建立碳计量标准参考数据库,加强重点用能单位能耗在线监测系统建设,推动能源计量数据与碳计量数据的有效衔接和综合利用。市场监管总局办公厅关于加强计量数据管理和应用的指导意
3月3日,在河南省许昌市建安大道,国网许昌供电公司配网工作部关韵启、王威等工作人员利用地下管线探测仪、坐标高程测绘仪等设备对10千伏春25龙湖湾线地下电力管线及附属设施相关数据进行收集,掌握电力管线基础信息,为该公司地下电力管线数据库建设提供数据支撑。许昌城区现有电缆820.9公里,电缆化
北极星电力软件网获悉,3月2日,国家市场监督管理总局、工业和信息化部发布关于开展新能源汽车动力电池梯次利用产品认证工作的公告。文件提出,工业和信息化部、市场监管总局建立获证梯次利用产品采信应用数据库,并向社会公开。工业和信息化部鼓励符合条件的生产获证梯次利用产品的企业申请认定为专精
目前全球气候变暖仍在加剧,CO2是主要的温室气体,森林土壤作为陆地生态系统最大的碳库而备受关注,精确估算森林土壤碳排放可为评估碳收支提供科学基础,服务于我国碳达峰、碳中和战略目标的实现。中科院植物所许振柱研究组收集整理568篇已发表的文献资料,运用数字化软件WEBPLOTDIGITIZER进行数据提取
北极星售电网获悉,山东省发改委等21部门联合发布关于印发《全省“两高”行业监督检查体系建设方案》《全省“两高”行业电子监管平台建设方案》《全省“两高”行业能效改造升级实施方案》的通知。其中在《全省“两高”行业电子监管平台建设方案》中提到,以全省16个“两高”行业排查摸底结果为基础,建
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!