登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
处理海量数据大数据的技术,现今最火红的则非Hadoop莫属了喔!
根据Hadoop的创办人Doug Cutting所言“Hadoop”就只是帮一只黄色的填充大象取的名字而已,没有什么特别的意思纯粹只是好记而已。而Hadoop技术的诞生则是因为因特网数据的爆炸性成长,传统的文件系统无法负荷储存跟分类,从而根据Google搜寻器的相关的学术论文为蓝图,演变成一套如何储存、处理、分析TB(Tera Bytes)甚至PB(Peta Bytes)等级的数据处理方法。
Hadoop是百分之一百免费由Java程序语言所编写的Open Source,一种从根本结构上与现存技术不同且先进的储存、处理、分析海量数据的技术,执行Hadoop使用者无须仰赖昂贵的或是具有专利的软硬件平台,Hadoop可以在便宜且工业规格化的服务器群上执行平行数据处理以及分析,有了Hadoop没有什么数据量是过大的,在现今资料量爆炸的时代企业、学术、政府等组织可以利用从之前被认为是无用的资料找出从来没被发现的参考价值。
Hadoop基本上可以处理任何数据型态,不论是结构化或是非结构化,log纪录文件、照片、声音、通讯纪录或是电子邮件。不管是什么数据你都可以汇入HadoopCluster并且不用作任何前处理,它就会帮你回答你从来不曾想过的问题!Hadoop把看似毫无关联的资料背后所隐含的讯息呈现出来,用户便可以根据更多的参考资料做出对应决策了。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
8月29日,由中国电机工程学会电力信息化专业委员会与中国能源研究会能源大数据专业委员会联合举办的“第七届电力大数据协同创新论坛”在贵阳召开。论坛以“激活数据新动能,赋能新质生产力”为主题,旨在推进算力、算法、数据及应用资源的集约化与服务化创新,助力电力行业的数字化升级和产业转型。紫
《国家工业节能技术应用指南与案例(2021)》之七:智慧能源管控系统技术
2019年6月25日,国家能源集团国电电力正式发布了《新能源区域公司智慧企业建设标准》,该标准填补了国内新能源发电领域智慧企业建设标准的空白。国电新疆新能源积极响应,根据该标准内关于区域远程集控中心建设的要求,开启“远程集中监控、区域巡检维护、现场无人值班、统一规范管理”的新能源管理模式的建设。采用用友能源“互联网+”的智慧新能源的技术架构,快速实现远程集中监控系统实施并顺利上线。
人工智能(AI)被普遍认为是开启第四次工业革命大门的钥匙。每一次工业革命都意味着社会生产力的巨大变革,第四次工业革命必然将再一次广泛而深远地影响人类的生产和生活方式,这种影响甚至是颠覆性的。食物、能源和水是人类赖以生存与发展的基础,在庞大的人口压力下,食物危机、能源危机和水危机不断
我们在进行推进两线两化的战略,推进一体化大型清洁能力基地建设,加快发展步伐,促进企业转型升级,在三北地区以特高压送出通道为依托,着力布局有较强竞争力的风光煤电输用一体化清洁能源基地。——中国华能集团清洁能源技术研究院有限公司海上风电部副所长潘霄峰为快速适应新形势下发展要求,精准把
本轮疫情中,云大智物移(云计算、大数据、人工智能、物联网、移动通信)等现代信息通信技术发挥了重要作用,也充分体现了“科技向善”的积极意义,那么本轮科技抗疫有哪些方面的内容,对能源数字化有什么启示,今天我们做个简单分析。(来源:微信公众号“鱼眼看电改”作者:俞庆)科技抗疫的主要内容
本轮疫情中,云大智物移(云计算、大数据、人工智能、物联网、移动通信)等现代信息通信技术发挥了重要作用,也充分体现了“科技向善”的积极意义,那么本轮科技抗疫有哪些方面的内容,对能源数字化有什么启示,今天我们做个简单分析。(来源:微信公众号“鱼眼看电改”作者:俞庆)科技抗疫的主要内容
2019年11月22日,由中国信息协会主办的第9届中国能源企业信息化大会在南京召开。国家能源局原副局长张玉清、中国信息协会会长何翠芹等出席会议并致辞。张玉清指出,当前时代全球能源生产消费革命蓬勃兴起,能源科技创新在其中发挥着核心引领作用,从系统层面开展多学科交叉的全价值链创新,已经成为能
2019年初,国家电网公司党组以习近平新时代中国特色社会主义思想为指导,深入贯彻落实“四个革命、一个合作”能源安全新战略,顺应能源革命和数字革命融合发展趋势,创造性地提出了“三型两网、世界一流”的战略目标。其中,“三型”是指枢纽型、平台型、共享型企业,围绕产业属性、网络属性、社会属性
2019年初,国家电网公司党组以习近平新时代中国特色社会主义思想为指导,深入贯彻落实“四个革命、一个合作”能源安全新战略,顺应能源革命和数字革命融合发展趋势,创造性地提出了“三型两网、世界一流”的战略目标。其中,“三型”是指枢纽型、平台型、共享型企业,围绕产业属性、网络属性、社会属性
2019年初,国家电网公司党组以习近平新时代中国特色社会主义思想为指导,深入贯彻落实“四个革命、一个合作”能源安全新战略,顺应能源革命和数字革命融合发展趋势,创造性地提出了“三型两网、世界一流”的战略目标。其中,“三型”是指枢纽型、平台型、共享型企业,围绕产业属性、网络属性、社会属性
6月5日是世界环境日,今年的主题是“美丽中国我先行”。在风能、太阳能富集的新疆大地上,一条条银线穿越戈壁沙漠,一座座铁塔屹立天山南北,新疆超特高压电网建设不断助力“风光”变绿电,以实际行动书写着新时代“绿水青山就是金山银山”的生动实践。构建“绿电大通道”近年来,新疆加快新能源基地建
6月5日,宁夏银川市人民政府办公室关于印发《银川高新区高质量发展实施方案(2025—2027年)》的通知。文件指出,积极招引动力电池、风机叶片、光伏组件等“新三样”及算力服务器等拆解回收利用项目,鼓励发展“互联网+回收”模式,强化全链条数字化监管,推进循环经济产业与合规化、标准化服务体系深
在推进新能源占比不断提升的新型电力系统构建进程中,煤电正经历着历史性的角色嬗变。今年,国家发展改革委、国家能源局联合印发《新一代煤电升级专项行动实施方案(2025#x2014;2027年)》(以下简称《实施方案》),新一代煤电升级专项行动正式启动,旨在推动传统煤电向“清洁降碳、安全可靠、高效调
北极星电力网获悉,五大发电“旗舰”上市公司——华能国际、华电国际、大唐发电、国电电力、中国电力2024年报,披露了未来的发展战略及经营计划。整理如下:华能国际》》》》》一、发展战略华能国际全面贯彻“创新、协调、绿色、开放、共享”的新发展理念,坚持以质量效益为中心,统筹能源安全和绿色发
近日,《广东省促进海洋经济高质量发展条例》已由广东省第十四届人民代表大会常务委员会第十八次会议于2025年5月28日通过,现予公布,自2025年7月1日起施行。文件指出,省、地级以上市人民政府能源等有关主管部门应当加大海洋油气资源勘探开发力度,推进液化天然气等接收及储气设施、配套码头和配套外
为贯彻落实国家能源局《2025年能源工作指导意见》关于“统筹推进新型电力系统建设,推进虚拟电厂高质量发展”的要求,经省发展改革委、省能源局、浙江能源监管办同意,浙江电力市场管理委员会发布了《浙江省虚拟电厂运营管理实施细则(试行)》(以下简称“细则”),对虚拟电厂主体注册、能力认证、变
6月3日,国家发展改革委国家能源局发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定提升措施,促进配电网与分布式新能源协调发展。
北极星售电网获悉,6月3日,国家发展改革委发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见(发改能源规〔2025〕624号)。文件明确,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定
6月3日,国家能源局关于进一步深化电力业务资质许可管理更好服务新型电力系统建设的实施意见发布。文件提到,优化资质许可管理制度。支持电力领域新模式、新业态创新发展,除另有规定外,原则上将分布式光伏、分散式风电、新型储能、智能微电网等新型经营主体纳入电力业务许可豁免范围。合理压减承装(
北极星售电网获悉,6月3日,国家能源局发布关于进一步深化电力业务资质许可管理更好服务新型电力系统建设的实施意见。文件明确,优化资质许可管理制度。支持电力领域新模式、新业态创新发展,除另有规定外,原则上将分布式光伏、分散式风电、新型储能、智能微电网等新型经营主体纳入电力业务许可豁免范
编者按“双碳”战略的实施加速了分布式能源在配电网中的接入,导致配电网运行特性发生深刻变化。同时,分布式能源的不确定性削弱了配电网的实时可观性,难以精准监测其运行状态,由此引发的过载、过压和供电质量下降等问题已严重威胁配电网的安全性和稳定性。传统配电网状态估计方法依赖全面、精确的量
编者按“双碳”战略的实施加速了分布式能源在配电网中的接入,导致配电网运行特性发生深刻变化。同时,分布式能源的不确定性削弱了配电网的实时可观性,难以精准监测其运行状态,由此引发的过载、过压和供电质量下降等问题已严重威胁配电网的安全性和稳定性。传统配电网状态估计方法依赖全面、精确的量
从春晚扭秧歌的机器人,到爆火出圈的DeepSeek,从人形机器人马拉松,到人形机器人格斗大赛,2025年的人工智能(AI)层出不穷、亮点纷呈。有观点认为,中国人工智能正加速驶入“奇点时刻”。人工智能的奇点(AIsingularity)是指一个假想的未来时刻,当人工智能的发展达到了一定程度,它将会快速地自我
在新型电力系统建设加速推进与成本监审的新形势下,重大工程投资管控面临着前所未有的挑战。如何实现投资效益最大化,如何在确保项目管理规范性的前提下,精准高效地控制工程投资,成为电力行业亟待解决的关键问题。南方电网公司积极探索重大工程投资管控的新思路、新方法、新举措,不断推进管理模式创
编者按:5月20日,2025年世界计量日中国主场活动在广州举办。本次活动以“计量顺时代之需,应民生之盼”为主题,由国家市场监管总局主办,广东省市场监管局、南方电网公司承办。自有电网起,便有了电能计量。在我国,电能计量表发展先后历经了感应式电能表、机电一体式电能表、电子式电能表等阶段,电
北极星售电网获悉,5月20日,上海市黄浦区人民政府发布对黄浦区三届人大六次会议第0124号提案的答复。答复文件提出,黄浦将继续扩大建筑楼宇数据采集范围,覆盖能源消耗等全生命周期碳排放数据,依托黄浦双碳平台数据建立公共建筑“碳效码”信息库,鼓励企业申报“碳效码”赋码,整合区内数据资源,支
随着新型电力系统建设的加速推进,源网荷储“协调互动”取代“源随荷动”成为核心特征,给电力系统的调度管理带来了全新挑战。南网总调积极应对挑战,迎难而上,提出了“构建一套管理体系,融入两种管理能力”的总体思路,通过构建云—边两级扁平化协同的管理体系、强化数字化管理能力和新型基层创新共
在韶关生产指挥中心的弧形屏幕前,依托“大瓦特”智能问数功能,一组实时跳动的电能量数据流吸引了所有参会者的目光#x2014;#x2014;近日,南方电网广东电网公司举办“云上计量数智共生”为主题的计量自动化系统3.0(以下简称“计量系统3.0”)创新应用会议,展示计量系统3.0在深化应用阶段取得的丰硕成
北极星储能网获悉,近日,第十七届深圳国际电池技术展览会(CIBF2025)于5月15-17日在深圳盛大举办。比亚迪储能携多款展品亮相,全方位展示其在储能领域的深厚技术积淀与行业引领地位。2025年3月重磅发布的MCCube-TProBESS,搭载比亚迪自研储能专用刀片电池,深度融合CTS超级集成技术。产品创新采用模
人工智能加速新型电力系统构建的实践与思考——以华为数字解决方案为例杨永明(中能传媒能源安全新战略研究院)当前,人工智能(AI)已成为经济增长的新引擎,深刻改变着各行各业的运作方式。在能源电力行业,随着通用算力的飞速发展、算法模型的不断进化和行业数据的不断积累,AI技术的应用已深入到多
第八届数字中国建设峰会期间,国务院国资委集中发布了首批10余个行业30项央企人工智能行业高质量数据集优秀建设成果;首批成立交通物流、绿色低碳、智慧能源等三大行业中央企业数据产业共同体,后续将梯次成立其他重点行业央企数据产业共同体,深化数据资源开发利用和开放共享,以高质量数据集建设赋能
近日,2025能源网络通信创新应用大会在杭州召开,华为政企光领域副总裁刘利春发表了“以光促算,AI时代基于fgOTN的电力通信网”主题演讲。他表示,随着加速建设新型电力系统以及大模型的普及部署,电网需构建主配一体的通信目标网,为海量数据和大模型间提供确定性入算联接,提升电网调控水平,实现以
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!