登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
数据存储层
数据有很多分法,有结构化,半结构化,非结构化;也有元数据,主数据,业务数据;还可以分为gis,视频,文件,语音,业务交易类各种数据。传统的结构化数据库已经无法满足数据多样性的存储要求,因此在rdbms基础上增加了两种类型,一种是hdfs可以直接应用于非结构化文件存储,一种是nosql类数据库,可以应用于结构化和半结构化数据存储。
从存储层的搭建来说,关系型数据库,nosql数据库和hdfs分布式文件系统三种存储方式都需要。业务应用根据实际的情况选择不同的存储模式,但是为了业务的存储和读取方便性,我们可以对存储层进一步的封装,形成一个统一的共享存储服务层,简化这种操作。从用户来讲并不关心底层存储细节,只关心数据的存储和读取的方便性,通过共享数据存储层可以实现在存储上的应用和存储基础设置的彻底解耦。
数据处理层
数据处理层核心解决问题在于数据存储出现分布式后带来的数据处理上的复杂度,海量存储后带来了数据处理上的时效性要求,这些都是数据处理层要解决的问题。在传统的云相关技术架构上,可以将hive,pig和hadoop-mapreduce框架相关的技术内容全部划入到数据处理层的能力。原来我思考的是将hive划入到数据分析层能力不合适,因为hive重点还是在真正处理下的复杂查询的拆分,查询结果的重新聚合,而mapreduce本身又实现真正的分布式处理能力。mapreduce只是实现了一个分布式计算的框架和逻辑,而真正的分析需求的拆分,分析结果的汇总和合并还是需要hive层的能力整合。最终的目的很简单,即支持分布式架构下的时效性要求。
数据分析层
最后回到分析层,分析层重点是真正挖掘大数据的价值所在,而价值的挖掘核心又在于数据分析和挖掘。那么数据分析层核心仍然在于传统的bi分析的内容。包括数据的维度分析,数据的切片,数据的上钻和下钻,cube等。数据分析我只关注两个内容,一个就是传统数据仓库下的数据建模,在该数据模型下需要支持上面各种分析方法和分析策略;其次是根据业务目标和业务需求建立的kpi指标体系,对应指标体系的分析模型和分析方法。解决这两个问题基本解决数据分析的问题。
传统的bi分析通过大量的etl数据抽取和集中化,形成一个完整的数据仓库,而基于大数据的bi分析,可能并没有一个集中化的数据仓库,或者将数据仓库本身也是分布式的了,bi分析的基本方法和思路并没有变化,但是落地到执行的数据存储和数据处理方法却发生了大变化。
谈了这么多,核心还是想说明大数据两大核心为云技术和bi,离开云技术大数据没有根基和落地可能,离开bi和价值,大数据又变化为舍本逐末,丢弃关键目标。简单总结就是大数据目标驱动是bi,大数据实施落地式云技术。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
盖房子用的水泥能用来发电,还能当成“电池”储能。东南大学9日发布最新科研成果,该校科研人员研发出仿生自发电-储能混凝土,将高能耗的水泥变为“绿色能量体”,为构建新型能源体系、实现“双碳”目标提供技术助力。统计数据显示,我国建筑全过程能耗占到全国能源消费总量的45%,碳排放量占全国排放
CBC2025第八届中国(国际)生物质能大会议程产业背景当前,我国生物质能产业正迎来重要发展机遇。产业规模持续扩大,大型央企与地方国企的加入为行业注入新活力,推动产业走向规模化、专业化发展。2024年6月24日,国家发展改革委、国家能源局《煤电低碳化改造建设行动方案(2024—2027年)》,其中提到:利
5月7日,2025年德国太阳能暨储能展览会在慕尼黑新国际展览中心盛大召开。固德威以"光储共生"为主题强势登陆,通过创新性产品和解决方案,向全球参展者展示了固德威在光储融合、智慧能源生态构建领域的前瞻布局。构建面向未来的能源生态系统固德威董事长黄敏表示:“作为以使命为驱动的企业,我们正通过
电氢协同的价值是通过电能与氢能的深度耦合,构建电为主体、氢为纽带的新型能源体系,促进新能源消纳,支撑电力系统灵活性日益增长的需求,以及对需要进一步深度脱碳的各用能体系的渗透。——国网上海综合能源服务有限公司副总经理张春雁4月23日,由北极星电力网联合北京碳中和学会共同主办的“2025第
5月7日-9日,2025欧洲智慧能源展(IntersolarEurope)在德国慕尼黑举行。作为全球新能源行业的重要盛会,IntersolarEurope汇聚了全球最先进的新能源技术、制造商、供应商和专家,吸引了来自世界各地的参展商和观众。在此期间,远东储能发布业内首个-45°C超低温设计的PowerSTROM7000E液冷储能集装箱,还
随着欧洲能源转型进程加速和极端天气频发,区域内电网稳定性问题日益突出。当地时间4月28日中午,西班牙和葡萄牙突发大规模停电事故,导致交通、通信、医疗等关键领域陷入混乱,影响范围波及超过5000万民众,周边法国、意大利等国亦受影响。此次停电事件再次暴露了欧洲电网的脆弱性,同时更暴露出欧洲
4月28日,西班牙发生大面积停电,数百万人停电近24小时,在停电前一周,西班牙其实已经经历了数次电涌和停电。频发发生的电力故障问题,引发了人们对于电网稳定性的担忧。此次停电发生后,西班牙电力供应在短时间内暴跌至不足5GW,而储能仅能调节约0.3%的负荷,无法承担平衡电力系统、稳定频率和提供应
北极星储能网获悉,5月8日,四川发改委印发《关于支持加快算电融合发展的实施意见》,文件提出:重点支持在局部电网具备稳定调节能力且电力送出通道受限断面内,加快实施源网荷储一体化算电融合示范项目,重点布局园区级万卡集群以上算力规模。到2027年,在阿坝、甘孜、凉山、雅安、攀枝花(以下简称“
北极星氢能网获悉,近期,甘肃省局主持起草的气象行业标准《气象观测业务购置氢气要求》(QX/T754—2025)正式发布,将于2025年6月1日起实施。标准由省局观测与网络处牵头,气象探测中心、内蒙古和贵州省气象局、兰州资源环境职业技术大学及我省酒泉、陇南、兰州市气象局参与编制。采取购置氢气已成为
136号文(《关于深化新能源上网电价市场化改革促进新能源高质量发展的通知》和394号文(《关于全面加快电力现货市场建设工作的通知》)犹如两道耀眼的闪电划破夜空,照亮了新能源全面入市的道路,吹响了新能源市场化改革的号角,标志着新能源电价机制从“计划电”向“市场电”迈出了最关键的两步,预示
4月28日,全国首个农村配电台区“车网互动”微电网在江苏省成功投运。该项目位于南通市通州区东社镇杨港居,整个微电网系统设有30千瓦的车棚光伏发电装置,4座80千瓦的“V2G”直流充电桩、6座7千瓦的普通充电桩,1台100千瓦时的储能柜和1台STS开关并离网柜。据介绍,该装置通过智慧微网,除满足周边村
4月29日,中国能建天津电建承建的华能重庆两江燃机电厂二期项目4号机组汽机扣盖完成,为顺利交机奠定了坚实基础。项目位于重庆市两江新区水土高新技术产业园两江国家云计算产业园内,是成渝地区双城经济圈碳达峰、碳中和联合行动重大能源项目。本期建设2台H(J)级燃气-蒸汽联合循环调峰纯凝机组,配
“五一”假期期间,在河北省永清县圆通速递北方总部基地二期项目内,30条全自动分拣线高速运转。恰逢换季与出行游玩高峰期,消费者频繁网购服装、出行装备等商品,这几日,圆通速递北方总部基地的日均操作量高达550万件。“自去年底全自动分拣线投产以来,我们快递的日处理能力提升至1000万件,产能和
一季度全国能源供应充足,消费保持增长,供需总体宽松,价格稳中有降,能源生产和用电增速呈现积极信号。在4月28日举行的国家能源局例行新闻发布会上,国家能源局发展规划司副司长邢翼腾表示:“今年一季度,我国能源生产稳步增长,规上工业原煤产量12亿吨,同比增长8.1%;规上工业原油产量5409万吨,
用光伏发出的绿色电能,将水电解成纯度99.99%的氢气;岩洞储氢技术让废弃矿山变身“氢能仓库”;加满氢能的新型公交车,奔驰在街头……湖北省大冶市,曾经矿灯闪烁的工业重镇,一条“制、储、输、加、用”氢能全产业链正加快形成,绿氢绿电点燃绿色转型希望之光。大冶是一座矿冶名城,也是全国首批资源
近年来,随着“东数西算”工程的推进和DeepSeek等人工智能大模型的突破,浙江数据中心行业在技术创新、政策支持和市场需求的多重驱动下发展势头强劲。截至2024年年底,浙江已建成数据中心183个(含智算中心12个、超算中心2个),总体算力规模超每秒12百亿亿次浮点运算,约占全国总量的4%;用电量从2021
4月28日,国家能源局举行新闻发布会,介绍一季度能源形势、一季度可再生能源并网运行情况,解读《国家能源局关于促进能源领域民营经济发展若干举措的通知》《中国氢能发展报告(2025)》,并回答记者提问。发布会上,国家能源局发展规划司副司长邢翼腾回复了2025年一季度用电量增速相关问题。记者:我
北极星储能网讯:4月25日,新型电力系统智能储能与调度优化示范工程(虚拟电厂建设项目)招标公告发布,储能电站本期建设规模为200MW/800MWh,储能系统由40个5MW/20.06MWh储能单元并联组成。利用大数据、云计算、物联网、人工智能等先进技术,构建数字化平台,建设内容为私有云虚拟化轻量云平台、虚拟
一键操作实现核电机组自动化启停,200万组/秒的数据流全天候捕捉设备“生命体征”,核电厂融合通信网络让信息传输驶入高速公路……记者从4月27日举办的第十六届中国国际核电工业展览会上获悉,我国首个核电工业操作系统——中广核“智能核电”正式发布,对我国核电工业智能化转型升级具有重要意义。“
在数字化浪潮席卷全球的今天,数据中心作为数字经济的核心引擎,其重要性日益凸显。科士达携手杭州钢铁集团有限公司(简称“杭钢集团”)合力打造杭钢云计算数据中心(以下简称“杭钢云”),以绿色节能、安全可信的数字经济基础设施,服务于工业互联网、智慧城市、政务云、金融科技等领域,提供云计算
4月25日,中国电力企业联合会发布《2025年一季度全国电力供需形势分析预测报告》。报告全文如下:一季度,电力行业认真贯彻习近平总书记关于能源电力的重要讲话和重要指示批示精神,以及“四个革命、一个合作”能源安全新战略,落实党中央、国务院决策部署,弘扬电力精神,攻坚克难,统筹做好保供电、
为深入贯彻落实自治区十三届十次全会改革有关精神,更好发挥工业互联网、大数据、云计算等新一代信息技术对企业数字化转型的赋能作用,加快提升宁夏回族自治区制造业数字化发展水平,自治区工业和信息化厅研究起草了《宁夏回族自治区工业互联网试点项目管理办法(征求意见稿)》(见附件),现面向社会公开征求
近日,国能日新自研「旷冥」大模型完成了自正式发布以来的首次迭代升级,迎来了「旷冥」2.0版本。本次升级,除了对模型稳定性和整体性能进行优化,更是在技术层面全效升级。首先在大模型技术方面,创新采用了多维度patching注意力机制架构,并显式嵌入了平流、对流方程,构建物理驱动的深度神经网络模
当地时间5月7日,2025年德国慕尼黑光伏储能展览会(IntersolarEurope)在慕尼黑新国际展览中心盛大启幕。作为全球太阳能领域规模最大的顶级盛会,此次展会吸引了超3000家国际企业参展。首航新能源再启海外追光之旅,携重磅新品及全场景智慧光储解决方案闪耀亮相展会,与来自全球同行伙伴及客户共同探索全
“五一”假期期间,在河北省永清县圆通速递北方总部基地二期项目内,30条全自动分拣线高速运转。恰逢换季与出行游玩高峰期,消费者频繁网购服装、出行装备等商品,这几日,圆通速递北方总部基地的日均操作量高达550万件。“自去年底全自动分拣线投产以来,我们快递的日处理能力提升至1000万件,产能和
近日,国能日新自研「旷冥」大模型完成了自正式发布以来的首次迭代升级,迎来了「旷冥」2.0版本。本次升级,除了对模型稳定性和整体性能进行优化,更是在技术层面全效升级。首先在大模型技术方面,创新采用了多维度patching注意力机制架构,并显式嵌入了平流、对流方程,构建物理驱动的深度神经网络模
5月7日,赤峰市市场监督管理局发布《关于征集2025年国家、自治区标准化试点项目的通知》,通知指出,此次申报包含碳排放领域,在重点企业及园区开展碳排放管理体系、产品碳足迹、低碳、零碳园区标准化试点,探索节能降碳的标准化实施路径。内容如下:一、申报原则(一)公开自愿:试点项目面向社会公开
北极星储能网获悉,5月7日,内蒙古自治区工业和信息化厅发布关于征集2025年度工业和信息化领域节能降碳技术装备的通知,征集范围包括高效储能、工业绿色微电网等可再生能源消纳技术。原文如下:关于征集2025年度工业和信息化领域节能降碳技术装备的通知各盟市工业和信息化局,有关科研单位院所、行业协
北极星售电网获悉,4月30日,浙江电力市场管理委员会印发《浙江省虚拟电厂运营管理细则(试行)》,首次系统规范虚拟电厂主体注册、能力认证、变更退出等运营管理全流程,《细则》共11章49条内容,明确了虚拟电厂的定义、准入条件、运营规则及责任分工,构建了涵盖注册接入、能力认证、市场交易、保供
今年“五一”假期期间(5月1~5日),国家电网智慧车联网平台充电量超1.24亿千瓦时,同比增长超20%。其中,高速公路充电量超3771万千瓦时,同比增长超29%;5月1日单日充电服务次数超119万次,创新高。截至5月6日,该平台累计注册用户数超4600万户。为保障“五一”假期期间新能源汽车车主便捷出行,国网
2025年4月,内蒙古电力集团售电量277.23亿千瓦时,同比增长11.95%;区内售电量241.68亿千瓦时,同比增长10.67%;外送电量35.55亿千瓦时,同比增长21.51%,9家盟市供电公司售电量全部实现正增长。售电量与外送电量增速双超10%背后,是各部门和各单位将售电量做为第一指标,紧紧围绕“稳存量、拓增量、挖
《2025年能源工作指导意见》提出“统筹推进新型电力系统建设,推进虚拟电厂高质量发展”。4月30日,浙江电力市场管理委员会印发《浙江省虚拟电厂运营管理细则(试行)》(以下简称《细则》),首次系统规范虚拟电厂主体注册、能力认证、变更退出等运营管理全流程,旨在推动浙江虚拟电厂实现规范化、规
4月30日,《浙江省虚拟电厂运营管理细则(试行)》(以下简称《细则》)正式印发,首次系统明确虚拟电厂从“注册接入-能力认证-运行管理-交易管理-保供管理-退出管理”的全流程闭环管理要求,并依托新型电力负荷管理系统实现资源“可观、可测、可调、可控”,推动虚拟电厂健康运营,助力新型电力系统高
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!