登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
数据存储层
数据有很多分法,有结构化,半结构化,非结构化;也有元数据,主数据,业务数据;还可以分为gis,视频,文件,语音,业务交易类各种数据。传统的结构化数据库已经无法满足数据多样性的存储要求,因此在rdbms基础上增加了两种类型,一种是hdfs可以直接应用于非结构化文件存储,一种是nosql类数据库,可以应用于结构化和半结构化数据存储。
从存储层的搭建来说,关系型数据库,nosql数据库和hdfs分布式文件系统三种存储方式都需要。业务应用根据实际的情况选择不同的存储模式,但是为了业务的存储和读取方便性,我们可以对存储层进一步的封装,形成一个统一的共享存储服务层,简化这种操作。从用户来讲并不关心底层存储细节,只关心数据的存储和读取的方便性,通过共享数据存储层可以实现在存储上的应用和存储基础设置的彻底解耦。
数据处理层
数据处理层核心解决问题在于数据存储出现分布式后带来的数据处理上的复杂度,海量存储后带来了数据处理上的时效性要求,这些都是数据处理层要解决的问题。在传统的云相关技术架构上,可以将hive,pig和hadoop-mapreduce框架相关的技术内容全部划入到数据处理层的能力。原来我思考的是将hive划入到数据分析层能力不合适,因为hive重点还是在真正处理下的复杂查询的拆分,查询结果的重新聚合,而mapreduce本身又实现真正的分布式处理能力。mapreduce只是实现了一个分布式计算的框架和逻辑,而真正的分析需求的拆分,分析结果的汇总和合并还是需要hive层的能力整合。最终的目的很简单,即支持分布式架构下的时效性要求。
数据分析层
最后回到分析层,分析层重点是真正挖掘大数据的价值所在,而价值的挖掘核心又在于数据分析和挖掘。那么数据分析层核心仍然在于传统的bi分析的内容。包括数据的维度分析,数据的切片,数据的上钻和下钻,cube等。数据分析我只关注两个内容,一个就是传统数据仓库下的数据建模,在该数据模型下需要支持上面各种分析方法和分析策略;其次是根据业务目标和业务需求建立的kpi指标体系,对应指标体系的分析模型和分析方法。解决这两个问题基本解决数据分析的问题。
传统的bi分析通过大量的etl数据抽取和集中化,形成一个完整的数据仓库,而基于大数据的bi分析,可能并没有一个集中化的数据仓库,或者将数据仓库本身也是分布式的了,bi分析的基本方法和思路并没有变化,但是落地到执行的数据存储和数据处理方法却发生了大变化。
谈了这么多,核心还是想说明大数据两大核心为云技术和bi,离开云技术大数据没有根基和落地可能,离开bi和价值,大数据又变化为舍本逐末,丢弃关键目标。简单总结就是大数据目标驱动是bi,大数据实施落地式云技术。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,思格新能源携手保加利亚可再生能源企业TrakiaMT,成功完成保加利亚南部MalkoTarnovo镇20MWh大型地面光伏储能项目建设。项目坐落于保加利亚与土耳其交界的群山之间,随着光储项目的建成运行,不仅实现了清洁电力在山区的稳定输出,也为提升区域能源独立性和用能安全奠定了坚实基础。拥有“玫瑰之
近日,研究机构EVTank联合伊维经济研究院共同发布了《中国BBU(BackupBatteryUnit)行业发展白皮书(2025年)》。2024年以来,随着AI需求爆发,BBU成为行业热点,多家电池企业针对BBU领域推出全极耳产品,EVTank统计数据显示,2024年全球BBU领域锂电池出货量0.5亿颗。在AI大爆发背景下,传统互联网数据
加快锻造新质生产力推进抽水蓄能产业高质量发展5月28日,水电水利规划设计总院发布《抽水蓄能产业发展报告2024年度》(以下简称《报告》)显示,我国抽水蓄能装机容量连续9年居世界首位,日本、美国分列第二、三位。在“双碳”目标的引领和驱动下,南方电网近年来加大抽水蓄能发展力度,以积极锻造新质
6月5日,阳光电源PowerTitan3.0智储平台全球首发,首台真机在合肥总部智能工厂震撼下线!同时发布了PowerTitan3.0Flex、Class、Plus三大版本,重新定义第三代大容量电芯,并通过全链智能技术再进阶,带来储能全场景全周期“全域”智能体验!Plus版单柜容量12.5MWh,全球最大!能量密度超500kWh/#x33A1;
日前,河南平顶山市政府印发《平顶山市空气质量持续改善实施方案》。方案提出,推进重点行业污染深度治理。全市新建(改扩建)火电、钢铁、水泥、焦化项目要达到超低排放水平。水泥、焦化企业按要求基本完成有组织和无组织超低排放改造。2025年9月底前,钢铁、水泥、焦化企业力争完成清洁运输超低排放
第十八届国际太阳能光伏与智慧能源(上海)大会暨展览会(SNEC)将于6月11日在国家会展中心(上海)开幕,此次参展,东方日升将在5.2H-B180展台带来“全栈融合全链协同”创新“昇”级:●全链融合方案——光储全场景解决方案:推出“组件+逆变器+储能+智慧能源管理”全链贯通的光储全场景解决方案,实现
5月29日17时06分,江苏吴中区太湖街道雷山路与东太湖路交叉口处往西60米一货车运载的磷酸锂电池组起火。消防员立刻同步调派叉车转移起火电池组至安全区域,结合锂电池起火的特殊性最终决定使用“围堰淹没处置战法”快速控制火情,有效避免次生灾害。约半小时后,火势已被控制,一小时后明火已完全扑灭
5月28日,水电水利规划设计总院发布《抽水蓄能产业发展报告2024年度》(以下简称《报告》)显示,我国抽水蓄能装机容量连续9年居世界首位,日本、美国分列第二、第三位。在“双碳”目标的引领和驱动下,南方电网公司近年来加大抽水蓄能发展力度,以积极锻造新质生产力推进产业高质量发展,为“两化”协同
近年来,在国际绿色转型趋势与国内“双碳”目标的驱动下,氢氨醇一体化项目在国内外密集落地。以国内绿氨项目为例,据中国氢能联盟研究院统计,截至2024年底,我国在建的绿氨项目产能约190万吨/年,规划产能约1780万吨/年。氢氨醇一体化是指将风光发电、电解水制氢、绿氨及绿色甲醇合成等多个环节紧密
随着数字经济的加速发展以及生成式人工智能在商业和日常生活中的深入嵌入,支持这些技术的物理基础设施正在经历一场变革性的爆炸式增长。如今,数据中心约占美国总电力消耗的4%。然而,根据麦肯锡的预测,预计到2030年,这一比例将上升到12%,这是由于计算能力、存储需求以及人工智能模型训练的前所未
截至2024年底,中国新能源汽车保有量已达到3140万辆。面对新能源汽车爆发式增长带来的充电基础设施需求压力,储能技术正成为破解充电网络峰谷矛盾的核心突破口。近日,海博思创完成星纪云能(无锡)科技有限公司在上海北翟路超级充电站的储能项目交付,通过精准的峰谷套利策略与智能功率支撑技术,为充
6月3日,国家发展改革委国家能源局发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定提升措施,促进配电网与分布式新能源协调发展。
北极星售电网获悉,6月3日,国家发展改革委发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见(发改能源规〔2025〕624号)。文件明确,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定
5月29日,浙江省制造业高质量发展(数字经济发展)领导小组办公室关于印发《关于促进智算云创新发展的实施意见(2025-2027年)》的通知(浙制高办〔2025〕38号)。其中指出,聚焦制造、医疗、文化、交通、金融、能源、教育等重点行业,深入实施人工智能+行动。鼓励使用智算云通过“公共云+API”的模式
近日,云南省发展改革委依托省级重大项目清单,建立2025年云南省重点民间投资项目库,共纳入382个项目,总投资3456.62亿元,覆盖能源工业、能源以外工业、农业、文化旅游、数字经济、商贸物流、交通、社会事业、生态环保等行业领域。其中包含新安硅材料(瑞丽)有限公司1-4#炉余热综合利用发电项目、临
近日,山东省枣庄市财金控股集团建设的全市首家市级虚拟电厂项目顺利通过山东省电力交易中心公示,这标志着枣庄财金虚拟电厂具备了全面接入国家电网及经营主体的电力调节能力。虚拟电厂项目总投资1.5亿元,目前,虚拟电厂已接入工商业用户、分布式光伏电站、储能电站、充电桩等多元化主体,依托物联网
在电力现货市场全面铺开、需求侧管理政策密集出台的背景下,虚拟电厂正经历从政府邀约向市场化运营的深刻转型。近年来,各地积极开展虚拟电厂的探索实践,推动其应用场景实现裂变式拓展,在促进能源高效利用、提升电力系统灵活性等方面展现出巨大潜力。(来源:北极星售电网作者:北极星)2025年5月23
5月7日,山东分公司济宁电厂与航投云计算科技(西安)有限公司签署新能源项目合作协议。根据协议,双方秉持平等合作、互利共赢原则,充分发挥双方在资源、资金、技术等各方面优势,以“算力+新能源”的方式合作开发新能源发电项目,携手实现绿色低碳高质量发展。
日前,福州发布关于征求《福州市石化化工行业碳达峰实施方案(送审稿)》《福州市钢铁行业碳达峰实施方案(送审稿)》《福州市建材行业碳达峰实施方案(送审稿)》意见的通知。详情如下:关于征求《福州市石化化工行业碳达峰实施方案(送审稿)》《福州市钢铁行业碳达峰实施方案(送审稿)》《福州市建材行
5月16日,宁波杭湾500千伏输变电工程正式投运,至此,宁波超高压变电站数量达到10座,成为继杭州之外,省内第二个超高压变电站达到10座的城市。关于杭湾输变电工程宁波杭湾500千伏输变电工程是国家能源局“十四五”电力发展规划的国家级重点能源类项目,也是宁波首座半户内设计的超高压变电站,标志着
当地时间5月15日,由中国能建葛洲坝三公司承建的境外在建最高面板堆石坝巴基斯坦Mohmnad水电站启动大坝填筑,标志着这项巴基斯坦的旗舰工程进入大坝主体填筑阶段。巴基斯坦水电发展署(WAPDA)相关负责人在启动仪式上表示,Mohmand水电站不仅是巴基斯坦的重要基础设施,更是人民生活质量提升的希望工程
在韶关生产指挥中心的弧形屏幕前,依托“大瓦特”智能问数功能,一组实时跳动的电能量数据流吸引了所有参会者的目光#x2014;#x2014;近日,南方电网广东电网公司举办“云上计量数智共生”为主题的计量自动化系统3.0(以下简称“计量系统3.0”)创新应用会议,展示计量系统3.0在深化应用阶段取得的丰硕成
6月5日,宁夏银川市人民政府办公室关于印发《银川高新区高质量发展实施方案(2025—2027年)》的通知。文件指出,积极招引动力电池、风机叶片、光伏组件等“新三样”及算力服务器等拆解回收利用项目,鼓励发展“互联网+回收”模式,强化全链条数字化监管,推进循环经济产业与合规化、标准化服务体系深
在推进新能源占比不断提升的新型电力系统构建进程中,煤电正经历着历史性的角色嬗变。今年,国家发展改革委、国家能源局联合印发《新一代煤电升级专项行动实施方案(2025#x2014;2027年)》(以下简称《实施方案》),新一代煤电升级专项行动正式启动,旨在推动传统煤电向“清洁降碳、安全可靠、高效调
北极星电力网获悉,五大发电“旗舰”上市公司——华能国际、华电国际、大唐发电、国电电力、中国电力2024年报,披露了未来的发展战略及经营计划。整理如下:华能国际》》》》》一、发展战略华能国际全面贯彻“创新、协调、绿色、开放、共享”的新发展理念,坚持以质量效益为中心,统筹能源安全和绿色发
近日,《广东省促进海洋经济高质量发展条例》已由广东省第十四届人民代表大会常务委员会第十八次会议于2025年5月28日通过,现予公布,自2025年7月1日起施行。文件指出,省、地级以上市人民政府能源等有关主管部门应当加大海洋油气资源勘探开发力度,推进液化天然气等接收及储气设施、配套码头和配套外
为贯彻落实国家能源局《2025年能源工作指导意见》关于“统筹推进新型电力系统建设,推进虚拟电厂高质量发展”的要求,经省发展改革委、省能源局、浙江能源监管办同意,浙江电力市场管理委员会发布了《浙江省虚拟电厂运营管理实施细则(试行)》(以下简称“细则”),对虚拟电厂主体注册、能力认证、变
6月3日,国家发展改革委国家能源局发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定提升措施,促进配电网与分布式新能源协调发展。
北极星售电网获悉,6月3日,国家发展改革委发布关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见(发改能源规〔2025〕624号)。文件明确,支持绿色电力应用。助力绿电接入。各省级能源(电力)主管部门牵头组织开展分布式光伏接入电网承载力评估信息公开工作,组织供电企业针对性制定
6月3日,国家能源局关于进一步深化电力业务资质许可管理更好服务新型电力系统建设的实施意见发布。文件提到,优化资质许可管理制度。支持电力领域新模式、新业态创新发展,除另有规定外,原则上将分布式光伏、分散式风电、新型储能、智能微电网等新型经营主体纳入电力业务许可豁免范围。合理压减承装(
北极星售电网获悉,6月3日,国家能源局发布关于进一步深化电力业务资质许可管理更好服务新型电力系统建设的实施意见。文件明确,优化资质许可管理制度。支持电力领域新模式、新业态创新发展,除另有规定外,原则上将分布式光伏、分散式风电、新型储能、智能微电网等新型经营主体纳入电力业务许可豁免范
编者按“双碳”战略的实施加速了分布式能源在配电网中的接入,导致配电网运行特性发生深刻变化。同时,分布式能源的不确定性削弱了配电网的实时可观性,难以精准监测其运行状态,由此引发的过载、过压和供电质量下降等问题已严重威胁配电网的安全性和稳定性。传统配电网状态估计方法依赖全面、精确的量
一场“智”与“能”的双向奔赴回顾历史,整个人类文明进程始终与能源开发利用紧密相关。如今,能源发展进入资源、环境、气候三重约束期,急需沿着清洁低碳方向进行转型。与此同时,人工智能技术正在蓬勃兴起,加速赋智于千行百业,“‘人工智能+’行动”的字眼更是连续两年见诸全国两会政府工作报告,A
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!