登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
数据存储层
数据有很多分法,有结构化,半结构化,非结构化;也有元数据,主数据,业务数据;还可以分为gis,视频,文件,语音,业务交易类各种数据。传统的结构化数据库已经无法满足数据多样性的存储要求,因此在rdbms基础上增加了两种类型,一种是hdfs可以直接应用于非结构化文件存储,一种是nosql类数据库,可以应用于结构化和半结构化数据存储。
从存储层的搭建来说,关系型数据库,nosql数据库和hdfs分布式文件系统三种存储方式都需要。业务应用根据实际的情况选择不同的存储模式,但是为了业务的存储和读取方便性,我们可以对存储层进一步的封装,形成一个统一的共享存储服务层,简化这种操作。从用户来讲并不关心底层存储细节,只关心数据的存储和读取的方便性,通过共享数据存储层可以实现在存储上的应用和存储基础设置的彻底解耦。
数据处理层
数据处理层核心解决问题在于数据存储出现分布式后带来的数据处理上的复杂度,海量存储后带来了数据处理上的时效性要求,这些都是数据处理层要解决的问题。在传统的云相关技术架构上,可以将hive,pig和hadoop-mapreduce框架相关的技术内容全部划入到数据处理层的能力。原来我思考的是将hive划入到数据分析层能力不合适,因为hive重点还是在真正处理下的复杂查询的拆分,查询结果的重新聚合,而mapreduce本身又实现真正的分布式处理能力。mapreduce只是实现了一个分布式计算的框架和逻辑,而真正的分析需求的拆分,分析结果的汇总和合并还是需要hive层的能力整合。最终的目的很简单,即支持分布式架构下的时效性要求。
数据分析层
最后回到分析层,分析层重点是真正挖掘大数据的价值所在,而价值的挖掘核心又在于数据分析和挖掘。那么数据分析层核心仍然在于传统的bi分析的内容。包括数据的维度分析,数据的切片,数据的上钻和下钻,cube等。数据分析我只关注两个内容,一个就是传统数据仓库下的数据建模,在该数据模型下需要支持上面各种分析方法和分析策略;其次是根据业务目标和业务需求建立的kpi指标体系,对应指标体系的分析模型和分析方法。解决这两个问题基本解决数据分析的问题。
传统的bi分析通过大量的etl数据抽取和集中化,形成一个完整的数据仓库,而基于大数据的bi分析,可能并没有一个集中化的数据仓库,或者将数据仓库本身也是分布式的了,bi分析的基本方法和思路并没有变化,但是落地到执行的数据存储和数据处理方法却发生了大变化。
谈了这么多,核心还是想说明大数据两大核心为云技术和bi,离开云技术大数据没有根基和落地可能,离开bi和价值,大数据又变化为舍本逐末,丢弃关键目标。简单总结就是大数据目标驱动是bi,大数据实施落地式云技术。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
7月21日,湖北省首条10千伏主动平衡馈线——10千伏富岗联二线在襄阳市深圳工业园投运。该线路的投运可解决迎峰度夏期间深圳工业园区用电量大幅增加、线路出现正反向重过载等问题。襄阳供电公司在光伏发电客户侧部署了光伏“四可”装置,在线路上分段累计加装8台250千瓦时储能装置。这些储能装置在白天
北极星售电网获悉,7月22日,青海省能源局发布关于公开征求《青海省虚拟电厂建设与运行管理方案(征求意见稿)》意见建议的公告。文件明确,按照“总体设计、政企协同、试点先行、持续推进”的原则,结合青海省实际情况,推动虚拟电厂建设管理。建立符合技术要求的虚拟电厂运营平台,为虚拟电厂结合省
北极星储能网讯:7月21日,河北省发展和改革委员会公开征求《河北省分布式光伏发电开发建设管理实施细则》意见。文件明确,对于暂无可开放容量地区,若在用户侧加装了可存储分布式光伏发电量的储能设施,通过光储协同,在保证公共连接点及上级220千伏电网不返送、110千伏及以下电网不发生反向重过载、
7月21日,河北省发改委发布关于公开征求《河北省分布式光伏发电开发建设管理实施细则》意见的公告。文件提到,用固定建筑物屋顶及其附属场所建设的容量、电压等级超出第五条规定的光伏发电项目,按集中式光伏电站管理,自由选择三类上网模式;选择自发自用余电上网模式的,自发自用比例不得低于50%。上
北极星售电网获悉,7月21日,河北省发展和改革委员会发布关于公开征求《河北省分布式光伏发电开发建设管理实施细则》意见的公告。文件明确,分布式光伏发电上网模式包括全额上网、全部自发自用、自发自用余电上网三种。其中,全额上网和自发自用余电上网项目,按照河北省有关规定参与市场化交易。涉及
作者:张文杰1任东生2吴宇1芮新宇2刘翔3冯旭宁2卢兰光2单位:1.北京理工大学材料学院2.清华大学车辆与运载学院3.北京航空航天大学材料科学与工程学院引用本文:张文杰,任东生,吴宇,等.基于Li10GeP12S2全固态电池关键材料的热稳定性[J].储能科学与技术,2025,14(6):2193-2199.DOI:10.19799/j.cnki.2095-
近期,多座储能电站获最新进展,北极星储能网特将2025年7月14日-2025年7月18日期间发布的储能项目动态整理如下:蓝晓科技陕西西安用户侧智慧储能项目正式投运7月11日,蓝晓科技用户侧智慧储能项目正式投运。该项目位于西安市高陵区渭阳九路999号蓝晓科技新材料有限公司园区内部。储能总装机0.875MW/1.7
随着户用光伏市场的发展节奏逐渐放缓,众多经销商开始积极探寻新的业务增长点,阳台光伏这一新兴领域由此进入了大家的视野。国内的阳台光伏市场已得到越来越多的关注,呈现出加速崛起的态势。那么,这一市场具有哪些特点呢?商用场景为主,大功率需求显著从已安装的一些项目来看,国内阳台光伏的主要应
当前,我国现有工业园区数量超1.5万个,国家级和省级园区超过2500个,贡献了全国工业产值的50%以上,碳排放量占全国总量的30%以上。作为产业聚集的载体,零碳园区对美丽中国建设和“双碳”目标实现有着重要意义。7月8日,国家发改委、工信部、国家能源局联合发布《关于开展零碳园区建设的通知》,明确
对于全部上网电量即将参与市场交易的分布式光伏,存量和增量项目要区别看待。(来源:微信公众号“黄师傅说电”)存量项目,全额(多数地区)纳入机制电量,而且同地区单个市场主体的实时交易均价与整个地区同类项目的实时交易均价不会相差太大,虽然在新政下收益虽然会被拆分成场内的实时价格结算和场外
近日,浙江省多部委联合印发《浙江省海上风电安全应急管理指导意见》,详情如下:省自然资源厅、省生态环境厅、省建设厅、省交通运输厅、省海洋经济厅、省国资委,省气象局,宁波、温州、嘉兴、舟山、台州市发展改革委(能源局)、应急局,浙江海事局所属各分支局:为贯彻落实省政府关于海上风电“加强
7月16日,中国电力科学研究院有限公司计量科研团队依托该院建立的电力科研仿真环境,开展智慧计量平台研发工作,进行平台全流程数字化模拟与验证,超前识别和优化研发环节,加快平台研发进程。随着大数据、云计算、人工智能等技术的发展,科学研究呈现越来越自动化和智能化的趋势,需要以接近真实的仿
7月18日,国务院新闻办公室举行新闻发布会,介绍2025年上半年工业和信息化发展情况。工业和信息化部总工程师谢少锋,部新闻发言人、运行监测协调局局长陶青,部信息通信发展司司长谢存出席发布会,介绍相关情况并回答记者提问。上半年工业和信息化事业发展态势良好新型工业化加快推进工业和信息化部总
500多家展商800个展位30,000平米展出面积35,000名专业观众一、展会概况深入贯彻落实习近平总书记关于水旱灾害防御和水利基础设施建设的重要指示批示精神,着力推动解决农业小型水利设施老化、塘坝淤塞严重、水渠不畅等问题,提高农业抵御与自然灾害和综合生产能力,全面推进乡村振兴、加快农业水利强省
走进山东能源兖矿智慧制造园区,一栋栋标准化厂房拔地而起,道路两旁的微风发电智慧路灯随风转动,抬眼望去,阳光穿透薄云,洒在成片的深蓝色光伏阵列板上,整个光伏矩阵泛起粼粼波光,从对山林时序的尊重敬畏,升华为对自然节律的精准驾驭。作为山东省重点项目,兖矿智慧制造园区正以绿色低碳发展为引
北极星储能网在天眼查获悉,7月15日,国峰(深圳)软件开发有限公司成立,注册资本5,000万人民币,法定代表人为刘锐。经营范围包含新兴能源技术研发;储能技术服务;软件开发;软件销售;技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广;发电技术服务;电力行业高效节能技术研发;技术进
在河北省怀来县,一座大数据产业基地已然成型。科技感十足的园区内,密集部署的服务器为京津冀的互联网、金融、医疗等企业提供了安全高效的数据存储与计算能力保障。“园区供电设备已验收合格,具备送电条件,服务器随时可以启动。”5月23日,在位于怀来县的阿里云计算数据中心110千伏用户变电站内,张
新能源主导地位凸显——中电联电力行业年度发展报告解读7月10日,中国电力企业联合会(以下简称“中电联”)发布《中国电力行业年度发展报告2025》(以下简称《报告》)。《报告》显示,在2024年电力行业发展中,新能源主导地位持续凸显,绿色低碳转型加速推进。新能源参与市场化交易电量突破万亿千瓦
7月10日,中国电力企业联合会举办新闻发布会,发布《中国电力行业年度发展报告2025》(简称“报告”)。《报告》显示,截至2024年底,全国全口径发电装机容量33.5亿千瓦,同比增长14.6%。其中,并网风电5.2亿千瓦,同比增长18.0%(其中陆上风电4.8亿千瓦,海上风电4127万千瓦);并网太阳能发电8.9亿千瓦,
北极星储能网获悉,近日,中国科学院深圳先进技术研究院发布了关于“储能BMS参数估算算法委托开发公示”的通知。据通知显示,中国科学院深圳先进技术研究院已向南京苏宸人工智能科技有限公司采购储能BMS参数估算算法研究服务,合同总价格为25.5万元人民币。现将服务合同、三方报价单内容予以公示,公示
北极星风力发电网获悉:近日,上纬新材料科技股份有限公司发布公告称,智元机器人掌舵者邓泰华通过旗下持股平台,以每股7.78元的价格协议受让公司29.99%股份及对应表决权,同步启动要约收购计划拟增持1.49亿股。若交易完成,邓泰华将合计控制上纬新材66.99%股权,耗资累计达21亿元。受此消息刺激,上纬
7月10日,中国电力企业联合会举办新闻发布会,中电联秘书长、新闻发言人郝英杰发布《中国电力行业年度发展报告2025》(以下简称“《报告》”)。这是中电联连续20年发布年度发展报告。作为中电联“1#x2B;N”年度系列报告的主报告,《报告》以电力行业统计与调查数据为依据,系统回顾了我国电力行业2024
7月16日至20日,第三届中国国际供应链促进博览会(以下简称“链博会”)在北京成功举办。本届链博会以“链接世界、共创未来”为主题,设立包括清洁能源链在内的六大产业链和一个供应链服务展区。当前,中国已经建成了全球最大、最完整的新能源产业链,全球80%光伏组件和70%的风电关键零部件都由中国生
7月16日,中国电力科学研究院有限公司计量科研团队依托该院建立的电力科研仿真环境,开展智慧计量平台研发工作,进行平台全流程数字化模拟与验证,超前识别和优化研发环节,加快平台研发进程。随着大数据、云计算、人工智能等技术的发展,科学研究呈现越来越自动化和智能化的趋势,需要以接近真实的仿
2025年6月28—30日,随着宁国运灵武100万千瓦光伏项目、宁国运盐池92万千瓦光伏项目、宁东绿科164万千瓦光伏项目、星海新能源平罗100万千瓦光伏项目的陆续并网发电,标志着全国首个省域绿电园区第一批项目建设取得阶段性成果,推动全区可再生能源装机规模历史性突破5000万千瓦、占总装机比重达到60%,
北极星售电网获悉,7月16日,山东发改委发布《山东省零碳园区建设方案》。到2027年,全省建成15个左右省级零碳园区。文件明确零碳园区主要包括以下10方面内容:(一)大力实施新能源和可再生能源电力替代。强化园区与周边光伏、光热、风电、生物质能等发电资源匹配对接,积极有序推进园区及周边新能源
近期,国家电投、广东省电力开发、山西粤电、新疆粤电、湖南红太阳多个岗位招聘,北极星整理如下:国电投新能源科技有限公司(简称“国电投新能源”),前身是中央研究院的产业化全资子公司,负责实施国家电投“高效铜栅线晶体硅异质结光伏电池(C-HJT)研究及量产技术开发”科研课题项目。项目团队不
近日,《中共南方电网公司党组关于深化产业工人队伍建设改革的实施方案》(以下简称《方案》)印发。《方案》是南方电网公司贯彻落实党中央、国务院关于深化产业工人队伍建设改革,推动公司产业工人队伍建设改革向纵深发展的重要举措,提出到2035年,力争培育25名左右大国工匠、25名左右央企工匠、300
7月18日,国务院新闻办公室举行新闻发布会,介绍2025年上半年工业和信息化发展情况。工业和信息化部总工程师谢少锋,部新闻发言人、运行监测协调局局长陶青,部信息通信发展司司长谢存出席发布会,介绍相关情况并回答记者提问。上半年工业和信息化事业发展态势良好新型工业化加快推进工业和信息化部总
受持续高温天气影响,重庆市用电需求激增。记者从国网重庆市电力公司获悉,截至7月17日中午,重庆电网负荷攀升至2852万千瓦,创历史新高。面对严峻的保供形势,国网重庆市电力公司全力确保电网安全稳定运行和电力可靠供应。公司实施24小时不间断监控,依托电力大数据提前分析负荷特性,结合气象信息开
7月11日,贵安供电局在新区供电辖区全面启动工业园区、居民小区“一户一表”改造项目,全力打造全国首个“零转供电”示范区。2024年,贵安供电局在全省率先出台《工业园区供电抄表到户升级改造实施方案》,在贵安综合保税区率先推行企业装表到户,实现从“一园一表”到“一企一表”的升级突破,助力园
2025年11月24-26日,深圳会展中心(福田)将迎来三场国家级环境领域盛会——第三届深圳国际生态环境监测产业博览会(EMIE2025)、深圳国际水务科技博览会(IWTE2025)、国际(深圳)环境技术交流与转移博览会(环交会),三展首次同期同地举办,形成“技术研发-应用落地-国际转移”全产业链闭环,为全球生态环境
近日,海辰储能厦门总部基地工厂与重庆基地工厂双双入选2025年度先进级智能工厂榜单。这一殊荣不仅是对两座工厂在制造高端化、智能化、绿色化发展成果的权威认可,更标志着海辰储能以“智造”为引擎,持续夯实储能新质生产力根基,助力新型储能制造业高质量发展。双厂入选,海辰储能以数智化重构制造竞
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!