登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
在大数据的“魅力等级”中,生产应用和探索性数据科学沙箱得到了所有的关注。这就是为什么,如果你不是一个大数据专家,您可能已经忽略了数据管理和分析基础设施的“着陆区”中大数据所起的关键作用。
大数据“着陆区”的作用是刻意含糊不清的。它显然不是生产的前端接入以及进行快速查询、进行交互式探索以及建立预测模型并打分的沙箱层。也显然不是存储核心系统参考数据、管理元数据以及实施数据治理标准的生产枢纽层。
但在许多方面,大数据“着陆区”是这些生产和开发系统的基础。
大数据“着陆区”起到了许多关键作用。它是将数据传递至下游的其他操作系统之前从操作系统获得和收集数据的区域,也可能是将数据传递至集线器或前端集市前聚合、匹配、合并、清理、改造以及改进从资源中采集的数据的地方。或者,它可能是以历史档案的形式,存储来自交易、分析或内容管理系统数据的地方。
深入档案
让我们专注于大数据存储的档案。即使某些数据不再支持核心生产应用,这些档案仍对合规、电子取证、安全、诊断以及其他支持性应用程序有价值。
档案的传统定义是不再被应用程序需要的历史数据仓库。很明显,依照这个定义许多档案无情地演变成许多IT商店的大数据平台。
实际上,当档案馆存储来源于各式各样来源的数据且其数据容量增长至拍字节时,档案馆可能是一个组织中第一个含有大数据的数据库。事实上,档案的目的是在需要时为检索及分析保留历史数据,这就意味着,它需要进行优化以便快速查询、搜索和报表。
事实上,可查询存档已经好些时候成为“杀手级别”的大数据应用。电信运营商早已在大规模扩展的存档平台上进行呼叫详细记录分析。安全事故和事件的检测,以及反欺诈应用程序通常需要庞大的数据库以存储和关联从系统级安全性、标识以及其他系统获取的事件数据。许多用于故障排除、诊断和优化的IT日志分析应用都运行在从低TB级别至PB级别的数据库上。全面的顾客、库存、物流及其他趋势的时间序列分析都必须将大量存档数据与从业务系统获取的最新数据进行关联。
完成工作的正确工具
显然,对于如Hadoop这样静态数据平台以及为特定类型数据存档的规模与速度而架构的NoSQL平台来说,可查询存档的作用是不言而喻的。同样,别忘了用来存档结构数据的RDBMS平台。
根据不同的需求,可以针对不同的大数据集部署一个或多个含有已针对数据集优化的底层平台的档案。关键的标准是,已部署档案的大数据平台是否支持查询档案存储及管理的数据且能够快速执行所有预期类型的查询。(作者:周雅编译)
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
2025年3月,全国全行业用电指数为139.5,全行业用电量比2020年基期(以2020年基期为100)增长了39.5%,年均增长6.9%,同比增长4.8%,同比增速比1-2月提高3.2个百分点。3月,农林牧渔业用电指数为180.7,比2020年基期增长了80.7%,年均增长12.6%,同比增长9.9%,同比增速比1-2月提高1.7个百分点。3月,
4月18日,四川省经信厅关于印发《四川省新能源产业链建圈强链工作方案(2025—2027年)》的通知,通知指出,到2027年,主要承载地和协同发展地融合态势基本形成,新能源产业链关键材料、核心技术和装备自主可控水平大幅提升,市场机制、标准体系和管理体制更加健全,链主链核企业规模实力不断壮大,产
截至今年第一季度,广东累计发电装机容量达2.27亿千瓦,同比增长14.1%。广东发电装机电源类型涵盖传统与新兴能源,煤电、气电、水电、核电、风电、光伏、生物质发电、储能电源等多元互补,共同构建了百花齐放的能源格局,使得广东在应对不同能源需求和环境挑战时更具灵活性和稳定性。“风”“生”水起
4月17日,广东省能源局关于做好全省充电基础设施高质量接入广东省电动汽车充电设施智能服务平台的通知。其中明确,全面推进全省公共充换电设施高质量接入。各充换电设施建设运营企业、新能源汽车企业运营的公共充换电设施要按照新版《电动汽车充电设施智能服务平台互联互通接口说明书》要求,全面实现
北极星售电网获悉,4月16日,山西电力交易中心发布关于山西煜明新能源有限公司等3家售电公司被投诉情况的披露。近期,山西电力交易中心陆续收到3宗电力用户实名投诉山西煜明新能源有限公司、山西翔飞能源发展有限公司、小欧大数据服务有限公司的事件,主要投诉内容包括在未告知用户真实意图的情况下向
4月17日,湖北省安陆市公共供水管网漏损治理及智慧水务工程工程总承包(EPC)中标结果公告发布。中移建设有限公司、中国移动通信集团湖北有限公司孝感分公司、武汉市给排水工程设计院有限公司、湖北公众信息产业有限责任公司中标,中标价104988609.2元。建设规模:供水管网压力调控、水表智能化升级改造
北极星储能网获悉,4月16日,广东韶关市人民政府发布关于印发韶关市推进分布式光伏高质量发展行动。文件明确,积极拓宽光伏多元化应用场景。大力推进光伏建筑一体化建设,积极推动光伏与道路交通、5G基站、大数据中心、充电桩等基础设施建设的融合。积极发展以分布式光伏为主的微电网、直流配电网,扩
ABBiCE600智慧能碳管理平台基于ABB集团ABBAbility技术架构开发,是用于能源优化、碳排放管理的专业级工业物联网平台灵活适配私有云和本地数据中心的部署,实现多站点、大数据信息,高并发、高可用能力的能碳管理全方位的网络安全保障,获得公安部信息系统网络安全等级保护三级认证,为客户的能源资产管
4月16日,韶关市人民政府办公室关于印发韶关市推进分布式光伏高质量发展行动方案(2025—2030年)的通知,通知指出,统筹推进分布式光伏建设。继续支持各县(市、区)屋顶分布式光伏有序开发建设工作,综合屋顶资源产权归属、开发难易度、项目成熟度等情况,统筹推进党政机关、学校、医院、大型场馆等
4月16日,丹麦格兰富集团执行副总裁兼水务事业部全球首席执行官HamedHeyhat先生率20人高管团队莅临浙江嘉源和达水务有限公司考察交流,双方围绕二次供水数字化、智慧水务解决方案等展开深度合作探讨,并再次签署战略合作协议。此次会晤,标志着嘉源和达与全球水泵行业领军企业的合作迈入新阶段。当天,
2024年9月,位于昌都市八宿县邦达镇的全球最高海拔风电项目——西藏八宿10万千瓦保障性并网风电项目实现全容量并网。如今,项目已稳定运行半年,在平均海拔5050米、最高海拔5200米极端气候频发的“世界屋脊”上,中车株洲电力机车研究所有限公司(以下简称“中车株洲所”)研制的风电机组以卓越的可靠
我们习惯把属于用户电力资产的部分称为表后,把归属于电网电力资产的部分称为表前。(来源:微信公众号“黄师傅说电”)在表前,也就是公共电网的范围内,电力市场每个交易周期出清交易结果,连接到这个大电网上的电源和负荷都会出清本周期的电量,同时也伴有该周期的价格。基于集中竞价,统一出清的方
电池平衡问题可能会导致您的电池资产停用数周,并使您无法每天达到额定容量,从而浪费您的时间、金钱和效率。在本文中,我们将解释不平衡的电池如何造成金钱损失,展示现代电池管理系统(BMS)如何出错,并向您展示如何使用Zitara进行持续平衡,让平衡问题成为过去。作者:DerekGuthei2024年1月15日什么
北极星售电网获悉,4月17日,山东省东营市发展改革委发布山东省工商业分时电价政策解读,详情如下:山东省工商业分时电价政策解读一、什么是分时电价政策?电能是一种特殊商品,无法大规模存储,生产与消费需要实时平衡,不同用电时段耗用的电力资源不同,供电成本差异很大。在集中用电的高峰时段,电
4月14日,一架无人机从位于河北邢台南和区供电公司东薛屯供电所的机巢中起飞,沿着自主规划的航线巡检为万亩麦田供电的10千伏东里线,实时将拍摄到的影像回传至邢台供电公司无人机全业务作业与管控平台,通过人工智能模型识别照片缺陷,辅助运检人员精准掌握供电线路及设备运行状态。无人机自主航线规
北极星储能网讯:4月17日,海南省发改委发布《关于推进分布式光伏发电高质量发展有关事项的通知》,文件提到,一般工商业分布式光伏发电项目采用自发自用余电上网的,年自发自用电量占发电量的比例不低于50%。采用全部自发自用模式,并在用户侧加装了可存储分布式光伏发电量的储能设施,通过光储协同,
近日,南充市生态环境局拟对南充锂电绿色经济循环综合示范项目环境影响报告书作出批复决定,并对基本情况予以公示。项目位于四川南充经济开发区,占地66680.07m2。项目主要从退役锂离子电池中提取镍、钴、锰、锂等有价金属生产硫酸镍、硫酸钴、硫酸锰、碳酸锂、三元前驱体等高附加值产品。主要建设内容
北极星售电网获悉,4月17日,海南省发展和改革委员会发布关于推进分布式光伏发电高质量发展有关事项的通知(琼发改能源〔2025〕440号),文件提到,一般工商业分布式光伏发电项目采用自发自用余电上网的,年自发自用电量占发电量的比例不低于50%。海南省光伏发展规划以分布式为主,对电力用户负荷发生
在德国Lichtenstein-Unterhausen,一家专业模具制造企业正上演着传统制造业的能源革命。当大多数企业还在为能源成本与环保指标纠结时,KonFormGmbH用科士达BluePulse系列交出了一份亮眼答卷:绿电自发自用、成本效率优化、电网依赖性降低、6个月零故障稳定运行、两天完成系统部署等。这份答卷的背后,
ABBiCE600智慧能碳管理平台基于ABB集团ABBAbility技术架构开发,是用于能源优化、碳排放管理的专业级工业物联网平台灵活适配私有云和本地数据中心的部署,实现多站点、大数据信息,高并发、高可用能力的能碳管理全方位的网络安全保障,获得公安部信息系统网络安全等级保护三级认证,为客户的能源资产管
北极星储能网讯:4月15日,吉林省能源局发布《吉林省新型储能高质量发展规划(2024-2030年)》,明确提出:到2027年新型储能规模不低于100万千瓦,提高电力系统调节能力成效明显,新型储能年等效充放电循环达到300次,为新型电力系统建设提供坚实支撑。到2030年新型储能规模不低于300万千瓦。文件提到
在“双碳”战略纵深推进与全球能源革命浪潮交汇之际,一场重塑中国能源版图的战略性布局在黄河“几字弯”腹地拉开帷幕。4月15日上午,内蒙古鄂尔多斯市达拉特旗人民政府与浙江星辰新能科技有限公司(以下简称“星辰新能”)正式签署总投资30亿元的新能源产业合作协议,共同打造全球首个“双技术路线+智
4月16日,浦东新区人民政府发布对浦东新区政协七届四次会议第101号提案的答复。根据答复文件,浦东新区推进能源领域绿色低碳转型,大力推进光伏项目建设,“十四五”期间计划新建光伏60万千瓦以上,截止2024年底已完成55万千瓦;四是完善企业碳排放核算及信息披露体系,浦东新区共有6家发电行业企业纳入
最近,在国际电信联盟电信标准化部(ITU-T)第20研究组(SG20)、第21研究组(SG21)全体会议于瑞士日内瓦举行之际,国网江苏省电力有限公司在ITU标准创制领域大放异彩,其牵头的一批标准成功获发布或立项,同时有专家首次担任SG20中层职务,以卓越的实力和不懈的努力,书写着属于自己的辉煌篇章。ITU
2025年4月10日-12日,华昱欣携高安全、高收益的全场景光储解决方案亮相第13届储能国际峰会暨展览会(ESIE2025),全面展示其在产品创新、安全设计、智能运维等方面的最新技术成果,以行业领先的产品力和服务水平诠释其构筑绿色价值、助力双碳目标实现的坚定决心。第13届储能国际峰会暨展览会(ESIE2025
近日,国家能源集团“复杂发电工程数字化设计建造关键技术及应用”项目顺利通过中国机械工业联合会组织的科技成果鉴定,该项目开发出完全自主可控的BIMBase图形引擎,实现了引擎及平台的全国产化,完成了在新能源、水电、火电等典型发电工程的示范应用,整体达到国际领先水平,为能源行业数字化转型注
4月8日,北京印发《北京市关于支持信息软件企业加强人工智能应用服务能力行动方案(2025年)》(京经信发〔2025〕19号)。其中明确8的措施,支持MaaS企业在京集聚发展;推动信息软件企业发展行业模型能力;支持通用智能体发展;实施信息软件企业智能技改工程;提升数据治理能力;加速构建开源生态新体
全国碳市场年度进展与展望杨梦帆nbsp;林立身nbsp;唐人虎(北京中创碳投科技有限公司)2024年,多项政策法规的发布促进了全国碳市场制度体系的快速发展与完善。《碳排放权交易管理暂行条例》为全国碳排放权交易市场运行管理提供明确法律依据,规范交易活动、保障数据质量、惩处违法行为。生态环境部印发
北极星碳管家网获悉,工业和信息化部教育部市场监管总局印发轻工业数字化转型实施方案的通知,通知要求,到2027年,重点轻工企业数字化研发设计工具普及率达到90%左右,关键工序数控化率达到75%左右,打造100个左右典型场景,培育60家左右标杆企业,制修订50项左右国家标准、行业标准,形成一批数字化
3月24日,国家能源局和中国电力企业联合会在京联合召开2025年全国电力可靠性指标发布会。国家能源局党组成员、副局长何洋出席会议并讲话,中电联党委书记、常务副理事长杨昆出席会议并致辞,中电联党委委员、专职副理事长于崇德出席会议。会议由国家能源局安全总监黄学农主持。会上,国家能源局和中电
北极星售电网获悉,3月27日,工业和信息化部等三部门发布关于印发轻工业数字化转型实施方案的通知。文件明确,快绿色化转型。聚焦皮革、造纸、塑料、电池、陶瓷、日用玻璃等重点行业,推广应用绿色低碳、节能环保工艺和设备,融合应用数字技术加强能耗、水耗、污染物排放和碳排放智能监测和控制,建设
3月25日,上海市经济和信息化委员会关于印发《上海市关于促进智算云产业创新发展的实施意见(2025-2027年)》的通知,通知指出,推进智算中心用能管理系统升级,合理配置分布式电源和新型储能,用足用好我市分时电价政策,通过调节用能行为降低运行成本。原文如下:各区人民政府,市政府各相关委、办、
北极星售电网获悉,3月25日,上海市经济和信息化委员会发布关于印发《上海市关于促进智算云产业创新发展的实施意见(2025-2027年)》(以下简称《意见》)的通知。《意见》指出,支持我市智算产业发展,保障智算中心供电。推进智算中心用能管理系统升级,合理配置分布式电源和新型储能,用足用好我市分
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!