登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
在大数据的“魅力等级”中,生产应用和探索性数据科学沙箱得到了所有的关注。这就是为什么,如果你不是一个大数据专家,您可能已经忽略了数据管理和分析基础设施的“着陆区”中大数据所起的关键作用。
大数据“着陆区”的作用是刻意含糊不清的。它显然不是生产的前端接入以及进行快速查询、进行交互式探索以及建立预测模型并打分的沙箱层。也显然不是存储核心系统参考数据、管理元数据以及实施数据治理标准的生产枢纽层。
但在许多方面,大数据“着陆区”是这些生产和开发系统的基础。
大数据“着陆区”起到了许多关键作用。它是将数据传递至下游的其他操作系统之前从操作系统获得和收集数据的区域,也可能是将数据传递至集线器或前端集市前聚合、匹配、合并、清理、改造以及改进从资源中采集的数据的地方。或者,它可能是以历史档案的形式,存储来自交易、分析或内容管理系统数据的地方。
深入档案
让我们专注于大数据存储的档案。即使某些数据不再支持核心生产应用,这些档案仍对合规、电子取证、安全、诊断以及其他支持性应用程序有价值。
档案的传统定义是不再被应用程序需要的历史数据仓库。很明显,依照这个定义许多档案无情地演变成许多IT商店的大数据平台。
实际上,当档案馆存储来源于各式各样来源的数据且其数据容量增长至拍字节时,档案馆可能是一个组织中第一个含有大数据的数据库。事实上,档案的目的是在需要时为检索及分析保留历史数据,这就意味着,它需要进行优化以便快速查询、搜索和报表。
事实上,可查询存档已经好些时候成为“杀手级别”的大数据应用。电信运营商早已在大规模扩展的存档平台上进行呼叫详细记录分析。安全事故和事件的检测,以及反欺诈应用程序通常需要庞大的数据库以存储和关联从系统级安全性、标识以及其他系统获取的事件数据。许多用于故障排除、诊断和优化的IT日志分析应用都运行在从低TB级别至PB级别的数据库上。全面的顾客、库存、物流及其他趋势的时间序列分析都必须将大量存档数据与从业务系统获取的最新数据进行关联。
完成工作的正确工具
显然,对于如Hadoop这样静态数据平台以及为特定类型数据存档的规模与速度而架构的NoSQL平台来说,可查询存档的作用是不言而喻的。同样,别忘了用来存档结构数据的RDBMS平台。
根据不同的需求,可以针对不同的大数据集部署一个或多个含有已针对数据集优化的底层平台的档案。关键的标准是,已部署档案的大数据平台是否支持查询档案存储及管理的数据且能够快速执行所有预期类型的查询。(作者:周雅编译)
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
在数字经济爆发式增长的浪潮下,高密度算力基础设施正成为支撑智算、超算等训练场景的核心基座。玄穹・鄂尔多斯璇玑智算中心由高新技术产业投资公司与北京天地通电信有限责任公司合作建设,旨在打造一个立足中国北方,具备有AI算力规划、服务全国算力市场的绿色算力产业新高地,用高标准、高效率的数据
近日,南方能源大数据中心与南方电网大湾区数字产业基地顺利投产,标志着南方电网公司基本建成“3+1+X”架构的绿色节能新型数据基础设施。南方能源大数据中心位于全国一体化算力网络国家枢纽节点贵州(贵安)枢纽,首期规划建成两栋机楼及一栋运检楼,承载约2000架10千瓦机柜,定位南方电网公司双活生
日前,南方能源大数据中心与南方电网大湾区数字产业基地分别在贵州贵阳、广东惠州投产,标志着南方电网公司基本建成“3+1+X”架构的绿色节能新型数据基础设施,有力展示公司主动融入国家“东数西算”工程建设,加快数字化转型和数字电网建设,加快向数字电网运营商、能源产业价值链整合商、能源生态系
问:您常年从事汽车相关教学工作,对新能源汽车行业的发展较为关注。随着新能源汽车越来越普及,我国充电基础设施也在快速发展,您对此有何看法?杨金龙:近年来,我国新能源汽车行业发展迅猛,充电基础设施建设也取得了令人瞩目的成绩。在我所生活的浙江省杭州市桐庐县,无论是旅游景区还是公共停车场
国家电网有限公司大数据中心深入贯彻落实国家电网有限公司第四届职工代表大会第五次会议暨2025年工作会议精神,牢牢把握“强化企业级统筹”“深化数字赋能赋效”“强化人工智能应用”“加强自主运维”四个方面要求,激活数据要素价值,全力支撑健全完善数字化工作体系、构建新型电力系统、发展新质生产
近日,四川能源监管办发布2024年度煤电机组大数据监管情况通报。通报指出,四川燃煤发电持续发挥“关键少数”重要作用,煤电兜底保障基础不断夯实,顶峰保供能力进一步发挥,企业经营情况进一步改善。全年枯水期完成发电量335.03亿千瓦时,提供了四川主网三分之一以上电量。2024年四川燃煤火电机组平均
2月17日,山东淄博供电公司电力气象智慧预警大数据应用平台上线。该平台深度融合电力数据和气象数据,增强了电力气象灾害的主动预警能力,为淄博电网防灾减灾、安全稳定运行提供保障。强风、雷暴等恶劣天气容易影响电网设备安全运行。为此,淄博供电公司与山东省电力气象技术创新中心联合组建攻坚团队
近日,福建龙岩供电公司发布龙岩市开工生产分析报告。此报告基于多维度与海量数据统计分析,详细呈现了各行业的生产经营变化情况,为政府精准制定政策、推动经济稳健复苏提供了数据支撑。该公司广泛收集企业开工生产相关数据,通过设定复工及达产指数,量化评估企业开工水平及达到正常生产用能水平情况
近日,福建龙岩供电公司发布龙岩市开工生产分析报告。此报告基于多维度与海量数据统计分析,详细呈现了各行业的生产经营变化情况,为政府精准制定政策、推动经济稳健复苏提供了数据支撑。该公司广泛收集企业开工生产相关数据,通过设定复工及达产指数,量化评估企业开工水平及达到正常生产用能水平情况
近日,由国网湖南省电力有限公司牵头,中国南方电网有限责任公司、中国长江三峡集团有限公司、华中科技大学、湖南大学和华为技术有限公司等共同编写的水电物联网国际标准IEEEStd2413.3-2024《水电能源物联网导则》正式获批发布。据介绍,在水电能源物联网领域,尤其是在水利水电工程中,数据壁垒易导致
2025年春节,浙江的大街小巷满是烟火与欢笑,当古镇的红灯笼与现代化都市的霓虹一同点亮新春夜空,你是否想过,这背后的用电数据是怎样的经济密码?它们串联起千家万户的团圆,映射出产业发展的新态势。现在,就跟着小e,看看2025年春节浙江用电数据藏着哪些惊喜。刚刚过去的春节(1月28日-2月4日),
北极星氢能网获悉,近日,总投资1500万元,占地2400平方米的常发新能源氢能存储及制备技术中试基地项目开工仪式,在高新区SEPP中欧跨采先进制造产业园举行。常发新能源2021年落户高新区,致力于光解水制氢技术的研发。作为一家以科技创新为核心驱动力的企业,常发新能源始终坚持以突破关键核心技术为目
2月13日,江苏常发新能源氢能存储及制备技术中试基地项目开工仪式,在高新区SEPP中欧跨采先进制造产业园举行。扬州市常发新能源科技有限公司由欧洲工程院院士、南京航空航天大学教授常焜,于2021年在高新区创办。企业坚持以突破关键核心技术为目标,不断推进太阳光能高效催化水裂解制氢的研究和应用。
北极星储能网获悉,据国家知识产权局,12月6日,中车株洲电力机车有限公司申请一项名为“钠电池储能系统故障诊断方法、设备及存储介质”的专利,公开号CN119087242A,申请日期为2024年10月。专利摘要显示,本申请公开了一种钠电池储能系统故障诊断方法、设备及存储介质,涉及数据处理技术领域,所述方
企查查数据显示,国内现存储能相关企业22.8万家。截至目前,今年已注册7.81万家储能相关企业。其中前10月共注册7.08万家,同比增长20.72%。11月28日,腾讯成功落地了风电、光伏、储能一体化的数据中心微电网项目。这是国内首个采用“风光储+负荷”智能管理模式的数据中心微电网项目,也是腾讯数据中心
近日,河北省首座钒锂结合储能电站,也是华北地区第一座采用全球领先的AC存储(交直流一体)结构的储能电站正式启用,由河北燕赵兴泰储能科技有限公司投资开发,该项目标志着河北省在新型储能领域的重要突破,更是该省独立储能的标杆。共使用了21套阳光电源PowerTitan2.0液冷储能系统,现场从调试到并
北极星储能网获悉,近日,经深圳市市场监督管理局批准的《生产经营单位锂离子电池存储使用安全规范》(DB4403/T508—2024)(以下简称《规范》)发布,将于2024年11月1日正式实施。该《规范》由深圳市应急管理局制定并归口,深圳市电池行业协会、欣旺达电子股份有限公司等单位参与编写,明确了锂离子电
日供电80万度,AC存储助力“迎峰度夏这个夏天,国内规模最大的新型储能省级电网集中调度在江苏顺利完成,实现了储能与电源、电网、用电负荷等的高效灵活互动。其中,由中城大有投建的泰州海陵200MW/400MWh储能电站,参与了本次迎峰度夏集中调度,在电力“保供战”中表现亮眼,日供电近80万度。该电站也
北京排水集团原创厌氧氨氧化(“红菌”)技术成功中标国家存储器基地高氨氮废水处理项目,实现集团原创技术应用转化重大市场突破。国家存储器基地高氨氮废水处理项目位于湖北武汉光谷,作为北京排水集团在半导体芯片废水处理行业的首个工程,在目前“红菌”外部市场转化项目中,规模最大、示范效应最强
近期,由中国华能集团投资、十一科技EPC承建的“华能龙腾特钢20MW/40MWh用户侧储能项目”全容量并网发电,共投运8套2.5MW/5MWh阳光电源PowerTitan2.0液冷储能系统。这是国内首座采用“交直流一体”设计的储能电站,系统效率高于传统储能2%-3%,标志着“AC存储”时代的正式到来。该项目也是中国华能的首
编者按近年来,随着智能电网不断建设和发展,大规模广域数据实时采集和历史数据存储的需求快速增长。5G通信技术有望引领新一轮电力技术革命,其应用场景包括:万物互联、精准控制、海量量测、宽带通信和高效计算等。利用5G技术能够提供更完备的配电网差动保护方案,有利于智能电网的建设。5G技术为变电
3月21日,全省新能源高质量发展座谈会在并召开。会议全面学习贯彻习近平总书记在2月29日中共中央政治局第十二次集体学习时重要讲话精神,认真落实3月12日省委常委会上关于推动我省新能源高质量发展的工作要求,系统阐述新能源发展的重大意义,深入分析我省新能源发展形势,研讨交流促进我省新能源高质
近日,国网天津市电力公司获得由中国电子信息行业联合会颁发的《数据管理能力成熟度等级证书》,成为国网系统内首批通过数据管理能力成熟度评估五级认证、天津市首个获得该等级证书的企业,达到最高等级“优化级”,标志着该公司在数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标
江西省人大常委会11月29日发布关于公开征求《江西省污染源自动监测数据管理条例(草案)》修改意见的通知,草案针对江西省污染源自动监测管理工作中存在的问题,通过细化自动监测设备安装联网和运行维护、违法行为界定、监测数据应用等内容,提高自动监测数据管理的可操作性。关于公开征求《江西省污染
10月8日,由国家发展改革委、国家数据局、中央网信办、工业和信息化部等六部门联合印发的《国家数据标准体系建设指南》(以下简称《指南》)正式发布。《指南》明确,到2026年底,基本建成国家数据标准体系,围绕数据流通利用基础设施、数据管理、数据服务、训练数据集、公共数据授权运营、数据确权、
工业和信息化部印发《工业和信息化领域数据安全风险评估实施细则(试行)》。
为加强污染源自动监测数据管理,提升自动监测数据质量,强化自动监测数据应用,江西省生态环境厅发布关于再次公开征求《江西省污染源自动监测数据管理条例》意见建议的公告,征求意见截止时间为2024年5月15日。关于再次公开征求《江西省污染源自动监测数据管理条例》意见建议的公告《江西省污染源自动
3月25日,福建省数据管理局印发2024年度省数字经济重点项目名单。确定2024年度省数字经济重点项目108个、总投资1310亿元,年度计划投资272亿元。原文如下:福建省数据管理局关于印发2024年度省数字经济重点项目名单的通知闽数据〔2024〕3号各设区市数字经济牵头部门,平潭综合实验区行政审批局:根据省
为发挥典型案例的示范引导作用,现公布一批共8件典型案例,并对相关办案单位及办案人员提出表扬。乌兰察布市某机动车检测机构出具虚假检车报告案【案情简介】2023年5月10日,乌兰察布市生态环境综合行政执法支队执法人员通过调阅乌兰察布市某检车站历史检车监控视频时发现,牌照号为蒙J3***4的检测车辆
市场监督管理总局发布《关于组织开展2023年度检验检测机构监督抽查工作的通知》,启动生态环境领域专项整治:根据第三方环保服务机构弄虚作假问题专项整治相关要求,各地市场监管和生态环境部门要聚焦碳排放数据管理和环境监测等领域,联合对碳排放核查检验检测机构和生态环境监测机构实施重点抽查。发
北极星能源网获悉,浙江省发展改革委(省能源局)关于公开征求《浙江省能源数据管理办法(征求意见稿)》意见的通知。详情如下:省发展改革委(省能源局)关于公开征求《浙江省能源数据管理办法(征求意见稿)》意见的通知为支撑浙江省新型电力系统建设和煤炭石油天然气安全保供等重点工作,加快推动能
10月12日,浙江省发展改革委(省能源局)发布关于公开征求《浙江省能源数据管理办法(征求意见稿)》意见的通知。征求意见时间为10月12日至10月20日。文件提出,详情如下:浙江省能源数据管理办法(征求意见稿)一、总则为推进我省绿色低碳发展和保供稳价工作,加快推动能源领域数字化改革,更好发挥能
随着“双碳”工作的深入推进,数字化、智能化已成为光伏发展的重要目标之一。丰郅SafeSolar智能运维系统依托大数据与物联网技术,可为丰郅智能安全保护器、以及智能光伏优化器等组件级安全保护产品提供实时监测、远程升级控制等功能,让运维更加高效、便捷。经过丰郅研发团队的数月努力,丰郅新能源监
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!