登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
在大数据的“魅力等级”中,生产应用和探索性数据科学沙箱得到了所有的关注。这就是为什么,如果你不是一个大数据专家,您可能已经忽略了数据管理和分析基础设施的“着陆区”中大数据所起的关键作用。
大数据“着陆区”的作用是刻意含糊不清的。它显然不是生产的前端接入以及进行快速查询、进行交互式探索以及建立预测模型并打分的沙箱层。也显然不是存储核心系统参考数据、管理元数据以及实施数据治理标准的生产枢纽层。
但在许多方面,大数据“着陆区”是这些生产和开发系统的基础。
大数据“着陆区”起到了许多关键作用。它是将数据传递至下游的其他操作系统之前从操作系统获得和收集数据的区域,也可能是将数据传递至集线器或前端集市前聚合、匹配、合并、清理、改造以及改进从资源中采集的数据的地方。或者,它可能是以历史档案的形式,存储来自交易、分析或内容管理系统数据的地方。
深入档案
让我们专注于大数据存储的档案。即使某些数据不再支持核心生产应用,这些档案仍对合规、电子取证、安全、诊断以及其他支持性应用程序有价值。
档案的传统定义是不再被应用程序需要的历史数据仓库。很明显,依照这个定义许多档案无情地演变成许多IT商店的大数据平台。
实际上,当档案馆存储来源于各式各样来源的数据且其数据容量增长至拍字节时,档案馆可能是一个组织中第一个含有大数据的数据库。事实上,档案的目的是在需要时为检索及分析保留历史数据,这就意味着,它需要进行优化以便快速查询、搜索和报表。
事实上,可查询存档已经好些时候成为“杀手级别”的大数据应用。电信运营商早已在大规模扩展的存档平台上进行呼叫详细记录分析。安全事故和事件的检测,以及反欺诈应用程序通常需要庞大的数据库以存储和关联从系统级安全性、标识以及其他系统获取的事件数据。许多用于故障排除、诊断和优化的IT日志分析应用都运行在从低TB级别至PB级别的数据库上。全面的顾客、库存、物流及其他趋势的时间序列分析都必须将大量存档数据与从业务系统获取的最新数据进行关联。
完成工作的正确工具
显然,对于如Hadoop这样静态数据平台以及为特定类型数据存档的规模与速度而架构的NoSQL平台来说,可查询存档的作用是不言而喻的。同样,别忘了用来存档结构数据的RDBMS平台。
根据不同的需求,可以针对不同的大数据集部署一个或多个含有已针对数据集优化的底层平台的档案。关键的标准是,已部署档案的大数据平台是否支持查询档案存储及管理的数据且能够快速执行所有预期类型的查询。(作者:周雅编译)
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
11月15日,宁夏吴忠市人民政府印发《吴忠市燃气发展规划(2024-2035年)》的通知(吴政办发〔2024〕23号),其中指出,燃气经营企业全面构建基于数据采集与监控(SCADA)、地理信息系统(GIS)的“智慧燃气”管理系统,利用信息化手段加强企业经营管理和燃气生产、储存、输送、使用等全过程数字化管控
11月15日,浙江省正式发布“工业碳效码3.0”版本,在原有碳效码评价体系的基础上全新发布“碳足迹数智服务应用”。对于制造业企业来说,产品从原料获取到生产、分销运输,再到使用、废弃,每个阶段都会产生碳排放和其他温室气体,这就是“碳足迹”。该应用通过大数据、云计算等数字新技术,实现了面向
10月25日,中国电力大数据创新平台理事会二届一次会议在京顺利召开。会上对2023年中国电力大数据创新平台大数据创新实践成果优秀案例进行了表彰,国网四川电力与远光软件联合申报的“基于智能物联的资金支付U盾安全管控解决方案”成功入选十大优秀案例。中国电力大数据创新平台由国家电网公司牵头,联
正如同自动驾驶依赖数据和仿真训练,储能系统的智慧进阶,也需要依靠数据和算法。近年来,储能企业愈发意识到大数据的重要性,储能运行数据成为重要的无形资产。无论是储能系统集成商还是储能PCS等核心部件企业,逐渐改变之前将设备外包给软件公司或运营商管理的常态,越来越倾向于自研云平台、掌握设
北极星售电网获悉,国家能源局发布关于政协第十四届全国委员会第二次会议第03484号(经济发展类246号)提案答复的函,文件提到,关于加快完善数能融合顶层设计,做好新能源并网,推动构建新能源供给消纳体系,合理安排新能源发展规模、布局和时序。加大数据中心绿电、绿证市场服务力度,助力数据中心绿
今年国庆期间,浙江气温较去年同期低,伴随降温、大风和降水天气。尽管如此,假期经济拉动效应依然不减。国庆假日,浙江省累计全域旅游人数3694.3万人次,按可比口径增长16.6%,比2019年同期增长22.7%。全域旅游综合收入508.1亿元,同比增长20.4%,游客人均花费同比增长3.3%。(来源:微信公众号“浙电
9月24日,乌兰察布市察右后旗源荷互动绿色大数据中心示范项目顺利并网投运,标志着我市在推动数据中心绿色低碳发展道路上迈出坚实的一步。该项目由察哈尔右翼后旗景源新能源有限公司投资建设,总装机规模为10万千瓦,包含两个5万千瓦分散式风电项目。拟接入相关的虚拟电厂系统架构,整合大数据中心负荷
9月22日,中国能建总承包建设的甘肃庆阳“东数西算”源网荷储一体化智慧零碳大数据产业园示范项目举行揭幕暨投运点亮活动。项目位于甘肃省庆阳市“东数西算”产业园区内,是首个获得国家政策性开发性金融工具支持的“东数西算”项目,也是中国能建探索源网荷储一体化、推进“七网”融合投建营的首个“
9月19日获悉,国家电网有限公司信息通信分公司牵头,与国家电网有限公司客户服务中心、国网信通产业集团北京中电普华信息技术有限公司等单位完成了“网上国网”系统数据库的优化升级,实现了公司关键业务系统的国产化数据库替换和系统数据全面上云。“网上国网”系统是公司官方统一线上服务门户,目前
鼎和财产保险股份有限公司2024年大数据平台项目中标候选人公示(招标编号:CG1200022001840517)公示开始时间:2024-09-18公示结束时间:2024-09-23
9月4日,由中国能建广东院EPC总承包建设的甘肃庆阳“东数西算”源网荷储一体化智慧零碳大数据产业园示范项目数据中心工程110千伏能建1号变电站建成投产。作为庆阳“东数西算”大数据产业园首个投产的变电站,该站投运后,将负责甘肃庆阳“东数西算”源网荷储一体化智慧零碳大数据产业园示范项目供电任
北极星储能网获悉,近日,经深圳市市场监督管理局批准的《生产经营单位锂离子电池存储使用安全规范》(DB4403/T508—2024)(以下简称《规范》)发布,将于2024年11月1日正式实施。该《规范》由深圳市应急管理局制定并归口,深圳市电池行业协会、欣旺达电子股份有限公司等单位参与编写,明确了锂离子电
日供电80万度,AC存储助力“迎峰度夏这个夏天,国内规模最大的新型储能省级电网集中调度在江苏顺利完成,实现了储能与电源、电网、用电负荷等的高效灵活互动。其中,由中城大有投建的泰州海陵200MW/400MWh储能电站,参与了本次迎峰度夏集中调度,在电力“保供战”中表现亮眼,日供电近80万度。该电站也
北京排水集团原创厌氧氨氧化(“红菌”)技术成功中标国家存储器基地高氨氮废水处理项目,实现集团原创技术应用转化重大市场突破。国家存储器基地高氨氮废水处理项目位于湖北武汉光谷,作为北京排水集团在半导体芯片废水处理行业的首个工程,在目前“红菌”外部市场转化项目中,规模最大、示范效应最强
近期,由中国华能集团投资、十一科技EPC承建的“华能龙腾特钢20MW/40MWh用户侧储能项目”全容量并网发电,共投运8套2.5MW/5MWh阳光电源PowerTitan2.0液冷储能系统。这是国内首座采用“交直流一体”设计的储能电站,系统效率高于传统储能2%-3%,标志着“AC存储”时代的正式到来。该项目也是中国华能的首
编者按近年来,随着智能电网不断建设和发展,大规模广域数据实时采集和历史数据存储的需求快速增长。5G通信技术有望引领新一轮电力技术革命,其应用场景包括:万物互联、精准控制、海量量测、宽带通信和高效计算等。利用5G技术能够提供更完备的配电网差动保护方案,有利于智能电网的建设。5G技术为变电
3月21日,全省新能源高质量发展座谈会在并召开。会议全面学习贯彻习近平总书记在2月29日中共中央政治局第十二次集体学习时重要讲话精神,认真落实3月12日省委常委会上关于推动我省新能源高质量发展的工作要求,系统阐述新能源发展的重大意义,深入分析我省新能源发展形势,研讨交流促进我省新能源高质
2023年以来,314Ah大电芯蔚然成风,与之匹配的20尺5MWh储能系统成为各大企业争相布局的前沿阵地。不过,虽同为20尺5MWh,同样为了达到“高效、降本”目的,不同企业的集成设计方案却各有千秋。阳光电源独辟蹊径,推出“交直流一体”式设计的PowerTitan2.0,将5MWh的电池、2.5MW的PCS一体融入20尺柜中,
尽管电化学储能市场依然火爆,但近期市场利空也不少。院士、专家关于电化学储能“不一样的论断”;欧洲天然气价格回落、户储产品库存增大;媒体附和储能凉凉说。频发利空,虽然让没有核心技术的新玩家进退两难,但并未打乱坚持长期主义的龙头企业的已有节奏。01乱、繁、差:高景气度中的隐忧目前电化学
10月26日,阳光电源新一代大型储能系统PowerTitan2.0在京发布,秉持“三电融合智储一体”理念,是全球首个10MWh全液冷储能系统,革命性首创“交直流一体化”极简结构,电池单元与PCS融于一柜,让系统的效率、性能、安全、智慧水平均得到颠覆性提升!为大型地面电站开启AC存储时代。AC存储,更高效1、交
北极星电力软件网获悉,8月30日,南昌市人民政府发布关于印发《南昌市推动工业互联网创新发展三年行动计划(2023—2025年)》(以下简称《计划》)的通知。《计划》指出,鼓励数据中心与南昌国家级互联网骨干直联点,粤港澳、长三角等地区全国一体化算力网络国家枢纽节点联动。发展液冷、蓄冷、储能、
北极星电力网获悉,8月15日,全国在建规模最大的单体粉煤灰存储综合利用项目——内蒙古金山粉煤灰综合利用项目正式开工。该项目位于内蒙古自治区呼和浩特市土默特左旗台阁牧镇境内,新建两座大型混凝土灰库,其中一座布置在电厂一期贮灰场,一座布置在电厂二期厂区东侧。一期工程每台炉排灰量为每小时3
10月8日,由国家发展改革委、国家数据局、中央网信办、工业和信息化部等六部门联合印发的《国家数据标准体系建设指南》(以下简称《指南》)正式发布。《指南》明确,到2026年底,基本建成国家数据标准体系,围绕数据流通利用基础设施、数据管理、数据服务、训练数据集、公共数据授权运营、数据确权、
工业和信息化部印发《工业和信息化领域数据安全风险评估实施细则(试行)》。
为加强污染源自动监测数据管理,提升自动监测数据质量,强化自动监测数据应用,江西省生态环境厅发布关于再次公开征求《江西省污染源自动监测数据管理条例》意见建议的公告,征求意见截止时间为2024年5月15日。关于再次公开征求《江西省污染源自动监测数据管理条例》意见建议的公告《江西省污染源自动
3月25日,福建省数据管理局印发2024年度省数字经济重点项目名单。确定2024年度省数字经济重点项目108个、总投资1310亿元,年度计划投资272亿元。原文如下:福建省数据管理局关于印发2024年度省数字经济重点项目名单的通知闽数据〔2024〕3号各设区市数字经济牵头部门,平潭综合实验区行政审批局:根据省
为发挥典型案例的示范引导作用,现公布一批共8件典型案例,并对相关办案单位及办案人员提出表扬。乌兰察布市某机动车检测机构出具虚假检车报告案【案情简介】2023年5月10日,乌兰察布市生态环境综合行政执法支队执法人员通过调阅乌兰察布市某检车站历史检车监控视频时发现,牌照号为蒙J3***4的检测车辆
市场监督管理总局发布《关于组织开展2023年度检验检测机构监督抽查工作的通知》,启动生态环境领域专项整治:根据第三方环保服务机构弄虚作假问题专项整治相关要求,各地市场监管和生态环境部门要聚焦碳排放数据管理和环境监测等领域,联合对碳排放核查检验检测机构和生态环境监测机构实施重点抽查。发
北极星能源网获悉,浙江省发展改革委(省能源局)关于公开征求《浙江省能源数据管理办法(征求意见稿)》意见的通知。详情如下:省发展改革委(省能源局)关于公开征求《浙江省能源数据管理办法(征求意见稿)》意见的通知为支撑浙江省新型电力系统建设和煤炭石油天然气安全保供等重点工作,加快推动能
10月12日,浙江省发展改革委(省能源局)发布关于公开征求《浙江省能源数据管理办法(征求意见稿)》意见的通知。征求意见时间为10月12日至10月20日。文件提出,详情如下:浙江省能源数据管理办法(征求意见稿)一、总则为推进我省绿色低碳发展和保供稳价工作,加快推动能源领域数字化改革,更好发挥能
随着“双碳”工作的深入推进,数字化、智能化已成为光伏发展的重要目标之一。丰郅SafeSolar智能运维系统依托大数据与物联网技术,可为丰郅智能安全保护器、以及智能光伏优化器等组件级安全保护产品提供实时监测、远程升级控制等功能,让运维更加高效、便捷。经过丰郅研发团队的数月努力,丰郅新能源监
7月28日,青海省智慧双碳大数据管理中心在青海省节能中心挂牌成立。青海省发展改革委党组成员、副主任丁永顺出席并揭牌。青海省发展改革委、青海省能源局相关处室负责同志一同出席。经青海省政府同意,在青海省发展改革委和青海省能源局的指导下,青海省节能中心依托青海省重点用能单位能耗在线监测系
“系统自动生成的供电方案和现场情况完全匹配,这次现场勘查真是省时又省力。”3月7日,河北石家庄供电公司园区供配电中心客户经理穆炽炜不到一小时就完成了业扩项目的现场勘查,这得益于图实一致的营配调数据。近两年,石家庄供电公司围绕数据生产要素,构建“127N”营配调数据管理体系,即建立1套管
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!