登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
在大数据的“魅力等级”中,生产应用和探索性数据科学沙箱得到了所有的关注。这就是为什么,如果你不是一个大数据专家,您可能已经忽略了数据管理和分析基础设施的“着陆区”中大数据所起的关键作用。
大数据“着陆区”的作用是刻意含糊不清的。它显然不是生产的前端接入以及进行快速查询、进行交互式探索以及建立预测模型并打分的沙箱层。也显然不是存储核心系统参考数据、管理元数据以及实施数据治理标准的生产枢纽层。
但在许多方面,大数据“着陆区”是这些生产和开发系统的基础。
大数据“着陆区”起到了许多关键作用。它是将数据传递至下游的其他操作系统之前从操作系统获得和收集数据的区域,也可能是将数据传递至集线器或前端集市前聚合、匹配、合并、清理、改造以及改进从资源中采集的数据的地方。或者,它可能是以历史档案的形式,存储来自交易、分析或内容管理系统数据的地方。
深入档案
让我们专注于大数据存储的档案。即使某些数据不再支持核心生产应用,这些档案仍对合规、电子取证、安全、诊断以及其他支持性应用程序有价值。
档案的传统定义是不再被应用程序需要的历史数据仓库。很明显,依照这个定义许多档案无情地演变成许多IT商店的大数据平台。
实际上,当档案馆存储来源于各式各样来源的数据且其数据容量增长至拍字节时,档案馆可能是一个组织中第一个含有大数据的数据库。事实上,档案的目的是在需要时为检索及分析保留历史数据,这就意味着,它需要进行优化以便快速查询、搜索和报表。
事实上,可查询存档已经好些时候成为“杀手级别”的大数据应用。电信运营商早已在大规模扩展的存档平台上进行呼叫详细记录分析。安全事故和事件的检测,以及反欺诈应用程序通常需要庞大的数据库以存储和关联从系统级安全性、标识以及其他系统获取的事件数据。许多用于故障排除、诊断和优化的IT日志分析应用都运行在从低TB级别至PB级别的数据库上。全面的顾客、库存、物流及其他趋势的时间序列分析都必须将大量存档数据与从业务系统获取的最新数据进行关联。
完成工作的正确工具
显然,对于如Hadoop这样静态数据平台以及为特定类型数据存档的规模与速度而架构的NoSQL平台来说,可查询存档的作用是不言而喻的。同样,别忘了用来存档结构数据的RDBMS平台。
根据不同的需求,可以针对不同的大数据集部署一个或多个含有已针对数据集优化的底层平台的档案。关键的标准是,已部署档案的大数据平台是否支持查询档案存储及管理的数据且能够快速执行所有预期类型的查询。(作者:周雅编译)
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
能源是产业发展的重要动力源泉和物质基础,当前新一轮能源革命和产业变革都在深入推进。大力发展新能源是加快规划建设新型能源体系的重要抓手,而促进新能源与产业协同是以能源转型支撑经济高质量发展的应有之义。(来源:电联新媒作者:刘坚、邓良辰、赵晓东、王娟)促进新能源与产业协同发展是推动能
2025年一季度,中国新能源产业抵达新的里程碑——风电光伏发电累计装机达到14.82亿千瓦,首次超过火电。巨大运营压力下,风电的传统人工检修模式已触达效率天花板。以生成式大模型为代表的人工智能技术正为风电运维开辟新的发展空间,AI开始具备“读懂”风机语言的可能。远景以数据驱动重构风电运维逻
北极星输配电网获悉,国网信通5月21日公告称,公司拟以现金方式协议收购公司控股股东国网信息通信产业集团有限公司(简称“信产集团”)下属国网信通亿力科技有限责任公司(简称“亿力科技”)100%股权,包含亿力科技持有的福建亿榕信息技术有限公司59.3%股权和福建亿力电力科技有限责任公司100%股权。
北极星售电网获悉,5月19日,云南丽江古城高新技术产业经济区源网荷储一体化绿色供电项目(二期)EPC总承包中标结果公示,中标人为昆明电缆集团新能源有限公司(成员方:云南恺远工程设计有限公司)。本项目利用飞驰新能源汽车科技有限公司屋顶建设分布式光伏,涉及屋顶总面积约2803㎡,计划安装光伏组
日前,福州发布关于征求《福州市石化化工行业碳达峰实施方案(送审稿)》《福州市钢铁行业碳达峰实施方案(送审稿)》《福州市建材行业碳达峰实施方案(送审稿)》意见的通知。详情如下:关于征求《福州市石化化工行业碳达峰实施方案(送审稿)》《福州市钢铁行业碳达峰实施方案(送审稿)》《福州市建材行
对于现代能源体系来说,传统电力系统好比一条条宽阔的“主动脉”,能源单向流动,稳定却稍显笨重。一旦遇到极端天气、设备故障,可能会“牵一发而动全身”,引发大面积停电事故。同时,随着新能源快速发展,大量风光分布式新能源涌入电网,从而导致传统电网“消化不良”,这就促使微电网应运而生,它是
5月20日,预算金额约53.6亿元的兰州市城关区城市管理一体化项目中标候选人公示,深圳市玉禾田智慧城市运营集团有限公司、长沙中联重科环境产业有限公司、龙城城市运营服务集团有限公司分列第一、第二和第三候选人。该项目年作业服务补贴总额,其最高限价为35741.78万元/年,投标报价不得高于最高限价;
雪山旷野,绿电蓝海,曾经的边疆荒野,一面面光伏板随着山坡的地势此起彼伏。在新疆和陕北的广袤大地上,陕投电力运营承接的古尔班通古特沙漠基地125MW、延安青化砭和蟠龙分布式光伏项目相继全容量并网发电。抢抓机遇齐力共拓新格局“我们两个公司业务互补性强、契合点多,合作空间广阔,希望双方尽快
一、售电公司转型之困境电力现货市场的不断深化运行,带来了规则更新、市场波动、交易主体多元化、用户用电行为改变等新的市场变化,传统售电公司正面临前所未有的转型挑战。市场来看,在现货市场成熟运行的山西省,2025年1月零售市场批零倒挂达6厘/kWh,2月进一步扩大至17厘/kWh,加大售电公司风险。
北极星储能网获悉,5月19日,河北省张家口市人民政府发布,多措并举助力县域特色产业集群高质量发展。据悉张家口全市共培育县域特色产业集群24个,其中20个纳入河北省级监测范围,涵盖装备制造、新能源、大数据、冰雪文旅、绿色农牧等多元领域,成为推动区域经济转型升级的重要引擎。2024年,纳入省监
湖北电网是三峡水电外送的起点、“西电东送”的通道、南北互供的枢纽,有220千伏及以上变电站277座,220千伏及以上输电线路长度超3.6万千米。国网湖北电力在变电站、输电线路巡检中推广应用无人机、机器狗、全景摄像机等设备,进一步提升线路和设备运维管理质效。5月13日9时许,湖北荆门供电公司变电智
5月20日,《西安市住建领域2025年夏季空气质量提升工作方案》印发。详情如下:西安市住房和城乡建设局关于印发西安市住建领域2025年夏季空气质量提升工作方案的通知各区县、西咸新区、各开发区住建局,局机关相关处室、直属事业单位,各相关企业:现将《西安市住建领域2025年夏季空气质量提升工作方案
“3.29小米SU7高速碰撞爆燃”事件后,小米汽车与雷军便被推上了风口浪尖,电池安全问题更是再度引起热议。近日,小米突然入股了一家固态电池企业——合肥因势新材料科技有限公司。公司新增小米旗下瀚星创业投资有限公司、强邦新材、合肥市包河区科创种子基金合伙企业(有限合伙)为股东,注册资本由100
北极星储能网获悉,近日,安徽海螺水泥股份有限公司发布了关于铜陵海螺6MW24MWh储能系统招标的公告。铜陵海螺新能源有限公司(以下称建设单位)户侧储能项目,计划利用铜陵海螺新线地块,建设6MW/24MWH储能系统。本项目场址位于项目场址位于安徽省铜陵市安徽铜陵海螺水泥有限公司。本项目储能建设容量为6
从“废”到“贵”生物质能价值链日趋成型来源:中国能源观察记者王睿佳生物质能作为全球公认的零碳属性可再生能源,在推动全球能源转型,实现“双碳”目标中扮演着重要角色。我国是生物质资源最丰富的国家之一,生物质能以其独特的属性,成为能源结构优化的战略支点。中国产业发展促进会会长于彤在“20
北极星氢能网获悉,5月21日,上海市科学技术委员会发布《2025年度关键技术研发计划“新能源”项目申报指南》,征集范围包括:绿色燃料、可再生能源、新型储能、新型电力系统。其中绿色燃料领域包括电催化合成氨关键技术、质子交换膜电解水制氢高性能膜电极开发及批量化制造技术、阴离子交换膜电解水制
5月20日,包头市生态环境局发布包头市积极探索工业城市碳达峰新模式一文。文章提到,立足丰富风光资源优势,加速推进晶硅光伏、风电等旗帜型产业集群和氢储能等战新产业高质量发展。过基地化整体开发与分散式开发并举的发展模式,重点规划打造四个500万千瓦级新能源发电基地。打造四条新能源南北通道,
作者:沈代兵1,2郝佳豪1,2宋衍昌1,2杨俊玲1张振涛1,3,4越云凯1,3,4单位:1.中国科学院理化技术研究所低温科学与技术重点实验室;2.中国科学院大学;3.长沙博睿鼎能动力科技有限公司;4.河北省储能产业技术研究院本文亮点:1、面向二氧化碳储能循环所需的大膨胀比宽负荷透平膨胀机研究还较少。2、针对储
北极星氢能网获悉,5月19日,“盐穴储氢库示范工程”和“百万方级储氢示范工程”授牌仪式在河南叶县举行,这标志着中国盐穴资源利用迈出重要一步。盐穴因具有密封性能好、储氢规模大、成本低、安全性高等优点,被视为解决氢能存储难题的优质技术路径。据中国平煤神马集团相关负责人介绍,该示范工程位
2025年全国两会上,“绿色低碳”再次成为贯穿政府工作报告的高频词。“完善碳市场制度”、“推进工业领域绿色转型”、“严控高碳产业扩张”三大政策信号,直指制药工业命脉。制药工业作为能耗强度比钢铁行业高30%的“隐形碳排放大户”,如今正面临政策红线与市场竞争压力的双重夹击。随着“能耗双控转
5月12日,国网山东省电力公司自研的集中式站所终端和馈线终端两款产品,经国网电科院产品供应链溯源评估,国产化基准率达100%。山东电力创新采用软硬件解耦平台化技术,构建通用软件架构体系,形成自主可控的国产化开发平台。研发团队突破配电终端设备核心软硬件技术壁垒,完成了主控芯片、模数转换芯
北极星储能网获悉,5月20日,包头市人民政府发布积极探索工业城市碳达峰新模式,提到,立足丰富风光资源优势,加速推进晶硅光伏、风电等旗帜型产业集群和氢储能等战新产业高质量发展。截止2024年底,全市新能源装机容量达877.13万千瓦,占全市装机总量44.24%,风电及光伏装机容量分别为578.89万千瓦和2
北极星电力网获悉,重庆市发改委5月22日正式印发《推动经济社会发展全面绿色转型行动计划(2025—2027年)》指出:统筹提升能源安全供应能力。夯实市内电源基础,加快推动两江燃机二期等天然气发电、合川双槐三期煤电项目,加快云阳建全、丰都栗子湾、奉节菜籽坝抽水蓄能电站建设。全力推进外电入渝工
5月22日,重庆市发展和改革委员会印发《推动经济社会发展全面绿色转型行动计划(2025—2027年)》。文件提出,健全以治水治气为牵引的“九治”生态治理体系。打好治水攻坚战,加快污水收集处理设施新建改扩建进度,全域全面消除黑臭水体。打好治气攻坚战,严格控制PM2.5浓度。加强土壤污染源头防控,协
01引言风电作为清洁能源的重要组成部分,保持着强劲的增长势头,但行业快速扩张的同时也面临着严峻挑战——叶片断裂事故频发,正在为这一绿色能源的发展前景蒙上阴影。例如,总装机806MW的美国VineyardWind-1海上风电项目,是该国在建最大的海上风电项目,计划安装62台GEHaliade-X13MW海上风机,叶片长
5月6日,全国公共资源交易平台发布《污水处理厂、处理站运营项目招标计划公告》,招标人河北霞润水利科技有限公司,运营地点为河北省张家口市赤城县县域内18个乡镇的污水处理站,预计2025年6月上旬发布招标公告。详情如下:污水处理厂、处理站运营项目招标计划公告1.招标条件招标人:河北霞润水利科技
日前,上海市生态环境局发布关于开展2025年全国碳排放权交易市场钢铁行业重点排放单位温室气体排放管理工作的通知。详情如下:上海市生态环境局关于开展2025年全国碳排放权交易市场钢铁行业重点排放单位温室气体排放管理工作的通知沪环气候〔2025〕64号各相关单位:根据生态环境部办公厅《关于做好2025
导语自数据被列为第五大生产要素以来,国家高度重视数据要素市场发展,近年来密集出台政策法规,对培育数据要素市场作出系列部署,并组建国家数据局,统筹推进数据要素市场化配置改革。各地方、各行业多措并举,推进数据要素流通市场活跃度显著提升,数据要素市场规模达到千亿级。电力行业是一个高价值
4月21日,山东省2025年新能源高水平消纳行动方案发布。其中提到,加强网架建设。夯实500千伏省域主网架,加快弥河新建、海口扩建工程建设。加强220千伏市域主网架结构,力争年内尽早投产东营富国至裕民线路等工程。实施配电网高质量发展行动,加大农村电网改造力度。同时,优化调度运行。开展并网运行
4月16日,浦东新区人民政府发布对浦东新区政协七届四次会议第101号提案的答复。根据答复文件,浦东新区推进能源领域绿色低碳转型,大力推进光伏项目建设,“十四五”期间计划新建光伏60万千瓦以上,截止2024年底已完成55万千瓦;四是完善企业碳排放核算及信息披露体系,浦东新区共有6家发电行业企业纳入
近日,国家能源集团“复杂发电工程数字化设计建造关键技术及应用”项目顺利通过中国机械工业联合会组织的科技成果鉴定,该项目开发出完全自主可控的BIMBase图形引擎,实现了引擎及平台的全国产化,完成了在新能源、水电、火电等典型发电工程的示范应用,整体达到国际领先水平,为能源行业数字化转型注
全国碳市场年度进展与展望杨梦帆nbsp;林立身nbsp;唐人虎(北京中创碳投科技有限公司)2024年,多项政策法规的发布促进了全国碳市场制度体系的快速发展与完善。《碳排放权交易管理暂行条例》为全国碳排放权交易市场运行管理提供明确法律依据,规范交易活动、保障数据质量、惩处违法行为。生态环境部印发
北极星碳管家网获悉,工业和信息化部教育部市场监管总局印发轻工业数字化转型实施方案的通知,通知要求,到2027年,重点轻工企业数字化研发设计工具普及率达到90%左右,关键工序数控化率达到75%左右,打造100个左右典型场景,培育60家左右标杆企业,制修订50项左右国家标准、行业标准,形成一批数字化
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!