登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
在大数据的“魅力等级”中,生产应用和探索性数据科学沙箱得到了所有的关注。这就是为什么,如果你不是一个大数据专家,您可能已经忽略了数据管理和分析基础设施的“着陆区”中大数据所起的关键作用。
大数据“着陆区”的作用是刻意含糊不清的。它显然不是生产的前端接入以及进行快速查询、进行交互式探索以及建立预测模型并打分的沙箱层。也显然不是存储核心系统参考数据、管理元数据以及实施数据治理标准的生产枢纽层。
但在许多方面,大数据“着陆区”是这些生产和开发系统的基础。
大数据“着陆区”起到了许多关键作用。它是将数据传递至下游的其他操作系统之前从操作系统获得和收集数据的区域,也可能是将数据传递至集线器或前端集市前聚合、匹配、合并、清理、改造以及改进从资源中采集的数据的地方。或者,它可能是以历史档案的形式,存储来自交易、分析或内容管理系统数据的地方。
深入档案
让我们专注于大数据存储的档案。即使某些数据不再支持核心生产应用,这些档案仍对合规、电子取证、安全、诊断以及其他支持性应用程序有价值。
档案的传统定义是不再被应用程序需要的历史数据仓库。很明显,依照这个定义许多档案无情地演变成许多IT商店的大数据平台。
实际上,当档案馆存储来源于各式各样来源的数据且其数据容量增长至拍字节时,档案馆可能是一个组织中第一个含有大数据的数据库。事实上,档案的目的是在需要时为检索及分析保留历史数据,这就意味着,它需要进行优化以便快速查询、搜索和报表。
事实上,可查询存档已经好些时候成为“杀手级别”的大数据应用。电信运营商早已在大规模扩展的存档平台上进行呼叫详细记录分析。安全事故和事件的检测,以及反欺诈应用程序通常需要庞大的数据库以存储和关联从系统级安全性、标识以及其他系统获取的事件数据。许多用于故障排除、诊断和优化的IT日志分析应用都运行在从低TB级别至PB级别的数据库上。全面的顾客、库存、物流及其他趋势的时间序列分析都必须将大量存档数据与从业务系统获取的最新数据进行关联。
完成工作的正确工具
显然,对于如Hadoop这样静态数据平台以及为特定类型数据存档的规模与速度而架构的NoSQL平台来说,可查询存档的作用是不言而喻的。同样,别忘了用来存档结构数据的RDBMS平台。
根据不同的需求,可以针对不同的大数据集部署一个或多个含有已针对数据集优化的底层平台的档案。关键的标准是,已部署档案的大数据平台是否支持查询档案存储及管理的数据且能够快速执行所有预期类型的查询。(作者:周雅编译)
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
6月11日,第18届SNEC展会现场,安泰新能源举行新一代智能跟踪控制系统解决方案AT-Spark发布会。研发总监杨水卜对新品进行专业技术解读,吸引众多行业人士驻足关注。自2006年成立以来,安泰新能源深耕光伏跟踪支架领域,构建起覆盖产品设计、生产、售后的一站式服务体系,为全球客户提供高效智能解决方
6月11日至13日,SNECPV#x2B;第十八届(2025)国际太阳能光伏和智慧能源amp;储能及电池技术与装备(上海)展览会(以下简称“SNECPV#x2B;2025”)在上海国家会展中心举行。行业领先的智慧能源解决方案提供商科华数能(展位号:5.1HE650)重磅亮相,携2000V450kW组串式逆变器及覆盖大型光伏电站、发电侧
日前,国家发展改革委和国家能源局联合印发《关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见》(发改能源规〔2025〕624号),在《关于全面提升“获得电力”服务水平持续优化用电营商环境的意见》(发改能源规〔2020〕1479号)原有“三零”“三省”基础上,进一步强化改革思维、加
近期,国家发展改革委、国家能源局印发了《关于深化提升“获得电力”服务水平全面打造现代化用电营商环境的意见》(以下简称《意见》)。这一重要政策文件的出台,是坚持以习近平新时代中国特色社会主义思想为指导,全面贯彻落实党的二十大和二十届三中全会精神的有力举措,擘画了未来五年全国提升“获
“1+1”如何大于2?近年来,甘肃电投集团不断推进国有资本布局优化和结构调整,实施“装机倍增、绿色转型、数智升级、全链协同”四大行动,抓好绿色电力和数据信息两大产业扩容提质增效,打造“电力+算力”融合发展新模式。如今,甘肃电投集团“电力”“算力”双轮驱动、相互带动,产业集聚发展效应凸
6月10日,厦门市发展和改革委员会征求《厦门市氢能产业高质量发展行动计划(2025—2027年)(征求意见稿)》意见。其中提出,打造氢能产业技术创新策源地,加强关键核心技术攻关。布局建设氢能产业创新支撑平台。完善氢能标准体系建设。详情如下:厦门市氢能产业高质量发展行动计划(2025—2027年)(
2025年2月国家发展改革委、国家能源局下发了《关于深化新能源上网电价市场化改革促进新能源高质量发展的通知》(发改价格〔2025〕136号),标志着我国新能源产业和电力市场建设进入新的发展阶段。新能源存量项目如何与“机制电量/价”衔接,增量项目如何进行科学投决,如何全面参与电力市场从单一的投
风景如画的取水泵站、古色古香的“园林式”水厂、植被丰茂的全地埋式污水处理厂#x2026;#x2026;不同的是厂站内外各有千秋的怡人美景,相同的是“中国水安全专家”标准化、精细化、智能化的高质量管理运营#x2014;#x2014;2025年,粤海水务进一步锚定“成为一流全产业链水务环保综合服务商”的发展愿景,面
北极星售电网获悉,6月10日,贵州贵阳市人民代表大会常务委员会发布关于《贵阳市算力产业促进条例》公告。《贵阳市算力产业促进条例》经2025年4月29日贵阳市第十五届人民代表大会常务委员会第二十六次会议通过,2025年5月29日贵州省第十四届人民代表大会常务委员会第十七次会议批准,现予公布,自2025
北极星固废网获悉,6月6日,住房城乡建设部《关于进一步加强城市建筑垃圾治理的意见》已经国务院同意。意见指出,到2027年,健全城市建筑垃圾治理体系,完善建筑垃圾管理法规政策和标准规范,建筑垃圾全过程管理制度得到有效落实,偷排乱倒问题得到有效遏制,全国地级及以上城市建筑垃圾平均资源化利用
北极星售电网获悉,6月5日,重庆市经济和信息化委员会发布关于印发《重庆市加快推进公共领域车辆全面电动化工作方案》(以下简称《方案》)的通知。《方案》指出,加快新型充换电技术应用。支持建设单枪功率480千瓦及以上的液冷超充,鼓励整车企业研发推出具备超充和双向充放电(V2G)功能的新能源汽车
6月11日,阳光电源携近30款新能源展品亮相2025SNEC光伏展,涵盖能源基地、零碳园区和零碳家庭三大板块。通过AI焕新、主动安全、全系构网,持续推动构建清洁低碳、安全高效的现代化智慧能源体系。(阳光电源展台现场)针对大型光伏电站,阳光电源重磅发布两款逆变器新品#x2014;#x2014;全球首款400kW#x2B
2025年4月28日,西班牙、葡萄牙及法国南部地区突发大规模停电,导致伊比利亚半岛数千万人在白昼陷入黑暗,交通瘫痪、通信金融服务中断、医疗停摆、社会秩序混乱。此次持续近20小时的大停电是欧洲近年来最严重的一次,堪称“21世纪最严重的非战争型基础设施灾难”,暴露出高比例可再生能源接入背景下电
近日,汕尾市人民政府印发《汕尾市空气质量持续改善行动方案》(以下简称《行动方案》)。《行动方案》共提出1个年度工作目标和9方面重点任务。《行动方案》包括指导思想、工作目标、重点工作任务等内容。其中,工作目标要求2025年全市环境空气质量优良天数比率(AOI达标率)为98%,细颗粒物(PM2.5)年均浓
“负极都使用金属锂。”近日,中国锂业巨头,赣锋锂业表示,其二代混合固态锂电池采用金属锂作为负极,开发的高比能电池能量密度达到420Wh/kg,循环寿命超过700次。随着固态电池的开发和量产,原先限制锂金属负极应用的锂枝晶问题正在被解决,新的技术不仅可以抑制锂枝晶的生长,固态电解质隔膜更可以
北极星售电网获悉,6月10日,贵州贵阳市人民代表大会常务委员会发布关于《贵阳市算力产业促进条例》公告。《贵阳市算力产业促进条例》经2025年4月29日贵阳市第十五届人民代表大会常务委员会第二十六次会议通过,2025年5月29日贵州省第十四届人民代表大会常务委员会第十七次会议批准,现予公布,自2025
编者按党的二十大报告提出,要加快发展方式绿色转型,推动经济社会发展绿色化、低碳化,倡导绿色消费,推动形成绿色低碳的生产方式和生活方式。开展绿色电力交易是推进能源绿色低碳转型的重要途径,是推动可再生能源持续健康发展的重要抓手。近年来,国家大力推动绿色电力市场建设并取得显著成效,购买
全球绿色液体燃料发展态势及我国发展策略石鸿旭12郑欣怡1程子雯1孙祥栋12(1.北京化工大学经济管理学院2.北京化工大学绿色创新与可持续发展研究中心)实现“双碳”目标迫切要求我国加快能源体系的全面重塑。相比电气化与氢能发展路径,绿色液体燃料以其高能量密度、易存储运输和强终端设备兼容性等优势
当前,氢能作为清洁、高效、可再生的二次能源,已成为全球碳中和战略的核心赛道。6月5日是世界环境日,第六届绿色交通动力与能源技术国际交流会议暨氢能产业创新交流会在武汉经开区举行,一款“车谷造”氢内燃机发电机组正式开启商业化示范运营。这是国内首台套投入商业化示范应用的氢内燃机发电机组,
日前,十堰市政府印发《十堰市2025年度水污染防治攻坚行动实施方案》、《十堰市2025年度大气污染防治攻坚行动实施方案》、《十堰市2025年度土壤污染防治攻坚行动实施方案》。详情如下:市人民政府办公室关于印发十堰市2025年度水、大气、土壤污染防治攻坚行动实施方案的通知各县市区人民政府,市直相关
近日,普洛斯新能源为申通快递量身打造的用户端储能项目正式投入运营,该项目位于申通快递上海转运中心,总容量达2.75MW/5.83MWh。此次部署的储能系统是普洛斯与申通快递在物流园区采用储能保供电服务的首次尝试,不仅助力申通快递提升园区运营稳定性,更为快递物流行业向高效、低碳运营模式转型树立了
近日,思格新能源携手保加利亚可再生能源企业TrakiaMT,成功完成保加利亚南部MalkoTarnovo镇20MWh大型地面光伏储能项目建设。项目坐落于保加利亚与土耳其交界的群山之间,随着光储项目的建成运行,不仅实现了清洁电力在山区的稳定输出,也为提升区域能源独立性和用能安全奠定了坚实基础。拥有“玫瑰之
日前,《阳泉市能源领域碳达峰实施方案》印发。方案提出,锚定2060年前实现碳中和的远景目标,按照力争2030年前实现碳达峰目标进行安排部署。关于印发《阳泉市能源领域碳达峰实施方案》的通知各县(区)人民政府、高新区管委会,市直有关单位,各有关企业:为全面贯彻落实市委、市政府关于碳达峰、碳中
6月6日,阳泉市能源局关于印发《阳泉市能源领域碳达峰实施方案》的通知,通知指出,大力推进风光新能源建设。充分利用各类国土空间资源,统筹优化布局,梳理全市风光资源现状及开发潜力。坚持集中式与分布式开发并举,全面推进风电、光伏发电大规模开发利用和高质量发展,逐步带动新能源产业链延伸发展
北极星储能网获悉,6月6日,阳泉市能源局印发《阳泉市能源领域碳达峰实施方案》,提到,鼓励大数据中心、电动汽车充(换)电站、虚拟电厂运营商以及储能运营商作为市场主体参与用户侧储能项目建设。积极构建多层次智能电力系统调度体系,提高电网调度智能化水平。到2025年,全市实现快速灵活的需求侧响
5月29日,中办、国办印发《关于健全资源环境要素市场化配置体系的意见》,深化资源环境要素市场化配置改革。意见提出,到2027年,碳排放权、用水权交易制度基本完善,排污权交易制度建立健全,节能市场化机制更加健全,资源环境要素交易市场更加活跃、价格形成机制更加健全,推动资源环境要素畅通流动
5月29日,中共中央办公厅国务院办公厅印发关于健全资源环境要素市场化配置体系的意见,到2027年,碳排放权、用水权交易制度基本完善,排污权交易制度建立健全,节能市场化机制更加健全,资源环境要素交易市场更加活跃、价格形成机制更加健全,推动资源环境要素畅通流动、高效配置,充分释放市场潜力,
新华社北京5月29日电,中共中央办公厅、国务院办公厅发布关于健全资源环境要素市场化配置体系的意见。意见提出,完善碳市场覆盖范围。结合碳达峰碳中和工作需要、行业降碳潜力和碳排放核算基础等,稳步扩大全国碳排放权交易市场行业覆盖范围,扩展交易主体,丰富交易品种、交易方式。完善全国温室气体
今年以来,新型储能在136号文与394号文政策叠加影响下面临结构性变革。年初的136号文要求新能源全量入市,敦促储能行业重新审视自身发展模式;4月发布的394号文又明确2025年底前实现电力现货市场全覆盖,则意味着新能源和储能都将迎来真正的市场化调整,未来收益到底增还是减,将取决于储能产品的运营
北极星售电网获悉,日前,天津市生态环境局发布《天津市深化地方碳排放权交易市场建设工作方案(2025-2027年)》(征求意见稿)。文件明确,根据全市碳排放双控目标,综合考虑行业发展状况、产业和碳排放特征、数据质量基础等因素,有序扩大碳市场覆盖范围,新增年排放温室气体1万吨以上货运港口行业、
日前,天津市生态环境局发布《天津市深化地方碳排放权交易市场建设工作方案(2025-2027年)》(征求意见稿)。详情如下:市生态环境局关于公开征求《天津市深化地方碳排放权交易市场建设工作方案(2025-2027年)》(征求意见稿)意见的通知为进一步完善地方碳排放权交易机制,更好发挥碳市场控制和减少
5月22日,重庆市发展和改革委员会印发《推动经济社会发展全面绿色转型行动计划(2025—2027年)》的通知。三年行动计划指出:1、推动传统产业“智改数转绿色化”转型。推动钢铁、有色、石化、化工、建材、造纸、印染等行业实施节能降碳改造升级,深入推进“绿效码”应用,推进存量低效数据中心节能降碳
北极星电力网获悉,重庆市发改委5月22日正式印发《推动经济社会发展全面绿色转型行动计划(2025—2027年)》指出:统筹提升能源安全供应能力。夯实市内电源基础,加快推动两江燃机二期等天然气发电、合川双槐三期煤电项目,加快云阳建全、丰都栗子湾、奉节菜籽坝抽水蓄能电站建设。全力推进外电入渝工
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!