登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
数据仓库一直以来更多是关于分析和管理,而不仅是简单的大容量存储。那么,数据加载量在不停地增加让甚至在目前最先进的仓库平台也接近了它们的极限就不足为奇了。这就给像Attunity这样的小公司提供了机会,用专业处理大数据的技术和工具增加像Teradata和Greenplum这样的主导系统。Attunity公司的ItamarAnkorion勾画出了他们的策略。
目前如此大量的数据运行于企业之中,似乎有效的数据仓库(DataWarehouse)只是变得更加复杂了。你所听到的客户关于数据仓库中的最高挑战是什么?
有效的数据仓库由于一直增长的大量数据确实变得越来越复杂。更重要的是,由于业务对快速数据仓库的需要,事情变得更加复杂化。这种高容量和低延迟的组合造成了传统工具不能解决的挑战,而客户正寻找能让他们适应这种变革中的业务和IT环境的技术和流程。
在解决这项需求时所面临的主要挑战之一,是无法在给定的时间内移动必要的数据量。例如,让业务交易后一个小时,甚至几分钟到几秒钟后就得到数据,一个传统的批量处理的提取、转换与加载(ETL)的过程需要四个小时或更多的时间来完成将是无法接受的。其他相关的挑战是在加载到数据仓库时要减少在操作系统上的影响。因为提取数据运行大的查询会降低该操作系统对使用者和客户的服务,这又是不能接受的。大交易数据需要适合通过一个小时间段的这个想法极好地描述了大多数设法解决现代信息管理策略的企业所面临的问题。
一般企业系统需要更加习惯于不断增加的各种终端用户设备。数据仓库需要怎样的发展去适应新的环境?
从各种各样的用户设备上访问数据仓库中的业务信息,影响到数据仓库的工作量以及它所需要支持的信息。从工作量的角度来看,例如,使用设备会需要大量的小查询,这就需要在很低的延迟下跨越地域进行回答。从信息的角度来看,用户使用移动设备希望无论在任何地方都能立即访问到信息。而不只是信息,还是最新的信息,这让我们又回到低延迟的数据仓库,而且需要很快地加载信息好让用户可以任意和历史内容一起访问交易数据。
你最近在你的平台上增加了变化数据捕捉(CDC)和复制的功能。它将以何种方式增强对像Teradata这样的现有数据仓库环境的分析和管理?
Attunity提供了带有AttunityStream的变化数据捕捉(CDC)以及带有最近发布的Attunity复制(AttunityReplicate)系统的数据复制两种产品,能够实现低延迟的数据仓库。通过增加数据整合能力对之前所提到的挑战的解决,以及低延迟的加载数据和低影响的需要的处理,这两个产品都是对像Teradata这样的现有数据仓库平台的补充。要注意的重点是不同的任务需要不同的工具,因为没有一个工具是万能的。当传统的提取、转换与加载(ETL)工具批处理加载很好用时,企业需要补充那些促进效率和频繁的大交易数据加载的技术。
变动数据捕捉(CDC)使变动数据的处理成为可能。而利用像AttunityStream这样的基于日志的变化数据捕捉(CDC)技术,对源数据库服务器产生最小/边缘的影响。变动数据捕捉(CDC)通常是用来补充提取、转换与加载(ETL)及其他批处理的。
数据复制已经成为一种将交易数据移动到数据仓库中的解决方案,特别是在近实时的情景下。数据复制最佳地快速拷贝数据并能确保交易的完整性。此外,它在从提取、转换与加载(ETL)向ELT(数据先复制到数据仓库然后再转换)的转变的更广泛的趋势里也起着非常重要的作用。这个方法对于像那些由Teradata或EMCGreenplum提供的强大数据仓库特别有吸引力,因为它们让客户受益于这些机器的功能,降低了转换数据的高容量服务器的拥有成本。
我们看到,变动数据捕捉(CDC)或数据复制技术可以用来创造一个更为稳健的数据管理和整合环境,尤其是对最新的以及自动化决策的支持。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
编者按:5月20日,2025年世界计量日中国主场活动在广州举办。本次活动以“计量顺时代之需,应民生之盼”为主题,由国家市场监管总局主办,广东省市场监管局、南方电网公司承办。自有电网起,便有了电能计量。在我国,电能计量表发展先后历经了感应式电能表、机电一体式电能表、电子式电能表等阶段,电
万物生长,好事正酿一大波喜报如春风般扑面而来快来看看这次又是什么的荣誉🤩🤩近日,重庆市企业管理创新经验交流会在渝召开,会议举行了“2024年重庆市企业管理现代化创新成果”和“2024全国企业绿色低碳发展优秀实践案例”颁奖仪式。中船科技旗下中船海装申报的《提升风电企业竞争力的市场营销精
国电电力秦皇岛发电有限责任公司2×350MW等容量替代热电联产项目智慧电厂IMS智慧管理平台建设项目公开招标项目招标公告1.招标条件本招标项目名称为:国电电力秦皇岛发电有限责任公司2×350MW等容量替代热电联产项目智慧电厂IMS智慧管理平台建设项目公开招标,项目招标编号为:CEZB240013380,招标人为
日前,国家市场监管总局发函同意南方电网公司筹建国家计量数据建设应用基地(绿色电力)。此次筹建是南方电网公司首个筹建的在绿色电力领域内的国家级计量数据建设应用基地,云南电网公司作为基地依托单位将联合南网数字电网集团共同开展为期3年的建设工作。绿电计量是绿色电力产生、传输、消费过程中
在华为全联接大会2022上,华为发布面向多云的数据存储战略,全面拥抱云原生,打造跨多私有云、公有云的可靠存储系统,助力企业构建数据集中共享、应用多云部署的IT架构,实现最大程度的数据资源共享和流通。华为数据存储产品线总裁周跃峰发言随着企业云化的不断实践,以容器为代表的云原生技术应用日益
10月24日,嘉兴市发展改革委公布对市政协九届一次会议第336号提案的答复,其中提到,在农业农村领域加快老旧农机报废更新,大力发展家庭屋顶光伏;在公共机构领域推行能耗限额管理,积极争创节约型公共机构示范单位,发挥节能示范作用。发挥我市光伏应用良好基础,加快发展太阳能、氢能、风能等清洁能
《“十四五”数字孪生流域建设总体方案》近日通过水利部审查,这标志着数字孪生流域建设进入了全面实施阶段。随着大数据、物联网等信息化手段在水电行业的运用,数字孪生贯穿了水电从设计、生产到运维的整个生命周期,实现精准决策、快速反应,为流域生态保护与高质量发展提供支持。在中国水力发电工程
《“十四五”数字孪生流域建设总体方案》近日通过水利部审查,这标志着数字孪生流域建设进入了全面实施阶段。随着大数据、物联网等信息化手段在水电行业的运用,数字孪生贯穿了水电从设计、生产到运维的整个生命周期,实现精准决策、快速反应,为流域生态保护与高质量发展提供支持。在中国水力发电工程
“东数西算”机遇下的煤炭行业数字化转型(来源:微信公众号“中能传媒研究院”作者:张博1仲冰2)(1.中国矿业大学(北京)决策科学与大数据研究院副院长2.中国矿业大学(北京)管理学院讲师)一我国煤矿智能化建设渐入佳境根据国家发展改革委等八部门2020年联合印发的《关于加快煤矿智能化发展的指导
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
客户介绍·珠海印象城印力集团专注于商业地产的开发和运营,对购物中心经营管理有着独到经验,将先进的商业模式与珠海本地的人文环境相融合,秉持“缔造欢购之城,开启乐享之旅”的理念,继续经营好印象城项目,为消费者提供高品质的全景服务。珠海印象城,将一如既往地恪守认真对待每一位顾客的服务宗
加快锻造新质生产力推进抽水蓄能产业高质量发展5月28日,水电水利规划设计总院发布《抽水蓄能产业发展报告2024年度》(以下简称《报告》)显示,我国抽水蓄能装机容量连续9年居世界首位,日本、美国分列第二、三位。在“双碳”目标的引领和驱动下,南方电网近年来加大抽水蓄能发展力度,以积极锻造新质
6月4日,宁波永耀监理公司工作人员在奉化莼湖10千伏南化线D460线25号杆新装开关施工现场开展旁站监理,确保施工人员顺利完成柱上智能开关安装工作。与传统开关相比,智能开关具备多级保护配置好的自动重合闸功能,当检测到分支线路发生故障时,可以实现线路故障快速定位故障范围,准确切断故障部分,保
6月4日,国家能源局印发关于组织开展新型电力系统建设第一批试点工作的通知。《通知》提出,聚焦新型电力系统有关前沿方向,依托典型项目开展单一方向试点,依托典型城市开展多方向综合试点,探索新型电力系统建设新技术、新模式,推动新型电力系统建设取得突破。坚持重点突破,先期围绕构网型技术、系
北极星储能网获悉,6月4日,国家能源局印发关于组织开展新型电力系统建设第一批试点工作的通知。试点方向上提出,构网型技术重点在高比例新能源接入的弱电网地区、“沙戈荒”基地大规模新能源外送地区,应用新能源/新型储能构网型控制技术,有效解决短路容量下降、惯量降低、宽频振荡等问题,提升新能
近日,国家能源局发布了关于组织开展新型电力系统建设第一批试点工作的通知。通知明确提出,要聚焦新型电力系统有关前沿方向,依托典型项目开展单一方向试点,依托典型城市开展多方向综合试点,探索新型电力系统建设新技术、新模式,推动新型电力系统建设取得突破。坚持重点突破,先期围绕构网型技术、
6月4日,国家能源局印发关于组织开展新型电力系统建设第一批试点工作的通知。通知提出,聚焦新型电力系统有关前沿方向,依托典型项目开展单一方向试点,依托典型城市开展多方向综合试点,探索新型电力系统建设新技术、新模式,推动新型电力系统建设取得突破。坚持重点突破,先期围绕构网型技术、系统友
一系列技术突破表明,人类对于核聚变的探索已从理论推演走到了工程试验阶段,核聚变永远50年的“魔咒”可能正在慢慢被解除。(来源:能源新媒文/本刊记者范珊珊)在刘慈欣的小说《流浪地球》里,重核聚变行星发动机推动地球开启星际流浪之旅;在《三体》中他描述了“无工质飞船”——核聚变飞船带领人类
喜讯频传!继云南姚安200MW/400MWh独立储能项目成功并网后,永德、南华、寻甸三大项目亦先后全容量并网发电,四大项目总规模达1.5GWh。四颗耀眼的“能源心脏”在彩云之南同时跃动,为云南新型电力系统注入澎湃动能,全面彰显远信储能在复杂电网环境下的一站式储能解决方案能力与全球能源转型中的领先地
5月28日,水电水利规划设计总院发布《抽水蓄能产业发展报告2024年度》(以下简称《报告》)显示,我国抽水蓄能装机容量连续9年居世界首位,日本、美国分列第二、第三位。在“双碳”目标的引领和驱动下,南方电网公司近年来加大抽水蓄能发展力度,以积极锻造新质生产力推进产业高质量发展,为“两化”协同
5月20日,国网唐山供电公司供电服务指挥中心内,冀北AI青年特战队成员周扬打开公司“电网一张图”系统的“供电异常原因深度分析”界面,输入“分析上月九间房供电异常事件并提出改进建议”指令。仅5分钟后,场景便自动生成了包含事件过程还原、设备状态分析、根本原因诊断及网架优化建议的完整报告。这
6月6日,阳泉市能源局关于印发《阳泉市能源领域碳达峰实施方案》的通知,通知指出,大力推进风光新能源建设。充分利用各类国土空间资源,统筹优化布局,梳理全市风光资源现状及开发潜力。坚持集中式与分布式开发并举,全面推进风电、光伏发电大规模开发利用和高质量发展,逐步带动新能源产业链延伸发展
北极星储能网获悉,6月6日,阳泉市能源局印发《阳泉市能源领域碳达峰实施方案》,提到,鼓励大数据中心、电动汽车充(换)电站、虚拟电厂运营商以及储能运营商作为市场主体参与用户侧储能项目建设。积极构建多层次智能电力系统调度体系,提高电网调度智能化水平。到2025年,全市实现快速灵活的需求侧响
5月29日,中办、国办印发《关于健全资源环境要素市场化配置体系的意见》,深化资源环境要素市场化配置改革。意见提出,到2027年,碳排放权、用水权交易制度基本完善,排污权交易制度建立健全,节能市场化机制更加健全,资源环境要素交易市场更加活跃、价格形成机制更加健全,推动资源环境要素畅通流动
5月29日,中共中央办公厅国务院办公厅印发关于健全资源环境要素市场化配置体系的意见,到2027年,碳排放权、用水权交易制度基本完善,排污权交易制度建立健全,节能市场化机制更加健全,资源环境要素交易市场更加活跃、价格形成机制更加健全,推动资源环境要素畅通流动、高效配置,充分释放市场潜力,
新华社北京5月29日电,中共中央办公厅、国务院办公厅发布关于健全资源环境要素市场化配置体系的意见。意见提出,完善碳市场覆盖范围。结合碳达峰碳中和工作需要、行业降碳潜力和碳排放核算基础等,稳步扩大全国碳排放权交易市场行业覆盖范围,扩展交易主体,丰富交易品种、交易方式。完善全国温室气体
今年以来,新型储能在136号文与394号文政策叠加影响下面临结构性变革。年初的136号文要求新能源全量入市,敦促储能行业重新审视自身发展模式;4月发布的394号文又明确2025年底前实现电力现货市场全覆盖,则意味着新能源和储能都将迎来真正的市场化调整,未来收益到底增还是减,将取决于储能产品的运营
北极星售电网获悉,日前,天津市生态环境局发布《天津市深化地方碳排放权交易市场建设工作方案(2025-2027年)》(征求意见稿)。文件明确,根据全市碳排放双控目标,综合考虑行业发展状况、产业和碳排放特征、数据质量基础等因素,有序扩大碳市场覆盖范围,新增年排放温室气体1万吨以上货运港口行业、
日前,天津市生态环境局发布《天津市深化地方碳排放权交易市场建设工作方案(2025-2027年)》(征求意见稿)。详情如下:市生态环境局关于公开征求《天津市深化地方碳排放权交易市场建设工作方案(2025-2027年)》(征求意见稿)意见的通知为进一步完善地方碳排放权交易机制,更好发挥碳市场控制和减少
5月22日,重庆市发展和改革委员会印发《推动经济社会发展全面绿色转型行动计划(2025—2027年)》的通知。三年行动计划指出:1、推动传统产业“智改数转绿色化”转型。推动钢铁、有色、石化、化工、建材、造纸、印染等行业实施节能降碳改造升级,深入推进“绿效码”应用,推进存量低效数据中心节能降碳
北极星电力网获悉,重庆市发改委5月22日正式印发《推动经济社会发展全面绿色转型行动计划(2025—2027年)》指出:统筹提升能源安全供应能力。夯实市内电源基础,加快推动两江燃机二期等天然气发电、合川双槐三期煤电项目,加快云阳建全、丰都栗子湾、奉节菜籽坝抽水蓄能电站建设。全力推进外电入渝工
5月22日,重庆市发展和改革委员会印发《推动经济社会发展全面绿色转型行动计划(2025—2027年)》。文件提出,健全以治水治气为牵引的“九治”生态治理体系。打好治水攻坚战,加快污水收集处理设施新建改扩建进度,全域全面消除黑臭水体。打好治气攻坚战,严格控制PM2.5浓度。加强土壤污染源头防控,协
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!