登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
数据仓库一直以来更多是关于分析和管理,而不仅是简单的大容量存储。那么,数据加载量在不停地增加让甚至在目前最先进的仓库平台也接近了它们的极限就不足为奇了。这就给像Attunity这样的小公司提供了机会,用专业处理大数据的技术和工具增加像Teradata和Greenplum这样的主导系统。Attunity公司的ItamarAnkorion勾画出了他们的策略。
目前如此大量的数据运行于企业之中,似乎有效的数据仓库(DataWarehouse)只是变得更加复杂了。你所听到的客户关于数据仓库中的最高挑战是什么?
有效的数据仓库由于一直增长的大量数据确实变得越来越复杂。更重要的是,由于业务对快速数据仓库的需要,事情变得更加复杂化。这种高容量和低延迟的组合造成了传统工具不能解决的挑战,而客户正寻找能让他们适应这种变革中的业务和IT环境的技术和流程。
在解决这项需求时所面临的主要挑战之一,是无法在给定的时间内移动必要的数据量。例如,让业务交易后一个小时,甚至几分钟到几秒钟后就得到数据,一个传统的批量处理的提取、转换与加载(ETL)的过程需要四个小时或更多的时间来完成将是无法接受的。其他相关的挑战是在加载到数据仓库时要减少在操作系统上的影响。因为提取数据运行大的查询会降低该操作系统对使用者和客户的服务,这又是不能接受的。大交易数据需要适合通过一个小时间段的这个想法极好地描述了大多数设法解决现代信息管理策略的企业所面临的问题。
一般企业系统需要更加习惯于不断增加的各种终端用户设备。数据仓库需要怎样的发展去适应新的环境?
从各种各样的用户设备上访问数据仓库中的业务信息,影响到数据仓库的工作量以及它所需要支持的信息。从工作量的角度来看,例如,使用设备会需要大量的小查询,这就需要在很低的延迟下跨越地域进行回答。从信息的角度来看,用户使用移动设备希望无论在任何地方都能立即访问到信息。而不只是信息,还是最新的信息,这让我们又回到低延迟的数据仓库,而且需要很快地加载信息好让用户可以任意和历史内容一起访问交易数据。
你最近在你的平台上增加了变化数据捕捉(CDC)和复制的功能。它将以何种方式增强对像Teradata这样的现有数据仓库环境的分析和管理?
Attunity提供了带有AttunityStream的变化数据捕捉(CDC)以及带有最近发布的Attunity复制(AttunityReplicate)系统的数据复制两种产品,能够实现低延迟的数据仓库。通过增加数据整合能力对之前所提到的挑战的解决,以及低延迟的加载数据和低影响的需要的处理,这两个产品都是对像Teradata这样的现有数据仓库平台的补充。要注意的重点是不同的任务需要不同的工具,因为没有一个工具是万能的。当传统的提取、转换与加载(ETL)工具批处理加载很好用时,企业需要补充那些促进效率和频繁的大交易数据加载的技术。
变动数据捕捉(CDC)使变动数据的处理成为可能。而利用像AttunityStream这样的基于日志的变化数据捕捉(CDC)技术,对源数据库服务器产生最小/边缘的影响。变动数据捕捉(CDC)通常是用来补充提取、转换与加载(ETL)及其他批处理的。
数据复制已经成为一种将交易数据移动到数据仓库中的解决方案,特别是在近实时的情景下。数据复制最佳地快速拷贝数据并能确保交易的完整性。此外,它在从提取、转换与加载(ETL)向ELT(数据先复制到数据仓库然后再转换)的转变的更广泛的趋势里也起着非常重要的作用。这个方法对于像那些由Teradata或EMCGreenplum提供的强大数据仓库特别有吸引力,因为它们让客户受益于这些机器的功能,降低了转换数据的高容量服务器的拥有成本。
我们看到,变动数据捕捉(CDC)或数据复制技术可以用来创造一个更为稳健的数据管理和整合环境,尤其是对最新的以及自动化决策的支持。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
编者按:5月20日,2025年世界计量日中国主场活动在广州举办。本次活动以“计量顺时代之需,应民生之盼”为主题,由国家市场监管总局主办,广东省市场监管局、南方电网公司承办。自有电网起,便有了电能计量。在我国,电能计量表发展先后历经了感应式电能表、机电一体式电能表、电子式电能表等阶段,电
万物生长,好事正酿一大波喜报如春风般扑面而来快来看看这次又是什么的荣誉🤩🤩近日,重庆市企业管理创新经验交流会在渝召开,会议举行了“2024年重庆市企业管理现代化创新成果”和“2024全国企业绿色低碳发展优秀实践案例”颁奖仪式。中船科技旗下中船海装申报的《提升风电企业竞争力的市场营销精
国电电力秦皇岛发电有限责任公司2×350MW等容量替代热电联产项目智慧电厂IMS智慧管理平台建设项目公开招标项目招标公告1.招标条件本招标项目名称为:国电电力秦皇岛发电有限责任公司2×350MW等容量替代热电联产项目智慧电厂IMS智慧管理平台建设项目公开招标,项目招标编号为:CEZB240013380,招标人为
日前,国家市场监管总局发函同意南方电网公司筹建国家计量数据建设应用基地(绿色电力)。此次筹建是南方电网公司首个筹建的在绿色电力领域内的国家级计量数据建设应用基地,云南电网公司作为基地依托单位将联合南网数字电网集团共同开展为期3年的建设工作。绿电计量是绿色电力产生、传输、消费过程中
在华为全联接大会2022上,华为发布面向多云的数据存储战略,全面拥抱云原生,打造跨多私有云、公有云的可靠存储系统,助力企业构建数据集中共享、应用多云部署的IT架构,实现最大程度的数据资源共享和流通。华为数据存储产品线总裁周跃峰发言随着企业云化的不断实践,以容器为代表的云原生技术应用日益
10月24日,嘉兴市发展改革委公布对市政协九届一次会议第336号提案的答复,其中提到,在农业农村领域加快老旧农机报废更新,大力发展家庭屋顶光伏;在公共机构领域推行能耗限额管理,积极争创节约型公共机构示范单位,发挥节能示范作用。发挥我市光伏应用良好基础,加快发展太阳能、氢能、风能等清洁能
《“十四五”数字孪生流域建设总体方案》近日通过水利部审查,这标志着数字孪生流域建设进入了全面实施阶段。随着大数据、物联网等信息化手段在水电行业的运用,数字孪生贯穿了水电从设计、生产到运维的整个生命周期,实现精准决策、快速反应,为流域生态保护与高质量发展提供支持。在中国水力发电工程
《“十四五”数字孪生流域建设总体方案》近日通过水利部审查,这标志着数字孪生流域建设进入了全面实施阶段。随着大数据、物联网等信息化手段在水电行业的运用,数字孪生贯穿了水电从设计、生产到运维的整个生命周期,实现精准决策、快速反应,为流域生态保护与高质量发展提供支持。在中国水力发电工程
“东数西算”机遇下的煤炭行业数字化转型(来源:微信公众号“中能传媒研究院”作者:张博1仲冰2)(1.中国矿业大学(北京)决策科学与大数据研究院副院长2.中国矿业大学(北京)管理学院讲师)一我国煤矿智能化建设渐入佳境根据国家发展改革委等八部门2020年联合印发的《关于加快煤矿智能化发展的指导
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
近年来,随着风电、光伏等波动性可再生能源在电力系统中占比不断攀升,电力系统固有的“刚性”调节能力面临前所未有的挑战。(来源:中国能源观察作者:王睿佳)今年4月,国家发展改革委、国家能源局印发《关于加快推进虚拟电厂发展的指导意见》(以下简称《指导意见》)指出,“随着新型电力系统建设
北极星储能网获悉,6月25日,工信部发布关于开展2025年新能源汽车安全隐患排查工作的通知。其中动力电池系统安全排查方面,要求企业应协同动力电池生产企业,联合排查动力电池等关键系统运行状态异常(如电池温度异常、电压异常、电流异常和绝缘异常等)情况,对电池的实际使用情况进行检查,采取有效
2025年的4月28日,西班牙电网在短短的5秒之内失去了超过15吉瓦的电力。这场持续十几个小时的大停电,让5000万人的生活停摆,居民通讯中断、医疗系统停滞、公共交通瘫痪。突如其来的大停电也引发了我们对当今能源转型的思考#x2014;#x2014;极端天气频发、新能源大量接入、设备老化等一系列情况下,电网如
高考志愿填报已经进入了最后冲刺阶段!选对方向和考高分同等重要,面对众多院校和海量专业,很多考生和家长还是一头雾水,将来想进电力企业,高考志愿应该填报哪些院校和专业?作为过来人,头条君精编填报干货,助你精准匹配理想院校!头条君首先向大家安利电气工程专业!电气专业“永不过时”国家大力
作者:陈海生1李泓2徐玉杰1徐德厚3王亮1周学志1陈满4胡东旭1林海波1,2李先锋5胡勇胜2安仲勋6刘语1肖立业7蒋凯8钟国彬9王青松10李臻11康飞宇14王选鹏15尹昭1戴兴建1林曦鹏1朱轶林1张弛1张宇鑫1刘为11岳芬11张长昆5俞振华11党荣彬2邱清泉7陈仕卿1史卓群1张华良1李浩秒8徐成8周栋14司知蠢14宋振11赵新宇16
“这款软件解放了设计人员的双手,让大型光伏电站设计迈入智能化时代!”在2025SNEC国际光伏储能展上,阳光新能源大型地面光伏电站智能设计软件iSolarTool3.0焕新发布让不少参展逛展的行业人员纷纷驻足停留、赞不绝口。在电力交易市场化浪潮中,iSolarTool3.0以“两首创、两升级”重塑大型地面电站智能
北极星售电网获悉,6月24日,河南周口市人民政府发布关于印发周口市2025年优化营商环境专项行动实施方案的通知。文件明确,强化用能保障。落实绿色低碳转型战略,大力发展新能源,提高能源保障能力,调整优化能源结构,降低企业特别是工业企业用能成本。积极推动实施增量配电类源网荷储一体化项目、独
2025年6月25日,由中国家用电器研究院组织编制的《中国废弃电器电子产品回收处理及综合利用行业白皮书2024》在北京召开的第十八届电器电子产品生产者责任延伸制度及回收处理技术大会上正式发布。2024白皮书是中国家用电器研究院推出的第十五个年度行业白皮书,内容包括中国废弃电器电子产品回收处理管
“大爷您好,天气这么热,送您一把小扇子先扇扇,您看扇子上还印有节能减排行为公约”“空调不低于26度、全国节电上亿度、灯泡换成节能灯、用电能省近八成……”在炎炎夏日,经过一次次清凉的传递和朗朗上口的宣传讲解,节约减排理念已深入活动现场的老百姓心中。6月25日是全国低碳日,国网滦州市供电
2025年2月,国家发展改革委、国家能源局印发的《关于深化新能源上网电价市场化改革,促进新能源高质量发展的通知》(发改价格〔2025〕136号),在新能源行业激起千层浪。该政策明确新能源项目上网电量原则上全部进入电力市场,上网电价通过市场交易形成,标志着新能源“补贴时代”彻底落幕,企业收益模
电力市场正经历从计划经济向市场化转型的深刻变革,随着新能源全面入市和全国统一电力市场的建设推进,电力交易的盈利模式正从单一差价套利转向多元化增值服务。一度电在电力市场交易中有多少利润?成为电力产业链上各环节参与者,尤其是发电企业、电网企业、售电公司关注的核心问题。(来源:北极星电
为更好推进风电和光伏发电资源普查试点工作,保障《风电和光伏发电资源普查试点工作方案》各项任务高质量完成,7月2日上午,国家能源局组织召开了风电和光伏发电资源普查试点中期工作会议。国家能源局党组成员、副局长、风电和光伏发电资源普查试点工作小组组长万劲松出席会议并讲话。会上,河北省、内
为更好推进风电和光伏发电资源普查试点工作,保障《风电和光伏发电资源普查试点工作方案》各项任务高质量完成,7月2日上午,国家能源局组织召开了风电和光伏发电资源普查试点中期工作会议。国家能源局党组成员、副局长、风电和光伏发电资源普查试点工作小组组长万劲松出席会议并讲话。会上,河北省、内
为更好推进风电和光伏发电资源普查试点工作,保障《风电和光伏发电资源普查试点工作方案》各项任务高质量完成,7月2日上午,国家能源局组织召开了风电和光伏发电资源普查试点中期工作会议。国家能源局党组成员、副局长、风电和光伏发电资源普查试点工作小组组长万劲松出席会议并讲话。会上,河北省、内
南方电网新能源(新型储能)调度服务平台安全可靠改造及12项功能加装项目招标公告(采购编号:CG0000022002056578)1.招标条件本招标项目南方电网新能源(新型储能)调度服务平台安全可靠改造及12项功能加装项目,招标人为中国南方电网有限责任公司,项目资金已落实,该项目已具备招标条件,现对本项目
6月26日,东莞市工业和信息化局发布《关于加快推动工业和信息化产业高质量发展的若干政策措施》政策解读。该政策措施现了东莞市在推动工业和信息化产业高质量发展过程中,对节能减碳工作的重视和支持,并通过财政奖励、资助等方式,鼓励企业积极开展绿色制造、数字化改造和技术创新,以实现产业的可持
AI赋能电力产业:变革、挑战与对策中国海油集团能源经济研究院韩广忠王建明近年来,人工智能(AI)技术正以前所未有的速度改变着各行各业,全球电力产业无疑成为获得益处与遭受冲击最为明显的领域之一。从能源生产、输配到消费管理,AI正在全方位推动产业升级,促进数字化转型,并为实现低碳发展和可持
6月20日,军信股份公告,公司与长沙数字集团有限公司签订《战略合作协议》,双方利用各自优势,助力长沙、湖南以及“一带一路”国家和地区实现“绿色低碳+人工智能”协同发展。双方将围绕“无废城市”建设、环保数字化升级、绿色电力和智算产业协同发展等领域展开合作。在绿色算力中心建设运营领域,双
近日,新疆环保集团与苏伊士环境科技(北京)有限公司(简称“苏伊士科技公司”)围绕污染治理技术及合作方向、环保产业合作、技术创新及战略协同等开展座谈交流,并在污水处理、固危废处置及资源化利用、循环经济等领域达成合作意向,共同为新疆生态文明建设注入新动能。新疆环保集团党委书记、董事长
6月11日,甘肃省发改委发布《甘肃省完善碳排放统计核算体系工作方案》的通知。方案提出,到2025年,全面建立省级碳排放年报、快报制度,探索建立市州级碳排放统计核算方法,发布一批行业企业碳排放核算标准和产品碳足迹标准,初步建立产品碳足迹管理体系,重点行业温室气体排放因子和特色产品碳足迹因
北极星售电网获悉,6月11日,甘肃省发展和改革委员会发布关于印发《甘肃省完善碳排放统计核算体系工作方案》(以下简称《方案》)的通知。《方案》指出,发挥行业主管部门及行业协会作用,以电力、钢铁、有色、建材、石化、化工等工业行业和城乡建设、交通运输等领域为重点,根据行业特点和管理需要,
日前,《阳泉市能源领域碳达峰实施方案》印发。方案提出,锚定2060年前实现碳中和的远景目标,按照力争2030年前实现碳达峰目标进行安排部署。关于印发《阳泉市能源领域碳达峰实施方案》的通知各县(区)人民政府、高新区管委会,市直有关单位,各有关企业:为全面贯彻落实市委、市政府关于碳达峰、碳中
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!