登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
数据仓库一直以来更多是关于分析和管理,而不仅是简单的大容量存储。那么,数据加载量在不停地增加让甚至在目前最先进的仓库平台也接近了它们的极限就不足为奇了。这就给像Attunity这样的小公司提供了机会,用专业处理大数据的技术和工具增加像Teradata和Greenplum这样的主导系统。Attunity公司的ItamarAnkorion勾画出了他们的策略。
目前如此大量的数据运行于企业之中,似乎有效的数据仓库(DataWarehouse)只是变得更加复杂了。你所听到的客户关于数据仓库中的最高挑战是什么?
有效的数据仓库由于一直增长的大量数据确实变得越来越复杂。更重要的是,由于业务对快速数据仓库的需要,事情变得更加复杂化。这种高容量和低延迟的组合造成了传统工具不能解决的挑战,而客户正寻找能让他们适应这种变革中的业务和IT环境的技术和流程。
在解决这项需求时所面临的主要挑战之一,是无法在给定的时间内移动必要的数据量。例如,让业务交易后一个小时,甚至几分钟到几秒钟后就得到数据,一个传统的批量处理的提取、转换与加载(ETL)的过程需要四个小时或更多的时间来完成将是无法接受的。其他相关的挑战是在加载到数据仓库时要减少在操作系统上的影响。因为提取数据运行大的查询会降低该操作系统对使用者和客户的服务,这又是不能接受的。大交易数据需要适合通过一个小时间段的这个想法极好地描述了大多数设法解决现代信息管理策略的企业所面临的问题。
一般企业系统需要更加习惯于不断增加的各种终端用户设备。数据仓库需要怎样的发展去适应新的环境?
从各种各样的用户设备上访问数据仓库中的业务信息,影响到数据仓库的工作量以及它所需要支持的信息。从工作量的角度来看,例如,使用设备会需要大量的小查询,这就需要在很低的延迟下跨越地域进行回答。从信息的角度来看,用户使用移动设备希望无论在任何地方都能立即访问到信息。而不只是信息,还是最新的信息,这让我们又回到低延迟的数据仓库,而且需要很快地加载信息好让用户可以任意和历史内容一起访问交易数据。
你最近在你的平台上增加了变化数据捕捉(CDC)和复制的功能。它将以何种方式增强对像Teradata这样的现有数据仓库环境的分析和管理?
Attunity提供了带有AttunityStream的变化数据捕捉(CDC)以及带有最近发布的Attunity复制(AttunityReplicate)系统的数据复制两种产品,能够实现低延迟的数据仓库。通过增加数据整合能力对之前所提到的挑战的解决,以及低延迟的加载数据和低影响的需要的处理,这两个产品都是对像Teradata这样的现有数据仓库平台的补充。要注意的重点是不同的任务需要不同的工具,因为没有一个工具是万能的。当传统的提取、转换与加载(ETL)工具批处理加载很好用时,企业需要补充那些促进效率和频繁的大交易数据加载的技术。
变动数据捕捉(CDC)使变动数据的处理成为可能。而利用像AttunityStream这样的基于日志的变化数据捕捉(CDC)技术,对源数据库服务器产生最小/边缘的影响。变动数据捕捉(CDC)通常是用来补充提取、转换与加载(ETL)及其他批处理的。
数据复制已经成为一种将交易数据移动到数据仓库中的解决方案,特别是在近实时的情景下。数据复制最佳地快速拷贝数据并能确保交易的完整性。此外,它在从提取、转换与加载(ETL)向ELT(数据先复制到数据仓库然后再转换)的转变的更广泛的趋势里也起着非常重要的作用。这个方法对于像那些由Teradata或EMCGreenplum提供的强大数据仓库特别有吸引力,因为它们让客户受益于这些机器的功能,降低了转换数据的高容量服务器的拥有成本。
我们看到,变动数据捕捉(CDC)或数据复制技术可以用来创造一个更为稳健的数据管理和整合环境,尤其是对最新的以及自动化决策的支持。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
万物生长,好事正酿一大波喜报如春风般扑面而来快来看看这次又是什么的荣誉🤩🤩近日,重庆市企业管理创新经验交流会在渝召开,会议举行了“2024年重庆市企业管理现代化创新成果”和“2024全国企业绿色低碳发展优秀实践案例”颁奖仪式。中船科技旗下中船海装申报的《提升风电企业竞争力的市场营销精
国电电力秦皇岛发电有限责任公司2×350MW等容量替代热电联产项目智慧电厂IMS智慧管理平台建设项目公开招标项目招标公告1.招标条件本招标项目名称为:国电电力秦皇岛发电有限责任公司2×350MW等容量替代热电联产项目智慧电厂IMS智慧管理平台建设项目公开招标,项目招标编号为:CEZB240013380,招标人为
日前,国家市场监管总局发函同意南方电网公司筹建国家计量数据建设应用基地(绿色电力)。此次筹建是南方电网公司首个筹建的在绿色电力领域内的国家级计量数据建设应用基地,云南电网公司作为基地依托单位将联合南网数字电网集团共同开展为期3年的建设工作。绿电计量是绿色电力产生、传输、消费过程中
在华为全联接大会2022上,华为发布面向多云的数据存储战略,全面拥抱云原生,打造跨多私有云、公有云的可靠存储系统,助力企业构建数据集中共享、应用多云部署的IT架构,实现最大程度的数据资源共享和流通。华为数据存储产品线总裁周跃峰发言随着企业云化的不断实践,以容器为代表的云原生技术应用日益
10月24日,嘉兴市发展改革委公布对市政协九届一次会议第336号提案的答复,其中提到,在农业农村领域加快老旧农机报废更新,大力发展家庭屋顶光伏;在公共机构领域推行能耗限额管理,积极争创节约型公共机构示范单位,发挥节能示范作用。发挥我市光伏应用良好基础,加快发展太阳能、氢能、风能等清洁能
《“十四五”数字孪生流域建设总体方案》近日通过水利部审查,这标志着数字孪生流域建设进入了全面实施阶段。随着大数据、物联网等信息化手段在水电行业的运用,数字孪生贯穿了水电从设计、生产到运维的整个生命周期,实现精准决策、快速反应,为流域生态保护与高质量发展提供支持。在中国水力发电工程
《“十四五”数字孪生流域建设总体方案》近日通过水利部审查,这标志着数字孪生流域建设进入了全面实施阶段。随着大数据、物联网等信息化手段在水电行业的运用,数字孪生贯穿了水电从设计、生产到运维的整个生命周期,实现精准决策、快速反应,为流域生态保护与高质量发展提供支持。在中国水力发电工程
“东数西算”机遇下的煤炭行业数字化转型(来源:微信公众号“中能传媒研究院”作者:张博1仲冰2)(1.中国矿业大学(北京)决策科学与大数据研究院副院长2.中国矿业大学(北京)管理学院讲师)一我国煤矿智能化建设渐入佳境根据国家发展改革委等八部门2020年联合印发的《关于加快煤矿智能化发展的指导
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
在AI加速行业数智化发展的大潮下,海博思创推出了超级运维助手“海博精灵HyperGenie”,服务储能电站运维提效降本。“海博精灵HyperGenie”是一款基于国产开源通用大模型和私域储能领域知识库进行设计开发的专属智能体,提供精准故障定位、多场景操作指导、灵活数据分析探索等运维辅助服务,推动企业迈
4月27日10时,在国网河北省电力有限公司调度控制中心调度大厅,自动化处专责袁龙查看分布式光伏采集监视平台上的发电实时出力情况,并分析研判出力波动原因。“分布式光伏采集监视平台可实时感知河北南网69万户低压分布式光伏发电出力,数据准确率达99%。”袁龙说。近年来,河北省大力推动光伏发电、风
随着新型电力系统加速建设,传统“源随荷动”的平衡模式逐渐向“源网荷储协同互动”转变,充分挖掘负荷侧资源调节能力成为保障电力系统稳定运行的重要支撑。空调负荷具有较强的季节规律、良好的可控性和可短时中断特性,在可调节负荷侧资源中具有较大的调控潜力。以市场化手段挖掘空调负荷调节能力,对
当今世界正处于百年未有之大变局,全球能源危机带来的压力使得能源市场、地缘政治和全球经济无法稳定发展,进一步破坏的风险始终存在。同时,由于能源系统电气化程度的提高,电力的增长速度持续超过能源需求总量的增长,电力供应愈加影响着经济、区域发展以及许多其他领域,电力安全和可负担性在许多国
北极星售电网获悉,5月8日,上海市市场监督管理局发布关于做好2025年上海市碳达峰碳中和计量重点工作的通知。文件明确,建立完善本市能源资源计量示范工作指引,鼓励在重点领域、重点区域开展能源资源计量示范试点,指导、推动重点碳排放单位健全碳计量管理体系,加强碳计量器具的配备和使用,提升碳排
2025年5月7日至9日,全球瞩目的光伏行业盛会IntersolarEurope2025在德国慕尼黑国际博览中心隆重举行。清源科技携数字智能光伏跟踪解决方案、地面及屋顶光伏安装解决方案精彩亮相A5.340展位,以创新技术与硬核产品,在这场全球光伏盛宴中绽放光彩。接下来,让我们通过五个关键词,总结清源科技此次参展
近日,南方电网生产指挥中心联合广西电网生产指挥中心、超高压天生桥局生产指挥中心等省地级生产指挥中心,深度融合自然语言理解、RAG知识增强、DeepSeek大模型等前沿数字技术,构建生产指挥AI助手体系,研发出南方电网首个生产指挥“电力作业AI监督员”,以人工智能技术赋能一线安全生产。“以前,我
南网总调调度工作评价系统云化升级改造及人工智能辅助与RPA技术融合等4项功能加装招标公告(采购编号:CG0000022002053297)1.招标条件本招标项目南网总调调度工作评价系统云化升级改造及人工智能辅助与RPA技术融合等4项功能加装,招标人为中国南方电网有限责任公司,项目资金已落实,该项目已具备招标
4月27日,南方电网公司融入全国统一电力市场建设领导小组召开2025年第二次会议,学习中央政治局有关会议精神,落实上级部委工作要求,部署近期重点工作。公司董事、总经理、党组副书记、融入全国统一电力市场建设领导小组组长钱朝阳出席会议并讲话。公司党组成员、副总经理王绍武主持会议,党组成员、
贵州电网公司数据显示,今年“五一”假期,贵州电网全网负荷、电量同比均大幅增加,全网统调最高负荷达2037万千瓦,同比增长10.6%;全省供电量19.6亿千瓦时,同比增长10.1%。贵州旅游用电量增速较快,特别在吃、住、行、游等方面,用电量均有大幅增长,创下新高。这不仅彰显了贵州假期文旅经济的蓬勃活
北极星储能网获悉,5月8日,四川发改委印发《关于支持加快算电融合发展的实施意见》,文件提出:重点支持在局部电网具备稳定调节能力且电力送出通道受限断面内,加快实施源网荷储一体化算电融合示范项目,重点布局园区级万卡集群以上算力规模。到2027年,在阿坝、甘孜、凉山、雅安、攀枝花(以下简称“
01引言风电作为清洁能源的重要组成部分,保持着强劲的增长势头,但行业快速扩张的同时也面临着严峻挑战——叶片断裂事故频发,正在为这一绿色能源的发展前景蒙上阴影。例如,总装机806MW的美国VineyardWind-1海上风电项目,是该国在建最大的海上风电项目,计划安装62台GEHaliade-X13MW海上风机,叶片长
5月6日,全国公共资源交易平台发布《污水处理厂、处理站运营项目招标计划公告》,招标人河北霞润水利科技有限公司,运营地点为河北省张家口市赤城县县域内18个乡镇的污水处理站,预计2025年6月上旬发布招标公告。详情如下:污水处理厂、处理站运营项目招标计划公告1.招标条件招标人:河北霞润水利科技
日前,上海市生态环境局发布关于开展2025年全国碳排放权交易市场钢铁行业重点排放单位温室气体排放管理工作的通知。详情如下:上海市生态环境局关于开展2025年全国碳排放权交易市场钢铁行业重点排放单位温室气体排放管理工作的通知沪环气候〔2025〕64号各相关单位:根据生态环境部办公厅《关于做好2025
导语自数据被列为第五大生产要素以来,国家高度重视数据要素市场发展,近年来密集出台政策法规,对培育数据要素市场作出系列部署,并组建国家数据局,统筹推进数据要素市场化配置改革。各地方、各行业多措并举,推进数据要素流通市场活跃度显著提升,数据要素市场规模达到千亿级。电力行业是一个高价值
4月21日,山东省2025年新能源高水平消纳行动方案发布。其中提到,加强网架建设。夯实500千伏省域主网架,加快弥河新建、海口扩建工程建设。加强220千伏市域主网架结构,力争年内尽早投产东营富国至裕民线路等工程。实施配电网高质量发展行动,加大农村电网改造力度。同时,优化调度运行。开展并网运行
4月16日,浦东新区人民政府发布对浦东新区政协七届四次会议第101号提案的答复。根据答复文件,浦东新区推进能源领域绿色低碳转型,大力推进光伏项目建设,“十四五”期间计划新建光伏60万千瓦以上,截止2024年底已完成55万千瓦;四是完善企业碳排放核算及信息披露体系,浦东新区共有6家发电行业企业纳入
近日,国家能源集团“复杂发电工程数字化设计建造关键技术及应用”项目顺利通过中国机械工业联合会组织的科技成果鉴定,该项目开发出完全自主可控的BIMBase图形引擎,实现了引擎及平台的全国产化,完成了在新能源、水电、火电等典型发电工程的示范应用,整体达到国际领先水平,为能源行业数字化转型注
全国碳市场年度进展与展望杨梦帆nbsp;林立身nbsp;唐人虎(北京中创碳投科技有限公司)2024年,多项政策法规的发布促进了全国碳市场制度体系的快速发展与完善。《碳排放权交易管理暂行条例》为全国碳排放权交易市场运行管理提供明确法律依据,规范交易活动、保障数据质量、惩处违法行为。生态环境部印发
北极星碳管家网获悉,工业和信息化部教育部市场监管总局印发轻工业数字化转型实施方案的通知,通知要求,到2027年,重点轻工企业数字化研发设计工具普及率达到90%左右,关键工序数控化率达到75%左右,打造100个左右典型场景,培育60家左右标杆企业,制修订50项左右国家标准、行业标准,形成一批数字化
北极星售电网获悉,3月27日,工业和信息化部等三部门发布关于印发轻工业数字化转型实施方案的通知。文件明确,快绿色化转型。聚焦皮革、造纸、塑料、电池、陶瓷、日用玻璃等重点行业,推广应用绿色低碳、节能环保工艺和设备,融合应用数字技术加强能耗、水耗、污染物排放和碳排放智能监测和控制,建设
在近日举行的“第四届风电运维技改研讨会”上,协合运维董事、副总经理胥佳围绕新能源资产管理范式转型发表主题演讲,揭示了当前新能源电力行业投后管理从“设备可靠运维”向“资产盈利保障”跨越的发展趋势,以及协合运维以保障资产持续盈利能力为使命的业务布局和行业实践。协合运维董事、副总经理胥
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!