登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
数据仓库一直以来更多是关于分析和管理,而不仅是简单的大容量存储。那么,数据加载量在不停地增加让甚至在目前最先进的仓库平台也接近了它们的极限就不足为奇了。这就给像Attunity这样的小公司提供了机会,用专业处理大数据的技术和工具增加像Teradata和Greenplum这样的主导系统。Attunity公司的ItamarAnkorion勾画出了他们的策略。
目前如此大量的数据运行于企业之中,似乎有效的数据仓库(DataWarehouse)只是变得更加复杂了。你所听到的客户关于数据仓库中的最高挑战是什么?
有效的数据仓库由于一直增长的大量数据确实变得越来越复杂。更重要的是,由于业务对快速数据仓库的需要,事情变得更加复杂化。这种高容量和低延迟的组合造成了传统工具不能解决的挑战,而客户正寻找能让他们适应这种变革中的业务和IT环境的技术和流程。
在解决这项需求时所面临的主要挑战之一,是无法在给定的时间内移动必要的数据量。例如,让业务交易后一个小时,甚至几分钟到几秒钟后就得到数据,一个传统的批量处理的提取、转换与加载(ETL)的过程需要四个小时或更多的时间来完成将是无法接受的。其他相关的挑战是在加载到数据仓库时要减少在操作系统上的影响。因为提取数据运行大的查询会降低该操作系统对使用者和客户的服务,这又是不能接受的。大交易数据需要适合通过一个小时间段的这个想法极好地描述了大多数设法解决现代信息管理策略的企业所面临的问题。
一般企业系统需要更加习惯于不断增加的各种终端用户设备。数据仓库需要怎样的发展去适应新的环境?
从各种各样的用户设备上访问数据仓库中的业务信息,影响到数据仓库的工作量以及它所需要支持的信息。从工作量的角度来看,例如,使用设备会需要大量的小查询,这就需要在很低的延迟下跨越地域进行回答。从信息的角度来看,用户使用移动设备希望无论在任何地方都能立即访问到信息。而不只是信息,还是最新的信息,这让我们又回到低延迟的数据仓库,而且需要很快地加载信息好让用户可以任意和历史内容一起访问交易数据。
你最近在你的平台上增加了变化数据捕捉(CDC)和复制的功能。它将以何种方式增强对像Teradata这样的现有数据仓库环境的分析和管理?
Attunity提供了带有AttunityStream的变化数据捕捉(CDC)以及带有最近发布的Attunity复制(AttunityReplicate)系统的数据复制两种产品,能够实现低延迟的数据仓库。通过增加数据整合能力对之前所提到的挑战的解决,以及低延迟的加载数据和低影响的需要的处理,这两个产品都是对像Teradata这样的现有数据仓库平台的补充。要注意的重点是不同的任务需要不同的工具,因为没有一个工具是万能的。当传统的提取、转换与加载(ETL)工具批处理加载很好用时,企业需要补充那些促进效率和频繁的大交易数据加载的技术。
变动数据捕捉(CDC)使变动数据的处理成为可能。而利用像AttunityStream这样的基于日志的变化数据捕捉(CDC)技术,对源数据库服务器产生最小/边缘的影响。变动数据捕捉(CDC)通常是用来补充提取、转换与加载(ETL)及其他批处理的。
数据复制已经成为一种将交易数据移动到数据仓库中的解决方案,特别是在近实时的情景下。数据复制最佳地快速拷贝数据并能确保交易的完整性。此外,它在从提取、转换与加载(ETL)向ELT(数据先复制到数据仓库然后再转换)的转变的更广泛的趋势里也起着非常重要的作用。这个方法对于像那些由Teradata或EMCGreenplum提供的强大数据仓库特别有吸引力,因为它们让客户受益于这些机器的功能,降低了转换数据的高容量服务器的拥有成本。
我们看到,变动数据捕捉(CDC)或数据复制技术可以用来创造一个更为稳健的数据管理和整合环境,尤其是对最新的以及自动化决策的支持。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
万物生长,好事正酿一大波喜报如春风般扑面而来快来看看这次又是什么的荣誉🤩🤩近日,重庆市企业管理创新经验交流会在渝召开,会议举行了“2024年重庆市企业管理现代化创新成果”和“2024全国企业绿色低碳发展优秀实践案例”颁奖仪式。中船科技旗下中船海装申报的《提升风电企业竞争力的市场营销精
国电电力秦皇岛发电有限责任公司2×350MW等容量替代热电联产项目智慧电厂IMS智慧管理平台建设项目公开招标项目招标公告1.招标条件本招标项目名称为:国电电力秦皇岛发电有限责任公司2×350MW等容量替代热电联产项目智慧电厂IMS智慧管理平台建设项目公开招标,项目招标编号为:CEZB240013380,招标人为
日前,国家市场监管总局发函同意南方电网公司筹建国家计量数据建设应用基地(绿色电力)。此次筹建是南方电网公司首个筹建的在绿色电力领域内的国家级计量数据建设应用基地,云南电网公司作为基地依托单位将联合南网数字电网集团共同开展为期3年的建设工作。绿电计量是绿色电力产生、传输、消费过程中
在华为全联接大会2022上,华为发布面向多云的数据存储战略,全面拥抱云原生,打造跨多私有云、公有云的可靠存储系统,助力企业构建数据集中共享、应用多云部署的IT架构,实现最大程度的数据资源共享和流通。华为数据存储产品线总裁周跃峰发言随着企业云化的不断实践,以容器为代表的云原生技术应用日益
10月24日,嘉兴市发展改革委公布对市政协九届一次会议第336号提案的答复,其中提到,在农业农村领域加快老旧农机报废更新,大力发展家庭屋顶光伏;在公共机构领域推行能耗限额管理,积极争创节约型公共机构示范单位,发挥节能示范作用。发挥我市光伏应用良好基础,加快发展太阳能、氢能、风能等清洁能
《“十四五”数字孪生流域建设总体方案》近日通过水利部审查,这标志着数字孪生流域建设进入了全面实施阶段。随着大数据、物联网等信息化手段在水电行业的运用,数字孪生贯穿了水电从设计、生产到运维的整个生命周期,实现精准决策、快速反应,为流域生态保护与高质量发展提供支持。在中国水力发电工程
《“十四五”数字孪生流域建设总体方案》近日通过水利部审查,这标志着数字孪生流域建设进入了全面实施阶段。随着大数据、物联网等信息化手段在水电行业的运用,数字孪生贯穿了水电从设计、生产到运维的整个生命周期,实现精准决策、快速反应,为流域生态保护与高质量发展提供支持。在中国水力发电工程
“东数西算”机遇下的煤炭行业数字化转型(来源:微信公众号“中能传媒研究院”作者:张博1仲冰2)(1.中国矿业大学(北京)决策科学与大数据研究院副院长2.中国矿业大学(北京)管理学院讲师)一我国煤矿智能化建设渐入佳境根据国家发展改革委等八部门2020年联合印发的《关于加快煤矿智能化发展的指导
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
北极星氢能网获悉,4月19日,国华投资氢能厂站AI智能巡检机器人研发服务公开招标项目招标公告,该项目不接受联合体投标。根据招标公告,随着工业自动化和智能化技术的飞速发展,传统的人工巡检方式逐渐暴露出效率低下、安全风险高、数据不准确等问题。特别是在氢能厂站这种需要频繁巡检的复杂环境中,
广东电网公司数据显示,截至2025年第一季度,广东累计发电装机容量达2.27亿千瓦,同比增长14.1%。广东发电装机电源类型涵盖传统与新兴能源,煤电、气电、水电、核电、风电、光伏、生物质发电、储能电源等多元互补,共同构建了百花齐放的能源格局,使得广东在应对不同能源需求和环境挑战时更具灵活性和
4月17日,山东省发展改革委、山东省能源局、国家能源局山东监管办公室联合发布《关于推动虚拟电厂试验示范工作高质量发展的通知》,提出对符合条件的虚拟电厂试验示范项目予以政策支持,鼓励虚拟电厂按照市场规则参与相应电能量市场、辅助服务市场、容量市场等,鼓励发电储能类虚拟电厂,允许通过配建
北极星储能网获悉,4月15日,国家知识产权局发布了一项名为一种全固态电池及其制备方法的专利,申请人为广州巨湾技研有限公司,专利内容涉及一种全固态电池及其制备方法,属于电池技术领域,该全固态电池包括共烧结的正极层、固态电解质层和负极层;正极层包括正极活性材料和第一固态电解质;固态电解
经常有朋友讨论,未来5-10年,中国的虚拟电厂能否成为一个万亿级别的大市场,这里做个简单的讨论,部分数据可能不准确,仅供参考。本文讨论的是相对狭义的虚拟电厂,也就是[2025]357号文里定义的,以分布式电源、储能、负荷资源聚合,参与电力市场和电力系统平衡。(来源:微信公众号“鱼眼看电改”作
近年来,马鞍山市大力推进“无废城市”建设,在无废细胞建设、固体废物信息化管理和传统行业绿色转型方面迈出坚实步伐,各阶段性指标基本达成,市场体系、技术体系建设取得初步成效,“无废城市”制度体系、监管体系逐步完善,“无废文化”培育工作初步完成,固体废物污染防治水平显著提升,全市生产、
深圳市工业和信息化局日前发布《市工业和信息化局关于组织开展2025年度工业节能降碳诊断服务工作的通知》,具体内容如下:各区(新区、深汕特别合作区)工业和信息化主管部门,有关行业协会、节能服务机构,各工业企业:为加快重点行业领域节能降碳改造,持续推动工业能效提升和碳排放降低,根据《工业
截至今年第一季度,广东累计发电装机容量达2.27亿千瓦,同比增长14.1%。广东发电装机电源类型涵盖传统与新兴能源,煤电、气电、水电、核电、风电、光伏、生物质发电、储能电源等多元互补,共同构建了百花齐放的能源格局,使得广东在应对不同能源需求和环境挑战时更具灵活性和稳定性。“风”“生”水起
北极星碳管家网获悉,日前,工业和信息化部办公厅发布了《工业和信息化部办公厅关于组织开展2025年度工业节能降碳诊断服务工作的通知》通知指出,此次诊断服务范围为钢铁、乙烯、合成氨、电石、电解铝、多晶硅、锂电池、水泥、陶瓷、平板玻璃、电子电器等行业和数据中心、通信基站等信息基础设施。具体
北极星售电网获悉,4月17日,山东省发展和改革委员会等部门发布关于推动虚拟电厂试验示范工作高质量发展的通知(鲁发改运行〔2025〕279号),其中提到,给予符合条件的试验示范项目政策支持。对符合《虚拟电厂试验示范项目建设成效评价细则》相关要求,且定期检验合格,能够按规定参与需求侧响应的试验
4月16日,工信部印发关于组织开展2025年度工业节能降碳诊断服务工作的通知(工信厅节函〔2025〕115号)。将聚焦钢铁、乙烯、合成氨、电石、电解铝、多晶硅、锂电池、水泥、陶瓷、平板玻璃、电子电器等行业和数据中心、通信基站等信息基础设施,组织节能降碳服务机构为企业开展公益性节能降碳诊断服务工
4月16日,国电电力正式发布《2024年环境、社会和公司治理报告》(简称“ESG报告”)。该报告通过鲸牛科技ESGAI工具的深度应用,实现了ESG信息披露的智能化升级,成为国内首份以AI技术赋能全流程编制的ESG报告。国电电力高度重视ESG治理工作,自2008年以来,连续17年发布社会责任类报告,向利益相关方和
4月16日,浦东新区人民政府发布对浦东新区政协七届四次会议第101号提案的答复。根据答复文件,浦东新区推进能源领域绿色低碳转型,大力推进光伏项目建设,“十四五”期间计划新建光伏60万千瓦以上,截止2024年底已完成55万千瓦;四是完善企业碳排放核算及信息披露体系,浦东新区共有6家发电行业企业纳入
最近,在国际电信联盟电信标准化部(ITU-T)第20研究组(SG20)、第21研究组(SG21)全体会议于瑞士日内瓦举行之际,国网江苏省电力有限公司在ITU标准创制领域大放异彩,其牵头的一批标准成功获发布或立项,同时有专家首次担任SG20中层职务,以卓越的实力和不懈的努力,书写着属于自己的辉煌篇章。ITU
2025年4月10日-12日,华昱欣携高安全、高收益的全场景光储解决方案亮相第13届储能国际峰会暨展览会(ESIE2025),全面展示其在产品创新、安全设计、智能运维等方面的最新技术成果,以行业领先的产品力和服务水平诠释其构筑绿色价值、助力双碳目标实现的坚定决心。第13届储能国际峰会暨展览会(ESIE2025
近日,国家能源集团“复杂发电工程数字化设计建造关键技术及应用”项目顺利通过中国机械工业联合会组织的科技成果鉴定,该项目开发出完全自主可控的BIMBase图形引擎,实现了引擎及平台的全国产化,完成了在新能源、水电、火电等典型发电工程的示范应用,整体达到国际领先水平,为能源行业数字化转型注
4月8日,北京印发《北京市关于支持信息软件企业加强人工智能应用服务能力行动方案(2025年)》(京经信发〔2025〕19号)。其中明确8的措施,支持MaaS企业在京集聚发展;推动信息软件企业发展行业模型能力;支持通用智能体发展;实施信息软件企业智能技改工程;提升数据治理能力;加速构建开源生态新体
全国碳市场年度进展与展望杨梦帆nbsp;林立身nbsp;唐人虎(北京中创碳投科技有限公司)2024年,多项政策法规的发布促进了全国碳市场制度体系的快速发展与完善。《碳排放权交易管理暂行条例》为全国碳排放权交易市场运行管理提供明确法律依据,规范交易活动、保障数据质量、惩处违法行为。生态环境部印发
北极星碳管家网获悉,工业和信息化部教育部市场监管总局印发轻工业数字化转型实施方案的通知,通知要求,到2027年,重点轻工企业数字化研发设计工具普及率达到90%左右,关键工序数控化率达到75%左右,打造100个左右典型场景,培育60家左右标杆企业,制修订50项左右国家标准、行业标准,形成一批数字化
3月24日,国家能源局和中国电力企业联合会在京联合召开2025年全国电力可靠性指标发布会。国家能源局党组成员、副局长何洋出席会议并讲话,中电联党委书记、常务副理事长杨昆出席会议并致辞,中电联党委委员、专职副理事长于崇德出席会议。会议由国家能源局安全总监黄学农主持。会上,国家能源局和中电
北极星售电网获悉,3月27日,工业和信息化部等三部门发布关于印发轻工业数字化转型实施方案的通知。文件明确,快绿色化转型。聚焦皮革、造纸、塑料、电池、陶瓷、日用玻璃等重点行业,推广应用绿色低碳、节能环保工艺和设备,融合应用数字技术加强能耗、水耗、污染物排放和碳排放智能监测和控制,建设
3月25日,上海市经济和信息化委员会关于印发《上海市关于促进智算云产业创新发展的实施意见(2025-2027年)》的通知,通知指出,推进智算中心用能管理系统升级,合理配置分布式电源和新型储能,用足用好我市分时电价政策,通过调节用能行为降低运行成本。原文如下:各区人民政府,市政府各相关委、办、
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!