登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
数据仓库一直以来更多是关于分析和管理,而不仅是简单的大容量存储。那么,数据加载量在不停地增加让甚至在目前最先进的仓库平台也接近了它们的极限就不足为奇了。这就给像Attunity这样的小公司提供了机会,用专业处理大数据的技术和工具增加像Teradata和Greenplum这样的主导系统。Attunity公司的ItamarAnkorion勾画出了他们的策略。
目前如此大量的数据运行于企业之中,似乎有效的数据仓库(DataWarehouse)只是变得更加复杂了。你所听到的客户关于数据仓库中的最高挑战是什么?
有效的数据仓库由于一直增长的大量数据确实变得越来越复杂。更重要的是,由于业务对快速数据仓库的需要,事情变得更加复杂化。这种高容量和低延迟的组合造成了传统工具不能解决的挑战,而客户正寻找能让他们适应这种变革中的业务和IT环境的技术和流程。
在解决这项需求时所面临的主要挑战之一,是无法在给定的时间内移动必要的数据量。例如,让业务交易后一个小时,甚至几分钟到几秒钟后就得到数据,一个传统的批量处理的提取、转换与加载(ETL)的过程需要四个小时或更多的时间来完成将是无法接受的。其他相关的挑战是在加载到数据仓库时要减少在操作系统上的影响。因为提取数据运行大的查询会降低该操作系统对使用者和客户的服务,这又是不能接受的。大交易数据需要适合通过一个小时间段的这个想法极好地描述了大多数设法解决现代信息管理策略的企业所面临的问题。
一般企业系统需要更加习惯于不断增加的各种终端用户设备。数据仓库需要怎样的发展去适应新的环境?
从各种各样的用户设备上访问数据仓库中的业务信息,影响到数据仓库的工作量以及它所需要支持的信息。从工作量的角度来看,例如,使用设备会需要大量的小查询,这就需要在很低的延迟下跨越地域进行回答。从信息的角度来看,用户使用移动设备希望无论在任何地方都能立即访问到信息。而不只是信息,还是最新的信息,这让我们又回到低延迟的数据仓库,而且需要很快地加载信息好让用户可以任意和历史内容一起访问交易数据。
你最近在你的平台上增加了变化数据捕捉(CDC)和复制的功能。它将以何种方式增强对像Teradata这样的现有数据仓库环境的分析和管理?
Attunity提供了带有AttunityStream的变化数据捕捉(CDC)以及带有最近发布的Attunity复制(AttunityReplicate)系统的数据复制两种产品,能够实现低延迟的数据仓库。通过增加数据整合能力对之前所提到的挑战的解决,以及低延迟的加载数据和低影响的需要的处理,这两个产品都是对像Teradata这样的现有数据仓库平台的补充。要注意的重点是不同的任务需要不同的工具,因为没有一个工具是万能的。当传统的提取、转换与加载(ETL)工具批处理加载很好用时,企业需要补充那些促进效率和频繁的大交易数据加载的技术。
变动数据捕捉(CDC)使变动数据的处理成为可能。而利用像AttunityStream这样的基于日志的变化数据捕捉(CDC)技术,对源数据库服务器产生最小/边缘的影响。变动数据捕捉(CDC)通常是用来补充提取、转换与加载(ETL)及其他批处理的。
数据复制已经成为一种将交易数据移动到数据仓库中的解决方案,特别是在近实时的情景下。数据复制最佳地快速拷贝数据并能确保交易的完整性。此外,它在从提取、转换与加载(ETL)向ELT(数据先复制到数据仓库然后再转换)的转变的更广泛的趋势里也起着非常重要的作用。这个方法对于像那些由Teradata或EMCGreenplum提供的强大数据仓库特别有吸引力,因为它们让客户受益于这些机器的功能,降低了转换数据的高容量服务器的拥有成本。
我们看到,变动数据捕捉(CDC)或数据复制技术可以用来创造一个更为稳健的数据管理和整合环境,尤其是对最新的以及自动化决策的支持。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
大数据技术日益成熟,在各行业发挥了巨大的作用,与水务行业的深度融合亦是智慧水务创新发展的趋势。智慧水务大数据分析标准以大数据构建和分析标准为主要内容进行研究,提出智慧水务大数据三层架构,初步构建分析标准体系,为水务企业智慧水务大数据建设和分析应用提供参考资料。
传统典型数据仓库体系结构作为一个数据仓库系统,从数据源(一般为业务系统或其它外购数据)到最终展现给最终用户,中间需要经过一系列过程:抽取适当的数据源数据。数据仓库不是简单的生产系统的业务数据的堆积,简单地将生产系统的数据进行堆积的结果将会建成一个数据垃圾堆而不是数据仓库。我们只要选取对现在和将来决策分析有用的业务数据进行积累就可以了。转化、清洗、重构等数据加工过程。因为数据仓库中的数据是面向分析和决策的,必须将业务数据进行重组才能达到这个目的。数据仓库中的数据结构往往与业务系统中的数据结构是有非常大差异的。建立海量、高效的企业级数据仓库。这个数据仓库必
在竞争激烈的网络经济时代,随着Internet以及Web的商业迅速发展、营销理念的更新,企业保持客户所面临的困难越来越大,企业竞争的重点是“以客户为中心”,如何加强对企业客户资源的管理、开发与利用变得更加重要。客户关系管理(CRM)自产生以来,它的相关研究与应用得到了快速发展,但在企业中CRM应用失败的案例也比比皆是。究其原因主要有两点:一是人们对CRM核心思想的理解认识不准确,二是现有企业CRM应用的体系结构不完善。因此,企业的当务之急是如何进行有效的客户关系管理,以便能够深层分析数据仓库中储存的大量客户信息,从而获得有利于企
中国储能网讯:据外媒报道,日前,瑞银资产管理公司选择了总部位于德国的数据分析软件机构ACCURE公司来优化其在美国德克萨斯州收购的电池储能系统项目组合。瑞银资产管理公司在德克萨斯州收购并运营的电池储能项目ACCURE公司声称,该交易将使该公司的人工智能(AI)平台部署到德克萨斯州电力可靠性委员
聚焦经营管理质效提升,国家电网有限公司有关单位构建数据监测模型、可视化分析场景,开发多维数据分析平台,做好相关业务数据监测分析,支撑项目管理、设备升级等工作高质量开展。河北:多维可视化场景分级评价设备老旧程度杨桦冯海燕近日,国网河北省电力有限公司完成“资产墙”风险及老旧设备分级滚
综述:2024年上半年国内硅片出口量23.5GW,同比增长20.7%,国内电池片出口量28.98GW,同比增长38%;国内组件出口量130.04GW,同比增长25.2%。晶硅光伏产品(含硅片、电池、组件)出口量合计183.52GW,同比增长27.7%。硅片:2024年上半年1-6月国内硅片出口量23.5GW,同比增长20.7%,其中单晶硅片出口量2
7月18日,国网天津经研院规划评审中心牵头完成了公司2024年上半年输变电工程初步设计评审数据分析报告。经统计,2024年上半年,经研院共开展20项35千伏以上等级输变电工程的初步设计评审工作,且全部以高质量高效率完成了评审意见,本次数据分析工作从评审发现设计质量问题和提出设计优化建议两个方面
5月5日,山东淄博供电公司依托自主研发的“电力宝”综合性大数据分析工具,统计分析近期十强产业、游客出行、供电保障等方面的电力大数据情况,依据分析结果撰写电量分析报告,并报送给政府相关部门,服务城市建设及产业发展。电力大数据能够综合反映经济社会发展状况和各行业生产经营状况,为做好供电
近日,上海崇明供电公司自主开发的基于电碳耦合约束的源网荷储协同场景数据分析平台投入使用。该平台依托调度自动化、电能采集、用电信息采集等6个系统,深度整合、计算、挖掘源网荷储数据,能实时感知新能源发电量、碳减排、客户用电情况等数据并进行直观的可视化展示。据介绍,电碳耦合约束是指在电
数据分析(来源:微信公众号“淼爸评书”作者:淼爸评书)全年交易数据注:表中,当期总交易电量=年度交易分月计划+月竞成交量+两次月内挂牌发电侧成交量+月度绿电交易电量,购电侧合同转让部分属于购电侧内部对倒,不再重复计算。成交电量与2022年比较,总体成上升趋势。特别是进入下半年之后,这种上
12月10日,国网新疆电力有限公司研发的“电力看‘一带一路’”大数据分析产品上线应用。该产品可多维度监测、展示新疆多个领域的用电情况和行业发展态势,为各级政府部门制定产业发展决策提供数据支撑。“电力看‘一带一路’”大数据分析产品主要由开放口岸、中欧班列、国际合作、对外供电等板块组成,
北极星储能网获悉,12月11日,国家能源集团新能源院储能大数据分析与应用平台软件采购中标结果出炉,山东创德智能获得中标。根据公示的中标候选人,第一中标候选人为山东创德智能科技有限公司,投标报价148.68万元,第二中标候选人为北京东方国信科技股份有限公司,投标报价188.9万元。据悉,此次招标
北极星电力软件网获悉,8月1日,宁夏回族自治区工业和信息化厅按照自治区工业和信息化厅《自治区工业和信息化厅自治区财政厅关于征集2023年大数据与软件产业发展项目的通知》(宁工信函〔2023〕121号)要求,经公开征集、专家评审、实地核查、第三方机构审核、征求意见等环节,拟确定等16个项目为自治
北极星输配电网获悉,6月8日,重庆市万盛经开区管委会关于印发《重庆市万盛经开区碳达峰实施方案》(以下简称《方案》)的通知。《方案》指出,积极发展非化石能源。坚持因地制宜、分布式与集中式并举,加强风能、太阳能资源普查评估和科学规划,加快推进风电、屋顶光伏发电等项目建设,结合电网布局和
近日,国网天津市电力公司获得由中国电子信息行业联合会颁发的《数据管理能力成熟度等级证书》,成为国网系统内首批通过数据管理能力成熟度评估五级认证、天津市首个获得该等级证书的企业,达到最高等级“优化级”,标志着该公司在数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标
江西省人大常委会11月29日发布关于公开征求《江西省污染源自动监测数据管理条例(草案)》修改意见的通知,草案针对江西省污染源自动监测管理工作中存在的问题,通过细化自动监测设备安装联网和运行维护、违法行为界定、监测数据应用等内容,提高自动监测数据管理的可操作性。关于公开征求《江西省污染
10月8日,由国家发展改革委、国家数据局、中央网信办、工业和信息化部等六部门联合印发的《国家数据标准体系建设指南》(以下简称《指南》)正式发布。《指南》明确,到2026年底,基本建成国家数据标准体系,围绕数据流通利用基础设施、数据管理、数据服务、训练数据集、公共数据授权运营、数据确权、
工业和信息化部印发《工业和信息化领域数据安全风险评估实施细则(试行)》。
为加强污染源自动监测数据管理,提升自动监测数据质量,强化自动监测数据应用,江西省生态环境厅发布关于再次公开征求《江西省污染源自动监测数据管理条例》意见建议的公告,征求意见截止时间为2024年5月15日。关于再次公开征求《江西省污染源自动监测数据管理条例》意见建议的公告《江西省污染源自动
3月25日,福建省数据管理局印发2024年度省数字经济重点项目名单。确定2024年度省数字经济重点项目108个、总投资1310亿元,年度计划投资272亿元。原文如下:福建省数据管理局关于印发2024年度省数字经济重点项目名单的通知闽数据〔2024〕3号各设区市数字经济牵头部门,平潭综合实验区行政审批局:根据省
为发挥典型案例的示范引导作用,现公布一批共8件典型案例,并对相关办案单位及办案人员提出表扬。乌兰察布市某机动车检测机构出具虚假检车报告案【案情简介】2023年5月10日,乌兰察布市生态环境综合行政执法支队执法人员通过调阅乌兰察布市某检车站历史检车监控视频时发现,牌照号为蒙J3***4的检测车辆
市场监督管理总局发布《关于组织开展2023年度检验检测机构监督抽查工作的通知》,启动生态环境领域专项整治:根据第三方环保服务机构弄虚作假问题专项整治相关要求,各地市场监管和生态环境部门要聚焦碳排放数据管理和环境监测等领域,联合对碳排放核查检验检测机构和生态环境监测机构实施重点抽查。发
北极星能源网获悉,浙江省发展改革委(省能源局)关于公开征求《浙江省能源数据管理办法(征求意见稿)》意见的通知。详情如下:省发展改革委(省能源局)关于公开征求《浙江省能源数据管理办法(征求意见稿)》意见的通知为支撑浙江省新型电力系统建设和煤炭石油天然气安全保供等重点工作,加快推动能
10月12日,浙江省发展改革委(省能源局)发布关于公开征求《浙江省能源数据管理办法(征求意见稿)》意见的通知。征求意见时间为10月12日至10月20日。文件提出,详情如下:浙江省能源数据管理办法(征求意见稿)一、总则为推进我省绿色低碳发展和保供稳价工作,加快推动能源领域数字化改革,更好发挥能
随着“双碳”工作的深入推进,数字化、智能化已成为光伏发展的重要目标之一。丰郅SafeSolar智能运维系统依托大数据与物联网技术,可为丰郅智能安全保护器、以及智能光伏优化器等组件级安全保护产品提供实时监测、远程升级控制等功能,让运维更加高效、便捷。经过丰郅研发团队的数月努力,丰郅新能源监
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!