登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
传统典型数据仓库体系结构
作为一个数据仓库系统,从数据源(一般为业务系统或其它外购数据)到最终展现给最终用户,中间需要经过一系列过程:
抽取适当的数据源数据。数据仓库不是简单的生产系统的业务数据的堆积,简单地将生产系统的数据进行堆积的结果将会建成一个数据垃圾堆而不是数据仓库。我们只要选取对现在和将来决策分析有用的业务数据进行积累就可以了。
转化、清洗、重构等数据加工过程。因为数据仓库中的数据是面向分析和决策的,必须将业务数据进行重组才能达到这个目的。数据仓库中的数据结构往往与业务系统中的数据结构是有非常大差异的。
建立海量、高效的企业级数据仓库。这个数据仓库必须能够在海量数据基础上服务于大量并发用户,并且无论是数据处理速度还是查询速度都应该满足一定的速度要求。依靠数据仓库应该能够完成设计范围内的一切分析。
针对特定的分析主题,建立专门的数据集市。仅仅依靠数据仓库进行分析,其速度往往不足够快。为了使某些常用分析的速度足够快,有必要为这些分析问题分别单独进行进一步的数据重组和优化,即建立数据集市以加快分析速度。
针对特定业务问题,使用特殊的数理统计算法进行数据挖掘。数据挖掘技术以建立在概率论和数理统计基础之上。特定的数据挖掘算法需要特定格式的数据输入,这种特定的格式往往不是数据仓库中直接具有的,需要大量的数据加工准备过程。模型挖掘、模型验证等过程也是一个需要反复进行的过程。另外,挖掘的结果--模型,必须作用到样本上--在样本上打分--才能真正发挥作用。
元数据管理--整个数据仓库的所有描述性信息、管理信息、调度信息等都是数据仓库的元数据。一个数据仓库要想得到很好的持续性建设和被很好地使用,元数据管理是必不可少的。
前端展现应用--最终用户的界面,这个界面必须简单易用且功能强大,必须具有良好的权限控制;两外,前端展现应用必须维护简单。
IBM数据仓库解决方案的体系结构IBM数据仓库的体系结构在上一节中描述的各个方面都具有卓越的表现。
核心技术
IBM数据仓库/商业智能解决方案是一个完整的端到端的解决方案,其核心技术包括:
1.IBM DB2 UDB作为海量数据仓库引擎
高扩展性
在单UNIX主机CPU扩展方面,TPC-C(OLTP)和TPC-H(Ad-Hoc Query),显示了DB2在扩展性方面的能力。
在集群技术方面,采用Share Nothing的MPP体系结构,每个节点独享各自的硬盘空间,各个节点间通过网络交换数据。可伸缩性强,最多可以扩充到2000个节点。国外有512节点的实例。每个数据库中单个表的大小可以达到512GB*1000=500TB。在全球范围有许多TB级的数据仓库。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
2024年10月,国家能源局12398能源监管热线(以下简称12398热线)共接收投诉举报687件,办结投诉举报986件(含往期结转)。现将有关情况通报如下:一、当月接收情况2024年10月,12398热线共接收投诉举报687件,同比下降22.72%、环比下降20.49%。其中:投诉635件,同比下降19.42%、环比下降18.69%;举报5
11月27日,国家能源局公开发布《关于加强电力安全治理以高水平安全保障新型电力系统高质量发展的意见》(国能发安全〔2024〕90号,(以下简称《意见》)。这份《意见》是国家层面首次专门就全方位加强电力系统运行安全治理出台的政策文件。(来源:电联新媒作者:井然)当前,我国发展进入战略机遇和风
11月16日-17日,由中国电机工程学会电力信息化专业委员会主办的2024电力行业信息化年会在南昌成功举办。飞腾公司作为国产CPU领军企业受邀出席本次会议,并携手众多生态合作伙伴全方位展示了飞腾在电力数字化、信息化领域的丰硕成果。中国工程院院士、中南大学校长李建成、国家电网有限公司信息通信分公
近日,由中国电机工程学会电力信息化专业委员会主办的“2024电力行业信息化年会”在江西省南昌市召开。本次年会以“乘×数而来,智+享电力”为主题。在本次年会上,华为携最新的基于fgOTN(细颗粒光传送网)技术的电力通信网解决方案亮相,致力于为电力打造骨干网更宽、配用电覆盖更广、台区更透明的电
10月份,规模以上工业增加值同比实际增长5.3%(增加值增速均为扣除价格因素的实际增长率)。从环比看,10月份,规模以上工业增加值比上月增长0.41%。1—10月份,规模以上工业增加值同比增长5.8%。分三大门类看,10月份,采矿业增加值同比增长4.6%,制造业增长5.4%,电力、热力、燃气及水生产和供应业增
“关于人工智能,我们谈得比较多的一个专业术语是‘计算’,智能计算是人工智能改变电力行业的一大关键词,但是从目前来看,‘算不了、算不准、算不快’是行业数字化转型与新型电力系统建设进程中客观存在的三大难题。”在日前由中国电力发展促进会(简称“电促会”)主办的2024电力数字化大会上,南方
11月11日,中国电力技术市场协会和电力行业技术监督协作网联合举办的2024年电力行业技术监督优秀论文评选结果公布,国能(泉州)热电有限公司提报的《关于提高火电厂脱硝达标排放率的探索与研究》的学术论文,从921项论文作品中脱颖而出,荣获大赛三等奖。该公司围绕技术监督各项要求,深入剖析了火力
日前,君创科技《电站锅炉超厚壁大口径集箱关键部位现场精准处置与数智化监测研究》《火电厂长期在役管道焊接热处理工艺研究》分获中国电力技术市场协会2024年电力行业技术监督优秀创新成果一等奖、三等奖,吴凯获技术能手称号。《电站锅炉超厚壁大口径集箱关键部位现场精准处置与数智化监测研究》以数
2024年11月8日,第十四届全国人大常委会第十二次会议表决通过《中华人民共和国能源法》(以下简称“《能源法》”),自2025年1月1日起施行,这部基础性、统领性法律的出台标志着我国能源法制建设取得了突破性进展。电力行业是能源建设和能源消费的主要领域,此次《能源法》的出台从宏观、中观和微观三
“双碳”目标下,电力投资屡创新高,新能源装机飞速增长。与此同时,火电迎来了关键转型期,正向着大容量、低排放、深度调峰的方向发展,对电力设备的参数、性能也提出了更高要求。在此背景下,作为液压系统传递能量、润滑部件及冷却系统的核心介质,液压油的选择也更加受到重视。日前,德国特殊化学品
2024年11月8日,经十四届全国人大常委会第十二次会议审议表决,《能源法》正式通过,全文80条,将于2025年1月1日开始实施。《能源法》自2006年启动起草工作以来,历时18年,终于得以通过。该法的颁布实施是我国能源发展史上的一座里程碑,对我国包括电力在内的能源事业具有非常重要的意义,将保障整个
大数据技术日益成熟,在各行业发挥了巨大的作用,与水务行业的深度融合亦是智慧水务创新发展的趋势。智慧水务大数据分析标准以大数据构建和分析标准为主要内容进行研究,提出智慧水务大数据三层架构,初步构建分析标准体系,为水务企业智慧水务大数据建设和分析应用提供参考资料。
在竞争激烈的网络经济时代,随着Internet以及Web的商业迅速发展、营销理念的更新,企业保持客户所面临的困难越来越大,企业竞争的重点是“以客户为中心”,如何加强对企业客户资源的管理、开发与利用变得更加重要。客户关系管理(CRM)自产生以来,它的相关研究与应用得到了快速发展,但在企业中CRM应用失败的案例也比比皆是。究其原因主要有两点:一是人们对CRM核心思想的理解认识不准确,二是现有企业CRM应用的体系结构不完善。因此,企业的当务之急是如何进行有效的客户关系管理,以便能够深层分析数据仓库中储存的大量客户信息,从而获得有利于企
数据仓库一直以来更多是关于分析和管理,而不仅是简单的大容量存储。那么,数据加载量在不停地增加让甚至在目前最先进的仓库平台也接近了它们的极限就不足为奇了。这就给像Attunity这样的小公司提供了机会,用专业处理大数据的技术和工具增加像Teradata和Greenplum这样的主导系统。Attunity公司的ItamarAnkorion勾画出了他们的策略。目前如此大量的数据运行于企业之中,似乎有效的数据仓库(DataWarehouse)只是变得更加复杂了。你所听到的客户关于数据仓库中的最高挑战是什么?有效的数据仓库由于一直增长的大量数据确实变得越来越复杂
IBM公司宣布,计划到2030年摆脱其运营中排放的对地球有加热作用的二氧化碳。而与其他一些科技公司近来大张旗鼓地做出环保承诺不同,IBM的承诺强调的是要防止排放,而不是在二氧化碳排放后再开发捕捉二氧化碳的补救方法。IBM承诺到本年代末实现温室气体净排放为零,并承诺在转向可能能够在二氧化碳排放
在全球推进可持续能源发展进程中,锂离子电池被视为一项至关重要的关键技术。在电动汽车、商用航天等领域广泛应用的同时,它所用的钴、镍等重金属材料也带来严重的负面影响。为此,IBM宣布成功开发出了一种新电池,主要依赖从海水中提取的三种材料,而且从初期测试来看在性能上也没有妥协。通过和戴姆
今年的诺贝尔物理学奖颁给了锂电池发展史中三位杰出科学家,如今,锂电池已经走入各行各业。俗语道“不破不立”,学界努力多年,致力于开发出比锂电池更优秀的替代者。据外媒报道,“蓝色巨人”、专利和创新技术傍身的IBM宣布,将以一种海水提取物为原料,打造全新电池产品,再满足生产生活需求的同时
日前,IBM与特变电工新疆新能源股份有限公司(以下简称:特变电工新能源公司)签订了能源互联网科技创新项目。IBM绿色地平线团队将利用物联网、大数据分析和人工智能等核心技术,结合高精度气象预测数据,助力特变电工新能源公司能源互联网业务加速成长。IBM绿色地平线总经理徐海龙博士和特变电工新能源
近日,天合光能股份有限公司宣布和IBM合作,实现对全球九大制造基地的海量光伏制造数据的存储整合以及集中统一管理。天合光能正在向全球能源物联网引领者积极转型布局,此次合作将成为天合光能在智能化建设上又一里程碑式的项目。天合光能全球各制造基地在生产过程中积累了大量生产数据,其中光伏产品
2017城市能源互联网发展(北京)论坛暨能源互联网示范项目建设与合作研讨会于2017年12月1日在北京举办。主题报告环节,IBM能源与电力行业解决方案总监张永平发表演讲,主题是:建设城市能源互联网推动行业数字化转型。下面由电力头条APP为您带来张永平的精彩演讲张永平:我是来自于IBM公司,负责能源与
2017年10月17日-19日,2017中国光伏大会暨展览会(PVCEC2017)在北京隆重召开。IBM大中华区能源行业拓展总监吴如虎在数字化时代的可再生能源发展趋势论坛上发表了题为大数据解决方案助力可再生能源发展的主旨演讲。吴如虎表示IBM希望能够打造一个平台,实际上已经在实践过程中了,通过底层的物联网、大数
第二届能源互联网暨一带一路高峰论坛2017(EIS)于9月21日在上海隆重召开,该论坛由上海决策者经济顾问股份有限公司主办。本次论坛以能源互联网海内外示范项目以及能源互联网分布式能源发展现状(光伏、风电)及存在的问题为落脚点,从最新示范项目着手、针对智能储能领域能源互联网发展前景与实现路径、多
IBM与丹麦能源公司VestasWindSystems展开合作。该公司使用了IBM大数据分析软件和强大的IBM超级计算机系统,以提升风力发电机精准定位、实现最优能源输出的效果。众所周知,对于可再生能源产业来说,如何安放发电机是个重大挑战。Vestas寄希望于采用风能加速其国际化进程,并通过克服这些挑战将其业务扩
浩亭推出MICAreg;(模块化工业计算架构)ndash;一种用于缓冲、评估和处理设备及设施即时环境数据的解决方案。大批量长时间采集的数据在云端传输也将成为可能。浩亭技术集团已经与IBM密切合作数月。他们的合作已经获得了一个利用浩亭注塑机记录能源消耗的项目成果。数据被采集到IBMBluemix创新平台,然
ABB与IBM宣布进行战略合作,ABB行业领先的数字化解决方案ABBAbility将与IBMWatson物联网认知计算技术联手为电力、工业、交通和基础设施领域的客户创造新的价值。ABB拥有深厚的行业专长以及跨行业的数字化解决方案,IBM是人工智能、机器学习及不同垂直行业领域的专家,双方的合作将使客户受益。ABBAbili
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!