登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
传统典型数据仓库体系结构
作为一个数据仓库系统,从数据源(一般为业务系统或其它外购数据)到最终展现给最终用户,中间需要经过一系列过程:
抽取适当的数据源数据。数据仓库不是简单的生产系统的业务数据的堆积,简单地将生产系统的数据进行堆积的结果将会建成一个数据垃圾堆而不是数据仓库。我们只要选取对现在和将来决策分析有用的业务数据进行积累就可以了。
转化、清洗、重构等数据加工过程。因为数据仓库中的数据是面向分析和决策的,必须将业务数据进行重组才能达到这个目的。数据仓库中的数据结构往往与业务系统中的数据结构是有非常大差异的。
建立海量、高效的企业级数据仓库。这个数据仓库必须能够在海量数据基础上服务于大量并发用户,并且无论是数据处理速度还是查询速度都应该满足一定的速度要求。依靠数据仓库应该能够完成设计范围内的一切分析。
针对特定的分析主题,建立专门的数据集市。仅仅依靠数据仓库进行分析,其速度往往不足够快。为了使某些常用分析的速度足够快,有必要为这些分析问题分别单独进行进一步的数据重组和优化,即建立数据集市以加快分析速度。
针对特定业务问题,使用特殊的数理统计算法进行数据挖掘。数据挖掘技术以建立在概率论和数理统计基础之上。特定的数据挖掘算法需要特定格式的数据输入,这种特定的格式往往不是数据仓库中直接具有的,需要大量的数据加工准备过程。模型挖掘、模型验证等过程也是一个需要反复进行的过程。另外,挖掘的结果--模型,必须作用到样本上--在样本上打分--才能真正发挥作用。
元数据管理--整个数据仓库的所有描述性信息、管理信息、调度信息等都是数据仓库的元数据。一个数据仓库要想得到很好的持续性建设和被很好地使用,元数据管理是必不可少的。
前端展现应用--最终用户的界面,这个界面必须简单易用且功能强大,必须具有良好的权限控制;两外,前端展现应用必须维护简单。
IBM数据仓库解决方案的体系结构IBM数据仓库的体系结构在上一节中描述的各个方面都具有卓越的表现。
核心技术
IBM数据仓库/商业智能解决方案是一个完整的端到端的解决方案,其核心技术包括:
1.IBM DB2 UDB作为海量数据仓库引擎
高扩展性
在单UNIX主机CPU扩展方面,TPC-C(OLTP)和TPC-H(Ad-Hoc Query),显示了DB2在扩展性方面的能力。
在集群技术方面,采用Share Nothing的MPP体系结构,每个节点独享各自的硬盘空间,各个节点间通过网络交换数据。可伸缩性强,最多可以扩充到2000个节点。国外有512节点的实例。每个数据库中单个表的大小可以达到512GB*1000=500TB。在全球范围有许多TB级的数据仓库。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
7月3日,中国电力企业联合会党委书记、常务副理事长杨昆在本部会见了中国华能集团有限公司党组成员、副总经理司为国一行。双方围绕“十五五”电力发展规划、保障电力安全可靠供应、推动能源绿色低碳转型、促进新能源开发利用、加快构建新型电力系统等方面深入交换了意见。杨昆对司为国一行到访中电联表
第五章电力行业发展本章作者王雪辰(中能传媒能源安全新战略研究院)一、电力生产01全国发电量同比增长6.7%,电力生产供应能力进一步提升2024年,全国全年电力系统运行保持稳定,供需总体平稳,电力生产供应能力进一步提升。《2024年国民经济和社会发展统计公报》显示,2024年全国规模以上电厂发电量10
近日,四川省循环经济协会《零碳智慧变电站评价规范》团体标准(以下简称标准)在成都正式发布,会长钟勤建、副会长杨有仪等领导出席发布仪式并共同发布标准。标准由我会电力产业低碳发展专委会组织,四川能投发展股份有限公司牵头,联合有关行业协会、能源电力企业与认证机构共同编制。标准涵盖“零碳
上文中我们提到了有关电力系统的两类容量功能,一类是与电源有关的长期供给容量,一类是与电网有关的输配通道容量。因为这两类容量都具备稳定且随时可用的功能,所以在电力行业中,就以采用两部制的容量费来收取相应的服务费用。而作为容量费缴费方的广大电力用户,按照对于容量的需求来缴纳容量费,如
日前,中电环保在接受机构调研时表示,截至2024年末,公司尚未确认收入的在手合同金额合计为30.79亿元,其中水处理19.83亿元、固废处理9.34亿元和烟气治理1.62亿元。项目实施周期预计在未来1-3年,核电项目则需3-5年。在水务板块,公司主要从事大工业水处理和城镇水环境治理业务,已在国内投资建设或承
北极星风力发电网获悉,近日,中国电力规划设计协会技术委员会公布终评结果,中节能阳江南鹏岛海上风电项目获评2024年度电力行业优秀工程设计一等奖。项目以功能设施完备、技术先进、布局合理,在众多海上风电项目中脱颖而出,独具中国节能特色,引领了同期海上风电项目设计新高度,受到地方政府与行业
7月1日,广西藤县低碳循环经济产业园生活垃圾焚烧发电子项目建设工程总承包招标公告发布。藤县低碳循环经济产业园生活垃圾焚烧发电子项目年处理垃圾量为18.25万t/a,建设规模为1条500t/d机械炉排垃圾焚烧炉(配套1台中温次高压余热锅炉)+SNCR炉内脱硝+组合烟气净化系统(半干法机械旋转喷雾脱酸+干法
7月3日,河南省信阳市浉河区“源网荷储”一体化项目一标段、二标段公开招标,项目计划总投资约16118.67万元,招标人(项目业主)为河南申城之光科技有限公司,项目建设内容为分布式屋顶光伏装机容量26.43MW;交流电缆68400米,交配电基础110个:储能电池系统4套,单套储能规模为2.0MW/8.0MWh,共计32MW
日前,由中国电力科学研究院有限公司牵头研发的550千伏全氟异丁腈环保气体绝缘输电管道在安徽安庆500千伏荣升变电站带电运行。这是在国内500千伏电压等级工程应用的首个全自主知识产权的环保型输变电装备。该设备的温室效应较传统六氟化硫设备下降97%。据了解,六氟化硫气体的绝缘和灭弧性能优异,很早
2025年上半年,南京电厂以“11234”工作思路为指引,大力弘扬新时代中国大唐“卓越文化”,牢记“原点”使命担当,以实干实绩奋力跑赢“上半场”。成绩的取得是坚韧不拔的南电人以敢为人先的豪情,锚定目标、笃行实干的生动实践。绿色低碳转型取得突破今年以来,南京电厂锚定二期燃机项目高质量开工“
最近,国网江苏省电力有限公司召开党委会,以“第一议题”传达学习习近平总书记参加首都义务植树活动、会见国际工商界代表时的重要讲话精神,习近平总书记在《求是》杂志发表的重要文章《朝着建成科技强国的宏伟目标奋勇前进》相关内容,以及中共中央政治局会议精神。“第一议题”制度是强化理论武装的
编者按:5月20日,2025年世界计量日中国主场活动在广州举办。本次活动以“计量顺时代之需,应民生之盼”为主题,由国家市场监管总局主办,广东省市场监管局、南方电网公司承办。自有电网起,便有了电能计量。在我国,电能计量表发展先后历经了感应式电能表、机电一体式电能表、电子式电能表等阶段,电
万物生长,好事正酿一大波喜报如春风般扑面而来快来看看这次又是什么的荣誉🤩🤩近日,重庆市企业管理创新经验交流会在渝召开,会议举行了“2024年重庆市企业管理现代化创新成果”和“2024全国企业绿色低碳发展优秀实践案例”颁奖仪式。中船科技旗下中船海装申报的《提升风电企业竞争力的市场营销精
国电电力秦皇岛发电有限责任公司2×350MW等容量替代热电联产项目智慧电厂IMS智慧管理平台建设项目公开招标项目招标公告1.招标条件本招标项目名称为:国电电力秦皇岛发电有限责任公司2×350MW等容量替代热电联产项目智慧电厂IMS智慧管理平台建设项目公开招标,项目招标编号为:CEZB240013380,招标人为
日前,国家市场监管总局发函同意南方电网公司筹建国家计量数据建设应用基地(绿色电力)。此次筹建是南方电网公司首个筹建的在绿色电力领域内的国家级计量数据建设应用基地,云南电网公司作为基地依托单位将联合南网数字电网集团共同开展为期3年的建设工作。绿电计量是绿色电力产生、传输、消费过程中
在华为全联接大会2022上,华为发布面向多云的数据存储战略,全面拥抱云原生,打造跨多私有云、公有云的可靠存储系统,助力企业构建数据集中共享、应用多云部署的IT架构,实现最大程度的数据资源共享和流通。华为数据存储产品线总裁周跃峰发言随着企业云化的不断实践,以容器为代表的云原生技术应用日益
10月24日,嘉兴市发展改革委公布对市政协九届一次会议第336号提案的答复,其中提到,在农业农村领域加快老旧农机报废更新,大力发展家庭屋顶光伏;在公共机构领域推行能耗限额管理,积极争创节约型公共机构示范单位,发挥节能示范作用。发挥我市光伏应用良好基础,加快发展太阳能、氢能、风能等清洁能
《“十四五”数字孪生流域建设总体方案》近日通过水利部审查,这标志着数字孪生流域建设进入了全面实施阶段。随着大数据、物联网等信息化手段在水电行业的运用,数字孪生贯穿了水电从设计、生产到运维的整个生命周期,实现精准决策、快速反应,为流域生态保护与高质量发展提供支持。在中国水力发电工程
《“十四五”数字孪生流域建设总体方案》近日通过水利部审查,这标志着数字孪生流域建设进入了全面实施阶段。随着大数据、物联网等信息化手段在水电行业的运用,数字孪生贯穿了水电从设计、生产到运维的整个生命周期,实现精准决策、快速反应,为流域生态保护与高质量发展提供支持。在中国水力发电工程
“东数西算”机遇下的煤炭行业数字化转型(来源:微信公众号“中能传媒研究院”作者:张博1仲冰2)(1.中国矿业大学(北京)决策科学与大数据研究院副院长2.中国矿业大学(北京)管理学院讲师)一我国煤矿智能化建设渐入佳境根据国家发展改革委等八部门2020年联合印发的《关于加快煤矿智能化发展的指导
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
风电正成为中国出口“新三样“之外,又一强劲增长极——据海关总署数据,我国风力发电机组2024年出口同比激增71.90%;2025年一季度出口进一步大增43.2%。作为中国可再生能源领域的领军企业,继连续三年海外订单排名第一、2024年斩获10GW海外订单后,2025年初至今,远景能源新增海外订单超5GW,占到中国
据央视新闻报道,当地时间2025年5月10日,为回应印度持续的挑衅行为,巴基斯坦已正式启动代号为“铜墙铁壁”的军事行动,行动期间,巴基斯坦对印度发起了网络攻击,虽然其导致印度约70%的电网陷入瘫痪的结果尚未证实,但是网络攻击的技战术可能带来的巨大影响不容忽视。2019年,委内瑞拉电网连续遭受网
2025年1月11日,中国国务院副总理何立峰与英国财政大臣蕾切尔·里夫斯在北京共同主持第十一次中英经济财金对话。双方认为,中英同为联合国安理会常任理事国、世界主要经济体和金融大国,保持长期、稳定、相互尊重的双边关系是互利且具有战略重要性的。双方将加强宏观经济政策沟通,支持对方推动结构性
2024年第十七届国际太阳能光伏与智慧能源(上海)大会暨博览会在上海国家会展中心拉开帷幕。作为数字化储能引领者,弘正储能携全新的储能产品与技术亮相此次盛会(展位:5.1H馆C180),全面展示弘正在智慧能源领域的创新成果和深度行业洞察。新品震撼发布,引领智储未来6月13日下午,弘正储能的新品发
4月11-13日,由中关村储能产业技术联盟、中国能源研究会、中国科学院工程热物理研究所主办的第12届储能国际峰会暨展览会(ESIE2024)在北京首钢会展中心隆重举行,优旦科技携工商业储能智慧管理整体解决方案重磅亮相。BMS+EMS突破储能系统管理边界BMS与EMS,作为商用储能系统的核心要件,其协同作业不
近日,许继电气股份有限公司成功中标国家电投集团科学技术研究院有限公司“铁-铬液流电池能量管理系统框架采购”项目,是公司在储能能量管理系统领域取得的又一个突破。许继电气通过多年的技术攻关,突破了储能电站海量信息处理、储能电站可靠辅助构网及稳定独立组网技术、精准阻尼控制与惯量支撑技术
强化融合创新、促进协同发展,1月15日,正泰集团召开2024新年大会。过去一年,世界经济风高浪急,市场不确定性层出,集团各板块凝心聚力、攻坚克难,以勇立潮头之姿聚合创新发展之势;2024年,新型能源体系加速构建,新质生产力竞相迸发,全球正泰人接续奋斗、勇开新局,以劈波斩浪之力激扬“不惑”前
7月8日,许继集团、许继电气协办的“聚焦新型电力系统服务碳达峰碳中和”第五届能源互联网装备技术发展大会在许昌成功召开。大会发布的许继2023年全系列储能生态产品,引起强烈反响。院士肯定中国工程院院士郭剑波在接受采访时充分肯定许继技术水平及行业地位。他指出:许继是我国电气装备重要的研发和
陆上风电机组钢-混凝土混合塔筒(以下均简称“混塔”),经多年技术发展和工程应用经验总结,基于国内外现行标准规范的基础上,目前已形成相对完善的技术体系,市场接受度已得到检验和认可,且正以较快的速度进行技术迭代和研发创新,近年来各种新塔型、新材料、新装备、新工艺、新技术在混塔领域的研
日前,爱旭股份在日签下三大代理商,计划通过聚焦高端市场两大应用场景及发展三个渠道,完成从“0到1”的市场拓展,实现日本市场布局的里程碑式突破。01签下三大代理商组件产品进军海外市场再进一步新华财经记者独家了解到,作为爱旭股份海外重点布局地区之一,上月爱旭日本公司正式成立,并于日前在日
人工智能技术的发展迎来里程碑意义上的又一次质的飞跃,ChatGPT因其极其出色的文本生成、对话交互能力以及在很多专业领域的杰出表现,在世界范围内迅速走红,5天内用户破百万,两个月用户破亿,被认为是开启了通用人工智能的新时代。来源:微信公众号“中国电业与能源”作者:清华大学信息国家研究中心
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!