登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
传统典型数据仓库体系结构
作为一个数据仓库系统,从数据源(一般为业务系统或其它外购数据)到最终展现给最终用户,中间需要经过一系列过程:
抽取适当的数据源数据。数据仓库不是简单的生产系统的业务数据的堆积,简单地将生产系统的数据进行堆积的结果将会建成一个数据垃圾堆而不是数据仓库。我们只要选取对现在和将来决策分析有用的业务数据进行积累就可以了。
转化、清洗、重构等数据加工过程。因为数据仓库中的数据是面向分析和决策的,必须将业务数据进行重组才能达到这个目的。数据仓库中的数据结构往往与业务系统中的数据结构是有非常大差异的。
建立海量、高效的企业级数据仓库。这个数据仓库必须能够在海量数据基础上服务于大量并发用户,并且无论是数据处理速度还是查询速度都应该满足一定的速度要求。依靠数据仓库应该能够完成设计范围内的一切分析。
针对特定的分析主题,建立专门的数据集市。仅仅依靠数据仓库进行分析,其速度往往不足够快。为了使某些常用分析的速度足够快,有必要为这些分析问题分别单独进行进一步的数据重组和优化,即建立数据集市以加快分析速度。
针对特定业务问题,使用特殊的数理统计算法进行数据挖掘。数据挖掘技术以建立在概率论和数理统计基础之上。特定的数据挖掘算法需要特定格式的数据输入,这种特定的格式往往不是数据仓库中直接具有的,需要大量的数据加工准备过程。模型挖掘、模型验证等过程也是一个需要反复进行的过程。另外,挖掘的结果--模型,必须作用到样本上--在样本上打分--才能真正发挥作用。
元数据管理--整个数据仓库的所有描述性信息、管理信息、调度信息等都是数据仓库的元数据。一个数据仓库要想得到很好的持续性建设和被很好地使用,元数据管理是必不可少的。
前端展现应用--最终用户的界面,这个界面必须简单易用且功能强大,必须具有良好的权限控制;两外,前端展现应用必须维护简单。
IBM数据仓库解决方案的体系结构IBM数据仓库的体系结构在上一节中描述的各个方面都具有卓越的表现。
核心技术
IBM数据仓库/商业智能解决方案是一个完整的端到端的解决方案,其核心技术包括:
1.IBM DB2 UDB作为海量数据仓库引擎
高扩展性
在单UNIX主机CPU扩展方面,TPC-C(OLTP)和TPC-H(Ad-Hoc Query),显示了DB2在扩展性方面的能力。
在集群技术方面,采用Share Nothing的MPP体系结构,每个节点独享各自的硬盘空间,各个节点间通过网络交换数据。可伸缩性强,最多可以扩充到2000个节点。国外有512节点的实例。每个数据库中单个表的大小可以达到512GB*1000=500TB。在全球范围有许多TB级的数据仓库。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,绿电直连政策《国家发展改革委国家能源局关于有序推动绿电直连发展有关事项的通知》发布后,不断有朋友询问观茶君有啥看法。忙里偷闲简单说一下。(来源:电力法律观察作者:观茶君团队)其实,绿电直连政策的意义、优点非常多,业内各位专家已有很多评论,观茶君不再赘述。从操作实务的角度看,
新型电力系统加快构建下,源网荷储一体化、微电网、虚拟电厂等多样化应用场景不断涌现,持续对能源管理数字化、智能化调控能力提出全新挑战。此时,作为新质生产力的重要引擎,基于数字化、智能化的技术创新也就成为能源电力产业高质量发展的关键变量,以核心引擎的角色推动能源经济绿色转型加速。能源
以绿色之名,汇智启程。6月11日至13日,全球瞩目的清洁能源盛会——SNECPV+第十八届(2025)国际太阳能光伏与智慧能源(上海)大会暨展览会将在上海国家会展中心隆重举办。本届SNEC展布展规模达38万平米,来自全球95个国家和地区共3600余家企业参展,其中国际展商比例占30%。正泰以“绿源+智网共建新型
为深入贯彻党的二十届三中全会精神,进一步深化电力业务资质许可管理,国家能源局近日印发《国家能源局关于进一步深化电力业务资质许可管理更好服务新型电力系统建设的实施意见》(国能发资质﹝2025﹞41号)(以下简称《实施意见》),现从三个方面对《实施意见》进行解读。一、制定背景及必要性党的二
6月5日,长丰皖能风电开发有限公司发布了长丰县庄墓100MW200MWh储能电站项目EPC招标公告。项目安徽省合肥市位于长丰县庄墓镇,本项目储能容量为100MW/200MWh,储能设备布置在站区的北侧,拟采用20组5MW/10MWh储能单元,配套建设1座110kV升压站及综合楼,以1回110kV线路接入220kV庄墓变(直线距离约200
6月5日,汉中市发改委发布汉中市电力高质量发展实施意见(草稿),文件指出,鼓励屋顶分布式项目开发,推动工商业屋顶分布式光伏发展,支持优先采用“自发自用”建设模式,鼓励分布式光伏项目配置储能设施,减小公共电网运行压力。住房城乡建设、发展改革、自然资源、财政、机关事务管理等部门,应当共
近日,中国电力企业联合会公布了2024年度电力行业火电机组能效水平对标结果。通过对参与对标机组的能效指标、技术监督指标、环保指标和可靠性指标进行综合评价,上海电气1000MW等级超超临界机组以及600MW等级超超临界、超临界、亚临界机组等机型能效水平蝉联第一。在1000MW等级超超临界机组中,全国共
6月5日,国新办举行新闻发布会,介绍“深化提升‘获得电力’服务水平全面打造现代化用电营商环境”有关情况。国家能源局副局长宋宏坤在回答记者提问时表示,近年来,中国可再生能源总体保持了高速度发展、高比例利用、高质量消纳的良好态势,为保障电力供应、促进能源转型发挥了重要作用。截至今年4月
日前,国能山东公司山华电聊城、聊城公司一、二期脱硫废水零排放改造项目公开招标项目招标公告。详情如下:山东公司山华电聊城、聊城公司一、二期脱硫废水零排放改造项目公开招标项目招标公告第一章公开招标1.招标条件本招标项目名称为:山东公司山华电聊城、聊城公司一、二期脱硫废水零排放改造项目公
6月5日下午,国家电力投资集团有限公司(以下简称“国家电投”)党组书记、董事长刘明胜与来访的上海电气集团党委书记、董事长吴磊举行会谈,双方围绕国家重大专项进展、能源装备产业链升级、科技创新突破等议题达成多项共识。刘明胜对吴磊一行的来访表示欢迎,感谢上海电气一直以来对国家电投的大力支
最近,国网江苏省电力有限公司调控中心召开2025年公司调度系统一季度支部书记座谈会暨安全监督网例会,传达宣贯了全国“两会”精神和公司安全生产工作要求,组织学习了《习近平总书记关于党的建设的重要思想概论》和《习近平文化思想学习纲要》,开展了“党的建设引领电力调度工作高质量发展”的专题党
编者按:5月20日,2025年世界计量日中国主场活动在广州举办。本次活动以“计量顺时代之需,应民生之盼”为主题,由国家市场监管总局主办,广东省市场监管局、南方电网公司承办。自有电网起,便有了电能计量。在我国,电能计量表发展先后历经了感应式电能表、机电一体式电能表、电子式电能表等阶段,电
万物生长,好事正酿一大波喜报如春风般扑面而来快来看看这次又是什么的荣誉🤩🤩近日,重庆市企业管理创新经验交流会在渝召开,会议举行了“2024年重庆市企业管理现代化创新成果”和“2024全国企业绿色低碳发展优秀实践案例”颁奖仪式。中船科技旗下中船海装申报的《提升风电企业竞争力的市场营销精
国电电力秦皇岛发电有限责任公司2×350MW等容量替代热电联产项目智慧电厂IMS智慧管理平台建设项目公开招标项目招标公告1.招标条件本招标项目名称为:国电电力秦皇岛发电有限责任公司2×350MW等容量替代热电联产项目智慧电厂IMS智慧管理平台建设项目公开招标,项目招标编号为:CEZB240013380,招标人为
日前,国家市场监管总局发函同意南方电网公司筹建国家计量数据建设应用基地(绿色电力)。此次筹建是南方电网公司首个筹建的在绿色电力领域内的国家级计量数据建设应用基地,云南电网公司作为基地依托单位将联合南网数字电网集团共同开展为期3年的建设工作。绿电计量是绿色电力产生、传输、消费过程中
在华为全联接大会2022上,华为发布面向多云的数据存储战略,全面拥抱云原生,打造跨多私有云、公有云的可靠存储系统,助力企业构建数据集中共享、应用多云部署的IT架构,实现最大程度的数据资源共享和流通。华为数据存储产品线总裁周跃峰发言随着企业云化的不断实践,以容器为代表的云原生技术应用日益
10月24日,嘉兴市发展改革委公布对市政协九届一次会议第336号提案的答复,其中提到,在农业农村领域加快老旧农机报废更新,大力发展家庭屋顶光伏;在公共机构领域推行能耗限额管理,积极争创节约型公共机构示范单位,发挥节能示范作用。发挥我市光伏应用良好基础,加快发展太阳能、氢能、风能等清洁能
《“十四五”数字孪生流域建设总体方案》近日通过水利部审查,这标志着数字孪生流域建设进入了全面实施阶段。随着大数据、物联网等信息化手段在水电行业的运用,数字孪生贯穿了水电从设计、生产到运维的整个生命周期,实现精准决策、快速反应,为流域生态保护与高质量发展提供支持。在中国水力发电工程
《“十四五”数字孪生流域建设总体方案》近日通过水利部审查,这标志着数字孪生流域建设进入了全面实施阶段。随着大数据、物联网等信息化手段在水电行业的运用,数字孪生贯穿了水电从设计、生产到运维的整个生命周期,实现精准决策、快速反应,为流域生态保护与高质量发展提供支持。在中国水力发电工程
“东数西算”机遇下的煤炭行业数字化转型(来源:微信公众号“中能传媒研究院”作者:张博1仲冰2)(1.中国矿业大学(北京)决策科学与大数据研究院副院长2.中国矿业大学(北京)管理学院讲师)一我国煤矿智能化建设渐入佳境根据国家发展改革委等八部门2020年联合印发的《关于加快煤矿智能化发展的指导
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
7月8日,国网上海市电力公司负荷管理主站操作员登录新型电力负荷管理系统,一键提取了上海地区所有客户参与历年需求响应的历史数据,并针对数据进行溯源梳理和分析。这是国网上海电力首次利用新型电力负荷管理系统进行需求响应客户情况摸排。通过此次摸排,国网上海电力可根据客户的实际响应能力,为客
风电正成为中国出口“新三样“之外,又一强劲增长极——据海关总署数据,我国风力发电机组2024年出口同比激增71.90%;2025年一季度出口进一步大增43.2%。作为中国可再生能源领域的领军企业,继连续三年海外订单排名第一、2024年斩获10GW海外订单后,2025年初至今,远景能源新增海外订单超5GW,占到中国
据央视新闻报道,当地时间2025年5月10日,为回应印度持续的挑衅行为,巴基斯坦已正式启动代号为“铜墙铁壁”的军事行动,行动期间,巴基斯坦对印度发起了网络攻击,虽然其导致印度约70%的电网陷入瘫痪的结果尚未证实,但是网络攻击的技战术可能带来的巨大影响不容忽视。2019年,委内瑞拉电网连续遭受网
2025年1月11日,中国国务院副总理何立峰与英国财政大臣蕾切尔·里夫斯在北京共同主持第十一次中英经济财金对话。双方认为,中英同为联合国安理会常任理事国、世界主要经济体和金融大国,保持长期、稳定、相互尊重的双边关系是互利且具有战略重要性的。双方将加强宏观经济政策沟通,支持对方推动结构性
2024年第十七届国际太阳能光伏与智慧能源(上海)大会暨博览会在上海国家会展中心拉开帷幕。作为数字化储能引领者,弘正储能携全新的储能产品与技术亮相此次盛会(展位:5.1H馆C180),全面展示弘正在智慧能源领域的创新成果和深度行业洞察。新品震撼发布,引领智储未来6月13日下午,弘正储能的新品发
4月11-13日,由中关村储能产业技术联盟、中国能源研究会、中国科学院工程热物理研究所主办的第12届储能国际峰会暨展览会(ESIE2024)在北京首钢会展中心隆重举行,优旦科技携工商业储能智慧管理整体解决方案重磅亮相。BMS+EMS突破储能系统管理边界BMS与EMS,作为商用储能系统的核心要件,其协同作业不
近日,许继电气股份有限公司成功中标国家电投集团科学技术研究院有限公司“铁-铬液流电池能量管理系统框架采购”项目,是公司在储能能量管理系统领域取得的又一个突破。许继电气通过多年的技术攻关,突破了储能电站海量信息处理、储能电站可靠辅助构网及稳定独立组网技术、精准阻尼控制与惯量支撑技术
强化融合创新、促进协同发展,1月15日,正泰集团召开2024新年大会。过去一年,世界经济风高浪急,市场不确定性层出,集团各板块凝心聚力、攻坚克难,以勇立潮头之姿聚合创新发展之势;2024年,新型能源体系加速构建,新质生产力竞相迸发,全球正泰人接续奋斗、勇开新局,以劈波斩浪之力激扬“不惑”前
7月8日,许继集团、许继电气协办的“聚焦新型电力系统服务碳达峰碳中和”第五届能源互联网装备技术发展大会在许昌成功召开。大会发布的许继2023年全系列储能生态产品,引起强烈反响。院士肯定中国工程院院士郭剑波在接受采访时充分肯定许继技术水平及行业地位。他指出:许继是我国电气装备重要的研发和
陆上风电机组钢-混凝土混合塔筒(以下均简称“混塔”),经多年技术发展和工程应用经验总结,基于国内外现行标准规范的基础上,目前已形成相对完善的技术体系,市场接受度已得到检验和认可,且正以较快的速度进行技术迭代和研发创新,近年来各种新塔型、新材料、新装备、新工艺、新技术在混塔领域的研
日前,爱旭股份在日签下三大代理商,计划通过聚焦高端市场两大应用场景及发展三个渠道,完成从“0到1”的市场拓展,实现日本市场布局的里程碑式突破。01签下三大代理商组件产品进军海外市场再进一步新华财经记者独家了解到,作为爱旭股份海外重点布局地区之一,上月爱旭日本公司正式成立,并于日前在日
人工智能技术的发展迎来里程碑意义上的又一次质的飞跃,ChatGPT因其极其出色的文本生成、对话交互能力以及在很多专业领域的杰出表现,在世界范围内迅速走红,5天内用户破百万,两个月用户破亿,被认为是开启了通用人工智能的新时代。来源:微信公众号“中国电业与能源”作者:清华大学信息国家研究中心
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!