登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
云对每个人来说都是又大、又白、又轻柔的梦境。当有人说他们的大数据战略是“把全部投入云端”时,你无法确定他们是否是一个有远见的人,或仅仅是重复一个专家在一次行业会议上告诉他们的事。
大数据和云范例之间实际的重复非常广泛,你可以宣称你正在一个内部部署的Hadoop、NoSQL、或企业数据仓库环境下处理基于云的大数据。请记住云被广泛理解为包含“私有”部署以补充或代替公共云、SaaS、和多租户托管环境。
但是如果你把云的实际定义限制于公共订购服务内,你就能找到问题的核心:识别哪些大数据应用相对于内部部署更适合公共云/SaaS 部署(比如那些涉及提前优化的硬件设备或虚拟服务器集群的应用)。
换句话说:你什么时候可以通过引进一个外部服务供应商为你管理它们,从而提高大数据的可扩展性、灵活性、性能、成本效益、可靠性、以及可管理性?以下是一些明确的大数据在公共云中的使用实例。
已经在云中托管的企业应用程序:如果和许多企业一样——尤其是中小型企业——你使用了一个外部服务供应商提供的基于云的应用程序,许多你的源交易数据已经被置于公共云之上。如果你在这个云平台上有更深入的历史数据,那么它可能已经积累至大数据级。如果外部服务供应商或它的合作伙伴之一提供了一个增值的分析服务——如客户流失分析、营销优化、或客户数据的异地备份和归档——那么利用这些服务会比将这些数据置于内部来得有意义。
需要相当大的预处理能力的大容量外部数据源:例如,如果你打算通过监测社交媒体数据的聚合输入来分析客户的情感,内部的服务器、存储、或带宽容量可能无法很好地为你完成这项任务。这是一个明显的关于应用程序的例子,在这里你会希望利用一个基于公共云的、大数据驱动的服务所提供的社交媒体过滤服务解决问题。
超过你内部部署的大数据处理能力的策略型应用程序:如果你已经有一个专门为某个应用程序内部部署的大数据平台(比如高容量非结构化数据源ETL专用的Hadoop集群),那么使用一个公共云来处理当前平台所不适用的、或是按需服务会更健壮或划算的新的应用程序(例如多渠道营销、社交媒体分析、地理空间分析、可查询归档、弹性数据沙盒技术)可能会更行得通。事实上,如果你需要尽快获得PB级规模的、流媒体的、多结构的大数据处理能力,那么一个公共云产品可能是唯一可行的选择。
非常大但只是短暂存在的沙盒的弹性供应:如果你有一个短期周转的短期数据科学项目,而这个项目需要比惯常大一个数量级的探索型数据集市(又名沙盒),那么云可能是你唯一可行或可以支付的选择。你能够很快在项目期间运作基于云的存储和处理能力,然后当项目结束时又可以很快的取消之前配置的一切。我称之为“泡沫集市”部署模型,它是为云量身定制的。
如果你已经有过这其中任一的经历,那么基于云的大数据的战略问题就不是你该从何开始。随着基于云的大数据服务逐渐成熟以及性价比(包括性能、可扩展性、灵活性和可管理性)不断提高,这个问题将会是你该在哪结束。到本个十年的末期,随着越来越多的应用程序和数据迁移到公共云上,建立和运作你自己的大数据部署的想法似乎如同现在你想设计自己的服务器一般不切实际。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,南方能源大数据中心与南方电网大湾区数字产业基地顺利投产,标志着南方电网公司基本建成“3+1+X”架构的绿色节能新型数据基础设施。南方能源大数据中心位于全国一体化算力网络国家枢纽节点贵州(贵安)枢纽,首期规划建成两栋机楼及一栋运检楼,承载约2000架10千瓦机柜,定位南方电网公司双活生
日前,南方能源大数据中心与南方电网大湾区数字产业基地分别在贵州贵阳、广东惠州投产,标志着南方电网公司基本建成“3+1+X”架构的绿色节能新型数据基础设施,有力展示公司主动融入国家“东数西算”工程建设,加快数字化转型和数字电网建设,加快向数字电网运营商、能源产业价值链整合商、能源生态系
问:您常年从事汽车相关教学工作,对新能源汽车行业的发展较为关注。随着新能源汽车越来越普及,我国充电基础设施也在快速发展,您对此有何看法?杨金龙:近年来,我国新能源汽车行业发展迅猛,充电基础设施建设也取得了令人瞩目的成绩。在我所生活的浙江省杭州市桐庐县,无论是旅游景区还是公共停车场
国家电网有限公司大数据中心深入贯彻落实国家电网有限公司第四届职工代表大会第五次会议暨2025年工作会议精神,牢牢把握“强化企业级统筹”“深化数字赋能赋效”“强化人工智能应用”“加强自主运维”四个方面要求,激活数据要素价值,全力支撑健全完善数字化工作体系、构建新型电力系统、发展新质生产
近日,四川能源监管办发布2024年度煤电机组大数据监管情况通报。通报指出,四川燃煤发电持续发挥“关键少数”重要作用,煤电兜底保障基础不断夯实,顶峰保供能力进一步发挥,企业经营情况进一步改善。全年枯水期完成发电量335.03亿千瓦时,提供了四川主网三分之一以上电量。2024年四川燃煤火电机组平均
2月17日,山东淄博供电公司电力气象智慧预警大数据应用平台上线。该平台深度融合电力数据和气象数据,增强了电力气象灾害的主动预警能力,为淄博电网防灾减灾、安全稳定运行提供保障。强风、雷暴等恶劣天气容易影响电网设备安全运行。为此,淄博供电公司与山东省电力气象技术创新中心联合组建攻坚团队
近日,福建龙岩供电公司发布龙岩市开工生产分析报告。此报告基于多维度与海量数据统计分析,详细呈现了各行业的生产经营变化情况,为政府精准制定政策、推动经济稳健复苏提供了数据支撑。该公司广泛收集企业开工生产相关数据,通过设定复工及达产指数,量化评估企业开工水平及达到正常生产用能水平情况
近日,福建龙岩供电公司发布龙岩市开工生产分析报告。此报告基于多维度与海量数据统计分析,详细呈现了各行业的生产经营变化情况,为政府精准制定政策、推动经济稳健复苏提供了数据支撑。该公司广泛收集企业开工生产相关数据,通过设定复工及达产指数,量化评估企业开工水平及达到正常生产用能水平情况
近日,由国网湖南省电力有限公司牵头,中国南方电网有限责任公司、中国长江三峡集团有限公司、华中科技大学、湖南大学和华为技术有限公司等共同编写的水电物联网国际标准IEEEStd2413.3-2024《水电能源物联网导则》正式获批发布。据介绍,在水电能源物联网领域,尤其是在水利水电工程中,数据壁垒易导致
2025年春节,浙江的大街小巷满是烟火与欢笑,当古镇的红灯笼与现代化都市的霓虹一同点亮新春夜空,你是否想过,这背后的用电数据是怎样的经济密码?它们串联起千家万户的团圆,映射出产业发展的新态势。现在,就跟着小e,看看2025年春节浙江用电数据藏着哪些惊喜。刚刚过去的春节(1月28日-2月4日),
正月初九,尽管春节假期已经结束了,但过年的热闹劲儿还未完全消散。2024年12月,中国春节成功列入《人类非物质文化遗产代表作名录》,紧接着,我们迎来了意义非凡的第一个“非遗版”春节。办年货作为春节里必不可少的仪式,承载着我们对新年的期待与祝福。当年轻一代逐渐接过年货采购的接力棒,又是什
这些毫无根据的印象涉及所需技能储备、技术方案类型以及技术匹配方式等多个层面,盲目偏信只会将大家引入歧途。大数据分析目前已经成为技术业界的主流趋势,每一家企业都开始将此类方案视为实现自身差异化优势的核心甚至是求得生存的关键所在。有鉴于此,关于大数据的各种误解也开始不断涌现。这些误区
日前,行业领先的信息安全技术厂商蓝盾股份最近提出了Hadoop安全框架,业内分析认为该框架可有效保护大数据安全。据蓝盾大数据中心介绍,2012年和2013年互联网所产生的数据,相当于人类从有史以来一直到2011年所产生的数据量总和。互联网产生大数据,移动互联网和物联网进一步推动数据的暴涨。研究机构预测,到2020年,电子数据存储量将在2009年的基础上增加44倍,达到35万亿GB。海量数据中蕴藏着大量有价值的信息,为了充分利用这些信息,目前流行的做法是利用Hadoop构建大数据项目。Hadoop确实让数据处理和分析变得更廉价更高效,但由于最初Hadoo
为分析并预测大数据技术的发展现状、发展计划和面临的挑战,IDC将于2013年秋季对德国相关应用企业进行问卷调查。从技术角度来看,大数据包括像Hadoop、高扩展度数据库、最佳可视化工具以及高性能搜索引擎这样的新技术和已经成熟的技术,如事件驱动处理技术、商业智能技术和数据挖掘技术,这些技术主要用来处理海量的数据。大数据技术的主要任务是从内部和外部数据源中找出所需的数据,并对这些数据进行高效快捷的评估,最终提供决策支撑。全球对大数据技术和服务的投资在增长目前,大数据在美国最为发达,包括德国在内的欧洲地区在这一领域稍显落后。不过,现在业内人士已经注意到了这一
21世纪人们的生活与生硬刻板的数据中心、产品和硬件不同,人们的现实生活充满活力,而这些活力主要体现在数据给予生活的改变。近日,IDC发布了一份对于未来数字星球增长的新预期,数字显示,中国只占整个数据产生总量的3%,未来的8年这个数据将占到全球数据数量的22%,中国迎来了大数据的时代。数据的堆积离不开大数据的分析,而学术界和产业界对于大数据已经过了讨论概念的阶段,现在人们更加关注于用什么样的技术和方法来进行大数据价值挖掘,以及如何真正为企业和客户带来价值。而事实上,大数据的分析和大数据的挖掘是一个非常难的技术,不管是产品需要上,还是从技术创新上,新的方法
Hadoop系统和NoSQL数据库已经成为管理大数据环境的重要工具。不过,在很多情况下,企业利用他们现有的数据仓库设施,或是一个新老混合的技术来对大数据流入他们的系统进行管理。无论一个公司部署什么类型的大数据技术栈,有一些共通的因素必须加以考量,以保证为大数据分析工作提供一个有效的框架。在开始一个大数据项目之前,去审视项目所要承担的新数据需求的更大图景显得尤为关键。下面来让我们检视四个需要加以考量的因素。数据准确性数据质量问题对于BI和数据管理专业人士来说一定不陌生。很多BI和分析团队努力保证数据的有效性并说服业务使用人员去信任信息资产的准确性和可靠性
日前,2013年全国博士后学术论坛“电子科学技术与信息产业发展”在电子科技大学举行。来自全国50余家高校、企业共200余名专家学者、博士后代表参加了论坛。远光软件博士后科研工作站谌章义博士在会上就研究课题《基于Hadoop的海量电费数据处理模型设计与实现》发表了主题演讲,该研究成果被《电子科学技术与信息产业发展论文集》收录。《基于Hadoop的海量电费数据处理模型设计与实现》一文以国内某特大型电力集团为例,提出了电费数据新的处理模型,建立了基于Hadoop和Hive的电费明细处理平台。实验证明该模型能有效解决海量电费数据处理性能
以往Hadoop似乎就是大数据的代名词。不过最近随着大数据应用的深入,大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。Hadoop大桶自成为大数据工具以来,Hadoop就是一个非常棒的数据存储系统,但是需要开发Java应用来访问数据的MapReduce学习起来却比较困难。当然,还有别的办法可以从Hadoop中获取信息。Hbase数据是Hadoop的
处理海量数据大数据的技术,现今最火红的则非Hadoop莫属了喔!根据Hadoop的创办人Doug Cutting所言“Hadoop”就只是帮一只黄色的填充大象取的名字而已,没有什么特别的意思纯粹只是好记而已。而Hadoop技术的诞生则是因为因特网数据的爆炸性成长,传统的文件系统无法负荷储存跟分类,从而根据Google搜寻器的相关的学术论文为蓝图,演变成一套如何储存、处理、分析TB(Tera Bytes)甚至PB(Peta Bytes)等级的数据处理方法。Hadoop是百分之一百免费由Java程序语言所编写的Open Source
北京时间3月22日消息,据国外媒体报道,甲骨文过去十年间稳定的盈利能力一直是硅谷分析人士津津乐道的话题之一。但近年来,随着大小竞争对手的不断涌入,以及客户对于软件价格的越发敏感,甲骨文在过去两年时间内已经发布了三次令人失望的业绩数据。而且,有分析师认为这一情况恐怕不会在短期内得到改善。以下是文章主要内容:如果说硅谷在过去十年间有什么亘古不变现象的话,甲骨文稳定的持续盈利能力显然是其中之一。但现在,这一情况可能即将迎来改变。业绩不佳目前的甲骨文公司仍然是科技业内最具统治力的企业之一,该公司营收达到327亿美元,旗下数据库和所开发的应用软件也被大型企业广泛
数据监测指的是对装备、系统或其一部分的工作正常性进行实时监视而采取的任何在线测试手段。如今的社会已经全面步入了数字化时代,监测方式也更加丰富。数据监控正在全面步入数字化说到这里,可能有人会质疑,监测到底有什么用?举个最简单的例子,我们平时用智能手机去网上下载应用,最为关注的就是应用的下载数量、用户评价、应用的评级等等信息,而这些所有的数据都是通过监控来实现的。2013年PM2.5监测已经在我国全面实施,市民能够通过网络轻松了解到全国的空气污染情况,而在生产型企业以及医疗、军事行业等等更是需要依靠数据来说话。除了传统的监控之外,互联网监控也越来越受到政府
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!