登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
云对每个人来说都是又大、又白、又轻柔的梦境。当有人说他们的大数据战略是“把全部投入云端”时,你无法确定他们是否是一个有远见的人,或仅仅是重复一个专家在一次行业会议上告诉他们的事。
大数据和云范例之间实际的重复非常广泛,你可以宣称你正在一个内部部署的Hadoop、NoSQL、或企业数据仓库环境下处理基于云的大数据。请记住云被广泛理解为包含“私有”部署以补充或代替公共云、SaaS、和多租户托管环境。
但是如果你把云的实际定义限制于公共订购服务内,你就能找到问题的核心:识别哪些大数据应用相对于内部部署更适合公共云/SaaS 部署(比如那些涉及提前优化的硬件设备或虚拟服务器集群的应用)。
换句话说:你什么时候可以通过引进一个外部服务供应商为你管理它们,从而提高大数据的可扩展性、灵活性、性能、成本效益、可靠性、以及可管理性?以下是一些明确的大数据在公共云中的使用实例。
已经在云中托管的企业应用程序:如果和许多企业一样——尤其是中小型企业——你使用了一个外部服务供应商提供的基于云的应用程序,许多你的源交易数据已经被置于公共云之上。如果你在这个云平台上有更深入的历史数据,那么它可能已经积累至大数据级。如果外部服务供应商或它的合作伙伴之一提供了一个增值的分析服务——如客户流失分析、营销优化、或客户数据的异地备份和归档——那么利用这些服务会比将这些数据置于内部来得有意义。
需要相当大的预处理能力的大容量外部数据源:例如,如果你打算通过监测社交媒体数据的聚合输入来分析客户的情感,内部的服务器、存储、或带宽容量可能无法很好地为你完成这项任务。这是一个明显的关于应用程序的例子,在这里你会希望利用一个基于公共云的、大数据驱动的服务所提供的社交媒体过滤服务解决问题。
超过你内部部署的大数据处理能力的策略型应用程序:如果你已经有一个专门为某个应用程序内部部署的大数据平台(比如高容量非结构化数据源ETL专用的Hadoop集群),那么使用一个公共云来处理当前平台所不适用的、或是按需服务会更健壮或划算的新的应用程序(例如多渠道营销、社交媒体分析、地理空间分析、可查询归档、弹性数据沙盒技术)可能会更行得通。事实上,如果你需要尽快获得PB级规模的、流媒体的、多结构的大数据处理能力,那么一个公共云产品可能是唯一可行的选择。
非常大但只是短暂存在的沙盒的弹性供应:如果你有一个短期周转的短期数据科学项目,而这个项目需要比惯常大一个数量级的探索型数据集市(又名沙盒),那么云可能是你唯一可行或可以支付的选择。你能够很快在项目期间运作基于云的存储和处理能力,然后当项目结束时又可以很快的取消之前配置的一切。我称之为“泡沫集市”部署模型,它是为云量身定制的。
如果你已经有过这其中任一的经历,那么基于云的大数据的战略问题就不是你该从何开始。随着基于云的大数据服务逐渐成熟以及性价比(包括性能、可扩展性、灵活性和可管理性)不断提高,这个问题将会是你该在哪结束。到本个十年的末期,随着越来越多的应用程序和数据迁移到公共云上,建立和运作你自己的大数据部署的想法似乎如同现在你想设计自己的服务器一般不切实际。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
11月15日,宁夏吴忠市人民政府印发《吴忠市燃气发展规划(2024-2035年)》的通知(吴政办发〔2024〕23号),其中指出,燃气经营企业全面构建基于数据采集与监控(SCADA)、地理信息系统(GIS)的“智慧燃气”管理系统,利用信息化手段加强企业经营管理和燃气生产、储存、输送、使用等全过程数字化管控
11月15日,浙江省正式发布“工业碳效码3.0”版本,在原有碳效码评价体系的基础上全新发布“碳足迹数智服务应用”。对于制造业企业来说,产品从原料获取到生产、分销运输,再到使用、废弃,每个阶段都会产生碳排放和其他温室气体,这就是“碳足迹”。该应用通过大数据、云计算等数字新技术,实现了面向
10月25日,中国电力大数据创新平台理事会二届一次会议在京顺利召开。会上对2023年中国电力大数据创新平台大数据创新实践成果优秀案例进行了表彰,国网四川电力与远光软件联合申报的“基于智能物联的资金支付U盾安全管控解决方案”成功入选十大优秀案例。中国电力大数据创新平台由国家电网公司牵头,联
正如同自动驾驶依赖数据和仿真训练,储能系统的智慧进阶,也需要依靠数据和算法。近年来,储能企业愈发意识到大数据的重要性,储能运行数据成为重要的无形资产。无论是储能系统集成商还是储能PCS等核心部件企业,逐渐改变之前将设备外包给软件公司或运营商管理的常态,越来越倾向于自研云平台、掌握设
北极星售电网获悉,国家能源局发布关于政协第十四届全国委员会第二次会议第03484号(经济发展类246号)提案答复的函,文件提到,关于加快完善数能融合顶层设计,做好新能源并网,推动构建新能源供给消纳体系,合理安排新能源发展规模、布局和时序。加大数据中心绿电、绿证市场服务力度,助力数据中心绿
今年国庆期间,浙江气温较去年同期低,伴随降温、大风和降水天气。尽管如此,假期经济拉动效应依然不减。国庆假日,浙江省累计全域旅游人数3694.3万人次,按可比口径增长16.6%,比2019年同期增长22.7%。全域旅游综合收入508.1亿元,同比增长20.4%,游客人均花费同比增长3.3%。(来源:微信公众号“浙电
9月24日,乌兰察布市察右后旗源荷互动绿色大数据中心示范项目顺利并网投运,标志着我市在推动数据中心绿色低碳发展道路上迈出坚实的一步。该项目由察哈尔右翼后旗景源新能源有限公司投资建设,总装机规模为10万千瓦,包含两个5万千瓦分散式风电项目。拟接入相关的虚拟电厂系统架构,整合大数据中心负荷
9月22日,中国能建总承包建设的甘肃庆阳“东数西算”源网荷储一体化智慧零碳大数据产业园示范项目举行揭幕暨投运点亮活动。项目位于甘肃省庆阳市“东数西算”产业园区内,是首个获得国家政策性开发性金融工具支持的“东数西算”项目,也是中国能建探索源网荷储一体化、推进“七网”融合投建营的首个“
9月19日获悉,国家电网有限公司信息通信分公司牵头,与国家电网有限公司客户服务中心、国网信通产业集团北京中电普华信息技术有限公司等单位完成了“网上国网”系统数据库的优化升级,实现了公司关键业务系统的国产化数据库替换和系统数据全面上云。“网上国网”系统是公司官方统一线上服务门户,目前
鼎和财产保险股份有限公司2024年大数据平台项目中标候选人公示(招标编号:CG1200022001840517)公示开始时间:2024-09-18公示结束时间:2024-09-23
9月4日,由中国能建广东院EPC总承包建设的甘肃庆阳“东数西算”源网荷储一体化智慧零碳大数据产业园示范项目数据中心工程110千伏能建1号变电站建成投产。作为庆阳“东数西算”大数据产业园首个投产的变电站,该站投运后,将负责甘肃庆阳“东数西算”源网荷储一体化智慧零碳大数据产业园示范项目供电任
这些毫无根据的印象涉及所需技能储备、技术方案类型以及技术匹配方式等多个层面,盲目偏信只会将大家引入歧途。大数据分析目前已经成为技术业界的主流趋势,每一家企业都开始将此类方案视为实现自身差异化优势的核心甚至是求得生存的关键所在。有鉴于此,关于大数据的各种误解也开始不断涌现。这些误区
日前,行业领先的信息安全技术厂商蓝盾股份最近提出了Hadoop安全框架,业内分析认为该框架可有效保护大数据安全。据蓝盾大数据中心介绍,2012年和2013年互联网所产生的数据,相当于人类从有史以来一直到2011年所产生的数据量总和。互联网产生大数据,移动互联网和物联网进一步推动数据的暴涨。研究机构预测,到2020年,电子数据存储量将在2009年的基础上增加44倍,达到35万亿GB。海量数据中蕴藏着大量有价值的信息,为了充分利用这些信息,目前流行的做法是利用Hadoop构建大数据项目。Hadoop确实让数据处理和分析变得更廉价更高效,但由于最初Hadoo
为分析并预测大数据技术的发展现状、发展计划和面临的挑战,IDC将于2013年秋季对德国相关应用企业进行问卷调查。从技术角度来看,大数据包括像Hadoop、高扩展度数据库、最佳可视化工具以及高性能搜索引擎这样的新技术和已经成熟的技术,如事件驱动处理技术、商业智能技术和数据挖掘技术,这些技术主要用来处理海量的数据。大数据技术的主要任务是从内部和外部数据源中找出所需的数据,并对这些数据进行高效快捷的评估,最终提供决策支撑。全球对大数据技术和服务的投资在增长目前,大数据在美国最为发达,包括德国在内的欧洲地区在这一领域稍显落后。不过,现在业内人士已经注意到了这一
21世纪人们的生活与生硬刻板的数据中心、产品和硬件不同,人们的现实生活充满活力,而这些活力主要体现在数据给予生活的改变。近日,IDC发布了一份对于未来数字星球增长的新预期,数字显示,中国只占整个数据产生总量的3%,未来的8年这个数据将占到全球数据数量的22%,中国迎来了大数据的时代。数据的堆积离不开大数据的分析,而学术界和产业界对于大数据已经过了讨论概念的阶段,现在人们更加关注于用什么样的技术和方法来进行大数据价值挖掘,以及如何真正为企业和客户带来价值。而事实上,大数据的分析和大数据的挖掘是一个非常难的技术,不管是产品需要上,还是从技术创新上,新的方法
Hadoop系统和NoSQL数据库已经成为管理大数据环境的重要工具。不过,在很多情况下,企业利用他们现有的数据仓库设施,或是一个新老混合的技术来对大数据流入他们的系统进行管理。无论一个公司部署什么类型的大数据技术栈,有一些共通的因素必须加以考量,以保证为大数据分析工作提供一个有效的框架。在开始一个大数据项目之前,去审视项目所要承担的新数据需求的更大图景显得尤为关键。下面来让我们检视四个需要加以考量的因素。数据准确性数据质量问题对于BI和数据管理专业人士来说一定不陌生。很多BI和分析团队努力保证数据的有效性并说服业务使用人员去信任信息资产的准确性和可靠性
日前,2013年全国博士后学术论坛“电子科学技术与信息产业发展”在电子科技大学举行。来自全国50余家高校、企业共200余名专家学者、博士后代表参加了论坛。远光软件博士后科研工作站谌章义博士在会上就研究课题《基于Hadoop的海量电费数据处理模型设计与实现》发表了主题演讲,该研究成果被《电子科学技术与信息产业发展论文集》收录。《基于Hadoop的海量电费数据处理模型设计与实现》一文以国内某特大型电力集团为例,提出了电费数据新的处理模型,建立了基于Hadoop和Hive的电费明细处理平台。实验证明该模型能有效解决海量电费数据处理性能
以往Hadoop似乎就是大数据的代名词。不过最近随着大数据应用的深入,大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。Hadoop大桶自成为大数据工具以来,Hadoop就是一个非常棒的数据存储系统,但是需要开发Java应用来访问数据的MapReduce学习起来却比较困难。当然,还有别的办法可以从Hadoop中获取信息。Hbase数据是Hadoop的
处理海量数据大数据的技术,现今最火红的则非Hadoop莫属了喔!根据Hadoop的创办人Doug Cutting所言“Hadoop”就只是帮一只黄色的填充大象取的名字而已,没有什么特别的意思纯粹只是好记而已。而Hadoop技术的诞生则是因为因特网数据的爆炸性成长,传统的文件系统无法负荷储存跟分类,从而根据Google搜寻器的相关的学术论文为蓝图,演变成一套如何储存、处理、分析TB(Tera Bytes)甚至PB(Peta Bytes)等级的数据处理方法。Hadoop是百分之一百免费由Java程序语言所编写的Open Source
北京时间3月22日消息,据国外媒体报道,甲骨文过去十年间稳定的盈利能力一直是硅谷分析人士津津乐道的话题之一。但近年来,随着大小竞争对手的不断涌入,以及客户对于软件价格的越发敏感,甲骨文在过去两年时间内已经发布了三次令人失望的业绩数据。而且,有分析师认为这一情况恐怕不会在短期内得到改善。以下是文章主要内容:如果说硅谷在过去十年间有什么亘古不变现象的话,甲骨文稳定的持续盈利能力显然是其中之一。但现在,这一情况可能即将迎来改变。业绩不佳目前的甲骨文公司仍然是科技业内最具统治力的企业之一,该公司营收达到327亿美元,旗下数据库和所开发的应用软件也被大型企业广泛
数据监测指的是对装备、系统或其一部分的工作正常性进行实时监视而采取的任何在线测试手段。如今的社会已经全面步入了数字化时代,监测方式也更加丰富。数据监控正在全面步入数字化说到这里,可能有人会质疑,监测到底有什么用?举个最简单的例子,我们平时用智能手机去网上下载应用,最为关注的就是应用的下载数量、用户评价、应用的评级等等信息,而这些所有的数据都是通过监控来实现的。2013年PM2.5监测已经在我国全面实施,市民能够通过网络轻松了解到全国的空气污染情况,而在生产型企业以及医疗、军事行业等等更是需要依靠数据来说话。除了传统的监控之外,互联网监控也越来越受到政府
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!