破解迷雾：关于大数据与Hadoop的九大误区

日前，行业领先的信息安全技术厂商蓝盾股份最近提出了Hadoop安全框架，业内分析认为该框架可有效保护大数据安全。据蓝盾大数据中心介绍，2012年和2013年互联网所产生的数据，相当于人类从有史以来一直到2011年所产生的数据量总和。互联网产生大数据，移动互联网和物联网进一步推动数据的暴涨。研究机构预测，到2020年，电子数据存储量将在2009年的基础上增加44倍，达到35万亿GB。海量数据中蕴藏着大量有价值的信息，为了充分利用这些信息，目前流行的做法是利用Hadoop构建大数据项目。Hadoop确实让数据处理和分析变得更廉价更高效，但由于最初Hadoo

为分析并预测大数据技术的发展现状、发展计划和面临的挑战，IDC将于2013年秋季对德国相关应用企业进行问卷调查。从技术角度来看，大数据包括像Hadoop、高扩展度数据库、最佳可视化工具以及高性能搜索引擎这样的新技术和已经成熟的技术，如事件驱动处理技术、商业智能技术和数据挖掘技术，这些技术主要用来处理海量的数据。大数据技术的主要任务是从内部和外部数据源中找出所需的数据，并对这些数据进行高效快捷的评估，最终提供决策支撑。全球对大数据技术和服务的投资在增长目前，大数据在美国最为发达，包括德国在内的欧洲地区在这一领域稍显落后。不过，现在业内人士已经注意到了这一

21世纪人们的生活与生硬刻板的数据中心、产品和硬件不同，人们的现实生活充满活力，而这些活力主要体现在数据给予生活的改变。近日，IDC发布了一份对于未来数字星球增长的新预期，数字显示，中国只占整个数据产生总量的3%，未来的8年这个数据将占到全球数据数量的22%，中国迎来了大数据的时代。数据的堆积离不开大数据的分析，而学术界和产业界对于大数据已经过了讨论概念的阶段，现在人们更加关注于用什么样的技术和方法来进行大数据价值挖掘，以及如何真正为企业和客户带来价值。而事实上，大数据的分析和大数据的挖掘是一个非常难的技术，不管是产品需要上，还是从技术创新上，新的方法

Hadoop系统和NoSQL数据库已经成为管理大数据环境的重要工具。不过，在很多情况下，企业利用他们现有的数据仓库设施，或是一个新老混合的技术来对大数据流入他们的系统进行管理。无论一个公司部署什么类型的大数据技术栈，有一些共通的因素必须加以考量，以保证为大数据分析工作提供一个有效的框架。在开始一个大数据项目之前，去审视项目所要承担的新数据需求的更大图景显得尤为关键。下面来让我们检视四个需要加以考量的因素。数据准确性数据质量问题对于BI和数据管理专业人士来说一定不陌生。很多BI和分析团队努力保证数据的有效性并说服业务使用人员去信任信息资产的准确性和可靠性

日前，2013年全国博士后学术论坛“电子科学技术与信息产业发展”在电子科技大学举行。来自全国50余家高校、企业共200余名专家学者、博士后代表参加了论坛。远光软件博士后科研工作站谌章义博士在会上就研究课题《基于Hadoop的海量电费数据处理模型设计与实现》发表了主题演讲，该研究成果被《电子科学技术与信息产业发展论文集》收录。《基于Hadoop的海量电费数据处理模型设计与实现》一文以国内某特大型电力集团为例，提出了电费数据新的处理模型，建立了基于Hadoop和Hive的电费明细处理平台。实验证明该模型能有效解决海量电费数据处理性能

以往Hadoop似乎就是大数据的代名词。不过最近随着大数据应用的深入，大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。Hadoop大桶自成为大数据工具以来，Hadoop就是一个非常棒的数据存储系统，但是需要开发Java应用来访问数据的MapReduce学习起来却比较困难。当然，还有别的办法可以从Hadoop中获取信息。Hbase数据是Hadoop的

处理海量数据大数据的技术，现今最火红的则非Hadoop莫属了喔!根据Hadoop的创办人Doug Cutting所言“Hadoop”就只是帮一只黄色的填充大象取的名字而已，没有什么特别的意思纯粹只是好记而已。而Hadoop技术的诞生则是因为因特网数据的爆炸性成长，传统的文件系统无法负荷储存跟分类，从而根据Google搜寻器的相关的学术论文为蓝图，演变成一套如何储存、处理、分析TB(Tera Bytes)甚至PB(Peta Bytes)等级的数据处理方法。Hadoop是百分之一百免费由Java程序语言所编写的Open Source

云对每个人来说都是又大、又白、又轻柔的梦境。当有人说他们的大数据战略是“把全部投入云端”时，你无法确定他们是否是一个有远见的人，或仅仅是重复一个专家在一次行业会议上告诉他们的事。大数据和云范例之间实际的重复非常广泛，你可以宣称你正在一个内部部署的Hadoop、NoSQL、或企业数据仓库环境下处理基于云的大数据。请记住云被广泛理解为包含“私有”部署以补充或代替公共云、SaaS、和多租户托管环境。但是如果你把云的实际定义限制于公共订购服务内，你就能找到问题的核心：识别哪些大数据应用相对于内部部署更适合公共云/

北京时间3月22日消息，据国外媒体报道，甲骨文过去十年间稳定的盈利能力一直是硅谷分析人士津津乐道的话题之一。但近年来，随着大小竞争对手的不断涌入，以及客户对于软件价格的越发敏感，甲骨文在过去两年时间内已经发布了三次令人失望的业绩数据。而且，有分析师认为这一情况恐怕不会在短期内得到改善。以下是文章主要内容：如果说硅谷在过去十年间有什么亘古不变现象的话，甲骨文稳定的持续盈利能力显然是其中之一。但现在，这一情况可能即将迎来改变。业绩不佳目前的甲骨文公司仍然是科技业内最具统治力的企业之一，该公司营收达到327亿美元，旗下数据库和所开发的应用软件也被大型企业广泛

数据监测指的是对装备、系统或其一部分的工作正常性进行实时监视而采取的任何在线测试手段。如今的社会已经全面步入了数字化时代，监测方式也更加丰富。数据监控正在全面步入数字化说到这里，可能有人会质疑，监测到底有什么用?举个最简单的例子，我们平时用智能手机去网上下载应用，最为关注的就是应用的下载数量、用户评价、应用的评级等等信息，而这些所有的数据都是通过监控来实现的。2013年PM2.5监测已经在我国全面实施，市民能够通过网络轻松了解到全国的空气污染情况，而在生产型企业以及医疗、军事行业等等更是需要依靠数据来说话。除了传统的监控之外，互联网监控也越来越受到政府