此“圈”太乱我们理解错了大数据！-北极星输配电网

投稿

我要投稿

大数据这个词，恐怕是近两年IT界炒的最热的词汇之一了，各种论坛、会议，言必谈大数据，“大数据”这个词，在IT界已经成了某果一样的“街机”或者叫“街词”，不跟风说两句“大数据长，大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲，大数据这个“圈”太乱了，一点不比“贵圈”好。

先从概念上来说，大数据是什么?其实数据处理从人类诞生时期就有了，古人结绳记事就是基本的统计，统计自己吃了几顿饭打了几次猎等等;再往近说，皇帝每晚翻嫔妃的牌子也是数据处理，在翻牌子之前，要从一大堆牌子里分析“方便”、“热度高”、“新鲜度”等指标;更近的说，数据仓库早在大数据这个词出现前就已经成熟发展了好几十年了。所以说，大数据并不新鲜，只是某些技术如Hadoop、MR、Storm、Spark发展到一定阶段，顺应这些技术炒出来的概念，但是这些概念都基于一个基本的理念“开源”，这个理念是之前任何阶段都没有过，可以节省费用提高效率，所以大家才都往这个行业里扔火柴(话说现在很多人跟风乱吵，个人认为也不是坏事)。

误区一：只有搞大数据技术开发的，才是真正“圈内人”。

笔者曾经参加过若干会议，70%是偏技术的，在场的都是国内各个数据相关项目经理和技术带头人，大家讨论的话题都是在升级CDH版本的时候有什么问题，在处理Hive作业的时候哪种方式更好，在Storm、Kafka匹配时如何效率更高，在Spark应用时内存如何释放这些问题。参会者都一个态度：不懂大数据技术的人没资格评论大数据，您要不懂Hadoop 2.0中的资源配置，不懂Spark在内存的驻留时间调优，不懂Kafka采集就别参加这个会!对了，最近Google完全抛弃MR只用Dataflow了，您懂吗?

在这里我想说，技术的进步都是由业务驱动的，某宝去了IOE才能叫大数据吗，我作为一个聋哑人按摩师用结绳记事完成了对于不同体型的人，用什么按摩手法进行全流程治疗，就不叫大数据分析了吗?技术发展到什么程度，只有一小部分是由科学家追求极致的精神驱动，大部分原因是因为业务发展到一定程度，要求技术必须做出进步才能达成目标的。

所以，真正的大数据“圈内人”至少要包含以下几种人：

一、业务运营人员。比如互联网的产品经理要求技术人员，必须在用户到达网站的时候就算出他今天的心情指数，而且要实现动态监测，这时候只能用Storm或者Spark来处理了;比如电信运营商要求做到实时营销，用户进入营业厅的时候，必须马上推送短信给用户，提示他本营业厅有一个特别适合他的相亲对象(呈现身高、三围、体重等指标)，但是见面前要先购买4G手机;再比如病人来到银行开户，银行了解到用户最近1周曾经去医院门诊过两次，出国旅游过3次，带孩子游泳两次，马上客户经理就给客户推荐相关的银行保险+理财产品。这些业务人员，往往是驱动技术进步的核心原因。

二、架构师。架构师有多么重要，当一个业务人员和一个工程师，一个说着业务语言，一个说着技术术语在那里讨论问题的时候，工程师往往想着用什么样的代码能马上让他闭嘴，而架构师往往会跳出来说“不，不能那样，你这样写只能解决一个问题并且会制造后续的若干问题，按照我这个方案来，可以解决后续的若干问题!”一个非技术企业的IT系统水平，往往有70%以上的标准掌握在架构设计人员手里，尽快很多优秀的架构师都是从工程师慢慢发展学习而来的，IT架构的重要性，很多企业都意识到了，这就是很多企业有CTO和CIO两个职位，同样重要!架构之美，当IT系统平稳运行的时候没人能感受到，但是在一个烟囱林立、架构混乱的环境中走过的人眼中，IT开发一定要架构现行，开发在后!

三、投资人。老板，不用说了，老板给你吃穿，你给老板卖命，天生的基础资料提供者，老板说要有山便有了山，老板说要做实时数据处理分析，便有了Storm，老板说要做开源，便有了Hadoop，老板还说要做迭代挖掘，便有了Spark……

原标题：此“圈”太乱我们理解错了大数据

投稿与新闻线索：陈女士微信/手机：13693626116 邮箱：chenchen#bjxmail.com（请将#改成@）

订阅北极星周刊，精彩内容不再错过！

特别声明：北极星转载其他网站内容，出于传递更多信息而非盈利之目的，同时并不代表赞成其观点或证实其描述，内容仅供参考。版权归原作者所有，若有侵权，请联系我们删除。

凡来源注明北极星*网的内容为北极星原创，转载需获授权。

大数据查看更多>物联网查看更多>电网信息化查看更多>

姓名：
性别：
出生日期：
邮箱：
所在地区：
行业类别：
工作经验：
学历：
公司名称：
任职岗位：

此“圈”太乱 我们理解错了大数据！

登录注册

绑定账号

想要获取更精准资讯推荐？建议您完善以下信息~

订阅成功

此“圈”太乱我们理解错了大数据！

想要获取更精准资讯推荐？建议您
完善以下信息~