登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
大数据这个词,恐怕是近两年IT界炒的最热的词汇之一了,各种论坛、会议,言必谈大数据,“大数据”这个词,在IT界已经成了某果一样的“街机”或者叫“街词”,不跟风说两句“大数据长,大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲,大数据这个“圈”太乱了,一点不比“贵圈”好。
先从概念上来说,大数据是什么?其实数据处理从人类诞生时期就有了,古人结绳记事就是基本的统计,统计自己吃了几顿饭打了几次猎等等;再往近说,皇帝每晚翻嫔妃的牌子也是数据处理,在翻牌子之前,要从一大堆牌子里分析“方便”、“热度高”、“新鲜度”等指标;更近的说,数据仓库早在大数据这个词出现前就已经成熟发展了好几十年了。所以说,大数据并不新鲜,只是某些技术如Hadoop、MR、Storm、Spark发展到一定阶段,顺应这些技术炒出来的概念,但是这些概念都基于一个基本的理念“开源”,这个理念是之前任何阶段都没有过,可以节省费用提高效率,所以大家才都往这个行业里扔火柴(话说现在很多人跟风乱吵,个人认为也不是坏事)。
误区一:只有搞大数据技术开发的,才是真正“圈内人”。
笔者曾经参加过若干会议,70%是偏技术的,在场的都是国内各个数据相关项目经理和技术带头人,大家讨论的话题都是在升级CDH版本的时候有什么问题,在处理Hive作业的时候哪种方式更好,在Storm、Kafka匹配时如何效率更高,在Spark应用时内存如何释放这些问题。参会者都一个态度:不懂大数据技术的人没资格评论大数据,您要不懂Hadoop 2.0中的资源配置,不懂Spark在内存的驻留时间调优,不懂Kafka采集就别参加这个会!对了,最近Google完全抛弃MR只用Dataflow了,您懂吗?
在这里我想说,技术的进步都是由业务驱动的,某宝去了IOE才能叫大数据吗,我作为一个聋哑人按摩师用结绳记事完成了对于不同体型的人,用什么按摩手法进行全流程治疗,就不叫大数据分析了吗?技术发展到什么程度,只有一小部分是由科学家追求极致的精神驱动,大部分原因是因为业务发展到一定程度,要求技术必须做出进步才能达成目标的。
所以,真正的大数据“圈内人”至少要包含以下几种人:
一、业务运营人员。比如互联网的产品经理要求技术人员,必须在用户到达网站的时候就算出他今天的心情指数,而且要实现动态监测,这时候只能用Storm或者Spark来处理了;比如电信运营商要求做到实时营销,用户进入营业厅的时候,必须马上推送短信给用户,提示他本营业厅有一个特别适合他的相亲对象(呈现身高、三围、体重等指标),但是见面前要先购买4G手机;再比如病人来到银行开户,银行了解到用户最近1周曾经去医院门诊过两次,出国旅游过3次,带孩子游泳两次,马上客户经理就给客户推荐相关的银行保险+理财产品。这些业务人员,往往是驱动技术进步的核心原因。
二、架构师。架构师有多么重要,当一个业务人员和一个工程师,一个说着业务语言,一个说着技术术语在那里讨论问题的时候,工程师往往想着用什么样的代码能马上让他闭嘴,而架构师往往会跳出来说“不,不能那样,你这样写只能解决一个问题并且会制造后续的若干问题,按照我这个方案来,可以解决后续的若干问题!”一个非技术企业的IT系统水平,往往有70%以上的标准掌握在架构设计人员手里,尽快很多优秀的架构师都是从工程师慢慢发展学习而来的,IT架构的重要性,很多企业都意识到了,这就是很多企业有CTO和CIO两个职位,同样重要!架构之美,当IT系统平稳运行的时候没人能感受到,但是在一个烟囱林立、架构混乱的环境中走过的人眼中,IT开发一定要架构现行,开发在后!
三、投资人。老板,不用说了,老板给你吃穿,你给老板卖命,天生的基础资料提供者,老板说要有山便有了山,老板说要做实时数据处理分析,便有了Storm,老板说要做开源,便有了Hadoop,老板还说要做迭代挖掘,便有了Spark……
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近期,国家电投、广东省电力开发、山西粤电、新疆粤电、湖南红太阳多个岗位招聘,北极星整理如下:国电投新能源科技有限公司(简称“国电投新能源”),前身是中央研究院的产业化全资子公司,负责实施国家电投“高效铜栅线晶体硅异质结光伏电池(C-HJT)研究及量产技术开发”科研课题项目。项目团队不
近日,《中共南方电网公司党组关于深化产业工人队伍建设改革的实施方案》(以下简称《方案》)印发。《方案》是南方电网公司贯彻落实党中央、国务院关于深化产业工人队伍建设改革,推动公司产业工人队伍建设改革向纵深发展的重要举措,提出到2035年,力争培育25名左右大国工匠、25名左右央企工匠、300
7月18日,国务院新闻办公室举行新闻发布会,介绍2025年上半年工业和信息化发展情况。工业和信息化部总工程师谢少锋,部新闻发言人、运行监测协调局局长陶青,部信息通信发展司司长谢存出席发布会,介绍相关情况并回答记者提问。上半年工业和信息化事业发展态势良好新型工业化加快推进工业和信息化部总
受持续高温天气影响,重庆市用电需求激增。记者从国网重庆市电力公司获悉,截至7月17日中午,重庆电网负荷攀升至2852万千瓦,创历史新高。面对严峻的保供形势,国网重庆市电力公司全力确保电网安全稳定运行和电力可靠供应。公司实施24小时不间断监控,依托电力大数据提前分析负荷特性,结合气象信息开
7月11日,贵安供电局在新区供电辖区全面启动工业园区、居民小区“一户一表”改造项目,全力打造全国首个“零转供电”示范区。2024年,贵安供电局在全省率先出台《工业园区供电抄表到户升级改造实施方案》,在贵安综合保税区率先推行企业装表到户,实现从“一园一表”到“一企一表”的升级突破,助力园
2025年11月24-26日,深圳会展中心(福田)将迎来三场国家级环境领域盛会——第三届深圳国际生态环境监测产业博览会(EMIE2025)、深圳国际水务科技博览会(IWTE2025)、国际(深圳)环境技术交流与转移博览会(环交会),三展首次同期同地举办,形成“技术研发-应用落地-国际转移”全产业链闭环,为全球生态环境
近日,海辰储能厦门总部基地工厂与重庆基地工厂双双入选2025年度先进级智能工厂榜单。这一殊荣不仅是对两座工厂在制造高端化、智能化、绿色化发展成果的权威认可,更标志着海辰储能以“智造”为引擎,持续夯实储能新质生产力根基,助力新型储能制造业高质量发展。双厂入选,海辰储能以数智化重构制造竞
近期,国家连续发布《关于深化新能源上网电价市场化改革促进新能源高质量发展的通知》(发改价格〔2025〕136号文)(以下简称136号文)、《电力辅助服务市场基本规则》(发改能源规〔2025〕411号)、《关于全面加快电力现货市场建设工作的通知》(发改办体改〔2025〕394号)(以下简称394号文)等系列政
500多家展商800个展位30,000平米展出面积35,000名专业观众一、展会概况深入贯彻落实习近平总书记关于水旱灾害防御和水利基础设施建设的重要指示批示精神,着力推动解决农业小型水利设施老化、塘坝淤塞严重、水渠不畅等问题,提高农业抵御与自然灾害和综合生产能力,全面推进乡村振兴、加快农业水利强省
日前,辽宁省人民政府办公厅关于印发《辽宁省促进人工智能创新发展实施方案》的通知,通知指出,发挥辽宁城市群和产业集群优势,因地制宜打造智慧产业园区,建设地市级人工智能赋能中心。鞍山、本溪、辽阳、盘锦、葫芦岛等市围绕智慧钢铁、智慧矿山、数智油田、智慧化工等打造应用场景示范;阜新、铁岭
北极星售电网获悉,7月15日,河南省发展和改革委员会发布关于印发《河南省深化智慧城市发展推进城市全域数字化转型实施方案(2025—2027年)》(以下简称《方案》)的通知。《方案》指出,加强重点行业和区域碳排放监测分析,提升省能源大数据中心功能,支持建立多方参与的碳普惠机制,探索个人企业碳
7月18日,在第三届中国国际供应链促进博览会上,星巴克中国宣布与全球领先的绿色科技企业远景科技集团达成战略合作。未来三年,双方将在现有绿色门店和低碳咖啡烘焙产业园的合作基础上,基于方舟能碳管理系统,共同构建星巴克中国供应链碳管理平台,逐步覆盖星巴克中国100%的直采供应商和重要的间接采
2025年11月24-26日,深圳会展中心(福田)将迎来三场国家级环境领域盛会——第三届深圳国际生态环境监测产业博览会(EMIE2025)、深圳国际水务科技博览会(IWTE2025)、国际(深圳)环境技术交流与转移博览会(环交会),三展首次同期同地举办,形成“技术研发-应用落地-国际转移”全产业链闭环,为全球生态环境
近日,海辰储能厦门总部基地工厂与重庆基地工厂双双入选2025年度先进级智能工厂榜单。这一殊荣不仅是对两座工厂在制造高端化、智能化、绿色化发展成果的权威认可,更标志着海辰储能以“智造”为引擎,持续夯实储能新质生产力根基,助力新型储能制造业高质量发展。双厂入选,海辰储能以数智化重构制造竞
只需“刷个脸”,不到10秒,巡检人员就能精准拿到或归还无人机装备。7月8日,国网江苏无锡供电公司建成投运智能无人机库房。该库房充分利用“人脸识别+RFID(射频识别)”技术,将单次设备领用或归还流程平均耗时从2分钟缩短至10秒内,效率提升10倍以上,为输电线路高效运维筑牢了智能安全屏障。长期以
500多家展商800个展位30,000平米展出面积35,000名专业观众一、展会概况深入贯彻落实习近平总书记关于水旱灾害防御和水利基础设施建设的重要指示批示精神,着力推动解决农业小型水利设施老化、塘坝淤塞严重、水渠不畅等问题,提高农业抵御与自然灾害和综合生产能力,全面推进乡村振兴、加快农业水利强省
日前,辽宁省人民政府办公厅关于印发《辽宁省促进人工智能创新发展实施方案》的通知,通知指出,发挥辽宁城市群和产业集群优势,因地制宜打造智慧产业园区,建设地市级人工智能赋能中心。鞍山、本溪、辽阳、盘锦、葫芦岛等市围绕智慧钢铁、智慧矿山、数智油田、智慧化工等打造应用场景示范;阜新、铁岭
北极星售电网获悉,7月15日,河南省发展和改革委员会发布关于印发《河南省深化智慧城市发展推进城市全域数字化转型实施方案(2025—2027年)》(以下简称《方案》)的通知。《方案》指出,加强重点行业和区域碳排放监测分析,提升省能源大数据中心功能,支持建立多方参与的碳普惠机制,探索个人企业碳
北极星售电网获悉,7月16日,江苏南通市政府办公室关于印发南通市加快推进生产性服务业高质量发展行动方案(2025—2027年)的通知。文件明确,探索低碳节能服务发展路径。积极引进国内外权威认证组织在通设立分支(合作)机构,提供“一站式”涉碳类认证和咨询服务,推动重点产品碳足迹的国际衔接互认
走进山东能源兖矿智慧制造园区,一栋栋标准化厂房拔地而起,道路两旁的微风发电智慧路灯随风转动,抬眼望去,阳光穿透薄云,洒在成片的深蓝色光伏阵列板上,整个光伏矩阵泛起粼粼波光,从对山林时序的尊重敬畏,升华为对自然节律的精准驾驭。作为山东省重点项目,兖矿智慧制造园区正以绿色低碳发展为引
北极星储能网在天眼查获悉,7月15日,国峰(深圳)软件开发有限公司成立,注册资本5,000万人民币,法定代表人为刘锐。经营范围包含新兴能源技术研发;储能技术服务;软件开发;软件销售;技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广;发电技术服务;电力行业高效节能技术研发;技术进
2024年10月,国家发改委副主任在新闻发布会上表示,未来五年需要改造的城市燃气、供排水、供热等各类管网总量将近60万公里,投资总需求约4万亿元。旨在加强城市基础设施建设,特别是抓好城市地下管网等“里子”工程建设,加快补齐城市安全韧性短板,打造宜居、韧性的智慧城市。作为管网领域权威的产品
高考志愿填报已经进入了最后冲刺阶段!选对方向和考高分同等重要,面对众多院校和海量专业,很多考生和家长还是一头雾水,将来想进电力企业,高考志愿应该填报哪些院校和专业?作为过来人,头条君精编填报干货,助你精准匹配理想院校!头条君首先向大家安利电气工程专业!电气专业“永不过时”国家大力
5月16日获悉,国网河北省电力有限公司研发的光储充一体化智能控制装置在石家庄、邢台、保定等地完成示范应用,累计有超2万户光储充客户安装使用。据介绍,该装置采用自适应接入引擎技术,内嵌兼容120余种设备型号的通信协议库,实现各设备厂商私有协议与电网标准协议间的实时转换;集成5种主流通信接口
实现高水平科技自立自强,是中国式现代化建设的关键。国家电网有限公司第四届职工代表大会第四次会议暨2024年工作会议提出,要强化核心技术攻关,加快发展新质生产力;发挥新型举国体制优势,提升产业链供应链韧性和控制力;深化完善科研管理机制,不断激发全要素活力。中国电力科学研究院有限公司将全
国网信通1月17日晚间发布2023年度业绩快报,营业收入约80.39亿元,同比增加5.57%;归属于上市公司股东的净利润约8.36亿元,同比增加4.29%;基本每股收益0.7元,同比增加4.48%。报告期内,公司实现营业总收入803,893.61万元,较上年同期增长5.57%;营业利润87,687.51万元,较上年同期下降1.48%,主要因为
北极星输配电网获悉,11月4日,通辽市人民政府办公室发布关于印发《通辽市推动城乡建设绿色发展实施方案》(以下简称《方案》)的通知。《方案》指出,加快城乡能源基础设施建设。推进城镇配电网升级改造,推广智能化配电设备和数字化应用,在具备条件的工业园区内支持局域电网和增量配电网建设。以适
近日,由广东电网公司佛山供电局试验所自主研发的“基于智能传感技术的变电设备状态全面感知及主动分析系统”投入应用。该系统以智能传感技术为基础,实现了对变电站全站设备的全方位感知和智能检测,显著提升了设备状态检测的数字化、智能化水平。随着电网规模的大幅增长,运维工作愈加复杂,依靠人力
北极星输配电网获悉,日前,汾阳市人民政府发布关于印发《汾阳市推进气象高质量发展的实施方案》(以下简称《方案》)的通知。《方案》指出,强化气候资源合理开发利用。推进风能、太阳能等新能源开发利用气象服务能力建设,为风电场、光伏电站等规划、建设、运行、调度提供全链条气象服务。充分挖掘宜
北极星输配电网获悉,近日威胜信息发布2022年业绩报告。2022年度,威胜信息实现营业收入20.04亿元,较上年同期增长9.75%;实现归属于上市公司股东的净利润4.00亿元,较上年同期增长17.20%;实现归属于上市公司股东的扣除非经常性损益的净利润3.87亿元,较上年同期增长23.81%。2022年,公司持续稳健经营
导读:近日,四平市人民政府印发了《四平市能源发展“十四五”规划》。四平市“十四五”时期经济社会发展形势将发生深刻变化,新型工业化仍然是一个长期且紧迫的战略任务,能源发展要与之相匹配。全方位打造坚强智能电网。建设主网与配网、城网与农网、电网与电源协调发展的坚强智能电网,提升电网信息
1月28日,河北石家庄供电公司员工通过配网网络化下令平台,一键下达了10千伏华明二线检修指令。现场人员通过移动终端“i国网”APP接收指令并完成相应手续,整个流程准确、迅速,无需人工对话,用时仅40秒。这是该公司首次实施配网调度“网络化下令”。配网网络化下令平台通过信息互联,构建了集“网络
12月17日,江苏省南京市人民政府发布关于印发《南京市推动先进制造业和现代服务业深度融合发展示范行动实施方案》的通知。方案中提到,推动智能电网向应用领域拓展融合。加快推进云计算、大数据、通信、储能技术在智能电网领域的融合创新和应用,推动智能电网向信息通信、传感测量、自动化控制、分布式
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!